Bilgisayar Mühendisliği araştırmaları ödüllendirildi: Ses ve Görüntü ile "Akıllı" Hayatlar

Boğaziçi Üniversitesi öğrencileri Heysem Kaya ve Tuğçe Özkaptan, Yrd. Doç. Dr. Albert Ali Salah ve Prof. Dr. Sadık Fikret Gürgen’in danışmanlığında Interspeech 2014’te paralinguistik alanında önemli bir ödül kazandı. Bilgisayar Mühendisliği Yüksek Lisans 2.sınıf öğrencisi Gül Varol ise, yine Yard. Doç. Albert Ali Salah’ın danışmanlığında “Extreme Learning Machine for Large-Scale Action Recognition” adlı çalışmasıyla Thumos Challenge 2014’te önemli bir başarıya imza attı. Boğaziçi Üniversitesi öğrencilerinin uluslararası alanda elde ettikleri başarıları kendileriyle ve söz konusu projelerin danışmanlığını üstlenen Yard. Doç. Dr. Albert Ali Salah ile konuştuk. Heysem Kaya’ya ödül getiren Interspeech Konferansı bu yıl 14-18 Eylül’de Singapur’da yapıldı. Konuşma tanıma ile ilgili çalışmalar yapan araştırmacıları bir araya getiren ve bünyesinde farklı alanlarda çalıştaylar ile bilimsel ve endüstriyel sergiler de barındıran Interspeech konferansına her yıl binden fazla katılımcı katılıyor. “Paralinguistik” alanı, insan sesinin işlenerek otomatik olarak insanla ilgili durumların ortaya konmasını örneğin kişinin stresli, korkmuş, depresif veya mutlu olup olmadığını anlamayı yahut kişiye ait karakter yapısı gibi özellikleri bulmayı hedefliyor.

Bu konuda çalışan Heysem Kaya yarışma sürecini şöyle anlattı: ‘’Katıldığımız müsabaka kişinin sesinden yorgun olup olmadığının dereceli olarak anlaşılması üzerine ve zihinsel meşguliyetin kestirilmesine yönelikti. Yarışma yetkilileri konuşma verisini topladı ve uzmanlar bu verileri işaretledi. Müsabaka açıldıktan sonra ellerindeki veriyi katılan gruplara yolladılar, uzman işaretleri ise saklı tutuldu. Biz de sistemimizi kurduktan sonra o veriyle ilgili sistemin tahminlerini yolladık. Her grubun bütün veri üzerinde toplam beş farklı sonuç yollama hakkı vardı, yani sürekli olarak farklı sistem parametreleri deneme şansımız yoktu. Görmediğimiz bir veri üzerinde tahmin yaptığımız için sistemin genellemesi önemliydi ve bunu iyi bir şekilde başardık’’. Uzaktan eğitimde ve otizmli çocukların eğitiminde kullanılabilir Projenin günlük hayatta kullanım alanları hakkında bilgi veren Yrd. Doç. Dr. Albert Ali Salah ise, ses algısı ile bir kişinin durumu hakkında pek çok bilgiye ulaşılabileceğini belirtti. ‘’İnsan davranışının bilgisayarla anında analizi pek çok uygulama sahasını beraberinde getiriyor. Örneğin, otistik insanların duygu algılamakta sıkıntıları var, bu eksiklikleri bir takım teknolojilerle kapatabiliriz veya onları eğitebiliriz. Otistik çocuklara konuşma öğretirken sürekli durumlarını takip edebilir ve otomatik olarak geri besleme yapabiliriz. Özellikle tekrar gerektiren işlerin bir kısmını bilgisayara devredip eğitmenlerin ve bakıcıların yükünü hafifletebiliriz. Bu alanda çalışmalarımız devam ediyor’’ diyen Salah, uzaktan eğitim alanında da bu projenin uygulanabilme fırsatları olduğuna dikkat çekti. ‘’Uzaktan eğitim günümüzde çok önemli bir konu. Yapılan ölçümler sonucu öğrencinin odaklanarak dersi dinleme süresinin çok kısa olduğunu görüyoruz. Bu yüzden eğitime daha interaktif bir boyut eklenmesi gerekiyor. Bilgisayarlar bunu henüz yapamıyor ancak bu proje ile birlikte bilgisayarın, öğrencinin yorgunluk durumunu ya da odağını kaybetme durumunu algılayıp bu duruma göre hareket etmesini sağlayabiliriz’’. Ses algısı üzerinden duygu durumu teşhisi Salah ayrıca bu proje sayesinde depresyon ve duygu durumu teşhisi (kızgınlık, üzüntü, şaşırma, mutluluk) yapılabileceğini, yorgunluk seviyesinin tespitinin mümkün olabileceğini ve söz konusu çalışmanın örneğin telefonla hizmet veren şirketlerin kullanıcılarının veya çalışanlarının anlık analizlerini yapma olanağı sağlayabileceğini belirtti. Akıllı arabalarda sürücü yorgunluğu kestirme, akıllı ortamlarda kullanıcıya uyum sağlama, müşteri davranışlarının modellenmesi, yaşlıların farklı kiplerde izlenmesi gibi pek çok alanda bu teknolojilerin önemli rol oynaması bekleniyor. Bu konudaki önde gelen toplantılardan ACM International Conference on Multimedya Interaction da 12-16 Kasım tarihleri arasında Boğaziçi Üniversitesi’nde düzenlenecek. Gül Varol’a Thumos Challenge 2014’ten üçüncülük ödülü Uluslararası platformda ödül alan Boğaziçi Üniversitesi öğrencisi Gül Varol ise THUMOS CHALLENGE 2014’ten üçüncülük alarak önemli bir başarıya imza attı. Bilgisayar Mühendisliği Yüksek Lisans 2.sınıf öğrencisi olan Gül Varol’un Yard. Doç. Albert Ali Salah’ın danışmanlığında gerçekleştirdiği proje “Extreme Learning Machine for Large-Scale Action Recognition” başlığını taşıyor. Yapay görme (computer vision) alanında en önemli konferanslardan biri olan ECCV bünyesinde bir yarışma olarak düzenlenen Thumos’a bu yıl 11 üniversite katıldı. Hareketi tanımlayan görüntü sistemi Video görüntüsüyle hareketleri tanımayı amaçlayan projenin detaylarını anlatan Gül Varol, Action Recognition (Etkinlik Tanıma) olarak ifade edilen bu çalışmaya 254 saatlik bir video veri setinden öznitelikler çıkararak başlandığını belirtiyor. “Haftalar süren bu çalışmanın sonunda yazdığımız bilgisayar programı, yapay öğrenme teknikleri kullanarak verilerden 101 farklı etkinliği otomatik olarak sınıflandırabiliyor. Buna birçok farklı aksiyonun program tarafından tanınabilir hale getirilmesi diyebiliriz. Örneğin, program sayesinde metro istasyonunda bir kavga olduğunda kameranın oraya odaklanarak vandalizm hareketlerini tespit etmesi mümkün olabilir. Bu sayede güvenlik önlemleri daha hızlı alınabilir’’. Yüksek lisans tezini de aynı konu üzerine yazacağını belirten Boğaziçi Üniversitesi yüksek lisans öğrencisi Gül Varol; çalışmalarını insan davranışını algılama üzerine sürdürmeyi hedefliyor. Projenin günlük hayatta kullanım imkânlarını anlatan Yard. Doç. Dr. Albert Ali Salah ise nihai amacın spesifik olarak her aktivitenin otomatik olarak tanınması olduğunu belirtti. Ancak bu amaca ulaşmak için çok fazla verinin toplanması ve işlenmesi gerektiğinden bu konuda çalışmaların sürdüğünü belirten Salah, programın Internet aramalarında çok yararlı olabileceğini; aramalarda yazı üzerinden değil görsellerin içeriği üzerinden de sonuçlar elde edilebileceğini sözlerine ekledi.

Kaynak: http://haberler.boun.edu.tr/tr/haber/bilgisayar-muhendisligi-arastirmala...