TÜBİTAK tarafından desteklenen, İstanbul Teknik Üniversitesi tarafından yürütülen, Yeditepe Üniversitesi ve Cerrahpaşa Tıp Fakültesi işbirliği ile gerçekleştirilen ‘RoboRehab: Yardımcı Odyoloji Rehabilitasyon Robotu’ adlı ve 118E214 nolu projede, işitme engelli çocukların eğitim ve rehabilitasyon sürecindeki testlerde kullanılabilecek; çocukların testler sırasında duygu durumlarını değerlendiren, çocukların testlerdeki performanslarını ve motivasyonunu arttıran bir yardımcı sosyal robot platformu geliştirmek amaçlanmıştır. Böylece, çocuklara hitap eden bir robot ile çocukların hastane ortamında test süreçlerine destek olmak ve katılımlarını arttırmak mümkün olacaktır. Bu projede, ülkemizde bir ilk olarak, işitme kayıplı çocukların odyometri testlerinde ve rehabilitasyon süreçlerinde onlara yardımcı olabilecek sosyal bir robot kullanılmış ve bunun için gerekli test düzenekleri tasarlanmış ve geliştirilmiştir. Uluslararası alandaki ilk odyoloji hastane robotu çalışmasıdır. Bu projede Pepper robot ve tablet üzerinde işitme engelli çocuklar için test materyalleri, sözlü ve davranışa dayalı geri bildirim mekanizması oyunlaştırma kullanılarak tasarlanmış ve geliştirilmiş; geleneksel makine öğrenmesi ve derin öğrenme tabanlı duygu tanıma modelleri üretilmiştir. Duygu tanıma modelleri için pilot çalışmalardan elde edilen yüz verileri ve E4 cihazından alınan fizyolojik veriler (kalp atışı, deri sıcaklığı, deri iletkenliği) kullanılmıştır. Verilerin etiketlenmesi için bir veri etiketleme ve yüz verisi işleme aracı geliştirilmiştir. Robotun hastane ortamında insanlar arasında güvenli olarak hareketi için sosyal mesafeyi göz önünde bulunduran bir sosyal gezinme (social navigation) modeli de bu proje kapsamında geliştirilmiştir. Projede verilerin toplanma ve sistemin değerlendirme testleri Cerrahpaşa Odyoloji bölümü ve İTÜ’de gerçekleştirilmiştir. Projede işitme engelli çocuklarla geleneksel yöntemle, sadece tablet ile ve hem tablet hem robot ile testler uygulanmıştır. Yapılan çalışmalar sonucunda robotun çocuklar tarafından benimsendiği ve robotun ilgilerini çektiği gösterilmiştir. Duygu analizi sonuçları da robot ile çocukların duygularının daha fazla tetiklendiği göstermiştir. Katılımcıların sözel ve yazılı geribildirimleri, test performansları, dikkat ve tepki süresi ve testlere katılımı; duygu durumları (yüz ve fizyolojik veriye dayalı makine öğrenmesi ve derin öğrenmesi modelleri) değerlendirmeleri sonucunda bu projede geliştirilen yardımcı sosyal robot destekli sistem başarılı bulunmuştur.

Anahtar Kelime:
derin öğrenme
insan-robot etkileşimi
yardımcı teknolojiler
hastane robotları?
duygu tanıma