Akademik Veri Yönetim Sistemi
Kulak Kayıkcı M. E. (Yürütücü), Gürçay H., Karaosmanoğlu A., Arıtan S.
TÜBİTAK Projesi, 2018 - 2021
Konuşma sırasında vokal
yolun ve artikülatör organların hareketleri ve şekillenmeleri ile ilgili doğru
verilerin elde edilmesi, fonetik çalışmalar açısından son derece önemlidir. Bu
veriler, konuşma bozukluklarının tedavisinin temelini oluşturmaktadır. Son
yıllarda, Manyetik Rezonans Görüntüleme (MRG) kullanımı, konuşma üretimi ile
ilgili yapılan çalışmalarda oldukça önem kazanmaya başlamıştır. Konuşma
sırasında, kişinin vokal yolu ve artikülatör organlarının hareketi ile ilgili
dinamik bilgiler toplanabilmektedir. MRG verilerinin toplanması sırasında
ortaya çıkan akustik gürültü, akustik sinyalin (kişinin ürettiği konuşma sesi)
kaydedilmesini ve MR görüntüsü ile senkronizasyonunu güçleştirmektedir. Ayrıca,
konuşma sırasında gerçek zamanlı olarak MRG ile vokal yol ve artikülatör
organlarında meydana gelen hareketlerin kaydedilmesi ile normalde dışardan
gözlenemeyen hareketler gözlenmektedir. Gerçekleştirdiğimiz bu çalışma
kapsamında kullanılan MR mikrofonu, mikrofon-kamera senkronizasyon seti ve MR
uyumlu ses-müzik sistemi ile akustik sinyalin görüntü ile eş zamanlı olarak ve
akustik gürültü baskılanarak elde edilmesi sağlanmıştır. İki adet MR Bore
kamerasının MRG cihazına monte edilmesi ile konuşma sırasında ağız ve
çevresinde meydana gelen hareket değişiklikleri de gerçek zamanlı olarak
kaydedilmiştir. Motion Capture (MOCAP) kameraları altında işaretleyicinin bireyin
yüzüne yerleştirilmesi ile konuşma sırasında yüz hareketleri de kayıt altına
alınmıştır. Böylece, MRG ve MOCAP kullanımı sırasında hedef Türkçe
ses/hece/sözcükler söylenirken vokal yol ve artikülatör organlarda meydana
gelen tüm hareket ve şekil değişiklikleri gözlenerek kaydedilmiştir. MRG ve
MOCAP kayıtlarından elde edilen veriler, vokal yol ve artikülatör organların 3
boyutlu (3B) modelleme ve animasyonu için işlenmiştir. Oluşturulan 3B modelleme
ve animasyon ile Türkçe’de kullanılan konuşma seslerinin konuşma sırasında
ortaya koydukları hareket ve şekil değişikliklerinin görünür olması, Türkçe
konuşma seslerinin üretimlerinin görselleştirilmesi ile ilgili çok önemli bir
eksikliği gidermiştir. Ayrıca, vokal yol ve artikülatör organların
hareketlerinin ve şekil değişikliklerinin gerçek zamanlı olarak MRG ve MOCAP
kameralar kullanılarak kaydedilmesi ile konuşma sırasında sağlıklı bireylerde
meydana gelen artikülasyon hareketlerinin, ilgili konuşma bozukluklarının
tespit edilmesine ve konuşma terapisinde kullanılmasında önemli katkılar
sağlayacaktır.