İzole türk işaret dili tanıma için yinelemeli transformer çerçevesi

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2026

Tezin Dili: İngilizce

Öğrenci: ÖMER FARUK IŞIK

Danışman: HACER YALIM KELEŞ

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

İzole İşaret Dili Tanıma, işaretçiye ait el, yüz ve vücut hareketlerinin karmaşık uzamsal ve zamansal yapısının modellenmesini gerektiren zorlu bir bilgisayarlı görü problemidir. Son yıllarda bu problem üzerine yapılan çalışmalar arasında Transformer modellerinin kullanımı yaygınlaşmıştır. Transformer tabanlı modeller bu alanda başarılı sonuçlar elde etmiş olsa da, mimari yapılarından kaynaklanan bazı sınırlılıkları bulunmaktadır. Literatürde, Transformer mimarilerinde yer alan artık bağlantılar matematiksel olarak adi diferansiyel denklemlerin nümerik çözümlerinden olan Euler yöntemi ile eşleştirilmektedir. Birinci dereceden bir yöntem olan Euler metodu ile elde edilen yaklaşık çözüm yüksek oranda sayısal hata içermektedir. Benzer bir yakınsama sorunu, artık bağlantılar nedeniyle Transformer tabanlı mimarilerde, özellikle derin modellerde katman sayısının artmasıyla oluşan küresel hata birikimi şeklinde gözlemlenmektedir. ODE Transformer yaklaşımı, bu hata oranını düşürmek amacıyla, standart artık bağlantı yapısı yerine matematiksel olarak daha yüksek mertebeli bir sayısal çözüm sunan Runge-Kutta yöntemine dayanan yinelemeli bir çerçeve önerir. Doğal Dil İşleme alanındaki çeşitli görevlerde başarısı kanıtlanmış olan bu yaklaşımın, İşaret Dili Tanıma alanındaki etkinliği literatürde henüz araştırılmamıştır. Bu tez çalışmasında, İzole İşaret Dili Tanıma problemine sunulan Transformer tabanlı çözümler, ODE Transformer çerçevesi ile birleştirilmiş ve AUTSL veri seti üzerinde test edilmiştir. Elde edilen deneysel bulgular, önerilen çerçevenin İzole İşaret Dili Tanıma problemindeki etkinliğini ve başarısını göstermektedir.