Akademik Veri Yönetim Sistemi
ERDEM M. E., Erdem İ. A.(Yürütücü)
TÜBİTAK Projesi, 2021 - 2024
Donanım ve yazılım araçlarında son yıllarda yaşanan gelişmelerle birlikte sanal gerçeklik (SG) uçtaki kullanıcılar için kullanılabilir bir teknoloji haline gelmiştir. SG, özel başlıklar ve el aygıtları yardımıyla insanlara sayısal ortamları görüp, duyup ve onlarla etkileşime girebilecekleri sürükleyici ve gerçekçi deneyimler sunmaktadır. SG ortamlarında sunulan içerikler, bilgisayar tarafından oluşturulan görüntülerden gerçek sahnelerde çekilen 360° videolara kadar çeşitli şekillerde karşımıza çıkabilmektedir. Projemizde, özellikle eğlence, yaşlı bakımı, otonom araçlar ve eğitim gibi geniş bir uygulama alanına sahip 360° videolara odaklanılmaktadır. Burada önemli bir nokta, bu tür bir çoğul ortam içeriğinin kalitesidir ki bu kullanıcıların sanal ortamdaki deneyimlerini ya arttırmakta ya da iyi bir deneyim yaşamalarının önünde engel teşkil etmektedir. İşte bu nedenle, videoların kalitesini yayınlanmadan önce değerlendirmek, SG teknolojilerinin başarılı bir şekilde daha yaygın benimsenmesini sağlamada çok önemlidir.
Bilgisayar grafiği endüstrisinde oldukça kanıksanmış yollarla üretilen sentetik veriler ile karşılaştırıldığında, kullanıcılara kaliteli bir deneyim sunan 360° videoları oluşturmak için yeni araçlara ve yaklaşımlara ihtiyaç duyulmaktadır. Bu çerçevede, projemizin amacı, SG cihazlarıyla deneyimlenen 360° videoların kalitesini değerlendirmek için kullanılabilecek otomatik değerlendirme ölçütlerini araştırmaktır. Hedefimiz, yeni ortaya çıkan bu araştırma alanına, insan görsel dikkat mekanizmasının ve görsel ve işitsel ipuçlarını işleyebilecek çok kipli hesaplamalı belirginlik modellerinin kullanımını inceleyerek katkıda bulunmaktır. Bu sayede insan algısı ile daha uyumlu kararlar verebilen bir model ortaya çıkacaktır. Bildiğimiz kadarıyla, SG kalite değerlendirmesi için görsel-işitsel belirginlik haritalarından yararlanılması ilk kez bizim tarafımızdan araştırılacaktır. Daha açık biçimde belirtmemiz gerekirse, ilk önce ambisonik uzamsal sesle zenginleştirilmiş 360° panoramik videolarda belirginlik kestirimi için yeni derin sinir ağ mimarilerinin geliştirilmesi üzerinde çalışılacaktır. Modellerimizin eğitimi ve değerlendirilmesi için, 360° uzamsal ses içeren 360° videolar için göz odak verisi içeren büyük çaplı bir video veri kümesi toplanacaktır. Böyle bir veri kümesinin mevcut olmamasından dolayı, toplanan bu veri kümesi projemizin literatüre bir başka katkısını oluşturacak ve bu konuda daha fazla araştırma yapılmasını kolaylaştıracaktır. İkinci olarak, gerçek ortamlarda yakalanan SR içeriğinin kalitesinin değerlendirilmesi için de yeni bir veri kümesi toparlanacak ve 360° videoların görsel-işitsel belirginlik haritalarından faydalanan yeni kalite metrikleri geliştirilecektir.
Projemiz, bilgisayarla görme ve çoğul ortam analizi alanlarındaki güncel gelişmelere dayanarak 360° videoların çok kipli bir yapıda görsel-işitsel işlenmesi ve analizi için bütünsel bir çerçeve oluşturacaktır. Bu bağlamda, projemizin görsel belirginlik kestirimi ve kalite değerlendirmesinin ötesinde de etkileri olacağı düşünülmektedir. Geliştirilecek derin sinir ağ mimarileri, görsel-işitsel kaynak ayırma, video nesne takibi ve nesne bölütlemesi gibi uzamsal sesle 360° videoların birlikte işlenmesinin gerektiği veya bunun fayda sağlayacağı farklı yapay görme problemleri için de potansiyel olarak kullanılabilir. Bu açıdan, önerilen projenin ele alınan araştırma problemlerinin ötesinde özgün SG uygulamalarına öncülük etme potansiyeli de bir hayli yüksektir. Bu nedenle, bilimsel etkisinin ötesinde, projenin sonuçlarının ticari açıdan değerli olacağı düşünülmektedir.