Akademik Veri Yönetim Sistemi
ERDEM M. E. (Yürütücü)
TÜBİTAK Projesi, 2022 - 2025
Sayısal görüntüleme, özel donanım ve yazılımlar kullanarak gözlerimizin dünyayı nasıl gördüğünü taklit etmeyi amaçlamaktadır. Dijital kameraların, akıllı telefon kameralarının ve web kameralarının ortaya çıkmasıyla, gerçekliği ve çevremizi gözlemleme şeklimiz tamamen değişmiş durumdadır. Geleneksel olarak, bu kamera sistemlerinin tümü çerçeve tabanlı sistemlerdir, yani bir saat tarafından belirlenen bir hızda (örn. 30 fps) deklanşörü açıp kapatarak görüntüler elde etmektedirler. Bunun doğrudan bir sonucu olarak, çoğu durumda gereksiz yere yüksek veri hızına (1-10Mb/s) ihtiyaç duyarlar, zira statik bir sahneye doğrultulmuş olsalar bile, tekrar tekrar yeni bir görüntü yakalamak zorundadırlar. Ayrıca, düşük sahne içi dinamik aralığa sahiptirler - aynı anda hem aydınlık hem de karanlık alanları göremezler ve aşırı veya az pozlanmış görüntülere yol açarlar. Son olarak, hareket bulanıklığına eğilimlidirler.
Son on yılda geliştirilmiş ve iyileştirilen olay kamerası teknolojisi, görsel verileri nasıl elde ettiğimiz konusunda bir paradigma değişikliğini temsil etmektedir. Standart kameraların aksine, olay kameraları, kamera dizisindeki her piksel için sahnedeki göreceli parlaklık değişikliklerine asenkron bir şekilde yanıt veren ve belirli zamanlarda değişken bir oranda oluşturulan bir dizi "olay" üreten biyolojik ilhamlı görüntü sensörleri içermektedir. Bu nedenle, çok yüksek zamansal çözünürlük (mikrosaniye mertebesinde), yüksek dinamik aralık, düşük güç tüketimi sağlamaktadırlar ve hareket bulanıklığına neden olmazlar. Ancak, farklı bir temel tasarım benimsedikleri için, çıktılarını işlemek ve tam potansiyellerini ortaya çıkarmak da kökten farklı yeni yöntemler gerektirmektedir. Projemizin amacı, yeni ortaya çıkan ve olay tabanlı görme olarak adlandırılan bu alana katkıda bulunmaktır.
Olay kameralarıyla karşılaştırıldığında, geleneksel kameraların bir diğer önemli dezavantajı, düşük ışık koşullarıyla çok iyi başa çıkamamalarıdır ki bu durum daha fazla ışığın içeri girmesine izin vermek için genellikle uzun pozlama süreleri kullanılarak çözülmeye çalışılmaktadır. Ancak, çekilecek sahne dinamik nesneler içeriyorsa veya kamera hareket halindeyse bu çözüm bulanık bölgelerin oluşmasına yol açmaktadır ve sorunludur. Bu amaçla, projemiz kapsamında standart kameraları iyileştirmek için olay verilerinin avantajlarından yararlanmanın yolları araştırılacaktır. Daha detaylı belirtmek gerekirse, tamamlayıcı olay verilerinin rehberliğinde son derece düşük ışık koşullarında optik akışı doğru bir şekilde tahmin edilmesi yanı sıra karanlık videoların görsel kalitelerinin iyileştirilmesi konularında araştırmalar yürütülecektir. Bu hedefler doğrultusunda, olaylardan yeğinlik görüntüleri oluşturma konusu araştırılacak ve modellerimizi etkili bir şekilde eğitmek ve yeteneklerini daha iyi test etmek için ayrıca yeni sentetik ve gerçek video veri kümeleri de toplanacaktır.
Projemiz, derin nöral ağlar kullanarak olay verilerini işlemek için yeni yollar sağlayacak ve karanlıkta video çekerken ve işlerken karşılaşılan önemli zorlukları çözmek için geleneksel kameralar ile olay kameralarını bir araya getiren hibrit yaklaşımlar sunacaktır. Bu araştırma projesinde inceleyeceğimiz ağ mimarileri, diğer olay tabanlı bilgisayarla görme görevlerine de uygulanabilir olacaktır. Ayrıca, yüksek çözünürlüklü olay sensörlerinin piyasada satılır hale geldikleri düşünüldüğünde, projemizin bilimsel etkisinin ötesinde, gelecekteki akıllı cep telefonları, mobil robotlar veya her türden otonom araçlar için tasarlanacak kamera sistemlerinin bir parçası olarak ticarileştirilme potansiyeline de sahip olduğu öngörülmektedir.