Belirsiz dinamik ortamlarda robot seyrüseferi ı̇çin müfredatlı öğrenme
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Fen Bilimleri Enstitüsü, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2024
Tezin Dili: İngilizce
Öğrenci: DEVRAN DOĞAN
Danışman: ÖZGÜR ERKENT
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Çalışmamızda, Derin Pekiştirmeli Öğrenme (DRL) ajanlarının eğitim sürecini daha da kolaylaştırmanın ve verilen görevlerde başarı oranını optimize etmenin bir yolunu bulmak istedik. Yakınsama hızını artırmak için müfredat öğrenme tekniklerini benimsedik. Otomatik araçların önemi her geçen gün artmakta ve bilinmeyen ortamlarda hedef arama gibi yetenekler daha fazla ilgi görmektedir. Bu da bizi, insan hayatının risk altında olduğu veya insanların bulunduğu ortamlarda hedef aramanın ve rota oluşturmanın ne kadar önemli olduğuna getiriyor. Bildiğimiz üzere karmaşık gerçek dünya uygulamalarında, güvenlik ve risk farkındalığı kaçınılmaz öneme sahiptir. Risk bilincine sahip sistemleri, bilinmeyen farklı ortamlarda, modelin yer belirlemede ve rota oluşturmada güvenilirliliğini test etmek için kullandık. Ayrıca eğitim sırasında karşılaşılmayan durumlarda modelin performansını görmek için de kullandık. Risk bilincine sahip olmayan sistemler, başarısızlıklara yol açacak optimal olmayan kararların alınmasına yol açabilir. Bu rota oluşturma çabaları yüksek hesaplama süresi gerektirir. Çarpışmasız bir şekilde, statik ve dinamik engeller arasında hareket edebilen, istenilen risk düzeyine, yüksek performans ve uyum yeteneğine sahip riske duyarlı, risk farkındalığının artırıldığı karar verme süreçlerini geliştirmek zorundaydık. DRL algoritmaları, öğrenme ve ödül sinyallerini hesaplama konusunda yeteneklerini gösterdiler. Ancak, uzun eğitim süreleri gerektirmeleri nedeniyle gerçek dünya uygulamaları için sınırlı uygulama alanına sahipler. Bu nedenle bizde Müfredat öğrenme ve DRL algoritmalarını kullanarak hedef odaklı bir model oluşturduk. Bunu yaparak daha hızlı yakınsama elde ettik, hedef arama süresini aynı miktardaki eğitim sayısı içerisinde azalttık. Çarpışma oranı azaldı. Eğitim sürecinde eğitimin hangi sırayla gerçekten zorlaştığını anlayabilmek adına, farklı yöntemlerle yapay ağ parametrelerine gauss gürültüsü enjekte ettik, farklı ortamlar kullandık, ajanın davranışını, tahmin başarısını görmek için sensör bilgilerini geciktirdik ve sadece statik engeller kullanarak, dinamik engeller kullanarak ve son olarak her iki engeli birden kullanarak sistemi test ettik. Simülasyon ortamlarının çoğu kısmen gözlemlenebilirken, tamamen gözlemlenebilir ortamlarda da sistemi test ettik, ancak DRL ajanlarının bu ortamları kolayca çözebildiğini gördük. Bu çalışmayı yapabilmek ve verimliliğini ölçmebilmek için 2 boyutlu bir simülasyon ortamı oluşturduk. Performansı, simülasyon sonuçlarının analizi ile doğrulandı. Ajanın verimliliğini toplam çarpma oranı metrikleri ile ölçtük. Deneyler, müfredat öğrenme yöntemi ile eğitilmiş ajanın daha iyi başarı oranına ulaştığını, daha iyi kontrol sağladığını, gürültülü koşullar altında daha iyi performans gösterdiğini ve bilinmeyen ortamlara daha hızlı uyum sağlayabildiğini göstermektedir.