Çok boyutlu test deseninin ve kalibrasyon yöntemlerinin çok boyutlu bireyselleştirilmiş bilgisayar uygulamalarına etkisi
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Eğitim Bilimleri A.B.D., Türkiye
Tezin Onay Tarihi: 2016
Tezin Dili: Türkçe
Öğrenci: EREN HALİL ÖZBERK
Asıl Danışman (Eş Danışmanlı Tezler İçin): SELAHATTİN GELBAL
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Testler kimi zaman bireyleri sıralamak kimi zaman da bireyler hakkında tanılayıcı değerlendirmeler yapmak gibi farklı amaçlar doğrultusunda geliştirilebilirler. Ancak son zamanlarda testlerin istenmeyen boyutları ölçtüğü veya çok boyutlu yapılarda geliştirildiği durumlarda alt boyut puanlarının rapor edilmesine yönelik problemler ortaya çıkmaktadır. Çok boyutlu bireyselleştirilmiş bilgisayarlı test (ÇBBBT) uygulamaları, çok boyutlu madde tepki kuramı (ÇBMTK) varsayımlarını kullanarak çok sayıda boyutu etkili bir şekilde ölçebilmektedir. Literatürde alt boyut ve toplam yetenek puanları kestirimlerinin kesinliklerini artırmaya yönelik çok sayıda ÇBBBT madde seçme yöntemi çalışması bulunmaktadır. Literatürde farkı koşul altında madde seçme yöntemlerinin karşılaştırılmasına ilişkin araştırmalar yer almakta fakat testin yapısına ve madde bankasının kalibrasyonlarına göre herhangi bir karşılaştırılmaya rastlanmamaktadır. Bu çalışmada, önceki çalışmalardan farklı olarak, tek ve çok boyutlu kalibrasyon yöntemleri ile çok boyutlu test yapısı (basit ve karmaşık) gerçek test koşullarına en uygun olacak şekilde karşılaştırılmıştır. Bu çalışmanın amacı ÇBBBT uygulamalarında alt boyut ve toplam yetenek puanlarını kestirirken kullanılan çok boyutlu madde seçme yöntemlerinin hata, yanlılık ve korelasyon değerlerini test desenine, kalibrasyon yöntemine ve boyut başına düşen madde sayısına göre karşılaştırmaktır. Araştırmada test deseni, boyut başına düşen madde sayısı, kalibrasyon yöntemi ve madde seçme yöntemi olmak üzere dört koşul manipüle edilmiştir. Basit, düşük karmaşık ve yüksek karmaşık test yapıları için 1000x3 ve 1000x45 matrisleri gerçek yetenek parametreleri çok değişkenli normal dağılımdan rastgele olarak üretilmiştir. Üretilen madde ve yetenek parametreleri kullanılarak telafi edici çok boyutlu 3 parametreli lojistik modele ve belirlenen korelasyon değerlerine göre ikili puanlanan madde yanıt setleri oluşturulmuştur. 3 boyutlu madde bankası basit ve karmaşık test desenleri için simüle edilmiştir. Araştırmada boyutlar arasındaki korelasyon değerleri 0.2, 0.5 ve 0.8; kalibrasyon yöntemleri olarak tek boyutlu ayrı kalibrasyon ile iki farklı çok boyutlu (Bock and Aitkin EM ve Metropolis-Hastings Robbins-Monro algoritmaları) ile minimum açı, Kullback-Leibler (KL) ve minimum hata varyansı madde seçme yöntemleri kullanılmıştır. Alt boyut ve toplam yetenek puanlarının performansları gerçek ve ÇBBBT sonrası kestirilen puanlar arasındaki mutlak yanlılık (ABSBIAS), hata kareleri ortalamasının karekökü (RMSE) ve korelasyona değerlerine göre karşılaştırılmıştır. Araştırmanın sonuçları incelendiğinde kalibrasyon yöntemlerinin, test deseninin ve boyut başına düşen madde sayısının alt boyut ve toplam yetenek puanlarının kestiriminde madde seçme yöntemlerinin performansına anlamlı bir etkisinin olduğu belirlenmiştir. Çok boyutlu test modelinin karmaşıklaştığı durumda hem alt boyut hem de toplam yetenek puanları kestirimlerinde mutlak yanlılık değerlerinin anlamlı bir biçimce azaldığı görülmüştür. Farklı test desenlerinde farklı madde seçme yöntemlerinin daha iyi performans gösterdiği belirlenmiştir. Basit yapılı test deseninde boyutlar arası korelasyonun orta düzeyde (0.5) olduğu uzun testlerde (N=45), toplam puanların kestiriminde tek boyutlu ve BAEM kalibrasyonu için minimum hata varyansı (V1) madde seçme yönteminin en düşük mutlak yanlılık değerlerine sahip olduğu belirlenmiştir. Düşük karmaşık yapılı test deseninde boyutlar arası korelasyonun yüksek düzeyde (0.8) olduğu uzun testlerde (N=45), toplam puanların kestiriminde tek boyutlu kalibrasyon için Vol madde seçme yönteminin en düşük mutlak yanlılık değerlerine sahip olduğu belirlenmiştir. BAEM kalibrasyonunda ise en düşük mutlak yanlılık değeri boyutlar arası korelasyonun düşük düzeyde (0.2) olduğu uzun testlerde (N=45) Vol madde seçme yönteminde gözlenmiştir. Yüksek karmaşık yapılı test deseninde boyutlar arası korelasyonun yüksek düzeyde (0.8) olduğu uzun testlerde (N=45), toplam puanların kestiriminde tek boyutlu kalibrasyon için V1 madde seçme yönteminin en düşük mutlak yanlılık değerlerine sahip olduğu belirlenmiştir. BAEM kalibrasyonunda ise en düşük mutlak yanlılık değeri boyutlar arası korelasyonun düşük düzeyde (0.2) olduğu uzun testlerde (N=45) KL madde seçme yönteminde gözlenmiştir.