İşaretleme ve Angoff Standart Belirleme Yöntemlerinin karşılaştırılması
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Eğitim Bilimleri A.B.D., Türkiye
Tezin Onay Tarihi: 2011
Tezin Dili: Türkçe
Öğrenci: SEVDA ÇETİN
Asıl Danışman (Eş Danışmanlı Tezler İçin): SELAHATTİN GELBAL
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu araştırmada, önceden belirlenmiş bir yeterlik puanı bulunan, bir vakıf üniversitenin hazırlık sınıfı öğrencileri için hazırlanan 120 soruluk başlangıç düzeyi sınavının 55 soruluk dilbilgisi ve sözcük bilgisi bölümü kullanılmıştır. Çalışmada standart belirleme yöntemlerinden işaretleme yöntemi ve Angoff yöntemi ile bu sınavın kesme puanı tekrar hesaplanmış ve bulunan kesme puanları mevcut yeterlik puanı ile karşılaştırılmıştır. Angoff Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Uzmanlardan her bir test maddesi için A2 düzeyi sınırındaki öğrencileri göz önüne alarak, bu öğrencilerden yüzde kaçının bu test maddesini doğru cevaplayabileceklerine ilişkin tahminleri sorulmuştur. Angoff Yöntemi uygulanarak 17 uzman ile belirlenen nihai kesme puanı 27,83 olarak belirlenmiştir. Üniversitenin belirlemiş olduğu mevcut kesme puanı olan 35 puan ile Angoff yöntemi kullanılarak belirlenmiş olan kesme puanı arasında yaklaşık 8 puanlık bir fark olduğu görülmüştür. İşaretleme Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Yapılan hesaplamalar sonucunda 1PLM ve RP50 değeri için kesme puanı 19,242 olarak bulunurken, 1 PLM ve RP67 değeri için ise kesme puanı 25,247 puan; 2PLM ve RP50 değeri için kesme puanı 18,897 puan, 2 PLM ve RP67 değeri için kesme puanı ise 25,102 olarak bulunmuştur. Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile gerçek veriden hesaplanan cevaplama olasılıkları arasındaki ilişki düzeyini görmek için uzmanların madde cevaplama olasılıkları ile gerçek madde güçlükleri arasındakiv korelasyon katsayıları incelenmiş, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki korelasyon katsayısı 0,60 olarak bulunmuĢtur. Üniversitenin belirlediği kesme puanı olan 35 üzerinde puan alan öğrenci yüzdesi ise iĢaretleme yöntemine göre belirlenen iki kesme puanından RP50'ye göre 19 puan, RP67'ye göre 25 puan ve Angoff yöntemine göre 27 puan üzerinde puan alan öğrenci yüzdeleri arasında 0,01 düzeyinde fark olduğu, ancak cevaplama olasılıkları RP50 ve RP67'ye göre ve iĢaretleme yöntemi ile Angoff yöntemine göre belirlenen kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında ise önemli bir fark olmadığı saptanmıĢtır. Farklı MTK modelleri ve Cevaplama Olasılığı (RP Response Probability) değerlerinin maddelerin sıralı madde kılavuzundaki yerlerini değiştirip değiştirmediği sıralı madde kılavuzları karşılaştırılarak incelenmiştir. 1PLM'de madde sıralamalarında herhangi bir değişiklik olmadığı, 2PLM'de ise RP değerlerine göre yapılan iki farklı sıralamada sadece 12 maddenin aynı sırada kaldığı, 33 maddenin ise sıralamasının değiştiği görülmüştür. 2PLM'e göre ise RP50 ve RP67 dikkate alınarak yapılmış sıralamaların 1PLM'e göre ve kendi aralarında oldukça düşük korelasyon katsayıları verdiği, yani sıralamalarının 1PLM'e göre ve kendi aralarında büyük ölçüde farklılaştığı görülmüştür. Standart belirleme sürecinin çalışılan uzmanlarca yapılacak değerlendirmesi için geliştirilen standart belirleme sürecini değerlendirme anketi süreç boyunca çalışılan uzmanlara uygulanmış, sorulara verilen cevaplar genel olarak incelendiğinde uzmanların yöntemleri anlaşır ve kullanılabilir bulduğu görülmüştür.