Angoff, Yes/No ve Ebel Standart Belirleme Yöntemlerinin karşılaştırılması
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Eğitim Bilimleri A.B.D., Türkiye
Tezin Onay Tarihi: 2012
Tezin Dili: Türkçe
Öğrenci: CEYLAN GÜNDEĞER
Asıl Danışman (Eş Danışmanlı Tezler İçin): NURİ DOĞAN
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu araştırmada Angoff, Yes/No ve Ebel standart belirleme yöntemleri ile elde edilen kararlar ve kesme puanları karşılaştırılmıştır.Araştırmanın öğrenci verilerini, ilköğretim 4. sınıf matematik dersi ?Bölme ve Kesirler? alt öğrenme alanlarına yönelik araştırmacı tarafından hazırlanmış 20 soruluk bir başarı testinden alınan 489 öğrenci puanı oluşturmuştur. Araştırmada kullanılan diğer veriler ise 17 uzmanın hazırlanan bu başarı testindeki maddeler için üç farklı standart belirleme yöntemine göre vermiş oldukları kararlardır.Verilerin analizinde üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasındaki farklılıklar bağımlı iki oran arasındaki farkın testi ile sınanmıştır. Bu üç yöntemden elde edilen kesme puanlarına göre öğrenci puanları başarılı-başarısız olmak üzere yapay ikili hâle getirilip aralarındaki uyuma Cohen'in Kappa istatistiği ile bakılmıştır. Üç yönteme ait kesme puanları arasındaki uyuma Pearson Momentler Çarpımı Korelasyon Katsayısı ile ve kesme puanlarının ortalamaları arasındaki farka da bağımlı gruplar t testi ile bakılmıştır. Yöntemlerdeki uzmanlar arası uyumun belirlenmesi amacıyla Angoff ve Ebel yöntemleri için Kendall'ın uyuşum katsayısı (W); Yes/No yöntemi için ise Cohen'in Kappa istatistiği hesaplanmıştır. Ayrıca yöntemlere ait kararların varyans bileşenleri ve varyans yüzdeleri genellenebilirlik kuramı ile incelenmiş; her bir yöntem için en uygun puanlayıcı sayısı da D çalışması ile belirlenmiştir.Bu araştırma sonunda bu üç farklı standart belirleme yöntemine göre başarılı sayılan öğrenci yüzdeleri arasında 0,01 hata düzeyinde manidar farklılık olduğu görülmüştür. Bu üç yöntemden elde edilen kesme puanlarına göre öğrenci puanları başarılı-başarısız olmak üzere yapay ikili hâle getirildiğinde Angoff ve Yes/No yöntemleri ile Angoff ve Ebel yöntemleri arasında 0,01 hata düzeyinde yüksek bir uyum; Yes/No ve Ebel yöntemleri arasında ise 0,01 hata düzeyinde makul bir uyum olduğu sonucuna ulaşılmıştır. Üç yönteme ait kesme puanları bakımından Angoff ve Yes/No yöntemleri ile belirlenen minimum geçme puanları (MGP) arasında pozitif ve orta düzeyde bir ilişki olduğunu ve iki yönteme ait MGP'lerin ortalamaları arasında da manidar bir farklılığın olmadığını; Angoff ve Ebel yöntemleri ile belirlenen MGP'ler arasında pozitif ve yüksek düzeyde bir ilişki olduğu ve iki yönteme ait MGP'lerin ortalamaları arasında ise manidar bir farklılığın olduğunu; Yes/No ve Ebel yöntemleri ile belirlenen MGP'ler arasında ise anlamlı bir ilişkinin olmadığı ve iki yönteme ait MGP'lerin ortalamaları arasında ise manidar bir farklılığın olduğunu söyleyebiliriz. Yöntemlerdeki uzmanlar arası uyumun ise makul düzeyde olduğu görülmüştür.Yöntemlere ait uzman kararlarının G kuramı ile incelenmesi sonucunda, üç yöntemin maddelere ait farklılıkları fazla ortaya çıkaramadığı; Ebel yönteminin uzmanlar arası tutarlılık bakımından en düşük sonucu verdiği, onu takiben Angoff yönteminin geldiği ve en yüksek uzman tutarlılığını Yes/No yönteminin verdiği sonucuna ulaşılmıştır. Ayrıca üç yöntemde de hem uzmanlar tarafından maddelere ait güçlük düzeylerinin farklı algılandığı hem de hata varyansının büyük olduğu görülmüştür. Üç yöntemin birlikte ele alındığı G çalışması sonucunda maddeler arası farklılığın ortaya çıkarılamadığı; uzmanlar arasında bir uyumun olduğu ve yöntemler arasında da büyük bir farklılığın olduğu sonucuna ulaşılmıştır. Ayrıca maddelerin bir yöntemden diğer yönteme çok farklı puanlanmadığı; belirli bir uzmanın tüm maddeler için aynı puanlamayı yapmadığı ya da belirli bir maddenin puanlanmasıyla diğer maddelerin puanlaması bakımından bağımlılık olduğu; uzmanların bir yöntemden diğer yönteme kararlı puanlama yapmadıkları, bir başka deyişle uzmanların yöntemlere göre farklı puanlama yaptıkları ve ölçülemeyen hata kaynaklarının büyük olduğu sonucuna ulaşılmıştır.D çalışması sonuçlarına göre Angoff ve Yes/No yöntemleri ile kesme puanı belirlenirken 17 civarında uzmandan; Ebel yönteminde ise 22 civarında uzmandan karar almanın güvenirlik için yeterli olacağı; daha fazla sayıda uzmandan karar alındığında yöntemlere ait G ve Phi katsayılarının arttığı, ancak bu katsayılarda yine de büyük bir değişme olmadığı görülmüştür.