Üst düzey zihinsel özelliklerin ölçülmesinde puanlayıcılar arası güvenirlik belirleme tekniklerinin karşılaştırılması
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Eğitim Bilimleri A.B.D., Türkiye
Tezin Onay Tarihi: 2011
Tezin Dili: Türkçe
Öğrenci: ÖZGE BIKMAZ
Asıl Danışman (Eş Danışmanlı Tezler İçin): NURİ DOĞAN
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu araştırmada, dereceli puanlama anahtarı türü ve puanlayıcı sayısı değişiminin, puanlayıcı güvenirliği belirlemede kullanılan tekniklerden elde edilen sonuçlar üzerindeki etkisi incelenmiştir. Çalışmada puanlayıcı güvenirliğini belirlemede kappa istatistik tekniği, log linear analiz tekniği ve Krippendorff alfa tekniği kullanılmıştır.Araştırma, temel türden betimsel bir çalışma niteliği taşımaktadır. Araştırmanın çalışma grubu, İstanbul ili Beyoğlu ilçesine bağlı Piripaşa İlköğretim Okulu'nda, 2009-2010 eğitim öğretim yılında 5. sınıfta okuyan 50 öğrenciden ve puanlama yapan 10 öğretmenden oluşmaktadır. Araştırmada, öğrencilere verilen Fen ve Teknoloji dersine ilişkin performans görevlerine, 10 öğretmen (puanlayıcı) tarafından önce analitik puanlama anahtarı kullanılarak, aradan iki hafta zaman geçtikten sonra bütünsel puanlama anahtarı kullanılarak puan verilmiştir. Analitik puanlama anahtarı kullanımında puanlayıcı sayısı değişiminin puanlayıcı güvenirliğine etkisini incelemek adına kappa istatistik tekniği, log linear analiz tekniği ve Krippendorff alfa tekniği kullanılarak 2, 5 ve 10 puanlayıcı arasındaki uyum düzeyleri hesaplanmıştır. Bütünsel puanlama anahtarı kullanımında ise kappa istatistik tekniği, Kendall uyum istatistiği tekniği ve Krippendorff alfa tekniği ile 2, 5 ve 10 puanlayıcı arasındaki uyum elde edilmiştir.Araştırmada üç teknikten elde edilen analiz sonuçları, analitik puanlama anahtarı kullanımının bütünsel puanlama anahtarına göre daha güvenilir puanlama sağladığını göstermiştir. Bununla beraber hem analitik hem de bütünsel puanlama anahtarı kullanılarak toplanan puanların üç teknikle analizinden elde edilen sonuçlarda, puanlayıcı sayısı artışının güvenirlik düzeyini düşürdüğü tespit edilmiştir. Üç teknikle yapılan analizlerde, en yüksek güvenirlik değerleri 2 puanlayıcı kullanıldığında elde edilmiş, puanlayıcı sayısı artırıldıkça güvenirliğin giderek düştüğü saptanmıştır. Analitik puanlama anahtarı kullanılarak elde edilen sonuçlar incelendiğinde, puanlama anahtarını oluşturan kategoriler arasında kategorilerin objektiflik düzeyine dayalı olarak, puanlayıcıların uyum düzeylerinde değişkenlik olduğu saptanmıştır.Araştırmanın sonucunda, kullanılan tekniklerden kappa ve Krippendorff alfa tekniğinin paralel sonuçlar verdiği görülmüştür. İki teknikle de puanlayıcılar arasında şansla beklenen uyumun düzeltilmesine dayalı olan katsayılar elde edilmiştir. Bununla birlikte Krippendorff alfa tekniğinin puanlayıcı sayısı değişiminden kappa'ya göre daha az etkilendiği belirlenmiştir. Log-linear analiz tekniğinin ise değişkenler arasındaki etkileşimleri ve uyumsuzluk kaynağını göstererek daha kapsamlı ve geniş bilgi sağladığı tespit edilmiştir.Sonuç olarak, daha detaylı ölçme sonuçları elde edilmek istendiğinde alt kategorilerden oluşan analitik puanlama anahtarı kullanılarak toplanan puanların, kategorik veri analizi için uygun olan log-linear analiz tekniği ile daha genel ölçme sonuçlarına ulaşılmak istendiğinde ise bütünsel puanlama anahtarı ile elde edilen puanların Krippendorff alfa tekniği ile analiz edilmesinin uygun olduğu düşünülmektedir.