PISA 2009 okuma becerileri açık uçlu sorularının puanlanmasında genellenebilirlik kuramındaki farklı desenlerin karşılaştırılması
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü, Eğitim Bilimleri A.B.D., Türkiye
Tezin Onay Tarihi: 2013
Tezin Dili: Türkçe
Öğrenci: MERAL ALKAN
Asıl Danışman (Eş Danışmanlı Tezler İçin): NURİ DOĞAN
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu araştırmada, PISA 2009 Okuma Becerileri performansını değerlendirmede kullanılan açık uçlu soruların, birden fazla puanlayıcı tarafından birlikte ve dönüşümlü olarak puanlanmasıyla elde edilen farklı desenler Genellenebilirlik Kuramına göre karşılaştırılmıştır.Bu çalışmanın örneklemini, PISA 2009 uygulamasına katılan 4996 öğrenciden, okuma becerileri alanında yer alan soruları yanıtlayan ve yanıtladıkları kitapçıklar birden fazla puanlayıcı tarafından puanlanan 886 öğrenci oluşturmaktadır. Araştırmada, iki farklı senaryo üzerinden genellenebilirlik kuramında kullanılmak üzere iki desen tasarlanmıştır. Bu desenlerden ilki, öğrenci (ö), soru (s) ve puanlayıcı (p) değişkenleri olmak üzere, öğrencilerin aynı beceriler konusunda puanlayıcıların her biri tarafından puanlandığı ö x s x p çapraz desendir. İkinci desen ise, her bir puanlayıcının öğrencilerden sadece bir kısmını puanlamasıyla oluşan, öğrenci ve puanlayıcı değişkenlerinin yuvalanmış olduğu, soruların ise bu değişkenlerle çaprazlanmış olduğu (ö:p) x s desenidir.Analizler EduG 6 Programıyla gerçekleştirilmiştir. EduG 6 Programı, varyans analizine dayalı ve genellenebilirlik kuramı analizleri için geliştirilmiş bir programdır. Program, araştırmacının ölçmeye etki eden en büyük varyans kaynağını belirlemesine olanak sağlar ve Karar çalışmasıyla hata varyansına en çok katkısı olan örneklem deseninde yapılan değişikliğin etkilerini görmesine yardımcı olur.Ö x S x P ve (Ö:P) x S desenleri karşılaştırıldığında, (Ö:P) x S deseni ile kestirilen bağıl ve mutlak hata varyanslarının Ö x S x P desenine göre daha küçük olduğu, dolayısıyla G ve Phi katsayılarının daha büyük değerler aldığı görülmektedir. Bu iki desende yapılan Karar çalışmaları incelendiğinde, her iki desende de puanlayıcı sayısını artırmanın G ve Phi katsayılarında artış sağladığı görülmüştür. 2, 4, 5, 6 ve 7 nolu Kitapçıklarda, puanlayıcı sayısını yarıya indirerek ya da madde sayısını yarıya indirerek, çoğu zaman her ikisinin sayısını da yarıya indirerek kabul edilebilir düzeylerde G katsayısına ulaşmanın mümkün olduğu görülmektedir.2, 4, 5, 6, 7 nolu Kitapçıklarda madde ve puanlayıcı sayısının indirilip, 8 ve 12 nolu Kitapçıklarda madde sayısı sabit tutularak, puanlayıcı sayısının artırılmasının zaman, işgücü ve ekonomi açısından uygun olacağı sonucuna ulaşılmıştır.