Bu araştırmanın amacı, puanlayıcıların çalışma yılı olarak ele alınan mesleki kıdem farklılıklarının, farklı standart belirleme yöntemleri ile elde edilen kesme puanlarına etkisini incelemektir. Araştırmada Millî Eğitim Bakanlığı tarafından 2014-15 ve 2015-1016 eğitim ve öğretim yıllarında sekizinci sınıf öğrencilerine ortak sınav şeklinde uygulanan Temel Eğitimden Orta Öğretime Geçiş sınavı 1. dönem matematik sorularının ayırt edicilik açısından en iyi 20 maddesinden oluşturulan çoktan seçmeli matematik başarı testi kullanılmıştır. Söz konusu test, Ankara ilindeki ortaokullardan seçkisiz örnekleme yöntemi ile belirlenen 907 sekizinci sınıf öğrencisine uygulanmıştır. Maddelerin Angoff, Nedelsky ve Ebel standart belirleme yöntemleri ile değerlendirilmesi amacıyla hazırlanan uzman değerlendirme formu ile aynı okullarda görevli ve hali hazırda sekizinci sınıflarda ders vermekte olan 40 matematik öğretmeninin değerlendirmeleri alınmıştır. Elde edilen kesme puanları Genellenebilirlik Kuramı ile analiz edilmiştir. Yapılan analizler sonucunda; Angoff, Nedelsky ve Ebel standart belirleme çalışmalarında, mesleki olarak daha kıdemli olan puanlayıcı grubunun kesme puanları belirlemede göreceli olarak daha tutarlı olduğu görülmüştür. Kıdem seviyesinin artmasının yanı sıra puanlayıcı gruplarının çalışma yılı açısından homojenleşmesinin de belirlenen standartların tutarlılığını artırabileceği görülmüştür.
The aim of this research is to analyze the effects of raters’ professional seniority differences approached as working years on cutting scores obtained with different standard setting methods. In this research, the math test which is composed of the best 20 questions, in terms of separation, prepared by Ministry of Education and applied to 8th grade students as a common exam named “TEOG (Passing on Secondary Education from Primary Education)” in 2014-15 and 2015-16 education years was used. This test was applied to 907 8th grade students which were determined by random sampling method in Ankara. An evaluation form was prepared to assess the questions with Angoff, Nedelsky and Ebel standard setting methods. With the help of this form, evaluations carried out by 40 teachers who work at the same school and attend 8th grade classes were taken. Cutting scores, acquired at the end of this evaluation, were analyzed with Generalizability Theory. At the end of these analysis; in the standard setting studies of Angoff, Nedelsky and Ebel, it was seen that the raters which was more senior as working years was more consistent in specifying cutting scores. It was seen that, apart from increase of the level of seniority, more homogeneous of raters' experience can increase the consistency of standards
