Bireyselleştirilmiş bilgisayarlı test uygulamalarında madde kullanım sıklığı kontrol yöntemlerinin incelenmesi
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Eğitim Bilimleri A.B.D., Türkiye
Tezin Onay Tarihi: 2014
Tezin Dili: Türkçe
Öğrenci: NAGİHAN BOZTUNÇ ÖZTÜRK
Asıl Danışman (Eş Danışmanlı Tezler İçin): NURİ DOĞAN
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bireyselleştirilmiş bilgisayarlı test (BBT) uygulamalarının gün geçtikçe daha fazla tercih edilmesiyle birlikte testlerin geçerliğini tehlikeye düşürebilecek bazı sorunların da beraberinde geldiği görülmektedir. Uygulamalarda madde havuzunun çarpık kullanılması, sık kullanılan maddelerin kişiler tarafından hatırlanabilmesi, madde havuzu kullanımı sürekliliğinin sağlanamaması gibi durumların meydana gelmesi BBT sürecine yeni bir bileşenin eklenmesine sebep olmuştur. Bu nedenle test güvenliğini sağlayabilmek ve madde havuzunun kullanımını daha verimli hale getirebilmek için madde kullanım sıklığı kontrol yöntemleri geliştirilmiştir. Bu araştırmada da, çeşitli madde kullanım sıklığı kontrol yöntemlerinin, madde seçme yöntemi ve madde havuzu özelliklerine göre ölçme kesinliğine ve test güvenliğine olan etkisinin incelenmesi amaçlanmaktadır. Araştırmada madde kullanım sıklığı kontrol yöntemleri olarak Bilgi Koşullu Tesadüfi (5 ve 10 madde), Sympson-Hetter ve Azalarak Kaybolma yöntemleri kullanılmıştır. Ayrıca madde kullanım sıklığı kontrolünün yapılmadığı koşul da referans oluşturması için araştırmaya dahil edilmiştir. Madde seçme yöntemlerinden ise Fisher'in En Çok Bilgi, a-Tabakalama ve Aşamalı En Çok Bilgi Oranı yöntemleri kullanılmıştır. Simülasyon çalışması olarak yürütülen bu araştırmada 1000 bireye ait yetenek parametreleri ortalaması 0, standart sapması 1 olan normal dağılımdan elde edilmiştir. Madde havuzları oluşturulurken; her iki madde havuzunda da a parametresi [0.50;2.00], c parametresi [0.05;0.20] aralığında tek biçimli dağılıma sahip olacak şekilde türetilmiştir. b parametresi ise orta güçlükteki madde havuzunda [-3.00;+3.00] aralığında tek biçimli dağılımdan, yüksek güçlükteki madde havuzunda ise ortalaması 2, standart sapması 1.5 olan normal dağılımdan türetilmiştir. İlk madde seçiminde bireylerin yetenek düzeyleri sıfır olarak tanımlanmış, yetenek kestiriminde ise Beklenen Sonsal Dağılım kestirim yöntemi kullanılmıştır. Sonlandırma kuralı olarak sabit test uzunluğu seçilmiş ve bu uzunluk 25 olarak belirlenmiştir. BBT uygulaması bir günde 1000 kişinin uygulamaya katılması şeklinde simüle edilmiştir. Ölçme kesinliği için uyum katsayısı, RMSE, yanlılık ve ortalama mutlak fark değerleri hesaplanırken; test güvenliği için madde kullanım sıklığı oranlarının dağılımı ve oranların ortalaması, standart sapması, en yüksek madde kullanım sıklığı oranı, ölçeklenmiş ki-kare istatistiği, F oranı ve test çakışması hesaplanmıştır. Fisher'in En Çok Bilgi ve Aşamalı En Çok Bilgi Oranı madde seçme yöntemlerinin kullanıldığı koşullarda madde havuzu kullanımı açısından iki yöntem yakın sonuçlar vermiştir. a-Tabakalama yöntemi ise, madde kullanım sıklığının kontrol edilmediği durumda bile madde havuzu kullanımını dengelemiş ve en çok madde kullanım sıklığı oranını, 𝜒2 ve test çakışma oranını azaltmıştır. a-Tabakalama madde seçme yöntemi ve Azalarak Kaybolma madde kullanım sıklığı kontrol yöntemlerinin beraber kullanıldığı durumlarda madde havuzunun kullanımındaki çarpıklık ve test çakışması diğer koşullara göre daha düşük olmuştur. Araştırmanın sonuçlarına göre, madde kullanım sıklığı kontrol yöntemleri kullanıldığında ölçme kesinliğini belirlemede kullanılan göstergelere ait değerlerde büyük farkların bulunmadığı tespit edilmiştir. Test güvenliğine bakıldığında ise genel olarak Azalarak Kaybolma madde kullanım sıklığı kontrol yönteminin, madde havuzunun kullanımındaki çarpıklığın ve test çakışmasının azaltılması açısından diğer yöntemlere göre daha iyi sonuçlar verdiği görülmüştür. Anahtar sözcükler: Bireyselleştirilmiş bilgisayarlı test, madde kullanım sıklığı kontrol yöntemleri, bilgi koşullu tesadüfi yöntem, Sympson-Hetter yöntemi, azalarak kaybolma yöntemi, ölçme kesinliği, test güvenliği