Sabit ve Anında Bireyselleştirilmiş Çok Aşamalı Testlerin Karşılaştırmalı İncelenmesi: Ölçme Kesinliği ve Madde Güvenliği Açısından Çıkarımlar

Creative Commons License

Yiğiter M. S., DOĞAN N.

Trakya Eğitim Dergisi, cilt.16, sa.2, ss.766-820, 2026 (TRDizin)

Özet

Son yıllarda, Bireyselleştirilmiş Bilgisayarlı Testler (BBT) ve Bireyselleştirilmiş Çok Aşamalı Testler (BÇAT) gibi uyarlanabilir test teknikleri geniş ölçekli değerlendirmelerde giderek daha fazla kullanılmaktadır. Bu çalışma, katılımcının yetenek düzeyine göre maddelerin modüller halinde anlık olarak gruplandırıldığı yeni bir yaklaşım olan Anında BÇAT’ı (A-BÇAT) ve Sabit BÇAT’ı (S-BÇAT), farklı simülasyon koşulları altında ölçme kesinliği ve madde güvenliği açısından karşılaştırmayı amaçlamaktadır. Simülasyonlar, TIMSS’te kullanılan 3PL modele dayalı madde parametre dağılımlarından yararlanılarak yürütülmüştür. A-BÇAT ile S-BÇAT’ın karşılaştırılması için toplam 72 farklı koşul analiz edilmiştir. Ölçme kesinliğine ilişkin bulgular, özellikle test uzunluğunun daha kısa olduğu durumlarda A- BÇAT’ın S-BÇAT’a kıyasla daha iyi performans gösterdiğini ve belirgin biçimde daha yüksek ölçme kesinliği sağladığını ortaya koymaktadır. Ayrıca yetenek dağılımları açısından incelendiğinde, özellikle normal olmayan dağılım koşullarında A-BÇAT’ın S-BÇAT’a göre daha üstün ölçme kesinliği sunduğu görülmüştür. Çalışmanın dikkat çekici sonuçlarından biri, A-BÇAT’ta son modül uzunluğu arttıkça ölçme kesinliğinin yükselmesi; buna karşılık S-BÇAT’ta ilk modül uzunluğu arttıkça ölçme kesinliğinin A-BÇAT’a daha fazla yaklaşmasıdır. Madde güvenliği açısından ise A-BÇAT tüm koşullarda daha fazla sayıda madde kullanmış ve S-BÇAT’a kıyasla daha düşük madde maruz kalma oranı göstermiştir. A-BÇAT’ın hem ölçme kesinliği hem de madde güvenliği bakımından ortaya koyduğu olumlu sonuçlar, geniş ölçekli değerlendirmeler ve ilgili alanyazın çerçevesinde tartışılmıştır.
In recent years, adaptive testing techniques such as Computerized Adaptive Testing (CAT) and Computerized Multistage Testing (MST) have been increasingly incorporated into large-scale evaluations. This study aims to compare Fixed-MST (F-MST) and On-the-Fly MST (O-MST), a novel approach in which items are grouped into modules based on the participant’s ability level, in terms of measurement precision and item security across various simulation scenarios. The simulations were carried out using item parameter distributions derived from the 3PL model applied in TIMSS. A total of 72 different conditions were analyzed to compare O- MST with F-MST. The findings on measurement precision reveal that O-MST performs better than F-MST, especially when the test lengths are shorter, where O-MST shows substantially higher measurement precision. Moreover, when examining ability distributions, O-MST demonstrates better measurement precision compared to F-MST, particularly in cases of non- normal distributions. A significant result from this study is that the measurement precision of O-MST improves as the length of the final module increases, whereas the measurement precision of F-MST becomes more similar to O-MST as the length of the initial module increases. Regarding item security, O-MST employed a greater number of items and exhibited a lower item exposure rate compared to F-MST in all conditions. The favorable results in terms of measurement precision and item security for O-MST are discussed within the framework of large-scale assessments and relevant literature.