Validity of CTBS from an Analysis of Speededness and Item Response Patterns

• Published in: Canadian journal of education 1986-10, Vol.11 (4), p.536-556
• Main Author: Nagy, G. Philip
• Format: Article
• Language: English
• Subjects: Basic skills; Compensatory education; Curricula; Datasets; Educational research; Educational tests & measurements; Grade 4; Randomness; Test bias; Test scores; Test validity
• ISSN: 0380-2361; 1918-5979
• DOI: 10.2307/1494588

This study examines the validity of the Canadian Tests of Basic Skills from the perspective that several of the subtests of this battery are highly speeded. One tool in the investigation is a modification of the Sato caution index, an index which measures the congruence of individual response patterns with group patterns. Results show that there is very little relationship between the number of items attempted and the number correct. Students who attempt the most questions have answer patterns least congruent with the group pattern, strongly suggesting that those who attempt more items do so by guessing. Slow- and fast-working students are not distributed randomly across schools, thus allowing identification of slow- and fast-working schools. This suggests that guessing behaviour may be at least partly controlled by teacher direction rather than individual preference. Implications for the validity of item difficulties and comparisons across groups and individuals and across subtests are discussed. /// Cet article examine a validité des tests canadiens d'aptitudes élémentaires (Canadian Tests of Basic Skills) en tenant compte du fait que les élèves répondent très rapidement à un grand nombre de ces tests. Un des outils de recherche est une version modifiée du Sato caution index, instrument qui sert à mesurer la conformité des répouses de l'individu par rapport à celles du groupe. Les résultats indiquent qu'il y a très peu de relations entre le nombre de répouses données et le nombre de répouses correctes. Les éléves qui tentent de répondre au plus grand nombre de questions sont ceux dont les répouses diffèrent le plus de celles du groupe, ce qui semble indiquer qu'ils essaient plutôt de deviner la répouse. Les éléves qui répondent lentement ou rapidement au questionnaire peuvent être identifiés. C'est donc dire que l'enseignant peut, au moins partiellement, contrôler la tendance des élèves à deviner plutôt que de laisser ceux-ci répondre à leur propre rythme. Ou discute de ce que cela implique en terme de validité des niveaux de difficulté des items, de comparaison entre les groupes et les individus et entre les tests secondaires. /// Diese Abhandlung untersucht die Gültigkeit der kanadischen Tests der grundlegenden Fähigkeiten und kommt zum Schluß, daß mehrere der Teiltests der Gruppe zu schnell ausgefürt werden müssen. Die Untersuchung stützt sich auf eine Abänderung des Sato Caution Indexes welcher die Übereinstimmung zwischen den Antworten von Einzelper