Investigation into the factor structure of a local English placement test of oral communication

• Published in: International journal of applied linguistics 2024-02, Vol.34 (1), p.63-85
• Main Authors: Choi, YunDeok, Vo, Sonca, Ockey, Gary J.
• Format: Article
• Language: English
• Subjects: Communicative competence; confirmatory factor analysis; construct validity; English as a second language tests; English for academic purposes; Fluency; Intelligibility; kiểm tra xếp lớp; kĩ năng nói; Measures; phân tích nhân tố khẳng định; placement testing; Placement tests; Pronunciation; speaking; test design; thiết kế bài thi; tiếng Anh dành cho mục đích học thuật; tính hợp lệ của cấu trúc bài thi; Verbal communication
• ISSN: 0802-6106; 1473-4192
• DOI: 10.1111/ijal.12478

This study describes the development process and examines the construct validity of an English placement test of oral communication (EPT OC) developed at a Midwestern university in the United States. This test includes a one‐on‐one oral interview and paired discussion task, and test performance is judged on an analytic rating scale. A confirmatory factor analysis conducted on the ratings of 338 students who took the initial fully operational EPT OC revealed the test structure was represented by a correlated four‐factor model with interactional competence, fluency, pronunciation/comprehensibility, and grammar/vocabulary as sub‐constructs, in line with its targeted theoretical framework. Both tasks were effective in measuring the targeted sub‐constructs, but the sub‐constructs were not sufficiently distinct from each other to completely justify a four‐factor model. The findings provide some support for the proposed interpretations of the EPT OC test scores but indicate the need for some modifications to the assessment, such as more thorough rater training and/or revised rating scales to better distinguish the targeted sub‐constructs. Tóm tắt Nghiên cứu này mô tả tiến trình phát triển và kiểm tra tính hữu ích của cấu trúc bài thi kĩ năng nói để xếp lớp đầu vào tại một trường đại học ở miền trung Hoa Kỳ. Bài thi này bao gồm một bài phỏng vấn trực tiếp và một bài thảo luận theo cặp. Sinh viên được đánh giá dựa trên công cụ đánh giá bao gồm bốn tiêu chí: năng lực tương tác, độ lưu loát, phát âm/mức độ dễ hiểu, và ngữ pháp/từ vựng, tương ứng với cơ sở lí thuyết được dùng để phát triển bài thi. Bài nghiên cứu này sử dụng phương pháp phân tích nhân tố khẳng định để phân tích dữ liệu điểm thi của 338 sinh viên khi các sinh viên này tham dự kì thi ngay khi kì thi được bắt đầu. Kết quả cho thấy rằng bài phỏng vấn trực tiếp và bài thảo luận theo cặp đều hữu hiệu trong việc đo lường bốn tiêu chí đánh giá ở trên. Tuy nhiên, kết quả từ phân tích mô hình bốn tiêu chí cho thấy rằng bốn tiêu chí đánh giá này không khác biệt hoàn toàn. Kết quả nghiên cứu này hỗ trợ cho việc sử dụng điểm thi của bài thi này cho mục đích mà bài thi được tạo ra. Tuy nhiên, nghiên cứu này chỉ ra sự cần thiết để đào tạo kỹ lưỡng hơn người tham gia đánh giá bài thi và/hoặc sửa đổi thang đánh giá để giúp người đánh giá có thể phân biệt rõ hơn các tiêu chí đánh giá.