Nghiên cứu xác trị các điểm cắt của bài thi VSTEP 3-5 đánh giá năng lực tiếng Anh

• Tác giả: Nguyễn Thị Quỳnh Yến
• Người hướng dẫn: Nguyễn Hòa (Supervisor)
• Trường học: University of Languages and International Studies, Vietnam National University, Hanoi
• Chuyên ngành: English Language Teaching Methodology
• Đề tài: An Investigation Into The Cut-Score Validity Of The VSTEP.3-5 Listening Test
• Loại tài liệu: Doctoral Dissertation
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Mục lục chi tiết

• DECLARATION OF AUTHORSHIP
• 1. CHAPTER I: INTRODUCTION
• 1.1. Statement of the problem
• 1.2. Objectives of the study
• 1.3. Significance of the study
• 1.4. Scope of the study
• 1.5. Statement of research questions
• 1.6. Organization of the study
• 2. CHAPTER II: LITERATURE REVIEW
• 2.1. Validation in language testing
• 2.2. Standard setting for an English proficiency test
• 2.2.1. Definition of standard setting
• 2.2.2. Overview of standard setting methods
• 2.2.3. Common elements in standard setting
• 2.2.4. Selecting a standard-setting method
• 2.2.5. Choosing a standard setting panel
• 2.2.6. Preparing descriptions of performance-level descriptors
• 2.2.7. Providing feedback to panelists
• 2.2.8. Compiling ratings and obtain cut scores
• 2.2.9. Evaluating standard setting
• 2.2.10. Comparisons to other standard-setting methods
• 2.2.11. Comparisons to other sources of information
• 2.2.12. Reasonableness of cut scores
• 2.3. Communicative language testing
• 2.4. Statistical analysis for a language test
• 2.4.1. Statistical analysis of multiple choice (MC) items
• 2.4.2. Investigating reliability of a language test
• 2.5. Review of validation studies
• 2.5.1. Review of validation studies on standard setting
• 2.5.2. Review of studies employing argument-based approach in validating language tests
• 2.6. Summary
• 3. CHAPTER III: METHODOLOGY
• 3.1. Context of the study
• 3.2. About the VSTEP
• 3.2.1. The development history of the VSTEP
• 3.2.2. The administration of the VSTEP.3-5 test in Vietnam
• 3.2.3. Test structure and scoring rubrics
• 3.2.4. The establishment of the cut scores
• 3.2.5. Building an interpretive argument for the VSTEP
• 3.3. Description of methods of the study
• 3.3.1. Analysis of the test tasks and test items
• 3.3.1.1. Analysis of test tasks
• 3.3.1.2. Analysis of test items
• 3.3.2. Analysis of test reliability
• 3.3.3. Validation of cut-scores
• 3.3.4. Description of Bookmark standard setting procedures
• 3.3.5. Selection of participants of the study
• 3.3.5.1. Test takers of early 2017 administration
• 3.3.5.2. Participants for Bookmark standard setting method
• 3.3.6. Descriptions of tools for data analysis
• 3.3.6.1. Text analyzing tools
• 3.3.6.2. Speech rate analyzing tool
• 3.3.6.3. Statistical analyzing tools
• 4. CHAPTER IV: DATA ANALYSIS
• 4.1. Analysis of the test tasks and test items
• 4.1.1. Analysis of the test tasks
• 4.1.2. Characteristics of the test rubric
• 4.1.3. Characteristics of the input
• 4.1.4. Relationship between the input and response
• 4.1.5. Analysis of the test items
• 4.1.6. Overall statistics of item difficulty and item discrimination
• 4.2. Analysis of the test reliability
• 4.3. Analysis of the cut-scores
• 4.4. External evidence
• 5. CHAPTER V: FINDINGS AND DISCUSSIONS
• 5.1. The characteristics of the test tasks and test items
• 5.2. The reliability of the VSTEP
• 5.3. The accuracy of the cut scores of the VSTEP
• 6. CHAPTER VI: CONCLUSION
• 6.1. Overview of the thesis
• 6.2. Contributions of the study
• 6.3. Limitations of the study
• 6.4. Implications of the study
• 6.5. Suggestions for further research
• LIST OF THESIS-RELATED PUBLICATIONS
• REFERENCES
• APPENDIX 1: Structure of the VSTEP
• APPENDIX 2: Summary of the directness and interactiveness between the texts and the questions of the VSTEP
• APPENDIX 3: Consent form (workshops)
• APPENDIX 4: Agenda for Bookmark standard-setting procedure
• APPENDIX 5: Panelist recording form
• APPENDIX 6: Evaluation form for standard-setting participants
• APPENDIX 7: Control file for WINSTEPS
• APPENDIX 8: Timeline of the VSTEP
• APPENDIX 9: List of the VSTEP.3-5 developers

Tóm tắt

I. Tổng quan về nghiên cứu xác trị điểm cắt bài thi VSTEP 3 5

Nghiên cứu xác trị điểm cắt bài thi VSTEP 3-5 tiếng Anh tại Việt Nam là một chủ đề quan trọng trong lĩnh vực đánh giá năng lực ngoại ngữ. Bài thi VSTEP được thiết kế nhằm đánh giá năng lực tiếng Anh của người học theo Khung năng lực Ngoại ngữ 6 bậc dành cho Việt Nam. Việc xác định điểm cắt hợp lý không chỉ giúp phân loại năng lực của thí sinh mà còn đảm bảo tính công bằng và chính xác trong đánh giá.

1.1. Khái niệm về điểm cắt trong bài thi VSTEP

Điểm cắt là mức điểm tối thiểu mà thí sinh cần đạt được để được công nhận là có năng lực tiếng Anh ở một cấp độ nhất định. Trong bối cảnh bài thi VSTEP, điểm cắt được xác định dựa trên các tiêu chí cụ thể và phản ánh khả năng thực sự của thí sinh.

1.2. Tầm quan trọng của việc xác trị điểm cắt

Việc xác trị điểm cắt có ý nghĩa quan trọng trong việc đảm bảo tính chính xác và công bằng trong đánh giá năng lực tiếng Anh. Nó giúp các cơ sở giáo dục và các tổ chức có thể đưa ra quyết định chính xác hơn về năng lực của thí sinh.

II. Vấn đề và thách thức trong xác trị điểm cắt VSTEP

Mặc dù bài thi VSTEP đã được triển khai rộng rãi, nhưng việc xác định điểm cắt vẫn gặp nhiều thách thức. Các vấn đề như độ tin cậy của bài thi, sự khác biệt trong năng lực giữa các thí sinh và sự thay đổi trong yêu cầu của thị trường lao động đều ảnh hưởng đến quá trình xác định điểm cắt.

2.1. Độ tin cậy của bài thi VSTEP

Độ tin cậy của bài thi VSTEP là một yếu tố quan trọng trong việc xác định điểm cắt. Nếu bài thi không đủ độ tin cậy, điểm cắt có thể không phản ánh chính xác năng lực của thí sinh.

2.2. Sự khác biệt trong năng lực giữa các thí sinh

Sự khác biệt về nền tảng học tập và kinh nghiệm giữa các thí sinh có thể dẫn đến sự không đồng nhất trong kết quả thi. Điều này đặt ra thách thức trong việc xác định điểm cắt phù hợp cho tất cả thí sinh.

III. Phương pháp xác định điểm cắt bài thi VSTEP hiệu quả

Để xác định điểm cắt một cách chính xác, nhiều phương pháp đã được áp dụng. Các phương pháp này bao gồm phương pháp Angoff, Bookmark và các phương pháp thống kê khác. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng.

3.1. Phương pháp Angoff trong xác định điểm cắt

Phương pháp Angoff yêu cầu các chuyên gia đánh giá mức độ khó của từng câu hỏi và xác định tỷ lệ thí sinh có thể trả lời đúng. Phương pháp này giúp đảm bảo rằng điểm cắt phản ánh chính xác năng lực thực tế của thí sinh.

3.2. Phương pháp Bookmark và ứng dụng của nó

Phương pháp Bookmark cho phép các chuyên gia xác định điểm cắt dựa trên các mô tả về năng lực cần thiết cho từng cấp độ. Phương pháp này giúp tạo ra một tiêu chuẩn rõ ràng cho việc đánh giá năng lực.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu về điểm cắt bài thi VSTEP đã cho thấy những kết quả tích cực trong việc cải thiện chất lượng đánh giá năng lực tiếng Anh. Các kết quả này không chỉ giúp các cơ sở giáo dục điều chỉnh chương trình giảng dạy mà còn hỗ trợ thí sinh trong việc xác định mục tiêu học tập.

4.1. Kết quả từ nghiên cứu thực tiễn

Nghiên cứu đã chỉ ra rằng việc xác định điểm cắt hợp lý giúp nâng cao độ tin cậy của bài thi và cải thiện trải nghiệm của thí sinh. Các cơ sở giáo dục có thể sử dụng kết quả này để điều chỉnh chương trình giảng dạy.

4.2. Ứng dụng kết quả nghiên cứu vào thực tiễn

Kết quả nghiên cứu có thể được áp dụng để cải thiện các phương pháp giảng dạy và đánh giá năng lực tiếng Anh tại các cơ sở giáo dục. Điều này không chỉ giúp nâng cao chất lượng giáo dục mà còn đáp ứng nhu cầu của thị trường lao động.

V. Kết luận và triển vọng tương lai của nghiên cứu VSTEP

Nghiên cứu xác trị điểm cắt bài thi VSTEP 3-5 tiếng Anh tại Việt Nam đã mở ra nhiều cơ hội mới cho việc cải thiện chất lượng đánh giá năng lực ngoại ngữ. Tương lai của nghiên cứu này hứa hẹn sẽ tiếp tục phát triển với nhiều phương pháp và công nghệ mới.

5.1. Tóm tắt những đóng góp của nghiên cứu

Nghiên cứu đã đóng góp vào việc xác định các tiêu chuẩn đánh giá năng lực tiếng Anh tại Việt Nam, từ đó giúp nâng cao chất lượng giáo dục và đào tạo.

5.2. Triển vọng nghiên cứu trong tương lai

Trong tương lai, nghiên cứu có thể mở rộng để bao gồm các phương pháp đánh giá mới và công nghệ tiên tiến, từ đó nâng cao tính chính xác và độ tin cậy của bài thi VSTEP.