Nghiên cứu điểm cắt bài thi nghe năng lực tiếng Anh bậc 3 đến 5 tại Việt Nam

DECLARATION OF AUTHORSHIP

ABSTRACT

1. CHAPTER I: INTRODUCTION

1.1. Statement of the problem

1.2. Objectives of the study

1.3. Significance of the study

1.4. Scope of the study

1.5. Statement of research questions

1.6. Organization of the study

2. CHAPTER II: LITERATURE REVIEW

2.1. Validation in language testing

2.2. The evolution of the concept of validity

2.3. Aspects of validity

2.4. Argument-based approach to validation

2.5. Standard setting for an English proficiency test

2.5.1. Definition of standard setting

2.5.2. Overview of standard setting methods

2.5.3. Common elements in standard setting

2.5.4. Selecting a standard-setting method

2.5.5. Choosing a standard setting panel

2.5.6. Preparing descriptions of performance-level descriptors

2.5.7. Providing feedback to panelists

2.5.8. Compiling ratings and obtain cut scores

2.5.9. Evaluating standard setting

2.5.10. Comparisons to other standard-setting methods

2.5.11. Comparisons to other sources of information

2.5.12. Reasonableness of cut scores

2.6. Communicative language testing

2.7. Statistical analysis for a language test

2.7.1. Statistical analysis of multiple choice (MC) items

2.7.2. Investigating reliability of a language test

2.7.3. Review of validation studies

2.7.4. Review of validation studies on standard setting

2.7.5. Review of studies employing argument-based approach in validating language tests

2.8. Summary

3. CHAPTER III: METHODOLOGY

3.1. Context of the study

3.2. About the VSTEP

3.2.1. The development history of the VSTEP

3.2.2. The administration of the VSTEP.3-5 test in Vietnam

3.2.3. Test structure and scoring rubrics

3.2.4. The establishment of the cut scores

3.3. Building an interpretive argument for the VSTEP

3.4. Description of methods of the study

3.4.1. Analysis of the test tasks and test items

3.4.1.1. Analysis of test tasks

3.4.1.2. Analysis of test items

3.4.2. Analysis of test reliability

3.4.3. Validation of cut-scores

3.4.4. Description of Bookmark standard setting procedures

3.4.5. Selection of participants of the study

3.4.5.1. Test takers of early 2017 administration

3.4.5.2. Participants for Bookmark standard setting method

3.4.6. Descriptions of tools for data analysis

3.4.6.1. Text analyzing tools

3.4.6.2. Speech rate analyzing tool

3.4.6.3. Statistical analyzing tools

4. CHAPTER IV: DATA ANALYSIS

4.1. Analysis of the test tasks and test items

4.1.1. Analysis of the test tasks

4.1.2. Characteristics of the test rubric

4.1.3. Characteristics of the input

4.1.4. Relationship between the input and response

4.1.5. Analysis of the test items

4.1.6. Overall statistics of item difficulty and item discrimination

4.2. Analysis of the test reliability

4.3. Analysis of the cut-scores

4.4. External evidence

5. CHAPTER V: FINDINGS AND DISCUSSIONS

5.1. The characteristics of the test tasks and test items

5.2. The reliability of the VSTEP

5.3. The accuracy of the cut scores of the VSTEP

6. CHAPTER VI: CONCLUSION

6.1. Overview of the thesis

6.2. Contributions of the study

6.3. Limitations of the study

6.4. Implications of the study

6.5. Suggestions for further research

LIST OF THESIS-RELATED PUBLICATIONS

REFERENCES

APPENDIX 1: Structure of the VSTEP

APPENDIX 2: Summary of the directness and interactiveness between the texts and the questions of the VSTEP

APPENDIX 3: Consent form (workshops)

APPENDIX 4: Agenda for Bookmark standard-setting procedure

APPENDIX 5: Panelist recording form

APPENDIX 6: Evaluation form for standard-setting participants

APPENDIX 7: Control file for WINSTEPS

APPENDIX 8: Timeline of the VSTEP

APPENDIX 9: List of the VSTEP.3-5 developers

I. Giới thiệu về điểm cắt bài thi nghe

Nghiên cứu này tập trung vào việc xác định điểm cắt cho bài thi nghe năng lực tiếng Anh bậc 3 đến 5 tại Việt Nam. Bài thi nghe là một phần quan trọng trong việc đánh giá năng lực tiếng Anh của người học. Việc xác định điểm cắt hợp lý giúp phân loại chính xác trình độ của thí sinh, từ đó hỗ trợ cho các quyết định giáo dục và tuyển dụng. Nghiên cứu này cũng xem xét các tiêu chuẩn và phương pháp đã được áp dụng trong việc thiết lập điểm cắt cho các bài thi tương tự trên thế giới.

1.1. Tầm quan trọng của điểm cắt

Điểm cắt không chỉ là một con số mà còn phản ánh khả năng thực sự của thí sinh trong việc sử dụng tiếng Anh. Việc thiết lập điểm cắt chính xác là cần thiết để đảm bảo rằng các thí sinh đạt yêu cầu có thể sử dụng tiếng Anh một cách hiệu quả trong các tình huống thực tế. Nghiên cứu này sẽ phân tích các yếu tố ảnh hưởng đến việc xác định điểm cắt, bao gồm độ khó của bài thi và khả năng nghe hiểu của thí sinh.

II. Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp phân tích định lượng để đánh giá độ tin cậy và tính hợp lệ của điểm cắt. Các dữ liệu thu thập từ 1562 thí sinh tham gia bài thi VSTEP.3-5 sẽ được phân tích để xác định các điểm cắt phù hợp. Phương pháp Bookmark và Angoff sẽ được áp dụng để so sánh và đánh giá các điểm cắt khác nhau. Việc sử dụng các phương pháp này giúp đảm bảo rằng điểm cắt được thiết lập dựa trên các tiêu chí rõ ràng và có thể kiểm chứng.

2.1. Phân tích dữ liệu

Dữ liệu sẽ được phân tích thông qua các công cụ thống kê để xác định độ khó của từng câu hỏi trong bài thi. Các chỉ số như độ khó và độ phân biệt của câu hỏi sẽ được xem xét để đảm bảo rằng các điểm cắt phản ánh chính xác khả năng của thí sinh. Nghiên cứu cũng sẽ xem xét các yếu tố bên ngoài có thể ảnh hưởng đến kết quả thi, như điều kiện thi và sự chuẩn bị của thí sinh.

III. Kết quả và thảo luận

Kết quả nghiên cứu cho thấy rằng các điểm cắt được thiết lập cho bài thi VSTEP.3-5 có tính hợp lệ cao. Các thí sinh đạt điểm cắt cho thấy khả năng nghe hiểu tốt hơn so với những thí sinh không đạt. Nghiên cứu cũng chỉ ra rằng việc áp dụng các phương pháp khác nhau trong việc xác định điểm cắt có thể dẫn đến những kết quả khác nhau. Điều này nhấn mạnh tầm quan trọng của việc lựa chọn phương pháp phù hợp trong việc thiết lập điểm cắt.

3.1. Ý nghĩa thực tiễn

Nghiên cứu này không chỉ có giá trị trong việc xác định điểm cắt cho bài thi VSTEP.3-5, mà còn có thể áp dụng cho các bài thi khác trong tương lai. Việc thiết lập điểm cắt hợp lý sẽ giúp cải thiện chất lượng giáo dục tiếng Anh tại Việt Nam, đồng thời cung cấp thông tin hữu ích cho các nhà quản lý giáo dục trong việc ra quyết định. Hơn nữa, nghiên cứu cũng mở ra hướng đi mới cho các nghiên cứu tiếp theo về năng lực tiếng Anh tại Việt Nam.

Luận văn thạc sĩ: Nghiên cứu xác định điểm cắt bài thi nghe đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5