Nghiên cứu xác trị các điểm cắt của bài thi VSTEP 3-5 đánh giá năng lực tiếng Anh

Luận văn thạc sĩ VNU ULIS nghiên cứu xác định điểm cắt bài thi nghe đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5 theo khung năng lực ngoại ngữ.

• Tác giả: Nguyễn Thị Quỳnh Yến
• Người hướng dẫn: Nguyễn Hòa (Supervisor)
• Trường học: University of Languages and International Studies, Vietnam National University, Hanoi
• Chuyên ngành: English Language Teaching Methodology
• Đề tài: An Investigation Into The Cut-Score Validity Of The VSTEP.3-5 Listening Test
• Loại tài liệu: Doctoral Dissertation
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Mục lục chi tiết

• DECLARATION OF AUTHORSHIP
• 1. CHAPTER I: INTRODUCTION
• 1.1. Statement of the problem
• 1.2. Objectives of the study
• 1.3. Significance of the study
• 1.4. Scope of the study
• 1.5. Statement of research questions
• 1.6. Organization of the study
• 2. CHAPTER II: LITERATURE REVIEW
• 2.1. Validation in language testing
• 2.2. Standard setting for an English proficiency test
• 2.2.1. Definition of standard setting
• 2.2.2. Overview of standard setting methods
• 2.2.3. Common elements in standard setting
• 2.2.4. Selecting a standard-setting method
• 2.2.5. Choosing a standard setting panel
• 2.2.6. Preparing descriptions of performance-level descriptors
• 2.2.7. Providing feedback to panelists
• 2.2.8. Compiling ratings and obtain cut scores
• 2.2.9. Evaluating standard setting
• 2.2.10. Comparisons to other standard-setting methods
• 2.2.11. Comparisons to other sources of information
• 2.2.12. Reasonableness of cut scores
• 2.3. Communicative language testing
• 2.4. Statistical analysis for a language test
• 2.4.1. Statistical analysis of multiple choice (MC) items
• 2.4.2. Investigating reliability of a language test
• 2.5. Review of validation studies
• 2.5.1. Review of validation studies on standard setting
• 2.5.2. Review of studies employing argument-based approach in validating language tests
• 2.6. Summary
• 3. CHAPTER III: METHODOLOGY
• 3.1. Context of the study
• 3.2. About the VSTEP
• 3.2.1. The development history of the VSTEP
• 3.2.2. The administration of the VSTEP.3-5 test in Vietnam
• 3.2.3. Test structure and scoring rubrics
• 3.2.4. The establishment of the cut scores
• 3.2.5. Building an interpretive argument for the VSTEP
• 3.3. Description of methods of the study
• 3.3.1. Analysis of the test tasks and test items
• 3.3.1.1. Analysis of test tasks
• 3.3.1.2. Analysis of test items
• 3.3.2. Analysis of test reliability
• 3.3.3. Validation of cut-scores
• 3.3.4. Description of Bookmark standard setting procedures
• 3.3.5. Selection of participants of the study
• 3.3.5.1. Test takers of early 2017 administration
• 3.3.5.2. Participants for Bookmark standard setting method
• 3.3.6. Descriptions of tools for data analysis
• 3.3.6.1. Text analyzing tools
• 3.3.6.2. Speech rate analyzing tool
• 3.3.6.3. Statistical analyzing tools
• 4. CHAPTER IV: DATA ANALYSIS
• 4.1. Analysis of the test tasks and test items
• 4.1.1. Analysis of the test tasks
• 4.1.2. Characteristics of the test rubric
• 4.1.3. Characteristics of the input
• 4.1.4. Relationship between the input and response
• 4.1.5. Analysis of the test items
• 4.1.6. Overall statistics of item difficulty and item discrimination
• 4.2. Analysis of the test reliability
• 4.3. Analysis of the cut-scores
• 4.4. External evidence
• 5. CHAPTER V: FINDINGS AND DISCUSSIONS
• 5.1. The characteristics of the test tasks and test items
• 5.2. The reliability of the VSTEP
• 5.3. The accuracy of the cut scores of the VSTEP
• 6. CHAPTER VI: CONCLUSION
• 6.1. Overview of the thesis
• 6.2. Contributions of the study
• 6.3. Limitations of the study
• 6.4. Implications of the study
• 6.5. Suggestions for further research
• LIST OF THESIS-RELATED PUBLICATIONS
• REFERENCES
• APPENDIX 1: Structure of the VSTEP
• APPENDIX 2: Summary of the directness and interactiveness between the texts and the questions of the VSTEP
• APPENDIX 3: Consent form (workshops)
• APPENDIX 4: Agenda for Bookmark standard-setting procedure
• APPENDIX 5: Panelist recording form
• APPENDIX 6: Evaluation form for standard-setting participants
• APPENDIX 7: Control file for WINSTEPS
• APPENDIX 8: Timeline of the VSTEP
• APPENDIX 9: List of the VSTEP.3-5 developers

Tóm tắt

I. Tổng quan về nghiên cứu xác trị điểm cắt bài thi VSTEP 3 5

Nghiên cứu xác trị điểm cắt bài thi VSTEP 3-5 tiếng Anh tại Việt Nam là một chủ đề quan trọng trong lĩnh vực đánh giá năng lực ngoại ngữ. Bài thi VSTEP được thiết kế nhằm đánh giá năng lực tiếng Anh của người học theo Khung năng lực Ngoại ngữ 6 bậc dành cho Việt Nam. Việc xác định điểm cắt hợp lý không chỉ giúp phân loại năng lực của thí sinh mà còn đảm bảo tính công bằng và chính xác trong đánh giá.

1.1. Khái niệm về điểm cắt trong bài thi VSTEP

Điểm cắt là mức điểm tối thiểu mà thí sinh cần đạt được để được công nhận là có năng lực tiếng Anh ở một cấp độ nhất định. Trong bối cảnh bài thi VSTEP, điểm cắt được xác định dựa trên các tiêu chí cụ thể và phản ánh khả năng thực sự của thí sinh.

1.2. Tầm quan trọng của việc xác trị điểm cắt

Việc xác trị điểm cắt có ý nghĩa quan trọng trong việc đảm bảo tính chính xác và công bằng trong đánh giá năng lực tiếng Anh. Nó giúp các cơ sở giáo dục và các tổ chức có thể đưa ra quyết định chính xác hơn về năng lực của thí sinh.

II. Vấn đề và thách thức trong xác trị điểm cắt VSTEP

Mặc dù bài thi VSTEP đã được triển khai rộng rãi, nhưng việc xác định điểm cắt vẫn gặp nhiều thách thức. Các vấn đề như độ tin cậy của bài thi, sự khác biệt trong năng lực giữa các thí sinh và sự thay đổi trong yêu cầu của thị trường lao động đều ảnh hưởng đến quá trình xác định điểm cắt.

2.1. Độ tin cậy của bài thi VSTEP

Độ tin cậy của bài thi VSTEP là một yếu tố quan trọng trong việc xác định điểm cắt. Nếu bài thi không đủ độ tin cậy, điểm cắt có thể không phản ánh chính xác năng lực của thí sinh.

2.2. Sự khác biệt trong năng lực giữa các thí sinh

Sự khác biệt về nền tảng học tập và kinh nghiệm giữa các thí sinh có thể dẫn đến sự không đồng nhất trong kết quả thi. Điều này đặt ra thách thức trong việc xác định điểm cắt phù hợp cho tất cả thí sinh.

III. Phương pháp xác định điểm cắt bài thi VSTEP hiệu quả

Để xác định điểm cắt một cách chính xác, nhiều phương pháp đã được áp dụng. Các phương pháp này bao gồm phương pháp Angoff, Bookmark và các phương pháp thống kê khác. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng.

3.1. Phương pháp Angoff trong xác định điểm cắt

Phương pháp Angoff yêu cầu các chuyên gia đánh giá mức độ khó của từng câu hỏi và xác định tỷ lệ thí sinh có thể trả lời đúng. Phương pháp này giúp đảm bảo rằng điểm cắt phản ánh chính xác năng lực thực tế của thí sinh.

3.2. Phương pháp Bookmark và ứng dụng của nó

Phương pháp Bookmark cho phép các chuyên gia xác định điểm cắt dựa trên các mô tả về năng lực cần thiết cho từng cấp độ. Phương pháp này giúp tạo ra một tiêu chuẩn rõ ràng cho việc đánh giá năng lực.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu về điểm cắt bài thi VSTEP đã cho thấy những kết quả tích cực trong việc cải thiện chất lượng đánh giá năng lực tiếng Anh. Các kết quả này không chỉ giúp các cơ sở giáo dục điều chỉnh chương trình giảng dạy mà còn hỗ trợ thí sinh trong việc xác định mục tiêu học tập.

4.1. Kết quả từ nghiên cứu thực tiễn

Nghiên cứu đã chỉ ra rằng việc xác định điểm cắt hợp lý giúp nâng cao độ tin cậy của bài thi và cải thiện trải nghiệm của thí sinh. Các cơ sở giáo dục có thể sử dụng kết quả này để điều chỉnh chương trình giảng dạy.

4.2. Ứng dụng kết quả nghiên cứu vào thực tiễn

Kết quả nghiên cứu có thể được áp dụng để cải thiện các phương pháp giảng dạy và đánh giá năng lực tiếng Anh tại các cơ sở giáo dục. Điều này không chỉ giúp nâng cao chất lượng giáo dục mà còn đáp ứng nhu cầu của thị trường lao động.

V. Kết luận và triển vọng tương lai của nghiên cứu VSTEP

Nghiên cứu xác trị điểm cắt bài thi VSTEP 3-5 tiếng Anh tại Việt Nam đã mở ra nhiều cơ hội mới cho việc cải thiện chất lượng đánh giá năng lực ngoại ngữ. Tương lai của nghiên cứu này hứa hẹn sẽ tiếp tục phát triển với nhiều phương pháp và công nghệ mới.

5.1. Tóm tắt những đóng góp của nghiên cứu

Nghiên cứu đã đóng góp vào việc xác định các tiêu chuẩn đánh giá năng lực tiếng Anh tại Việt Nam, từ đó giúp nâng cao chất lượng giáo dục và đào tạo.

5.2. Triển vọng nghiên cứu trong tương lai

Trong tương lai, nghiên cứu có thể mở rộng để bao gồm các phương pháp đánh giá mới và công nghệ tiên tiến, từ đó nâng cao tính chính xác và độ tin cậy của bài thi VSTEP.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ của nghiên cứu sinh Nguyễn Thị Quỳnh Yến với tiêu đề "An investigation into the cut-score validity of the VSTEP.3-5 Listening Test" (Nghiên cứu xác trị các điểm cắt của kết quả bài thi Nghe Đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5 theo Khung năng lực Ngoại ngữ 6 bậc dành cho Việt Nam), thuộc chuyên ngành Phương pháp Giảng dạy Tiếng Anh (English Language Teaching Methodology, mã số: 9140231.01), được hoàn thành tại Trường Đại học Ngoại ngữ – Đại học Quốc gia Hà Nội năm 2018 dưới sự hướng dẫn của GS. Nguyễn Hòa và GS. Fred Davidson.

Tính cấp thiết và khoảng trống nghiên cứu

Trong khuôn khổ Đề án Ngoại ngữ Quốc gia 2020 (ban hành theo Quyết định 1400/QĐ-TTg ngày 30/09/2008 của Thủ tướng Chính phủ), bài thi Định dạng đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5 (VSTEP.3-5) chính thức được Bộ Giáo dục và Đào tạo ban hành vào ngày 11/03/2015. Đây là bài thi chuẩn hóa đầu tiên của Việt Nam đánh giá năng lực tiếng Anh xuyên suốt ba bậc trình độ từ Bậc 3 đến Bậc 5 (tương đương cấp độ B1 đến C1 theo Khung tham chiếu chung Châu Âu - CEFR). Kết quả điểm số và các mốc "điểm cắt" (cut scores) của VSTEP.3-5 đóng vai trò có tính chất quyết định cao (high-stakes test), được sử dụng trực tiếp làm chuẩn đầu ra cho sinh viên đại học (Bậc 3 đối với sinh viên không chuyên ngữ, Bậc 5 đối với sinh viên chuyên ngữ) và yêu cầu năng lực ngoại ngữ cho đội ngũ giáo viên (Bậc 4 đối với giáo viên tiểu học, trung học cơ sở; Bậc 5 đối với giáo viên trung học phổ thông, giảng viên đại học, cao đẳng).

Mặc dù việc phân loại thí sinh phụ thuộc hoàn toàn vào hệ thống điểm cắt được thiết lập sẵn (pre-established cut scores) áp dụng cho mọi đề thi, tính xác trị (validity) của các điểm cắt này chưa từng được kiểm chứng thực nghiệm toàn diện. Theo Buck (2001), đánh giá kỹ năng nghe là một trong những lĩnh vực phức tạp nhất nhưng lại ít được nghiên cứu sâu trong khảo thí ngôn ngữ. Phần lớn các nghiên cứu thiết lập chuẩn trên thế giới chỉ dừng lại ở việc so sánh hai phương pháp thiết lập chuẩn riêng lẻ thay vì đặt trong một khung lập luận xác trị tổng thể. Do đó, việc xây dựng một hệ thống lập luận xác trị có hệ thống, minh bạch và có căn cứ khoa học cho điểm cắt bài thi Nghe VSTEP.3-5 là yêu cầu cấp thiết.

Mục tiêu và câu hỏi nghiên cứu

Mục tiêu tổng quát của luận án là ứng dụng tiếp cận lập luận xác trị (argument-based approach) theo mô hình của Kane (2013) để kiểm chứng tính xác trị của các điểm cắt bài thi Nghe VSTEP.3-5.

Luận án đặt ra một câu hỏi nghiên cứu chính và ba câu hỏi nghiên cứu cụ thể:

• Câu hỏi chính: Điểm cắt của bài thi Nghe VSTEP.3-5 phản ánh mức độ hợp lý như thế nào đối với năng lực nghe của thí sinh? (To what extent do the cut scores of the VSTEP.3-5 listening test provide reasonable interpretation of the test-takers’ listening ability?)
• Câu hỏi 1: Các nhiệm vụ và câu hỏi của bài thi Nghe VSTEP.3-5 được thiết kế phù hợp với bản đặc tả đề thi (test specifications) ở mức độ nào? (To what extent are the test tasks and the test items of the VSTEP.3-5 listening test properly designed in accordance with the specifications?)
• Câu hỏi 2: Điểm số bài thi Nghe VSTEP.3-5 đạt độ tin cậy ở mức độ nào trong việc đo lường năng lực tiếng Anh của thí sinh? (To what extent are the VSTEP.3-5 listening test scores reliable in measuring the test takers’ English proficiency?)
• Câu hỏi 3: Các điểm cắt của bài thi Nghe VSTEP.3-5 được thiết lập hợp lý ở mức độ nào? (To what extent are the cut scores reasonably established for the VSTEP.3-5 listening test?)

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Tính xác trị của các điểm cắt bài thi Nghe VSTEP.3-5, đặc tính của các nhiệm vụ thi, câu hỏi thi trắc nghiệm khách quan, độ tin cậy của bài thi và các phán đoán thiết lập chuẩn của chuyên gia.
• Phạm vi dữ liệu: Dữ liệu điểm số từ 1.562 thí sinh tham gia đợt thi VSTEP.3-5 vào đầu năm 2017 tại một cơ sở giáo dục đại học được Bộ Giáo dục và Đào tạo cấp phép tổ chức thi và cấp chứng chỉ; cùng hội đồng chuyên gia tham gia quy trình thiết lập chuẩn điểm cắt.

---

Tổng quan tài liệu và vị trí của luận án

Quá trình phát triển khái niệm xác trị

Luận án điểm lại lịch sử phát triển của khái niệm xác trị trong đo lường tâm lý và giáo dục:

1. Giai đoạn đầu thế kỷ 20: Xác trị được định nghĩa chủ yếu thông qua tương quan giữa điểm thi với các tiêu chí bên ngoài (Kelly, 1927; Thurstone, 1932; Bingham, 1937) hoặc định nghĩa đơn giản là mức độ bài thi đo lường đúng cái cần đo (Garret, 1937).
2. Giai đoạn giữa thế kỷ 20: Xuất hiện các yêu cầu mở rộng lý thuyết xác trị (Rulon, 1946; Mosier, 1947; Cureton, 1951; Gulliksen, 1950; Ebel, 1956). Bản Tiêu chuẩn kỹ thuật APA (1954) phân chia xác trị thành 4 loại: dự đoán (predictive), đồng quy (concurrent), nội dung (content) và cấu trúc (construct). Anastasi (1954, 1982) và Cronbach (1955, 1960) tiếp tục củng cố mô hình ba thành phần (nội dung, tiêu chí, cấu trúc).
3. Quan điểm hiện đại: Tiêu chuẩn đo lường giáo dục và tâm lý AERA, APA, NCME (1985, 1999) và các công trình của Messick (1989), Bachman (1990), Shepard (1993), Sireci (2009) khẳng định xác trị là một khái niệm đơn nhất (unitary concept). Xác trị không thuộc về chính bài thi mà thuộc về tính phù hợp, có ý nghĩa và hữu ích của các suy luận (inferences) và hành động rút ra từ kết quả thi.

Tiếp cận lập luận xác trị (Argument-based Approach)

Kane (1992, 2006, 2013) phát triển cách tiếp cận lập luận xác trị dựa trên khung cấu trúc lập luận của Toulmin (1958, 2003), bao gồm các thành tố:

• Dữ liệu/Cơ sở (Grounds): Dữ liệu quan sát từ bài làm của thí sinh.
• Kết luận/Tuyên bố (Claim): Quyết định hoặc kết luận về năng lực của thí sinh.
• Bảo đảm (Warrant): Quy tắc hoặc giả định cho phép chuyển từ dữ liệu sang kết luận.
• Hỗ trợ (Backing): Bằng chứng lý thuyết và thực nghiệm củng cố cho bảo đảm.
• Phản bác (Rebuttal): Các trường hợp ngoại lệ hoặc bằng chứng làm suy yếu lập luận.

Quy trình xác trị gồm hai cấu phần: lập luận diễn giải (interpretive argument) nêu rõ mạng lưới suy luận và giả định; và lập luận xác trị (validity argument) đánh giá sự nhất quán, tính chặt chẽ và bằng chứng hỗ trợ cho các suy luận đó.

Grounds -----------------------------------------------------> Claim
                          |
                       Warrant
                          |
                       Backing (được bảo vệ trước Rebuttal)

Tổng quan về thiết lập chuẩn (Standard Setting)

Luận án khảo sát các định nghĩa về thiết lập chuẩn từ Cizek (1993, 1996b) và Kane (1994), nhấn mạnh sự phân biệt giữa chuẩn thực hiện (performance standard - khái niệm năng lực tối thiểu) và điểm cắt (cut score - giá trị điểm số thao tác hóa trên thang đo). Thiết lập chuẩn không tìm kiếm một điểm cắt "chân thực tuyệt đối" khách quan mà là sự kết hợp giữa phương pháp lượng giá kỹ thuật và quyết định chính sách dựa trên sự phán đoán của con người (Cizek & Bunch, 2007).

Luận án tổng hợp 18 phương pháp thiết lập chuẩn theo phân loại của Hambleton & Pitoniak (2006):

Nhóm phương pháp	Phương pháp cụ thể	Bản chất nhiệm vụ của hội đồng chuyên gia
Đánh giá câu hỏi và hướng dẫn chấm	Angoff	Ước tính xác suất thí sinh ranh giới trả lời đúng từng câu hỏi trắc nghiệm.
	Extended Angoff	Mở rộng cho các câu hỏi nhiều mức điểm (polytomous items).
	Ebel	Đánh giá câu hỏi theo 2 chiều: độ khó và mức độ liên quan/quan trọng.
	Nedelsky	Ước tính số phương án nhiễu mà thí sinh ranh giới có thể loại trừ.
	Jaeger	Đánh giá dạng Có/Không về việc mọi thí sinh có cần làm đúng câu hỏi hay không.
	Bookmark / Item Mapping	Đặt thẻ đánh dấu (bookmark) trong tập tài liệu câu hỏi sắp xếp theo độ khó.
	Direct Consensus	Thảo luận và đồng thuận về số câu trả lời đúng cho từng nhóm câu hỏi.
Đánh giá thí sinh	Contrasting Groups	Phân loại danh sách thí sinh thành nhóm rõ ràng đạt chuẩn và nhóm dưới chuẩn.
	Borderline Group	Nhận diện trực tiếp những thí sinh ở ngưỡng ranh giới năng lực.
Đánh giá bài làm thí sinh	Item by Item	Xem xét bài làm thực tế theo từng câu để chọn bài làm đại diện ngưỡng ranh giới.
	Holistic (Body of Work)	Đánh giá tổng thể toàn bộ tập bài làm và phân loại vào các nhóm năng lực.
	Hybrid	Phân tích bài làm theo từng phần kết hợp điều chỉnh ở cấp độ toàn bài thi.
Đánh giá hồ sơ điểm số	Judgmental Policy Capturing	Đánh giá hồ sơ điểm số qua các phần thi để xác định chính sách phân loại.
	Dominant Profile	Đồng thuận trực tiếp về chính sách kết hợp điểm (bù trừ hay liên kết).
	Item Cluster	Đánh giá các mẫu hình trả lời câu hỏi trắc nghiệm theo thang 4 mức.
Phương pháp dung hòa	Beuk	Dung hòa giữa ước tính tỷ lệ làm đúng của thí sinh ranh giới và tỷ lệ đỗ kỳ vọng.
	De Gruijter	Bổ sung tham số bất định vào ước tính tỷ lệ làm đúng và tỷ lệ trượt.
	Hofstee	Xác định khoảng điểm đỗ chấp nhận được và khoảng tỷ lệ trượt chấp nhận được.

Khoảng trống nghiên cứu

Các nghiên cứu trước đây (như Chapelle et al., 2008 về TOEFL) đã áp dụng mô hình lập luận của Kane vào bài thi ngôn ngữ, nhưng việc áp dụng mô hình này để xác trị các điểm cắt cho một bài thi đa bậc như VSTEP.3-5 trong bối cảnh Việt Nam chưa được thực hiện. Luận án giải quyết khoảng trống này bằng cách tích hợp phân tích nhiệm vụ đề thi, phân tích độ tin cậy trắc lượng và đối chiếu thực nghiệm phương pháp Bookmark với phương pháp Angoff đã được dùng trước đó.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết phân tích

Luận án dựa trên ba trụ cột lý thuyết chính:

1. Mô hình lập luận xác trị của Kane (2006, 2013): Xây dựng chuỗi 3 suy luận (inferences) cốt lõi:
   • Suy luận 1 (Test tasks & items): Các nhiệm vụ và câu hỏi thi phản ánh đúng bản đặc tả đề thi và cấu trúc năng lực cần đo.
   • Suy luận 2 (Test reliability): Điểm số bài thi đạt độ tin cậy và tính nhất quán đo lường cần thiết.
   • Suy luận 3 (Cut scores): Các điểm cắt phân loại Bậc 3, 4, 5 được thiết lập một cách hợp lý, chính xác và có thể bảo vệ được.
2. Khung phân tích nhiệm vụ bài thi nghe của Buck (2001): Đánh giá đặc tính của bản hướng dẫn làm bài (test rubric), đặc tính ngữ liệu đầu vào (input text characteristics: độ dài, tốc độ nói, độ phức tạp từ vựng/ngữ pháp) và mối quan hệ tương tác giữa ngữ liệu và câu hỏi phản hồi (relationship between input and response).
3. Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) và mô hình Rasch: Sử dụng để hiệu chuẩn tham số câu hỏi và năng lực thí sinh, phục vụ lập bản đồ câu hỏi (Item Map) cho quy trình Bookmark.

Phương pháp nghiên cứu và quy trình thực hiện

Luận án sử dụng thiết kế nghiên cứu phương pháp hỗn hợp (mixed methods research design):

• Phương pháp định tính:
  • Phân tích văn bản: Đối chiếu chi tiết đề thi với Bản đặc tả kỹ thuật VSTEP.3-5 (VSTEP specifications) và mô tả cấp độ năng lực theo CEFR/Khung 6 bậc Việt Nam.
  • Đánh giá chuyên gia: Tổ chức hội đồng gồm các chuyên gia khảo thí và giảng viên tiếng Anh tham gia quy trình Bookmark qua 3 vòng đánh giá độc lập có thảo luận trung gian.
• Phương pháp định lượng:
  • Phân tích thống kê cổ điển (CTT): Tính toán chỉ số độ khó của câu hỏi ($p$-value) và chỉ số độ phân biệt ($D$).
  • Phân tích mô hình Rasch: Sử dụng phần mềm WINSTEPS để ước lượng độ khó của câu hỏi trên thang logit, độ tin cậy của câu hỏi (item reliability), độ tin cậy của thí sinh (person reliability), và vẽ bản đồ câu hỏi (Item Map).
  • Công cụ phân tích văn bản và âm thanh: Sử dụng chỉ số dễ đọc Flesch-Kincaid để đo độ phức tạp văn bản; công cụ đo tốc độ nói (speech rate tính theo từ/phút - wpm).
  • Quy trình Bookmark: Thiết lập tập tài liệu câu hỏi sắp xếp theo độ khó logit (Ordered Item Booklet - OIB) với tiêu chí xác suất làm đúng RP67 (hoặc RP50). Hội đồng chuyên gia trải qua 3 vòng đánh giá với các dạng phản hồi: phản hồi chuẩn tắc (normative feedback), phản hồi thực tế (reality feedback dựa trên $p$-value/Rasch), và phản hồi tác động (impact feedback về tỷ lệ phân loại thí sinh).

Nguồn tư liệu và mẫu nghiên cứu

• Dữ liệu bài thi: 1.562 bài thi Nghe VSTEP.3-5 từ đợt thi chuẩn hóa đầu năm 2017.
• Cấu trúc bài thi Nghe VSTEP.3-5: Gồm 3 phần (Parts), tổng cộng 35 câu hỏi trắc nghiệm 4 lựa chọn (MCQs), thời gian làm bài khoảng 40 phút:
  • Part 1 (Items 1-8): 8 thông báo/hướng dẫn ngắn (announcements/instructions).
  • Part 2 (Items 9-20): 3 đoạn hội thoại (conversations), mỗi đoạn kèm 4 câu hỏi.
  • Part 3 (Items 21-35): 3 bài giảng/bài nói chuyện học thuật (talks/lectures), mỗi bài kèm 5 câu hỏi.

---

Nội dung chính theo từng chương

Chapter I: Introduction

Chương I trình bày bối cảnh ra đời của bài thi VSTEP.3-5 theo Đề án Ngoại ngữ Quốc gia 2020. Tác giả nêu rõ tầm quan trọng của các mốc điểm cắt trong việc ra các quyết định có ảnh hưởng lớn đối với thí sinh tại Việt Nam. Chương này xác lập lý do lựa chọn kỹ năng Nghe, định hình mục tiêu nghiên cứu, phát biểu 1 câu hỏi nghiên cứu chính, 3 câu hỏi nghiên cứu cụ thể, phạm vi nghiên cứu trên 1.562 thí sinh và giới thiệu bố cục 6 chương của luận án.

Chapter II: Literature Review

Chương II tổng quan toàn diện các nền tảng lý thuyết:

• Phân tích sự tiến hóa của lý thuyết xác trị từ đa thành phần sang khái niệm đơn nhất (Messick, 1989; AERA et al., 1999) và khung tiếp cận lập luận của Kane (1992, 2006, 2013) dựa trên mô hình Toulmin (1958).
• Khảo cứu bản chất của thiết lập chuẩn và 18 phương pháp thiết lập điểm cắt (Hambleton & Pitoniak, 2006; Cizek & Bunch, 2007).
• Làm rõ 7 bước chuẩn mực trong quy trình thiết lập chuẩn: chọn phương pháp, lập hội đồng chuyên gia, xây dựng mô tả cấp độ năng lực (PLDs), tập huấn, cung cấp phản hồi, tổng hợp điểm cắt và đánh giá tính xác trị quy trình (procedural, internal, external evidence).
• Tổng quan lý thuyết kiểm tra đánh giá năng lực giao tiếp đối với kỹ năng nghe (Buck, 2001) và các kỹ thuật phân tích thống kê trắc nghiệm.
• Điểm lại các nghiên cứu xác trị thiết lập chuẩn và ứng dụng tiếp cận lập luận trên thế giới (như nghiên cứu TOEFL của Chapelle et al., 2008).

Chapter III: Methodology

Chương III mô tả chi tiết phương pháp luận:

• Mô tả bối cảnh lịch sử phát triển, cấu trúc đề thi, hướng dẫn chấm và quy trình thiết lập điểm cắt ban đầu của VSTEP.3-5.
• Xây dựng bảng lập luận diễn giải (Interpretive Argument) cho điểm cắt bài thi Nghe VSTEP.3-5 với các giả định, bảo đảm và nguồn bằng chứng tương ứng.
• Trình bày phương pháp phân tích nhiệm vụ và câu hỏi đề thi thông qua đối chiếu bản đặc tả kỹ thuật, phân tích độ dễ đọc Flesch-Kincaid và tốc độ nói.
• Quy trình phân tích thống kê CTT và Rasch (WINSTEPS) trên tập mẫu 1.562 bài thi.
• Chi tiết hóa quy trình thực nghiệm Bookmark qua 3 vòng đánh giá, thành phần hội đồng chuyên gia và các biểu mẫu ghi nhận phán đoán.

Chapter IV: Data Analysis

Chương IV trình bày toàn bộ kết quả phân tích định tính và định lượng qua các bảng số liệu và biểu đồ:

• Phân tích nhiệm vụ và ngữ liệu: Đánh giá đặc tính văn bản ngữ liệu Part 1 (Items 1-8), Part 2 (Items 9-20) và Part 3 (Items 21-35). Kết quả đối chiếu với bản đặc tả cho thấy các ngữ liệu cơ bản đáp ứng yêu cầu về chủ đề và thời lượng nhưng có sự chênh lệch nhất định về độ phức tạp ngôn ngữ giữa các phần.
• Phân tích độ khó và độ phân biệt câu hỏi (CTT): Xác định các thông số thống kê của 35 câu hỏi. Luận án phát hiện và gắn cờ (flagged) 10 câu hỏi có dấu hiệu bất thường về mặt trắc lượng: Item 2, Item 3, Item 6 (thuộc Part 1); Item 13, Item 14, Item 15, Item 19, Item 20 (thuộc Part 2); Item 28, Item 34 (thuộc Part 3). Luận án trình bày chi tiết đồ thị xác suất (quantile plots), thống kê các phương án nhiễu (distractor analysis) và tham số câu hỏi cho từng câu hỏi bị gắn cờ này.
• Phân tích độ tin cậy và mô hình Rasch:
  • Trình bày bản đồ câu hỏi (Item Map) mô tả vị trí độ khó logit của 35 câu hỏi tương ứng với năng lực thí sinh.
  • Báo cáo chỉ số độ tin cậy của thí sinh (person reliability), độ tin cậy của câu hỏi (item reliability) và độ tin cậy toàn bài thi.
• Kết quả thiết lập chuẩn Bookmark qua 3 vòng:
  • Vòng 1: Tổng hợp vị trí đặt thẻ Bookmark độc lập ban đầu của các chuyên gia trên thang điểm thô và thang logit.
  • Vòng 2: Cung cấp phản hồi chuẩn tắc và phản hồi thực tế (độ khó câu hỏi IRT), hội đồng thảo luận và điều chỉnh vị trí thẻ Bookmark.
  • Vòng 3: Cung cấp phản hồi tác động (tỷ lệ phần trăm thí sinh rơi vào các Bậc 3, 4, 5), hội đồng đạt được sự đồng thuận cao về các mốc điểm cắt.
• Đối chiếu kết quả điểm cắt: Luận án lập bảng so sánh điểm cắt thiết lập bằng phương pháp Bookmark, phương pháp Angoff và điểm cắt hiện hành của bài thi Nghe VSTEP.3-5, chỉ ra sự chênh lệch cụ thể tại các ngưỡng phân loại Bậc 3 (B1), Bậc 4 (B2) và Bậc 5 (C1).

Chapter V: Findings and Discussions

Chương V tổng hợp và thảo luận các phát hiện dựa trên 3 câu hỏi nghiên cứu cụ thể:

1. Về nhiệm vụ và câu hỏi thi: Đề thi phản ánh tương đối tốt khung thiết kế nhưng tồn tại một số câu hỏi có phương án nhiễu hoạt động kém hiệu quả hoặc văn bản nghe chưa phân tầng độ khó tối ưu giữa các bậc.
2. Về độ tin cậy: Bài thi đạt độ tin cậy thống kê chấp nhận được đối với một bài thi chuẩn hóa diện rộng, đảm bảo phân loại thí sinh trên dải năng lực rộng từ B1 đến C1.
3. Về tính chính xác của điểm cắt: Bằng chứng thực nghiệm từ phương pháp Bookmark chỉ ra rằng các điểm cắt hiện hành cần có sự tinh chỉnh nhẹ tại một số ngưỡng để phản ánh chính xác hơn năng lực thực tế của thí sinh theo mô tả chuẩn CEFR.

Chapter VI: Conclusion

Chương VI tóm tắt toàn bộ nghiên cứu, khẳng định sự thành công trong việc xây dựng khung lập luận xác trị cho điểm cắt bài thi Nghe VSTEP.3-5; nêu rõ các đóng góp học thuật, hạn chế của nghiên cứu, hàm ý ứng dụng trong công tác khảo thí và đề xuất các hướng nghiên cứu tiếp theo.

---

Kết quả và những đóng góp mới

Đóng góp về mặt lý luận và học thuật

1. Củng cố quan điểm xác trị đơn nhất và tiếp cận lập luận: Nghiên cứu cung cấp minh chứng thực nghiệm ủng hộ quan điểm xác trị là một khái niệm đơn nhất (unitary concept) và xác trị hóa là quá trình xây dựng lập luận diễn giải kết hợp thu thập bằng chứng đa chiều theo mô hình của Kane (2006, 2013) và Toulmin (1958).
2. Khung xác trị chuyên biệt cho điểm cắt bài thi nghe: Luận án thiết lập một khung đánh giá có hệ thống kết hợp giữa phân tích đặc tính nhiệm vụ nghe (Buck, 2001), lý thuyết trắc lượng hiện đại (Rasch/IRT) và quy trình thiết lập chuẩn đa vòng (Bookmark).

Đóng góp về mặt thực tiễn và quản lý khảo thí

1. Nâng cao nhận thức về tính công bằng trong khảo thí: Luận án nhấn mạnh tầm quan trọng của việc kiểm chứng và xác trị định kỳ điểm cắt của các kỳ thi chuẩn hóa có tác động lớn (high-stakes tests) tại Việt Nam, bảo đảm quyền lợi và tính công bằng cho người học và người dự thi.
2. Hệ thống bằng chứng minh bạch cho VSTEP.3-5: Cung cấp hồ sơ bằng chứng khoa học, minh bạch và có thể biện hộ được (defensible) cho bài thi VSTEP.3-5 nói chung và hợp phần thi Nghe nói riêng.
3. Cơ sở điều chỉnh kỹ thuật: Cung cấp dữ liệu thực nghiệm cụ thể giúp các nhà phát triển đề thi:
   • Rà soát và tinh chỉnh bản đặc tả kỹ thuật (test specifications).
   • Loại bỏ hoặc chỉnh sửa các câu hỏi có chất lượng trắc lượng kém (đặc biệt là 10 câu hỏi bị gắn cờ trong Part 1, Part 2, Part 3).
   • Cân nhắc điều chỉnh các mốc điểm cắt giữa các bậc năng lực nhằm tăng độ chính xác phân loại.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

1. Phạm vi kỹ năng: Nghiên cứu chỉ tập trung chuyên sâu vào hợp phần kỹ năng Nghe (Listening component), chưa khảo sát đồng thời ba kỹ năng còn lại của VSTEP.3-5 (Đọc, Viết, Nói).
2. Phạm vi mẫu dữ liệu: Dữ liệu nghiên cứu thu thập từ một đợt thi duy nhất vào đầu năm 2017 với 1.562 thí sinh tại một đơn vị khảo thí được Bộ Giáo dục và Đào tạo ủy quyền, chưa bao quát toàn bộ các đợt thi và các đơn vị tổ chức thi khác trên toàn quốc.
3. Dạng đề thi: Nghiên cứu mới chỉ kiểm chứng trên một dạng đề thi cụ thể được sử dụng trong đợt thi khảo sát.

Hướng nghiên cứu tiếp theo

1. Mở rộng sang các kỹ năng khác: Áp dụng mô hình lập luận xác trị của Kane để kiểm chứng điểm cắt của các bài thi kỹ năng Đọc, kỹ năng Nói và kỹ năng Viết trong bài thi VSTEP.3-5.
2. Khảo sát đa đề và dữ liệu dọc: Thu thập dữ liệu từ nhiều dạng đề thi khác nhau (test forms) qua nhiều đợt thi liên tiếp tại nhiều trung tâm khảo thí trên cả nước để đánh giá tính tương đương và độ ổn định của điểm cắt theo thời gian.
3. Nghiên cứu hậu quả tác động (Consequential validity): Nghiên cứu sâu hơn về tác động xã hội, hiện tượng dạy học phục vụ thi cử (washback effect) và tính công bằng của các quyết định sử dụng chứng chỉ VSTEP.3-5 đối với các nhóm đối tượng người học khác nhau.

---

Giá trị tham khảo

Luận án mang lại giá trị tham khảo chuyên môn sâu sắc cho nhiều đối tượng trong lĩnh vực giáo dục và khảo thí:

• Nghiên cứu sinh và học viên cao học: Cung cấp một nghiên cứu mẫu mực về việc ứng dụng mô hình lập luận xác trị của Kane (argument-based validation) và kỹ thuật phân tích câu hỏi bằng mô hình Rasch (phần mềm WINSTEPS) kết hợp phương pháp thiết lập chuẩn Bookmark.
• Chuyên gia khảo thí và cán bộ biên soạn đề thi: Cung cấp quy trình chi tiết để đánh giá nhiệm vụ đề thi nghe theo khung Buck (2001), phát hiện các câu hỏi lỗi thông qua phân tích phương án nhiễu và đồ thị quantile, cũng như quy trình tổ chức hội đồng thiết lập chuẩn 3 vòng đạt chuẩn quốc tế.
• Nhà quản lý giáo dục và hoạch định chính sách: Cung cấp cơ sở khoa học để đánh giá lại quy chế thi, cách thức quy đổi và áp dụng điểm cắt VSTEP.3-5 trong việc công nhận chuẩn đầu ra đại học và chuẩn chức danh nghề nghiệp giáo viên ngoại ngữ tại Việt Nam.

---

Câu hỏi thường gặp

1. Luận án sử dụng khung lý thuyết xác trị nào làm nền tảng chính?

Luận án sử dụng khung tiếp cận lập luận xác trị (argument-based approach to validation) của Kane (1992, 2006, 2013), được xây dựng trên nền tảng cấu trúc lập luận của Stephen Toulmin (1958, 2003) và quan điểm xác trị đơn nhất của Messick (1989). Khung này bao gồm hai cấu phần: lập luận diễn giải (interpretive argument) và lập luận xác trị (validity argument).

2. Dữ liệu thực nghiệm của luận án được thu thập từ nguồn nào và quy mô bao nhiêu?

Dữ liệu được thu thập từ đợt thi VSTEP.3-5 tổ chức vào đầu năm 2017 bởi một cơ sở đào tạo được Bộ Giáo dục và Đào tạo cấp phép, bao gồm kết quả làm bài của 1.562 thí sinh cùng các dữ liệu phán đoán của hội đồng chuyên gia tham gia quy trình thiết lập chuẩn Bookmark.

3. Có bao nhiêu câu hỏi trong bài thi Nghe VSTEP.3-5 bị gắn cờ cần phân tích sâu và đó là những câu nào?

Có tổng cộng 10 câu hỏi bị gắn cờ (flagged items) do có các thông số thống kê độ khó hoặc độ phân biệt bất thường:

• Part 1: Item 2, Item 3, Item 6.
• Part 2: Item 13, Item 14, Item 15, Item 19, Item 20.
• Part 3: Item 28, Item 34.

4. Luận án đã triển khai phương pháp thiết lập chuẩn nào và so sánh với phương pháp nào?

Luận án trực tiếp triển khai thực nghiệm phương pháp Bookmark (Item Mapping method) qua 3 vòng đánh giá có cung cấp phản hồi (phản hồi chuẩn tắc, phản hồi thực tế và phản hồi tác động), sau đó đối chiếu kết quả điểm cắt thu được với phương pháp Angoff và bảng điểm cắt hiện hành của bài thi VSTEP.3-5.

5. Cấu trúc bài thi Nghe VSTEP.3-5 được phân chia như thế nào?

Bài thi gồm 3 phần với tổng cộng 35 câu hỏi trắc nghiệm 4 phương án lựa chọn:

• Part 1: 8 câu hỏi (Items 1-8) dựa trên các thông báo hoặc hướng dẫn ngắn.
• Part 2: 12 câu hỏi (Items 9-20) chia đều cho 3 đoạn hội thoại.
• Part 3: 15 câu hỏi (Items 21-35) chia đều cho 3 bài giảng hoặc bài nói chuyện học thuật.

---

Kết luận

Luận án tiến sĩ của Nguyễn Thị Quỳnh Yến là công trình nghiên cứu chuyên sâu về xác trị điểm cắt bài thi Nghe VSTEP.3-5 dựa trên khung tiếp cận lập luận của Kane. Thông qua việc kết hợp chặt chẽ giữa phân tích định tính nhiệm vụ đề thi theo khung Buck (2001) và phân tích định lượng trắc lượng bằng mô hình Rasch cùng quy trình thiết lập chuẩn Bookmark trên 1.562 thí sinh, luận án đã kiểm chứng toàn diện tính hợp lý của các điểm cắt phân loại năng lực từ Bậc 3 đến Bậc 5. Kết quả nghiên cứu không chỉ cung cấp cơ sở khoa học để hiệu chỉnh đề thi và điểm cắt của bài thi VSTEP.3-5, mà còn đặt nền móng phương pháp luận vững chắc cho công tác xác trị các bài thi chuẩn hóa ngôn ngữ có tác động lớn tại Việt Nam.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF LANGUAGES AND INTERNATIONAL STUDIES ****** NGUYỄN THỊ QUỲNH YẾN DOCTORAL DISSERTATION AN INVESTIGATION INTO THE CUT-SCORE VALIDITY OF THE VSTEP.3-5 LISTENING TEST MAJOR: ENGLISH LANGUAGE TEACHING METHODOLOGY CODE: 9140231.01 HANOI, 2018 LUAN VAN CHAT LUONG download : add [e-mail] VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF LANGUAGES AND INTERNATIONAL STUDIES ****** NGUYỄN THỊ QUỲNH YẾN DOCTORAL DISSERTATION AN INVESTIGATION INTO THE CUT-SCORE VALIDITY OF THE VSTEP.3-5 LISTENING TEST (Nghiên cứu xác trị các điểm cắt của kết quả bài thi Nghe Đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5 theo Khung năng lực Ngoại ngữ 6 bậc dành cho Việt Nam) MAJOR: ENGLISH LANGUAGE TEACHING METHODOLOGY CODE: 9140231. FRED DAVIDSON HANOI, 2018 LUAN VAN CHAT LUONG download : add [e-mail] This dissertation was completed at the University of Languages and International Studies, Vietnam National University, Hanoi. This dissertation was defended on 10th May 2018 This dissertation can be found at: - National Liberary of Vietnam - Liberary and Information Center -Vietnam National University, Hanoi i LUAN VAN CHAT LUONG download : add [e-mail] DECLARATION OF AUTHORSHIP I hereby certify that the thesis I am submitting is entirely my own original work except where otherwise indicated. I am aware of the University's regulations concerning plagiarism, including those regulations concerning disciplinary actions that may result from plagiarism.

Any use of the works of any other author, in any form, is properly acknowledged at their point of use. Date of submission: _____________________________ Ph.D Candidate’s Signature: _____________________________ ii LUAN VAN CHAT LUONG download : add [e-mail] I certify that I have read this dissertation and that, in my opinion, it is fully adequate in scope and quality as a dissertation for the degree of Doctor of Philosophy. Nguyễn Hòa (Supervisor) I certify that I have read this dissertation and that, in my opinion, it is fully adequate in scope and quality as a dissertation for the degree of Doctor of Philosophy. Fred Davidson (Co-supervisor) iii LUAN VAN CHAT LUONG download : add [e-mail] TABLE OF CONTENTS LIST OF FIGURES……………………………………………………………………….

viii LIST OF TABLES………………………………………………………………………… ix LIST OF KEY TERMS……………………………………………………………………. xix CHAPTER I: INTRODUCTION………………………………………………………. Statement of the problem………………………………………………………………. Objectives of the study………………………………………………………………….

Significance of the study …. Scope of the study………………………………………………………………………. Statement of research questions………………………………………………………… 5 6. Organization of the study……………………………………………………………….

5 CHAPTER II: LITERATURE REVIEW………………………………………………. Validation in language testing………. The evolution of the concept of validity. Aspects of validity.

Argument-based approach to validation………………………………………… 11 2. Standard setting for an English proficiency test………………………………………… 15 2. Definition of standard setting……………………. Overview of standard setting methods………………………………………….

Common elements in standard setting……………………………………………. Selecting a standard-setting method………………………………………. Choosing a standard setting panel…………………………………………. Preparing descriptions of performance-level descriptors………………….

Providing feedback to panelists…………………………………………… 26 2. Compiling ratings and obtain cut scores…………………………………. Evaluating standard setting………………………………………………. Evaluating standard setting…………………………………………………….…………………… 30 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Comparisons to other standard-setting methods…………………. Comparisons to other sources of information……………………. Reasonableness of cut scores……………………………………… 34 3. Communicative language testing………………………………………………… 34 3.

Statistical analysis for a language test…………………………………………………. Statistical analysis of multiple choice (MC) items………………………………. Investigating reliability of a language test………………………………………. Review of validation studies…………………………………………………………….

Review of validation studies on standard setting………………………………… 49 5. Review of studies employing argument-based approach in validating language tests………………………………………………………………………………. Summary………………………………………………………………………………… 60 CHAPTER III: METHODOLOGY……………………………………………………. Context of the study…………………………………………………………………….

About the VTEP.1 The development history of the VSTEP. The administration of the VSTEP.3-5 test in Vietnam……………………. Test structure and scoring rubrics…………………………………………. The establishment of the cut scores ……………………………………….

About the VSTEP. The establishment for the cut scores of the VSTEP. Building an interpretive argument for the VSTEP. 70 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Description of methods of the study……………………………………………. Analysis of the test tasks and test items…………………………………. Analysis of test tasks……………………………………………. Analysis of test items…………………………………………… 73 3.

Analysis of test reliability………………………………………………. Validation of cut-scores…………………………………………………. Description of Bookmark standard setting procedures …………………………. Selection of participants of the study…………………………………………….

Test takers of early 2017 administration…………………………………. Participants for Bookmark standard setting method……………………. Descriptions of tools for data analysis…………………………………………… 83 3. Text analyzing tools……………………………………………………… 83 3.

Speech rate analyzing tool………………………………………………. Statistical analyzing tools………………………………………………. 87 CHAPTER IV: DATA ANALYSIS……………………………………………………. Analysis of the test tasks and test items………….

Analysis of the test tasks………………………………………………. Characteristics of the test rubric…………………………………………. Characteristics of the input………………………………………………. Relationship between the input and response…………………………….

Analysis of the test items…………………………………………………………. Overall statistics of item difficulty and item discrimination……………… 102 vi LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Analysis of the test reliability……. Analysis of the cut-scores…….

External evidence………………………………………………………………… 132 CHAPTER V: FINDINGS AND DISCUSSIONS……………………………………… 145 1. The characteristics of the test tasks and test items……………………………………… 145 2. The reliability of the VSTEP. The accuracy of the cut scores of the VSTEP.

151 CHAPTER VI: CONCLUSION ………………………. Overview of the thesis…………………………………………………………………. Contributions of the study………………………………………………………………. Limitations of the study………………………………………………………………….

Implications of the study…. Suggestions for further research………………………………………………………… 159 LIST OF THESIS-RELATED PUBLICATIONS………………………………………… 161 REFERENCES……………………………………………………………………………. 162 APPENDIX 1: Structure of the VSTEP. 172 APPENDIX 2: Summary of the directness and interactiveness between the texts and the questions of the VSTEP.

174 APPENDIX 3: Consent form (workshops)………………………………………………. 177 APPENDIX 4: Agenda for Bookmark standard-setting procedure………………………. 179 APPENDIX 5: Panelist recording form…………………………………………………… 180 APPENDIX 6: Evaluation form for standard-setting participants ………………………. 181 APPENDIX 7: Control file for WINSTEPS……………………………………………….

183 APPENDIX 8: Timeline of the VSTEP. 185 APPENDIX 9: List of the VSTEP.3-5 developers………………………………………… 186 vii LUAN VAN CHAT LUONG download : add [e-mail] LIST OF FIGURES Figure 2.1: Model of Toulmin’s argument structure (1958, 2003)……………………….2: Sources variance in test scores (Bachman, 1990)…………………………….3: Overview of interpretive argument for ESL writing course placements……… 57 Figure 4.1: Item map of the VSTEP.2: Graph for item 2……………………………………………………………….3: Graph for item 3………………………………………………………….4: Graph for item 6……………………………………………………………….5: Graph for item 13……………………………………………………………… 115 Figure 4.6: Graph for item 14……………………………………………………………… 117 Figure 4.7: Graph for item 15…………………………………………………………….8: Graph for item 19…………………………………………………………….9: Graph for item 20…………………………………………………………….10: Graph for item 28……………………………………………………….11: Graph for item 34……………………………………………………….12: Total score for the scored items……………………………………………. 129 viii LUAN VAN CHAT LUONG download : add [e-mail] LIST OF TABLES Table 2.1: Review of standard-setting methods (Hambleton & Pitoniak, 2006)………….2: Standard setting Evaluation Elements (Cizek & Bunch, 2007)….3: Common steps required for standard setting (Cizek & Bunch, 2007)………….4: A framework for defining listening task characteristics (Buck, 2001)………… 38 Table 2.5: Criteria for item selection and interpretation of item difficulty index………….6: Criteria for item selection and interpretation of item discrimination index…….7: General guideline for interpreting test reliability (Bachman, 2004)…………….8: Number of proficiency levels & test reliability………………………………… 48 Table 2.9: Summary of the warrant and assumptions associated with each inference in the TOEFL interpretive argument (Chapelle et al.1: Structure of the VSTEP.2: The cut scores of the VSTEP.3: Performance standard of Overall Listening Comprehension (CEFR: learning, teaching, assessment)……………………………………………………………………….4: Performance standard of Understanding conversation between native speakers (CEFR: learning, teaching, assessment)…………………………………………………….5: Performance standard of Listening as a member of a live audience (CEFR: learning, teaching, assessment)…………………………………………………………….6: Performance standard of Listening to announcements and instructions (CEFR: learning, teaching, assessment)…………………………………………………………….7: Performance standard of Listening to audio media and recordings (CEFR: learning, teaching, assessment)…………………………………………………………….8: The cut scores of the VSTEP.9: Criteria for item selection and interpretation of item difficulty index…….10: Criteria for item selection and interpretation of item discrimination index…… 75 Table 3.11: Number of proficiency levels & test reliability……………………………….12: The venue for Angoff and Bookmark standard setting method……………….13: Comparison between the Flesch-Kincaid readability analysis and the CEFR - IELTS grading systems……………………………………………………………………. 85 ix LUAN VAN CHAT LUONG download : add luanvanchat@agmail.14: Summary of the interpretative argument for the interpretation and use of the VSTEP.3-5 listening cut-scores …………………………………………………………….1: General instruction of the VSTEP.2: Instruction for Part 1……….3: Instruction for Part 2……….4: Instruction for Part 3…….5: Information provided in the specifications for the VSTEP.6: Summary of the texts for items 1-8……….7: Description of language levels for texts of items 1 -8 in the specification…….8: Summary of the texts for items 9-20………………………………………….9: Description of language levels for texts of items 9 -20 in the specification….10: Summary of the texts for items 21-35………………………………………… 100 Table 4.11: Description of language levels for texts of items 21-35 in the specification…….12: Summary of item discrimination and item difficulty………………………….13: Summary statistics for the flagged items…………………………………….14: Information for item 2………………………………………………………….15: Item statistics for item 2……………………………………………………….16: Option statistics for item 2…………………………………………………….17: Quantile plot data for item 2………………………………………………….18: Information for item 3………………………………………………………….19: Item statistics for item 3……………………………………………………….20: Option statistics for item 3…………………………………………………….21: Quantile plot data for item 3……………………………………………….22: Information for item 6………………………………………………………….23: Item statistics for item 6……………………………………………………….24: Option statistics for item 6…………………………………………………….25: Quantile plot data for item 6………………………………………………….26: Information for item 13……………………………………………………….27: Item statistics for item 13……………………………………………………… 115 Table 4.28: Option statistics for item 13…………………………………………………… 116 Table 4.29: Quantile plot data for item 13………………………………………………….

116 x LUAN VAN CHAT LUONG download : add luanvanchat@agmail.30: Information for item 14……………………………………………………….31: Item statistics for item 14……………………………………………………… 118 Table 4.32 Option statistics for item 14…………………………………………………… 118 Table 4.33: Quantile plot data for item 14………………………………………………….34: Information for item 15……………………………………………………….35: Item statistics for item 15……………………………………………………… 120 Table 4.36: Option statistics for item 15…………………………………………………… 120 Table 4.37: Quantile plot data for item 15………………………………………………….38: Information for item 19……………………………………………………….39: Item statistics for item 19……………………………………………………… 121 Table 4.40: Option statistics for item 19…………………………………………………… 122 Table 4.41: Quantile plot data for item 19………………………………………………….42: Information for item 20……………………………………………………….43: Item statistics for item 20……………………………………………………… 123 Table 4.44: Option statistics for item 20…………………………………………………… 124 Table 4.45: Quantile plot data for item 20………………………………………………….46: Information for item 28…………………………………………………….47: Item statistics for item 28……………………………………………………… 125 Table 4.48: Option statistics for item 28…………………………………………………… 125 Table 4.49: Quantile plot data for item 28………………………………………………….50: Information for item 34……………………………………………………….51: Item statistics for item 34……………………………………………………… 127 Table 4.52: Option statistics for item 34…………………………………………………… 127 Table 4.53: Quantile plot data for item 34………………………………………………….54: Summary of statistics………………………………………………………….56: The person reliability and item reliability of the test………………………….57: Number of proficiency levels and test reliability…………………….58: The test reliability of the VSTEP.59: Order of items in the booklet………………………………………………….60: Summary of Output from Round 1 of Bookmark standard-setting Procedure ……. 135 xi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.62: Summary of statistics in raw score metric for round 1……………………….63: Summary of Output from Round 2 of Bookmark standard-setting Procedure……….64: Round 3 Feedback for Bookmark Standard-setting Procedure……………….65: Summary of Output from Round 3 of Bookmark standard-setting Procedure……….66: The cut scores set for the VSTEP.3-5 listening test by Bookmark method…… 144 Table 4.67: The cut scores set for the VSTEP.3-5 listening test by Angoff method……….68: Comparison between the results of two standard-setting methods……………. 144 xii LUAN VAN CHAT LUONG download : add [e-mail] LIST OF KEY TERMS Construct: A construct refers to the knowledge, skill or ability that's being tested. In a more technical and specific sense, it refers to a hypothesized ability or mental trait which cannot necessarily be directly observed or measured, for example, listening ability.

Language tests attempt to measure the different constructs which underlie language ability. Cut score: A score that represents achievement of the criterion, the line between success and failure, mastery and non-mastery. Descriptor: A brief description accompanying a band on a rating scale, which summarizes the degree of proficiency or type of performance expected for a test taker to achieve that particular score. Distractor: The incorrect options in multiple-choice items.

Expert panel: A group of target language experts or subject matter experts who provide comments about a test. High-stakes test: A high-stakes test is any test used to make important decisions about test takers. Inference: A conclusion that is drawn about something based on evidence and reasoning. Input: Input material provided in a test task for the test taker to use in order to produce an appropriate response.

Interpretive argument: Statements that specify the interpretation and use of the test performances in terms of the inferences and assumptions used to get from a person’s test performance to the conclusions and decisions based on the test results. Item (also, test item): Each testing point in a test which is given a separate score or scores. Examples are: one gap in a cloze test; one multiple choice question with xiii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.