A study on the validity of a vietnamese developed test of english reading proficiency nghiên cứu xác trị bài thi đọc hiểu của một định dạng bài thi tiếng anh của việt nam

Nghiên cứu tính giá trị của bài kiểm tra đọc hiểu tiếng Anh do Việt Nam phát triển. Đánh giá độ tin cậy, phù hợp của bài thi với người học Việt Nam.

• Tác giả: Wei Yu
• Người hướng dẫn: PTS. Nguyen Hoa (Supervisor)
• Trường học: University of Languages and International Studies, Vietnam National University, Hanoi
• Chuyên ngành: English Language Teaching Methodology
• Đề tài: A Study On The Validity Of A Vietnamese Developed Test Of English Reading Proficiency
• Loại tài liệu: Doctoral Dissertation
• Năm xuất bản: 2023
• Địa điểm: Hanoi

Mục lục chi tiết

• DECLARATION OF AUTHORSHIP
• LIST OF FIGURES
• LIST OF TABLES
• LIST OF ABBREVIATIONS
• ABSTRACT
• ACKNOWLEDGEMENTS
• 1. CHAPTER I: INTRODUCTION
• 1.1. Rationale of the study
• 1.2. Objective of the study
• 1.3. Scope of the study
• 1.4. Clarifications of the key terms
• 1.5. Context of the study
• 1.5.1. Introduction of VSTEP
• 1.5.1.1. Development of VSTEP
• 1.5.1.2. Administration of VSTEP
• 1.5.1.3. Test takers of VSTEP
• 1.5.1.4. Test format of VSTEP
• 1.5.1.5. Cut-off scores of VSTEP
• 1.5.2. Introduction of VSTEP
• 1.5.2.1. Test purpose of VSTEP
• 1.5.2.2. Test format of VSTEP
• 1.5.2.3. Proficiency level description of VSTEP
• 1.6. Significance of the study
• 1.7. Overall structure of the thesis
• 2. CHAPTER II: LITERATURE REVIEW
• 2.1. Review of L2 reading
• 2.1.1. Nature of L2 reading
• 2.1.2. Constructs of L2 reading
• 2.1.2.1. The processing perspective
• 2.1.2.2. The task perspective
• 2.1.2.3. The reader purpose perspective
• 2.2. Review of test validation approaches
• 2.2.1. Test validation approaches from product-based perspective
• 2.2.1.1. Item Response Theory
• 2.2.2. Test validation approaches from process-based perspective
• 2.2.2.1. Think aloud protocols
• 3. CHAPTER III: THEORETICAL FRAMEWORK
• 3.1. Studies on the validity of VSTEP
• 3.2. Evidence-based validation frameworks
• 3.2.1. Bachman and Palmer’s test usefulness framework
• 3.2.2. Weir’s socio-cognitive framework
• 3.3. Argument-based validation frameworks
• 3.3.1. Kane’s interpretive argument framework
• 3.3.2. Chapelle, Enright, and Jamieson’s interpretive argument framework
• 3.3.3. Bachman and Palmer’s assessment use argument framework
• 3.3.4. Empirical validation studies with interpretive argument framework
• 3.3.5. Interpretive argument for the VSTEP
• 3.3.5.1. Justification for the use of interpretive argument
• 3.3.5.2. Articulation of an interpretive argument for the VSTEP
• 4. CHAPTER IV: RESEARCH METHODOLOGY
• 4.1. Ontology and epistemology for the design of the study
• 4.2. The convergent mixed methods design for the study
• 4.3. Participants of the study
• 4.3.1. Test takers for the VSTEP
• 4.3.2. Experts for interview and judgement
• 4.3.3. Participants for think aloud protocols
• 4.3.4. Participants for eye tracking
• 4.4. Instruments of the study
• 4.4.1. A version of the VSTEP.3-5 reading test paper
• 4.4.2. VSTEP.3-5 reading test specifications
• 4.4.3. Expert interview questions
• 4.4.4. The modified framework of task characteristics for the VSTEP
• 4.4.5. Expert judgment forms
• 4.4.6. Think aloud protocols operation instructions
• 4.4.7. Eye tracking metrics
• 4.4.8. The reading processing checklist
• 4.5. Data collection procedures of the study
• 4.5.1. Data collection procedures for research questions 1, 2 and 3
• 4.5.2. Data collection procedures for research question 4
• 4.5.3. Data collection procedures for research question 5
• 4.6. Tools for data analysis
• 4.6.1. Compleat Lexical Tutor
• 4.7. Data analysis procedures of the study
• 4.7.1. Data analysis procedures for research question 1
• 4.7.2. Data analysis procedures for research question 2
• 4.7.3. Data analysis procedures for research question 3
• 4.7.4. Data analysis procedures for research question 4
• 4.7.5. Data analysis procedures for research question 5
• 5. CHAPTER V: FINDINGS AND DISCUSSIONS ON VALIDITY OF VSTEP.3-5 READING TEST FROM THE PRODUCT-BASED PERSPECTIVE
• 5.1. Findings and discussions for research question 1
• 5.1.1. Findings from test tasks
• 5.1.1.1. Comparison of test tasks in the investigated test and test specifications
• 5.1.1.2. Expert interview on test tasks
• 5.1.2. Findings from Rasch model analysis of test items
• 5.1.2.1. Item estimates according to Rasch model analysis
• 5.1.2.2. Item and person calibration according to Rasch model analysis
• 5.2. Findings and discussions for research question 2
• 5.2.1. Differential item functioning by genders
• 5.2.2. Differential item functioning by majors
• 5.3. Findings and discussions for research question 3
• 5.3.1. Separation and reliability measures
• 6. CHAPTER VI: FINDINGS AND DISCUSSIONS ON VALIDITY OF VSTEP.3-5 READING TEST FROM THE PROCESS-BASED PERSPECTIVE
• 6.1. Findings and discussions for research question 4
• 6.1.1. Expert judgement on reading subskills in the investigated test
• 6.1.2. Discussions from expert judgement
• 6.1.3. Think aloud protocols
• 6.1.3.1. Reading strategies in think aloud protocols
• 6.1.3.2. Reading subskills in think aloud protocols
• 6.1.4. Discussions from think aloud protocols
• 6.2. Findings and discussions for research question 5
• 6.2.1. Eye tracking of successful and unsuccessful test takers across item types
• 6.2.2. Discussions from eye tracking of successful and unsuccessful test takers across item types
• 6.2.3. Eye tracking of test takers at different proficiency levels and results of reading processing checklists
• 6.2.4. Discussions from eye tracking of test takers at different proficiency levels and results of reading processing checklists
• 7. CHAPTER VII: CONCLUSION
• 7.1. Interpretive argument for the VSTEP.3-5 reading test revisited
• 7.1.1. A recap of the generalization inference
• 7.1.2. A recap of the explanation inference
• 7.2. Implications of the study
• 7.3. Limitations of the study
• 7.4. Suggestions for future studies
• LIST OF PUBLICATIONS RELATED TO DISSERTATION
• LIST OF PUBLICATIONS OF OTHER FIELDS
• APPENDIX 1: Control file for WINSTEPS
• APPENDIX 2: Person measures of the investigated VSTEP
• APPENDIX 3: Expert interview
• APPENDIX 4: Expert judgement form A
• APPENDIX 5: Expert judgement form B
• APPENDIX 6: VSTEP.3-5 reading test think aloud protocols experiment operation instructions
• APPENDIX 7: Reading processing checklist
• APPENDIX 8: Interpretive argument for the VSTEP

Tóm tắt

I. Nghiên Cứu Valid Test Đọc Hiểu Tổng Quan Quan Trọng 55

Trong lĩnh vực kiểm tra đánh giá ngôn ngữ, tính validity đóng vai trò then chốt. Nghiên cứu về validity không ngừng phát triển, tập trung vào cả sản phẩm và quy trình tạo ra sản phẩm đó. Bài viết này sẽ đi sâu vào nghiên cứu xác trị của một định dạng bài thi đọc hiểu tiếng Anh do Việt Nam phát triển, cụ thể là VSTEP.3-5. Việc hiểu rõ các yếu tố đo lường và đánh giá đòi hỏi sự khám phá sâu sắc về quá trình nhận thức của người làm bài thi. Nghiên cứu này nhằm mục đích cung cấp bằng chứng về tính validity của bài kiểm tra tiếng Anh này, đồng thời đề xuất các phương pháp cải thiện để nâng cao chất lượng đánh giá năng lực đọc hiểu.

1.1. Vị Trí Của Validity Trong Kiểm Tra Ngôn Ngữ

Theo AERA, APA & NCME (1985) và Bachman (1990), validity chiếm vị trí quan trọng trong các lý thuyết và thực hành kiểm tra đánh giá ngôn ngữ. Từ nửa đầu thế kỷ 20, validity đã trở thành vấn đề cốt lõi và là phẩm chất cơ bản của một bài kiểm tra. Do đó, việc nghiên cứu và đảm bảo tính xác thực của các bài kiểm tra trình độ tiếng Anh là vô cùng cần thiết. Các công trình nghiên cứu lý thuyết và thực nghiệm về tính hiệu lực kiểm tra không ngừng được thực hiện (Lado, 1961; Valette, 1977; Heaton, 1975; Harrison, 1983; Finocchiaro & Bonomo, 1973).

1.2. Lý Do Chọn Nghiên Cứu Valid Bài Thi Đọc Hiểu VSTEP

Một trong những lý do quan trọng để lựa chọn chủ đề của nghiên cứu hiện tại có thể là do vị trí quan trọng của tính giá trị trong lĩnh vực lý thuyết và thực hành trong kiểm tra và đánh giá ngôn ngữ (AERA, APA & NCME, 1985; Bachman, 1990). Trong suốt lịch sử, các bài kiểm tra đã đóng một vai trò không thể thiếu và không thể thay thế trong bất kỳ bối cảnh giáo dục nào. Kể từ nửa đầu thế kỷ XX, giá trị kiểm tra ngày càng trở thành vấn đề cốt lõi và phẩm chất cơ bản của một bài kiểm tra.

II. Thách Thức Đánh Giá Độ Tin Cậy Bài Thi Tại Việt Nam 58

Mặc dù VSTEP.3-5 là một bước tiến quan trọng trong đánh giá năng lực tiếng Anh tại Việt Nam, việc đảm bảo độ tin cậy và tính xác thực của bài thi vẫn là một thách thức. Các nghiên cứu trước đây thường tập trung vào việc thu thập bằng chứng từ sản phẩm kiểm tra mà ít xem xét đến quy trình làm bài của thí sinh. Điều này đặt ra câu hỏi về hiệu quả thực sự của bài thi đọc hiểu trong việc phản ánh năng lực đọc hiểu của người học. Nghiên cứu này sẽ đi sâu vào cả hai khía cạnh: sản phẩm và quy trình, để đưa ra đánh giá toàn diện về validity của VSTEP.3-5.

2.1. Hạn Chế Của Nghiên Cứu Trước Về VSTEP Reading Test

Các nghiên cứu trước đây về VSTEP.3-5 reading test tập trung nhiều hơn vào việc thu thập bằng chứng từ sản phẩm kiểm tra để nghiên cứu validity và ít xem xét đến quy trình kiểm tra. Lý do này thúc đẩy các nhà nghiên cứu thực hiện nghiên cứu hiện tại. Việc tập trung chủ yếu vào sản phẩm mà bỏ qua quy trình có thể dẫn đến những đánh giá phiến diện về tính hiệu lực của bài kiểm tra.

2.2. Sự Cần Thiết Của Phương Pháp Nghiên Cứu Hỗn Hợp

Việc sử dụng phương pháp nghiên cứu hỗn hợp, kết hợp cả định tính và định lượng, là cần thiết để thu thập đầy đủ bằng chứng hỗ trợ cho các suy luận về validity. Điều này cho phép các nhà nghiên cứu hiểu rõ hơn về cả sản phẩm và quy trình của bài kiểm tra, từ đó đưa ra đánh giá chính xác hơn về tính xác thực của nó. Cụ thể, nghiên cứu này sử dụng phương pháp think aloud protocols và eye tracking.

III. Cách Xác Định Valid Khung Lý Thuyết Chapelle 53

Nghiên cứu này dựa trên khung lý thuyết interpretive argument framework của Chapelle, Enright, và Jamieson (2008) để xây dựng luận điểm về tính xác thực của VSTEP.3-5 reading test. Luận điểm này bao gồm hai loại suy luận chính: generalization và explanation. Tương ứng với các suy luận này, nghiên cứu đề xuất năm câu hỏi nghiên cứu cụ thể. Việc sử dụng khung lý thuyết này giúp đảm bảo tính hệ thống và chặt chẽ của quá trình đánh giá validity.

3.1. Interpretive Argument Framework Là Gì

Khung interpretive argument framework (Chapelle và cộng sự, 2008) cho phép nhà nghiên cứu xây dựng một luận điểm chặt chẽ về tính xác thực của bài kiểm tra. Luận điểm này bao gồm các suy luận, giả định và bằng chứng hỗ trợ. Bằng cách sử dụng khung này, nhà nghiên cứu có thể xác định rõ ràng các khía cạnh của bài kiểm tra cần được đánh giá và thu thập bằng chứng thích hợp.

3.2. Suy Luận Generalization Và Explanation Trong Nghiên Cứu

Suy luận Generalization liên quan đến việc liệu kết quả của bài kiểm tra có thể được khái quát hóa cho các bối cảnh khác hay không. Suy luận Explanation liên quan đến việc giải thích lý do tại sao bài kiểm tra lại đo lường những gì nó đo lường. Cả hai loại suy luận này đều quan trọng để đảm bảo tính hợp lệ của bài kiểm tra và cung cấp thông tin hữu ích cho việc cải thiện thiết kế bài kiểm tra.

IV. Phương Pháp Đánh Giá Năng Lực Đọc Hỗn Hợp Tối Ưu 57

Nghiên cứu sử dụng phương pháp nghiên cứu hỗn hợp, kết hợp cả dữ liệu định tính và định lượng. Dữ liệu định lượng được thu thập từ kết quả bài kiểm tra, phân tích Rasch model, và phân tích sự khác biệt giữa các nhóm. Dữ liệu định tính được thu thập từ phỏng vấn chuyên gia, think aloud protocols, và eye tracking. Việc kết hợp các nguồn dữ liệu khác nhau giúp tăng cường độ tin cậy và tính xác thực của kết quả nghiên cứu.

4.1. Thu Thập Dữ Liệu Định Lượng Phân Tích Rasch Model

Việc phân tích Rasch model được sử dụng để đánh giá chất lượng của các câu hỏi trong bài kiểm tra, bao gồm độ khó và khả năng phân biệt. Phân tích này cũng cho phép nhà nghiên cứu xác định các câu hỏi có thể có sai số hoặc thiên vị. Kết quả phân tích Rasch model cung cấp thông tin quan trọng để cải thiện thiết kế bài kiểm tra và đảm bảo tính công bằng.

4.2. Thu Thập Dữ Liệu Định Tính Think Aloud Protocols

Think aloud protocols cho phép nhà nghiên cứu hiểu được quá trình suy nghĩ của thí sinh khi làm bài. Thí sinh được yêu cầu nói to những gì họ đang nghĩ khi đọc và trả lời các câu hỏi. Dữ liệu này cung cấp thông tin chi tiết về các chiến lược đọc, khó khăn gặp phải, và quá trình ra quyết định của thí sinh.

4.3. Thu Thập Dữ Liệu Định Tính Eye Tracking

Eye tracking ghi lại chuyển động mắt của thí sinh khi làm bài. Dữ liệu này cung cấp thông tin về thời gian đọc, vị trí mắt tập trung, và các khu vực quan trọng trong bài đọc. Eye tracking giúp nhà nghiên cứu hiểu rõ hơn về cách thí sinh xử lý thông tin và các yếu tố ảnh hưởng đến khả năng đọc hiểu.

V. Kết Quả Nghiên Cứu Đánh Giá Valid Test Đọc VSTEP 56

Kết quả nghiên cứu cho thấy VSTEP.3-5 reading test có tính xác thực cao. Các bằng chứng thu thập được từ cả sản phẩm và quy trình kiểm tra đều hỗ trợ cho các giả định được đề xuất. Tuy nhiên, nghiên cứu cũng chỉ ra một số điểm cần cải thiện, đặc biệt là về thiết kế bài kiểm tra và phương pháp đánh giá. Nghiên cứu này cung cấp cơ sở lý thuyết và thực tiễn cho việc cải thiện VSTEP.3-5 reading test và nâng cao chất lượng đánh giá năng lực tiếng Anh tại Việt Nam.

5.1. Bằng Chứng Hỗ Trợ Tính Hợp Lệ Của Bài Kiểm Tra

Nghiên cứu cung cấp bằng chứng mạnh mẽ để hỗ trợ hầu hết các giả định được đề xuất và cho thấy rằng tính hợp lệ của bài kiểm tra đọc VSTEP.3-5 được điều tra có thể được đảm bảo cao. Điều này cho thấy rằng bài kiểm tra đo lường những gì nó dự định đo lường và kết quả có thể được sử dụng để đưa ra quyết định chính xác về năng lực đọc của thí sinh.

5.2. Gợi Ý Cải Thiện Thiết Kế Bài Kiểm Tra Đọc Hiểu

Nghiên cứu cung cấp các tài liệu tham khảo để nâng cao thiết kế của bài kiểm tra đọc VSTEP.3-5 cho các nhà thiết kế bài kiểm tra để cải thiện tính hợp lệ của nó và giúp giáo viên và học sinh tiếng Anh hiểu rõ hơn về bài kiểm tra đọc VSTEP.3-5. Các gợi ý bao gồm việc điều chỉnh độ khó của các câu hỏi, sử dụng các loại câu hỏi đa dạng hơn, và cung cấp phản hồi chi tiết hơn cho thí sinh.

VI. Tương Lai Đánh Giá Năng Lực Đọc Hiểu Cần Nghiên Cứu Gì 59

Nghiên cứu này mở ra nhiều hướng nghiên cứu tiềm năng trong tương lai. Cần có thêm các nghiên cứu về tính xác thực của VSTEP.3-5 reading test trong các bối cảnh khác nhau. Ngoài ra, cần có thêm các nghiên cứu về ảnh hưởng của yếu tố văn hóa đến kết quả bài thi. Cuối cùng, cần có thêm các nghiên cứu về các phương pháp cải thiện khả năng đọc hiểu của người học tiếng Anh tại Việt Nam.

6.1. Nghiên Cứu Cultural Adaptation Của Bài Kiểm Tra Tiếng Anh

Các nghiên cứu trong tương lai có thể tập trung vào việc điều chỉnh bài kiểm tra để phù hợp với bối cảnh văn hóa của người học Việt Nam. Điều này có thể bao gồm việc sử dụng các bài đọc có nội dung quen thuộc hơn, điều chỉnh ngôn ngữ được sử dụng, và xem xét các giá trị văn hóa khác nhau khi đánh giá câu trả lời.

6.2. Áp Dụng Item Response Theory Trong Đánh Giá Năng Lực Đọc

Việc áp dụng Item Response Theory (IRT) có thể giúp cải thiện độ chính xác và công bằng của bài kiểm tra. IRT cho phép nhà nghiên cứu phân tích đặc điểm của từng câu hỏi và điều chỉnh độ khó của câu hỏi để phù hợp với năng lực của từng thí sinh.

Nội dung chính

Tổng quan luận án

Đánh giá và kiểm tra ngôn ngữ giữ vị trí trọng yếu trong việc xác định năng lực người học và bảo đảm chất lượng đào tạo trong hệ thống giáo dục. Kỳ thi Đánh giá năng lực tiếng Anh theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam (VSTEP), cụ thể là định dạng VSTEP.3-5 dành cho đối tượng từ bậc 3 đến bậc 5 (tương đương B1 đến C1 theo Khung tham chiếu châu Âu - CEFR), được Bộ Giáo dục và Đào tạo ban hành định dạng từ tháng 3 năm 2015. Là một bài thi chuẩn hóa có quy mô lớn và tính chất quyết định cao (high-stakes test), việc xác minh giá trị xác trị (validity) là yêu cầu cấp thiết để bài thi đạt được sự công nhận rộng rãi ở cả cấp độ quốc gia và quốc tế.

Khoảng trống nghiên cứu lớn nhất được tác giả chỉ ra là: phần lớn các công trình nghiên cứu xác trị đối với bài thi đọc hiểu VSTEP.3-5 trước đây chủ yếu tập trung vào việc thu thập minh chứng từ "sản phẩm bài thi" (test product - dựa trên điểm số quan sát và phân tích thống kê) mà hiếm khi khai thác dữ liệu từ "quy trình làm bài" (test process - các thao tác nhận thức thực tế của thí sinh khi tương tác với nhiệm vụ đọc). Do hoạt động đọc hiểu là một quá trình nội tại, không thể quan sát trực tiếp như kỹ năng nói hay viết, việc chỉ dựa vào phân tích điểm số không phản ánh đầy đủ cấu trúc nhận thức mà bài thi đo lường.

Luận án hướng tới mục tiêu xây dựng một luận cứ xác trị (interpretive argument) có hệ thống, minh bạch và chặt chẽ cho bài thi đọc hiểu VSTEP.3-5 dựa trên khung tiếp cận luận cứ của Chapelle, Enright và Jamieson (2008), kết hợp cả hai góc độ: góc độ sản phẩm (product-based perspective) và góc độ quy trình (process-based perspective). Luận án tập trung thẩm định hai suy luận cốt lõi: suy luận khái quát hóa (generalization inference) và suy luận giải thích (explanation inference).

Hệ thống câu hỏi nghiên cứu được đánh số và xác định như sau:

1. Nhiệm vụ bài thi (test tasks) và các câu hỏi thi (test items) của bài thi đọc hiểu VSTEP.3-5 đáp ứng yêu cầu của bản đặc tả đề thi (test specifications) ở mức độ nào? (Phục vụ suy luận khái quát hóa - góc độ sản phẩm).
2. Giới tính và chuyên ngành đào tạo của thí sinh ảnh hưởng đến điểm thi đọc hiểu ở mức độ nào? (Phục vụ suy luận khái quát hóa - kiểm định hàm sai biệt câu hỏi DIF - góc độ sản phẩm).
3. Điểm số bài thi đọc hiểu VSTEP.3-5 bảo đảm độ tin cậy đến mức độ nào trong việc đo lường năng lực tiếng Anh của thí sinh? (Phục vụ suy luận khái quát hóa - độ tin cậy và phân tách - góc độ sản phẩm).
4. Những quy trình đọc nào được thí sinh áp dụng để trả lời chính xác bài thi đọc hiểu VSTEP.3-5? Từ dữ liệu tư duy thành tiếng (think-aloud protocols), các quy trình đọc kỳ vọng tương ứng ở mức độ nào với quy trình thực tế mà thí sinh trải qua khi làm bài? (Phục vụ suy luận giải thích - góc độ quy trình).
5. Thí sinh làm bài thành công (successful test takers) và không thành công (unsuccessful test takers) khác nhau như thế nào trong việc xử lý các dạng câu hỏi thi đọc hiểu VSTEP.3-5 xét theo chuyển động mắt (eye movements)? Từ dữ liệu theo dõi chuyển động mắt (eye tracking), bài thi đọc hiểu VSTEP.3-5 phân hóa thí sinh ở các bậc năng lực khác nhau như thế nào về mặt quy trình nhận thức đọc? (Phục vụ suy luận giải thích - góc độ quy trình).

Về đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Xác trị của bài thi đọc hiểu VSTEP.3-5 dạng thi trên giấy (paper-based form), bao gồm đặc tính nhiệm vụ bài thi, câu hỏi thi, điểm số bài thi, cùng các chiến lược và quy trình nhận thức của người làm bài.
• Phạm vi không gian và thời gian: Nghiên cứu được thực hiện trong bối cảnh đại dịch COVID-19. Do điều kiện dịch bệnh phức tạp tại Việt Nam và Trung Quốc ở thời điểm đó, tác giả tiến hành thu thập dữ liệu thực nghiệm (điểm thi, tư duy thành tiếng, theo dõi chuyển động mắt) tại hai trường đại học công lập lớn tại Trung Quốc (gồm một trường đại học tổng hợp và một trường đại học sư phạm, đều có quy mô đào tạo trên 20.000 sinh viên đại học và sau đại học). Dữ liệu phỏng vấn và đánh giá chuyên gia được tiến hành song song với các chuyên gia khảo thí. Luận án hoàn thành và bảo vệ vào tháng 10 năm 2023 tại Trường Đại học Ngoại ngữ – Đại học Quốc gia Hà Nội.

Tổng quan tài liệu và vị trí của luận án

Luận án điểm lại hệ thống tài liệu lý thuyết và thực nghiệm theo hai mảng lớn: bản chất/cấu trúc của kỹ năng đọc hiểu ngôn ngữ thứ hai (L2 reading) và các phương pháp tiếp cận xác trị đề thi.

Về bản chất và cấu trúc đọc L2, tác giả hệ thống hóa các quan điểm nền tảng:

• Bản chất đọc L2: Đọc là quá trình tương tác động giữa người đọc, văn bản và bối cảnh (Rumelhart, 1977; Harris & Sipay, 1985; Keith & Alexander, 1989; William & Fredricka, 2005; Francoise, 1981). Điểm khác biệt giữa đọc tiếng mẹ đẻ (L1) và L2 được phân tích qua ba khía cạnh: xử lý ngôn ngữ, sự khác biệt cá nhân/trải nghiệm, và yếu tố văn hóa - xã hội (Adrian, 2003; William & Fredricka, 2005; Jolly, 1978; OECD PISA, 2016).
• Ba góc độ định hình cấu trúc đọc L2 (Enright et al., 2000):
  1. Góc độ quy trình (processing perspective): Mô hình xử lý từ dưới lên (bottom-up - Gough, 1972; Alderson, 2000; Birch, 2002; Cohen & Upton, 2006), mô hình từ trên xuống (top-down - Smith & Goodman, 1971; Bartlett, 1932), mô hình tương tác (interactive approach - Grabe, 1988, 1991; Rumelhart, 1977, 1980; Stanovich, 1980), quan điểm văn hóa - xã hội (Alderson, 2000; Barton, 1994). Đặc biệt, mô hình nhận thức của Urquhart và Weir (1998) phân biệt giữa đọc kỹ (careful reading) và đọc lướt nhanh (expeditious reading: gồm quét thông tin - scanning, đọc nắm ý chính - skimming, đọc tìm kiếm - search reading). Mô hình xử lý nhận thức của Khalifa và Weir (2009) phân cấp 8 tầng xử lý từ nhận diện từ (word recognition), truy cập từ vựng (lexical access), phân tích cú pháp (syntactic parsing), thiết lập ý nghĩa mệnh đề (establishing propositional meaning) đến suy luận (inferencing), xây dựng mô hình tâm trí (mental model), và biểu đạt cấp độ văn bản/liên văn bản (text level/intertextual representation).
  2. Góc độ nhiệm vụ (task perspective): Khung đặc điểm phương pháp kiểm tra của Bachman (1990) và Khung đặc điểm nhiệm vụ của Bachman và Palmer (1996) gồm bối cảnh (setting), hướng dẫn làm bài (test rubrics), ngữ liệu đầu vào (input), câu trả lời kỳ vọng (expected response), và mối quan hệ giữa đầu vào và câu trả lời (relationship between input and response), kết hợp phân tích ứng dụng của Alderson (2000).
  3. Góc độ mục đích của người đọc (reader purpose perspective): Các nghiên cứu về mục đích đọc phục vụ đời sống, học tập và giải trí (Wallace, 1992; Knutson, 1997; Grabe & Stoller, 2002; Grabe, 2009; Carrell & Grabe, 2002; Hochberg & Brooks, 1970; Smith, 1994).

Về các phương pháp tiếp cận xác trị bài thi:

• Tiến trình phát triển quan niệm xác trị: Quan niệm xác trị đơn nhất (unitary concept of validity) và xác trị cấu trúc (Lado, 1961; Messick, 1988, 1989, 1995; AERA, APA, & NCME, 1985, 2014; Bachman, 1990; Borsboom, Mellenbergh, & Heerden, 2004; Chapelle, 2012).
• Các khung xác trị dựa trên minh chứng (evidence-based frameworks): Khung tính hữu ích của bài thi (test usefulness framework - Bachman & Palmer, 1996) và Khung nhận thức - xã hội (socio-cognitive framework - Weir, 2005).
• Các khung xác trị dựa trên luận cứ (argument-based validation frameworks): Cấu trúc luận cứ của Toulmin (1958, 2003); Khung luận cứ diễn giải của Kane (2006, 2013, 2016); Khung luận cứ diễn giải cho TOEFL của Chapelle, Enright, và Jamieson (2008); Khung luận cứ sử dụng đánh giá AUA của Bachman và Palmer (2010).
• Các nghiên cứu thực nghiệm kiểm định nhận thức sử dụng công nghệ theo dõi mắt và tư duy thành tiếng: Bax và Weir (2012) đối với bài thi Cambridge CAE; Bax (2013) đối với IELTS; Brunfaut và McCray (2015); Bax và Chan (2019) đối với bài thi GEPT của Đài Loan.

Vị trí và khoảng trống mà luận án giải quyết: Trong bối cảnh bài thi VSTEP.3-5 đã vận hành nhiều năm nhưng các nghiên cứu thẩm định giá trị đa phần dừng lại ở việc phân tích thống kê cổ điển hoặc phân tích sản phẩm bài thi, luận án này là công trình tích hợp toàn diện khung luận cứ diễn giải (interpretive argument) để thu thập đồng thời minh chứng tâm trắc học dựa trên mô hình Rasch và minh chứng quá trình nhận thức thực nghiệm (tư duy thành tiếng, ghi nhận chuyển động mắt theo thời gian thực) cho bài thi đọc hiểu VSTEP.3-5.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

Luận án áp dụng Khung luận cứ diễn giải (interpretive argument framework) phỏng theo mô hình của Chapelle, Enright, và Jamieson (2008), cấu trúc dựa trên logic lập luận của Toulmin (gồm bảo đảm - warrant, giả định - assumptions, và chứng cứ hậu thuẫn - backing). Nghiên cứu tập trung vào hai suy luận nền tảng:

1. Suy luận khái quát hóa (Generalization inference): Khái quát từ điểm số quan sát sang điểm số kỳ vọng trong toàn bộ miền nhiệm vụ tương đương. Các giả định gắn liền gồm: đặc điểm nhiệm vụ phù hợp với bản đặc tả; độ khó câu hỏi được thiết kế đúng định hướng; câu hỏi thi không gây bất lợi hay thiên vị theo giới tính và chuyên ngành (không có sai biệt câu hỏi DIF); bài thi đạt độ tin cậy và độ phân tách đạt chuẩn.
2. Suy luận giải thích (Explanation inference): Giải thích điểm số quan sát thông qua cấu trúc năng lực đọc hiểu và quy trình nhận thức. Các giả định gắn liền gồm: các câu hỏi thi kích hoạt đúng các tiểu kỹ năng đọc hiểu mục tiêu theo lý thuyết; có sự khác biệt rõ rệt về mặt quy trình nhận thức và chuyển động mắt giữa người làm bài thành công và không thành công; bài thi có khả năng phân hóa nhận thức giữa các bậc năng lực khác nhau.

Để phân tích quá trình nhận thức, luận án tích hợp Mô hình xử lý nhận thức trong đọc hiểu của Khalifa và Weir (2009) và Khung đặc điểm nhiệm vụ điều chỉnh từ Bachman và Palmer (1996).

Phương pháp nghiên cứu

Luận án áp dụng thiết kế phương pháp hỗn hợp đồng quy (convergent mixed methods design), thu thập và phân tích song song dữ liệu định lượng và định tính:

Thành phần phương pháp	Góc độ tiếp cận	Công cụ và nguồn dữ liệu	Kỹ thuật và công cụ phân tích
Định lượng	Sản phẩm bài thi (Product-based)	- Đề thi đọc hiểu VSTEP.3-5 (40 câu trắc nghiệm khách quan). - Dữ liệu điểm số của mẫu thí sinh. - Bản đặc tả đề thi (Test specifications).	- Mô hình Rasch (Item Response Theory) trên phần mềm WINSTEPS. - Phân tích độ tương thích (Item fit, Person fit). - Phân tích bản đồ Wright (Wright map). - Phân tích hàm sai biệt câu hỏi (DIF) theo giới tính và chuyên ngành. - Chỉ số độ tin cậy (Reliability) và độ phân tách (Separation). - Phần mềm Compleat Lexical Tutor (đo độ dài, cấp độ từ vựng, độ khó văn bản). - Phần mềm SPSS.
Định tính & Thực nghiệm nhận thức	Quy trình làm bài (Process-based)	- Bảng câu hỏi phỏng vấn chuyên gia (Expert interview). - Phiếu đánh giá chuyên gia A và B (Expert judgment forms A, B). - Thực nghiệm tư duy thành tiếng (Think-aloud protocols). - Thực nghiệm theo dõi chuyển động mắt (Eye tracking). - Bảng kiểm quy trình đọc (Reading processing checklist).	- Phân tích nội dung phỏng vấn chuyên gia. - Bảng mã hóa giao thức tư duy thành tiếng (Khung mã hóa ban đầu và điều chỉnh). - Các chỉ số đo mắt: Vùng quan tâm (AOI - Areas of Interest), Bản đồ nhiệt (Heat map), Biểu đồ quỹ đạo mắt (Gaze plot), thời gian cố định nhìn (fixation duration), chuyển động quét (saccades). - Thống kê tỷ lệ và tần suất sử dụng chiến lược/tiểu kỹ năng đọc.

Nội dung chính theo từng chương

Chương I: Mở đầu (Introduction)

Chương I thiết lập tính cấp thiết, mục tiêu, phạm vi và bối cảnh của nghiên cứu. Tác giả giới thiệu cấu trúc tổng thể của kỳ thi VSTEP.3-5 và bài thi đọc hiểu:

• Bài thi đọc hiểu VSTEP.3-5 gồm 4 bài đọc, tổng cộng 40 câu hỏi trắc nghiệm 4 lựa chọn, thời gian làm bài 60 phút (bao gồm thời gian chuyển đáp án sang phiếu trả lời). Độ dài mỗi bài đọc dao động từ 400 đến 550 từ, tổng độ dài toàn bài đọc từ 1900 đến 2050 từ.
• Các chủ đề ngữ liệu trải rộng từ đời sống hàng ngày, khoa học tự nhiên, khoa học xã hội, các ấn phẩm học thuật/chuyên môn đến thông tin về châu Á, ASEAN và Việt Nam.

Dưới đây là cấu trúc tổng thể 4 kỹ năng của bài thi VSTEP.3-5 được tác giả trình bày:

Kỹ năng	Số lượng câu hỏi / Nhiệm vụ	Thời gian (phút)	Dạng bài	Mục tiêu đánh giá
Nghe hiểu (Listening)	3 phần, 35 câu hỏi trắc nghiệm	Khoảng 40	Nghe thông báo ngắn, hội thoại mở rộng, bài giảng/nói chuyện; chọn đáp án trắc nghiệm.	Đánh giá năng lực nghe từ Bậc 3 đến Bậc 5 (B1 đến C1): nghe chi tiết, nghe ý chính, nghe thái độ, suy luận ý nghĩa.
Đọc hiểu (Reading)	4 bài đọc, 40 câu hỏi trắc nghiệm	60	Đọc 4 đoạn văn (độ khó bậc 3-5, tổng 1900-2050 từ); trả lời 10 câu trắc nghiệm/bài.	Đánh giá năng lực đọc từ Bậc 3 đến Bậc 5: đọc chi tiết, đọc ý chính, đọc thái độ, suy luận ý nghĩa, hiểu từ vựng trong văn cảnh.
Viết (Writing)	2 nhiệm vụ	60	Task 1: Viết thư/email (tối thiểu 120 từ, chiếm 1/3 điểm). Task 2: Viết luận (tối thiểu 250 từ, chiếm 2/3 điểm).	Đánh giá kỹ năng viết tương tác và viết tạo sinh.
Nói (Speaking)	3 phần	12	Part 1: Tương tác xã hội (3-6 câu hỏi về 2 chủ đề). Part 2: Thảo luận giải pháp (chọn 1 trong 3 giải pháp). Part 3: Phát triển chủ đề (thuyết trình và trả lời câu hỏi phụ).	Đánh giá các tiểu kỹ năng nói: tương tác xã hội, thảo luận giải pháp, phát triển chủ đề.

Thang điểm quy đổi và ngưỡng cắt (cut-off scores) của VSTEP.3-5 được quy định như sau:

Điểm trung bình 4 kỹ năng	Bậc năng lực đạt được	Quy đổi CEFR
0,0 - 3,5	Dưới Bậc 3	Không xét bậc
4,0 - 5,5	Bậc 3	B1
6,0 - 8,0	Bậc 4	B2
8,5 - 10,0	Bậc 5	C1

Bản mô tả năng lực đọc hiểu VSTEP.3-5 theo từng bậc:

• Bậc 5 (8.5 - 10 điểm): Thí sinh hiểu chi tiết các văn bản dài, phức tạp trong đời sống xã hội, học thuật và nghề nghiệp; nắm bắt được các chi tiết tinh tế, thái độ và ý kiến hàm ẩn của tác giả; nhận biết cấu trúc văn bản phức tạp và dự đoán hướng phát triển logic.
• Bậc 4 (6.0 - 8.0 điểm): Thí sinh đọc độc lập các bài báo, báo cáo chuyên ngành; vốn từ vựng tích cực rộng, biết cách đoán nghĩa từ ngữ trong ngữ cảnh hoặc bỏ qua từ mới mà vẫn hiểu nội dung; đọc lướt nắm thông tin khái quát, thông tin diễn đạt lại (rephrased), hoặc chi tiết ngụ ý dù còn gặp đôi chút khó khăn.
• Bậc 3 (4.0 - 5.5 điểm): Thí sinh đọc được các văn bản thực tế rõ ràng về các chủ đề quen thuộc thuộc lĩnh vực quan tâm; xác định được thông tin quan trọng; đọc lướt dựa vào các mối nối liên kết ngôn ngữ để định vị thông tin; nhận ra cấu trúc lập luận cơ bản.

Chương II: Tổng quan tài liệu (Literature Review)

Chương II tổng quan sâu về bản chất đọc L2, các mô hình nhận thức đọc, cấu trúc nhiệm vụ đọc hiểu, và các phương pháp thẩm định bài thi. Chương này làm rõ tính phân cấp của các quy trình nhận thức theo mô hình Khalifa và Weir (2009), đặt nền móng lý thuyết để mã hóa giao thức tư duy thành tiếng và xác định các vùng quan tâm (AOI) trong thực nghiệm chuyển động mắt. Tác giả cũng phân tích chi tiết các tiếp cận tâm trắc học (lý thuyết ứng đáp câu hỏi IRT, mô hình Rasch) cùng các kỹ thuật thực nghiệm đo lường quá trình nhận thức (giao thức tư duy thành tiếng, kỹ thuật theo dõi mắt).

Chương III: Khung lý thuyết (Theoretical Framework)

Chương III trình bày cơ sở lập luận của khung xác trị dựa trên luận cứ (argument-based validation). Tác giả so sánh các khung lý thuyết lớn của Bachman và Palmer (1996, 2010), Weir (2005), Kane (2006, 2013), và Chapelle cùng cộng sự (2008). Từ đó, tác giả xây dựng khung luận cứ diễn giải chuyên biệt cho bài thi đọc hiểu VSTEP.3-5, định hình rõ cấu trúc hai suy luận: suy luận khái quát hóa (generalization) và suy luận giải thích (explanation), tương ứng với các bảo đảm (warrants), giả định (assumptions), và nguồn minh chứng (backing) cần thu thập.

Chương IV: Phương pháp nghiên cứu (Research Methodology)

Chương IV trình bày chi tiết về bản thể luận, nhận thức luận, thiết kế phương pháp hỗn hợp đồng quy, các đối tượng tham gia, công cụ và quy trình thu thập dữ liệu:

• Mẫu tham gia gồm 4 nhóm: thí sinh tham gia làm bài thi lấy điểm số định lượng; nhóm chuyên gia tham gia phỏng vấn và đánh giá chuyên gia qua các biểu mẫu (Form A, Form B); nhóm thí sinh tham gia thực nghiệm tư duy thành tiếng; nhóm thí sinh tham gia thực nghiệm theo dõi chuyển động mắt.
• Công cụ nghiên cứu gồm: Đề thi đọc hiểu VSTEP.3-5 thực tế; Bản đặc tả đề thi; Bảng hỏi phỏng vấn chuyên gia; Khung đặc điểm nhiệm vụ điều chỉnh; Hướng dẫn thực nghiệm tư duy thành tiếng; Hệ thống chỉ số theo dõi mắt; Bảng kiểm quy trình xử lý đọc.
• Quy trình phân tích dữ liệu: Vận hành phần mềm WINSTEPS để ước lượng tham số câu hỏi (item measures), độ phù hợp của câu hỏi (item fit: Infit/Outfit MNSQ, ZSTD), kiểm định sai biệt câu hỏi DIF theo giới tính và chuyên ngành, chỉ số phân tách và độ tin cậy; phần mềm Compleat Lexical Tutor để kiểm tra độ dài và độ khó văn bản; xây dựng và hiệu chỉnh khung mã hóa giao thức tư duy thành tiếng; phân tích dữ liệu bản đồ nhiệt (heat maps), biểu đồ nhìn (gaze plots) trên các câu hỏi điển hình (Item 1, 2, 6, 10, 23, 27, 29, 40).

Chương V: Kết quả và thảo luận về giá trị xác trị bài thi đọc hiểu VSTEP.3-5 từ góc độ sản phẩm (Findings and Discussions on Validity of VSTEP.3-5 Reading Test from the Product-based Perspective)

Chương V giải quyết 3 câu hỏi nghiên cứu đầu tiên (RQ1, RQ2, RQ3):

• Đối với RQ1 (Đối sánh đặc tả và phân tích mô hình Rasch): Phân tích văn bản bằng Compleat Lexical Tutor và phỏng vấn chuyên gia cho thấy các bài đọc đáp ứng chặt chẽ quy định của bản đặc tả về độ dài văn bản (text length), ngôn ngữ đầu vào (language of input), lĩnh vực (text domain), chủ đề (text topic), cấp độ văn bản (text level), và dạng thức phản hồi (response type). Phân tích Rasch cho thấy các câu hỏi thi có chỉ số tương thích (item fit) tốt, phân bố độ khó trải rộng trên bản đồ Wright map, phù hợp với năng lực của người dự thi.
• Đối với RQ2 (Sai biệt câu hỏi DIF): Phân tích hàm sai biệt câu hỏi theo giới tính (DIF by genders) và theo chuyên ngành (DIF by majors) cho thấy các câu hỏi thi không tồn tại sai biệt mang tính thiên vị đáng kể, bảo đảm tính công bằng (fairness) cho các nhóm thí sinh khác nhau.
• Đối với RQ3 (Độ tin cậy và độ phân tách): Các chỉ số phân tách (separation measures) và độ tin cậy (reliability measures) của câu hỏi và người làm bài đều đạt chuẩn thống kê cao, chứng minh bài thi có độ tin cậy tốt trong việc đánh giá năng lực đọc hiểu của thí sinh.

Chương VI: Kết quả và thảo luận về giá trị xác trị bài thi đọc hiểu VSTEP.3-5 từ góc độ quy trình (Findings and Discussions on Validity of VSTEP.3-5 Reading Test from the Process-based Perspective)

Chương VI giải quyết 2 câu hỏi nghiên cứu tiếp theo (RQ4, RQ5):

• Đối với RQ4 (Đánh giá chuyên gia và Giao thức tư duy thành tiếng): Chuyên gia đã thẩm định sự tương ứng giữa các câu hỏi thi và 8 tiểu kỹ năng đọc hiểu chính của VSTEP.3-5 (hiểu thông tin hiển ngôn, hiểu nghĩa từ trong ngữ cảnh, hiểu phương tiện liên kết, suy luận, tích hợp thông tin, tóm tắt ý chính, hiểu thái độ/quan điểm tác giả, hiểu chức năng văn bản). Phân tích giao thức tư duy thành tiếng chỉ ra rằng thí sinh đã kích hoạt đa dạng các chiến lược và quy trình nhận thức phù hợp với kỳ vọng lý thuyết của từng dạng câu hỏi khi đưa ra câu trả lời đúng.
• Đối với RQ5 (Thực nghiệm theo dõi chuyển động mắt và Bảng kiểm quy trình đọc): Phân tích dữ liệu chuyển động mắt (thời gian dừng mắt, chuyển động quét, bản đồ nhiệt, biểu đồ quỹ đạo mắt qua các câu hỏi 1, 2, 6, 10, 23, 27, 29, 40) chỉ ra sự khác biệt rõ nét: thí sinh thành công định vị thông tin then chốt nhanh hơn, tập trung chú ý vào các vùng thông tin trọng tâm (AOI), trong khi thí sinh không thành công thường mất nhiều thời gian vào các phần không liên quan do hạn chế về từ vựng hoặc chiến lược đọc. Dữ liệu theo dõi mắt và bảng kiểm quy trình đọc chứng minh bài thi VSTEP.3-5 có khả năng phân hóa nhận thức rõ rệt giữa các nhóm năng lực khác nhau.

Chương VII: Kết luận (Conclusion)

Chương VII tổng kết lại toàn bộ khung luận cứ diễn giải cho bài thi đọc hiểu VSTEP.3-5, tóm lược lại các chứng cứ hậu thuẫn cho suy luận khái quát hóa (generalization inference) và suy luận giải thích (explanation inference). Đồng thời, tác giả đưa ra các hàm ý về mặt lý luận, phương pháp luận và thực tiễn, nêu rõ các hạn chế của đề tài và đề xuất các hướng nghiên cứu tiếp theo.

Kết quả và những đóng góp mới

Đóng góp mới về mặt lý luận

• Luận án đã mở rộng phạm vi nghiên cứu xác trị bài thi bằng cách kết hợp đồng thời góc độ sản phẩm (product-based) và góc độ quy trình (process-based) dưới Khung luận cứ diễn giải (interpretive argument framework).
• Cung cấp một khung mẫu nghiên cứu (referable paradigm) có tính hệ thống cho các nghiên cứu thẩm định giá trị của định dạng bài thi VSTEP.3-5 nói riêng và các bài thi năng lực ngôn ngữ quy mô lớn nói chung dựa trên cơ sở lý thuyết chuẩn hóa.

Đóng góp mới về mặt phương pháp luận và thực tiễn

• Về phương pháp luận: Nghiên cứu kết hợp thành công các kỹ thuật tâm trắc học hiện đại (mô hình Rasch qua WINSTEPS) với các công nghệ thực nghiệm nhận thức tiên tiến (kỹ thuật theo dõi chuyển động mắt Eye tracking, giao thức tư duy thành tiếng Think-aloud protocols, và Bảng kiểm quy trình đọc Reading processing checklist), tạo nên nguồn minh chứng đa chiều và thuyết phục.
• Về thực tiễn thiết kế đề thi: Kết quả phân tích đặc tính nhiệm vụ và tham số câu hỏi cung cấp cơ sở thực chứng để các nhà phát triển đề thi VSTEP.3-5 rà soát, tinh chỉnh và nâng cao chất lượng xây dựng câu hỏi, bảo đảm bài thi bám sát bản đặc tả đề thi và chuẩn hóa độ khó.
• Về dạy và học tiếng Anh: Luận án giúp giảng viên và người học hiểu rõ hơn về cơ chế nhận thức, các tiểu kỹ năng đọc hiểu và chiến lược làm bài thi VSTEP.3-5, từ đó nâng cao hiệu quả giảng dạy và ôn tập.

Kiến nghị và giải pháp đề xuất

• Đề xuất các nhà thiết kế đề thi tiếp tục kiểm soát chặt chẽ các thông số văn bản (độ dài, vốn từ, cấu trúc câu) nhằm duy trì tính nhất quán giữa các đề thi thực tế và bản đặc tả.
• Khuyến nghị áp dụng quy trình kiểm định kết hợp nhận thức vào hoạt động tiền thử nghiệm (pre-testing) các bộ đề thi chuẩn hóa nhằm loại bỏ sớm các câu hỏi không kích hoạt đúng tiểu kỹ năng đọc mục tiêu.

Hạn chế và hướng nghiên cứu tiếp

Văn bản luận án nêu rõ các hạn chế sau:

• Bối cảnh thu thập dữ liệu: Do ảnh hưởng của đại dịch COVID-19 bùng phát mạnh tại cả Việt Nam và Trung Quốc trong giai đoạn thực hiện đề tài, tác giả không thể thu thập toàn bộ dữ liệu tại Việt Nam mà phải tiến hành thu thập dữ liệu điểm số và thực nghiệm nhận thức trên đối tượng sinh viên tại hai trường đại học ở Trung Quốc.
• Dạng thức bài thi: Nghiên cứu mới chỉ tập trung khảo sát định dạng thi trên giấy (paper-based form) của bài thi đọc hiểu VSTEP.3-5, chưa mở rộng sang định dạng thi trên máy tính (computer-based form) vốn đang được triển khai tại phần lớn các trường đại học được Bộ Giáo dục và Đào tạo cấp phép.

Hướng nghiên cứu tiếp theo được đề xuất:

• Mở rộng thẩm định giá trị bài thi đọc hiểu VSTEP.3-5 trên định dạng thi máy tính (computer-based test).
• Triển khai thu thập dữ liệu thực nghiệm nhận thức trên các nhóm thí sinh đa dạng hơn tại Việt Nam khi điều kiện thực tế cho phép.
• Nghiên cứu sâu hơn các suy luận khác trong khung luận cứ xác trị (như suy luận ngoại suy - extrapolation inference, suy luận sử dụng - utilization inference).

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị cao đối với nhiều nhóm đối tượng:

• Nghiên cứu sinh và học viên cao học ngành Phương pháp giảng dạy tiếng Anh / Khảo thí ngôn ngữ: Tham khảo phương pháp xây dựng khung luận cứ xác trị (argument-based approach), thiết kế nghiên cứu hỗn hợp đồng quy (convergent mixed methods), và cách vận hành các công cụ phân tích phức hợp (WINSTEPS, Eye tracking, Think-aloud protocols).
• Chuyên gia khảo thí và đơn vị phát triển đề thi VSTEP: Tham khảo các bảng đối sánh đặc tính nhiệm vụ, các chỉ số Rasch fit, kết quả kiểm định DIF và phân tích chuyển động mắt để tối ưu hóa quy trình biên soạn đề thi đọc hiểu.
• Giảng viên tiếng Anh: Ứng dụng các phân tích về 8 tiểu kỹ năng đọc hiểu và các chiến lược xử lý nhận thức để thiết kế hoạt động giảng dạy đọc hiểu học thuật và luyện thi VSTEP hiệu quả.

Câu hỏi thường gặp

1. Bài thi đọc hiểu VSTEP.3-5 có cấu trúc và thời gian làm bài như thế nào theo văn bản luận án? Bài thi đọc hiểu VSTEP.3-5 gồm 4 bài đọc với tổng số 40 câu hỏi trắc nghiệm khách quan (mỗi bài đọc có 10 câu hỏi, 4 lựa chọn). Thời gian làm bài là 60 phút (bao gồm cả thời gian chuyển đáp án sang phiếu trả lời). Độ dài mỗi bài đọc dao động từ 400 đến 550 từ, tổng dung lượng văn bản của toàn bài thi nằm trong khoảng 1900 đến 2050 từ.

2. Điểm số bài thi VSTEP.3-5 được quy đổi thành các bậc năng lực nào và ngưỡng điểm cắt ra sao? Điểm số trung bình của 4 kỹ năng (thang điểm 10) được quy đổi theo các ngưỡng:

• Từ 0,0 đến 3,5 điểm: Dưới Bậc 3 (không công nhận bậc năng lực).
• Từ 4,0 đến 5,5 điểm: Đạt Bậc 3 (tương đương trình độ B1 theo CEFR).
• Từ 6,0 đến 8,0 điểm: Đạt Bậc 4 (tương đương trình độ B2 theo CEFR).
• Từ 8,5 đến 10,0 điểm: Đạt Bậc 5 (tương đương trình độ C1 theo CEFR).

3. Khung lý thuyết xác trị chính mà luận án sử dụng là gì và gồm những suy luận nào? Luận án áp dụng Khung luận cứ diễn giải (interpretive argument framework) của Chapelle, Enright, và Jamieson (2008) dựa trên logic cấu trúc luận cứ Toulmin. Nghiên cứu tập trung thẩm định hai suy luận trọng tâm: suy luận khái quát hóa (generalization inference - tiếp cận từ góc độ sản phẩm) và suy luận giải thích (explanation inference - tiếp cận từ góc độ quy trình).

4. Luận án đã sử dụng những công cụ và phần mềm nào để thu thập và phân tích dữ liệu? Luận án sử dụng phần mềm WINSTEPS để phân tích mô hình Rasch (Item fit, Person fit, Wright map, DIF theo giới tính/chuyên ngành, độ tin cậy và phân tách); phần mềm Compleat Lexical Tutor để kiểm tra độ dài và độ khó từ vựng; phần mềm SPSS; thiết bị và phần mềm theo dõi chuyển động mắt (ghi nhận Heat map, Gaze plot, Fixation, AOI); cùng hệ thống biểu mẫu phỏng vấn chuyên gia, phiếu đánh giá chuyên gia A/B, hướng dẫn thực nghiệm tư duy thành tiếng và bảng kiểm quy trình đọc.

5. Vì sao tác giả phải tiến hành thu thập dữ liệu thực nghiệm tại Trung Quốc? Do nghiên cứu được thực hiện trong thời gian bùng phát dịch bệnh COVID-19 nghiêm trọng tại cả Việt Nam và Trung Quốc, việc đi lại và tổ chức thu thập toàn bộ dữ liệu trực tiếp tại Việt Nam gặp trở ngại bất khả kháng. Tác giả đã triển khai thu thập dữ liệu điểm số, tư duy thành tiếng và theo dõi mắt tại hai trường đại học công lập lớn ở Trung Quốc.

Kết luận

Luận án tiến sĩ của tác giả Wei Yu đã hoàn thành việc xây dựng và thẩm định khung luận cứ xác trị cho bài thi đọc hiểu VSTEP.3-5 dạng thi trên giấy thông qua thiết kế nghiên cứu hỗn hợp đồng quy. Bằng việc kết hợp chặt chẽ giữa phân tích mô hình Rasch ở góc độ sản phẩm và các kỹ thuật thực nghiệm nhận thức (tư duy thành tiếng, theo dõi chuyển động mắt) ở góc độ quy trình, luận án đã cung cấp hệ thống minh chứng thực chứng đầy đủ, xác nhận bài thi đáp ứng tốt các yêu cầu về độ tin cậy, tính công bằng và tính giá trị cấu trúc. Công trình không chỉ đóng góp một khung phương pháp luận mẫu mực cho nghiên cứu khảo thí ngôn ngữ mà còn đem lại nhiều giá trị thực tiễn cho công tác phát triển đề thi và giảng dạy tiếng Anh tại Việt Nam.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF LANGUAGES AND INTERNATIONAL STUDIES ******** WEI YU DOCTORAL DISSERTATION A STUDY ON THE VALIDITY OF A VIETNAMESE DEVELOPED TEST OF ENGLISH READING PROFICIENCY (Nghiên cứu xác trị bài thi đọc hiểu của một định dạng bài thi tiếng Anh của Việt Nam) MAJOR: ENGLISH LANGUAGE TEACHING METHODOLOGY CODE: 9140231.01 HANOI, 2023 This dissertation was completed at the University of Languages and International Studies, Vietnam National University, Hanoi. This dissertation was defended on October 26th, 2023 This dissertation can be found at: - National Library of Vietnam - Library and Information Center - Vietnam National University, Hanoi i DECLARATION OF AUTHORSHIP I hereby certify that the thesis I am submitting is entirely my own original work except where otherwise indicated. I am aware of the University’s regulations concerning plagiarism, including those regulations concerning disciplinary actions that may result from plagiarism. Any use of the works of any other author, in any form, is properly acknowledged at their point of use.

Date of submission: November 3rd, 2023 Ph. candidate’s signature: ii I certify that I have read this dissertation and that, in my opinion, it is fully adequate in scope and quality as a dissertation for the degree of Doctor of Philosophy. Nguyen Hoa (Supervisor) I certify that I have read this dissertation and that, in my opinion, it is fully adequate in scope and quality as a dissertation for the degree of Doctor of Philosophy. Duong Thu Mai (Co-supervisor) iii TABLE OF CONTENTS LIST OF FIGURES.

x LIST OF TABLES. xii LIST OF ABBREVIATIONS. xix CHAPTER I: INTRODUCTION .1 Rationale of the study .2 Objective of the study.3 Scope of the study .4 Clarifications of the key terms .5 Context of the study .1 Introduction of VSTEP.1 Development of VSTEP.2 Administration of VSTEP.3 Test takers of VSTEP.4 Test format of VSTEP.5 Cut-off scores of VSTEP.2 Introduction of VSTEP.1 Test purpose of VSTEP.2 Test format of VSTEP.3 Proficiency level description of VSTEP.6 Significance of the study .7 Overall structure of the thesis. 15 iv CHAPTER II: LITERATURE REVIEW .1 Review of L2 reading .1 Nature of L2 reading .2 Constructs of L2 reading.1 The processing perspective.2 The task perspective .3 The reader purpose perspective .2 Review of test validation approaches .1 Test validation approaches from product-based perspective .1 Item Response Theory .2 Test validation approaches from process-based perspective.1 Think aloud protocols.

50 CHAPTER III: THEORETICAL FRAMEWORK .2 Studies on the validity of VSTEP.1 Evidence-based validation frameworks .1 Bachman and Palmer’s test usefulness framework .2 Weir’s socio-cognitive framework .2 Argument-based validation frameworks .1 Kane’s interpretive argument framework .2 Chapelle, Enright, and Jamieson’s interpretive argument framework .3 Bachman and Palmer’s assessment use argument framework .4 Empirical validation studies with interpretive argument framework .5 Interpretive argument for the VSTEP.1 Justification for the use of interpretive argument .2 Articulation of an interpretive argument for the VSTEP. 81 CHAPTER IV: RESEARCH METHODOLOGY.1 Ontology and epistemology for the design of the study .2 The convergent mixed methods design for the study .3 Participants of the study .1 Test takers for the VSTEP.2 Experts for interview and judgement .3 Participants for think aloud protocols .4 Participants for eye tracking .4 Instruments of the study .1 A version of the VSTEP.3-5 reading test paper .3-5 reading test specifications .3 Expert interview questions .4 The modified framework of task characteristics for the VSTEP.5 Expert judgment forms .6 Think aloud protocols operation instructions .7 Eye tracking metrics .8 The reading processing checklist .5 Data collection procedures of the study .1 Data collection procedures for research questions 1, 2 and 3 .2 Data collection procedures for research question 4 .3 Data collection procedures for research question 5 .6 Tools for data analysis .1 Compleat Lexical Tutor.7 Data analysis procedures of the study .1 Data analysis procedures for research question 1 .2 Data analysis procedures for research question 2 .3 Data analysis procedures for research question 3 .4 Data analysis procedures for research question 4 .5 Data analysis procedures for research question 5. 138 CHAPTER V: FINDINGS AND DISCUSSIONS ON VALIDITY OF VSTEP.3-5 READING TEST FROM THE PRODUCT-BASED PERSPECTIVE .1 Findings and discussions for research question 1 .1 Findings from test tasks .