I. Tổng quan bài thi Đọc VSTEP 3 5 và tầm quan trọng
Bài thi Vietnamese Standardized Test of English Proficiency (VSTEP) là kỳ thi đánh giá năng lực tiếng Anh theo Khung năng lực ngoại ngữ 6 bậc dành cho Việt Nam, do Bộ Giáo dục và Đào tạo ban hành. Trong đó, bài thi Đọc VSTEP 3-5 (VSTEP.3-5) được thiết kế để đo lường và xác định trình độ đọc hiểu của thí sinh từ bậc 3 đến bậc 5 (tương đương B1-C1). Việc đảm bảo chất lượng của một kỳ thi chuẩn hóa mang tầm quốc gia là yêu cầu cấp thiết. Do đó, việc phân tích và đánh giá độ tin cậy bài thi VSTEP và độ giá trị bài thi VSTEP không chỉ là một hoạt động nghiên cứu học thuật mà còn có ý nghĩa thực tiễn to lớn. Một bài thi có độ giá trị cao đảm bảo rằng nó đo lường đúng kỹ năng cần đánh giá – trong trường hợp này là năng lực đọc hiểu tiếng Anh. Đồng thời, một bài thi có độ tin cậy cao sẽ cho kết quả nhất quán và chính xác, loại bỏ tối đa các yếu tố sai số ngẫu nhiên. Theo nghiên cứu của Nguyễn Thị Minh Ngọc (2024), việc xem xét hai yếu tố này là nền tảng để khẳng định chất lượng, sự công bằng và tính hiệu quả của bài thi. Kết quả đánh giá cung cấp những bằng chứng khoa học giúp các nhà phát triển đề thi tinh chỉnh và cải thiện công cụ đo lường, đồng thời mang lại sự tin tưởng cho thí sinh và các đơn vị sử dụng kết quả thi. Phân tích này không chỉ dừng lại ở việc xác nhận chất lượng mà còn chỉ ra những điểm cần cải thiện, góp phần nâng cao tiêu chuẩn ra đề thi ngoại ngữ tại Việt Nam.
1.1. Vai trò của VSTEP trong Khung năng lực ngoại ngữ 6 bậc
VSTEP được xây dựng như một công cụ kiểm tra đánh giá ngôn ngữ chuẩn hóa đầu tiên của Việt Nam, nhằm thống nhất hệ thống đánh giá năng lực ngoại ngữ trong nước và tiệm cận với các chuẩn quốc tế. Bài thi VSTEP.3-5 Reading Test (hay VSTEP B1-C1 reading test) có vai trò xác định năng lực đọc hiểu của thí sinh ở ba cấp độ quan trọng: B1, B2 và C1. Kết quả của bài thi được sử dụng cho nhiều mục đích đa dạng, từ xét tốt nghiệp, tuyển sinh sau đại học đến yêu cầu chuẩn đầu ra cho sinh viên và công chức. Sự ra đời của VSTEP theo Khung năng lực ngoại ngữ 6 bậc đánh dấu một bước tiến quan trọng trong việc chuẩn hóa giáo dục ngoại ngữ, tạo ra một thước đo chung và khách quan để so sánh và công nhận trình độ tiếng Anh trên toàn quốc.
1.2. Tại sao cần đánh giá độ tin cậy và độ giá trị bài thi
Theo Brown & Lee (2015), độ giá trị của bài thi (validity) là mức độ mà một bài thi đo lường chính xác construct (khái niệm) mà nó dự định đo. Một bài thi đọc VSTEP có giá trị phải thực sự đánh giá được kỹ năng đọc hiểu, chứ không phải kiến thức nền hay khả năng suy luận logic đơn thuần. Trong khi đó, độ tin cậy của bài thi (reliability) đề cập đến tính nhất quán của đề thi trong việc cho ra kết quả. Nếu một thí sinh làm cùng một bài thi (hoặc một đề tương đương) vào hai thời điểm khác nhau mà kết quả chênh lệch lớn, bài thi đó có độ tin cậy thấp. Việc đánh giá hai yếu tố này là bắt buộc để đảm bảo sự công bằng cho thí sinh và tính chính xác của kết quả, từ đó củng cố uy tín của chứng chỉ VSTEP.
II. Thách thức trong việc đảm bảo chất lượng đề thi VSTEP
Việc xây dựng một bài thi chuẩn hóa vừa đảm bảo độ xác thực của bài thi vừa có tính nhất quán cao là một quá trình phức tạp và đầy thách thức. Đối với bài thi Đọc VSTEP, các nhà phát triển đề phải đối mặt với nhiều vấn đề, từ việc lựa chọn văn bản phù hợp đến thiết kế câu hỏi có khả năng phân loại chính xác trình độ thí sinh. Một trong những thách thức lớn nhất là đảm bảo giá trị nội dung (content validity), tức là các câu hỏi phải phản ánh đầy đủ và cân đối các kỹ năng đọc hiểu được quy định trong ma trận đề thi VSTEP. Việc lựa chọn văn bản có độ khó tăng dần, chủ đề đa dạng nhưng không quá chuyên sâu, và phù hợp với bối cảnh văn hóa Việt Nam và châu Á là một bài toán khó. Bên cạnh đó, việc đo lường tính nhất quán của đề thi cũng gặp nhiều trở ngại. Mỗi câu hỏi trong bài thi cần phải cùng hướng đến việc đo lường một construct duy nhất là năng lực đọc hiểu. Tuy nhiên, các câu hỏi được thiết kế không tốt, quá mơ hồ hoặc có nhiều hơn một đáp án đúng có thể làm giảm độ tin cậy của toàn bộ bài thi. Theo nghiên cứu của Nguyễn Thị Minh Ngọc (2024), việc thiếu các nghiên cứu thực nghiệm VSTEP quy mô lớn và thường xuyên khiến việc phát hiện và khắc phục các điểm yếu này trở nên khó khăn hơn, ảnh hưởng trực tiếp đến chất lượng chung của kỳ thi.
2.1. Phân tích các vấn đề về giá trị nội dung content validity
Giá trị nội dung yêu cầu sự tương thích chặt chẽ giữa nội dung bài thi và các mục tiêu đã được xác định trong đặc tả kỹ thuật (test specifications). Thách thức ở đây là làm thế nào để 40 câu hỏi trắc nghiệm có thể bao quát toàn bộ phạm vi kỹ năng đọc hiểu từ B1 đến C1, như đọc tìm ý chính, đọc tìm thông tin chi tiết, suy luận, và đoán nghĩa từ vựng trong ngữ cảnh. Theo Weir (2005), bất kỳ sự sai lệch nào so với đặc tả kỹ thuật đều có thể tạo ra những lỗ hổng trong việc đánh giá, làm giảm giá trị của bài thi. Ví dụ, nếu đề thi tập trung quá nhiều vào từ vựng mà bỏ qua kỹ năng suy luận, nó sẽ không phản ánh đúng năng lực đọc hiểu tiếng Anh toàn diện của thí sinh.
2.2. Khó khăn khi đo lường giá trị cấu trúc construct validity
Giá trị cấu trúc là một khái niệm phức tạp hơn, đòi hỏi bằng chứng cho thấy bài thi đang thực sự đo lường cấu trúc lý thuyết (theoretical construct) mà nó hướng tới. Trong trường hợp của VSTEP Reading, construct đó chính là "năng lực đọc hiểu". Thách thức là phải chứng minh rằng điểm số của thí sinh phản ánh đúng năng lực này, chứ không phải do các yếu tố gây nhiễu khác như tốc độ làm bài, kiến thức nền về chủ đề, hay khả năng đoán mò. Việc xác định độ khó và độ phân biệt câu hỏi một cách khoa học là cực kỳ quan trọng để đảm bảo giá trị cấu trúc. Một câu hỏi tốt phải có khả năng phân biệt được thí sinh có năng lực cao và thí sinh có năng lực thấp.
III. Phương pháp đánh giá giá trị nội dung bài thi Đọc VSTEP
Để đánh giá một cách toàn diện độ giá trị bài thi VSTEP, cần áp dụng một phương pháp tiếp cận đa diện, kết hợp giữa phân tích định tính và định lượng. Nghiên cứu của Nguyễn Thị Minh Ngọc (2024) đã sử dụng phương pháp hỗn hợp để thực hiện nhiệm vụ này. Về mặt định tính, nghiên cứu tiến hành một cuộc phân tích đề thi VSTEP chi tiết, đối chiếu từng yếu tố của một đề thi mẫu với các quy định chính thức trong tài liệu hướng dẫn của Bộ Giáo dục và Đào tạo. Cụ thể, các chuyên gia được mời để xem xét sự phù hợp của cấu trúc đề thi đọc VSTEP, bao gồm độ dài văn bản, độ khó, chủ đề, và sự phân bổ câu hỏi theo từng cấp độ năng lực. Cách tiếp cận này giúp xác định xem bài thi có tuân thủ ma trận đề thi VSTEP hay không. Việc phân tích định tính dựa trên ý kiến chuyên gia (expert judgement) là một trong những phương pháp nền tảng để xác lập giá trị nội dung (content validity). Các chuyên gia không chỉ đánh giá sự phù hợp chung mà còn đi sâu vào từng câu hỏi, phân tích cách chúng được diễn đạt, tính rõ ràng của câu dẫn và độ hợp lý của các phương án nhiễu. Phương pháp này giúp phát hiện những sai sót tinh vi mà các phân tích thống kê đơn thuần có thể bỏ qua, đảm bảo độ xác thực của bài thi ở cấp độ vi mô.
3.1. So sánh cấu trúc đề thi đọc VSTEP với ma trận đề thi
Nghiên cứu đã so sánh một đề thi mẫu với các tiêu chí trong Quyết định số 730/QĐ-BGDĐT. Kết quả cho thấy sự tương thích cao về các yếu tố cấu trúc. Ví dụ, tổng số từ của bài thi (1863 từ) nằm trong khoảng cho phép (1700-2050 từ). Các chủ đề của bốn bài đọc cũng đa dạng, từ đời sống, khoa học xã hội đến các lĩnh vực chuyên ngành, và có một bài đọc liên quan đến bối cảnh châu Á, đúng theo yêu cầu. Sự phân bổ câu hỏi theo ba cấp độ năng lực (15 câu cho B1, 15 câu cho B2, 10 câu cho C1) cũng tuân thủ chặt chẽ hướng dẫn. Những phát hiện này cung cấp bằng chứng ban đầu vững chắc cho giá trị nội dung của bài thi.
3.2. Phân tích đề thi VSTEP từ góc nhìn của chuyên gia khảo thí
Mặc dù cấu trúc chung đạt yêu cầu, phân tích sâu của các chuyên gia đã chỉ ra một số vấn đề ở cấp độ câu hỏi. Cụ thể, câu 4 và 5 được xác định là có vấn đề vì thí sinh có thể trả lời dựa trên kiến thức nền mà không cần đọc hiểu thông tin trong bài đọc. Tương tự, câu 20 bị đánh giá là có cấu trúc gây nhiễu, yêu cầu thí sinh hoàn thành đoạn cuối nhưng các phương án lựa chọn lại không liên kết chặt chẽ với nội dung chính của đoạn văn. Theo Woolley (2011), các câu hỏi đọc hiểu hiệu quả phải khuyến khích người đọc tương tác sâu với văn bản. Những câu hỏi như trên làm giảm độ xác thực của bài thi vì chúng không đo lường đúng kỹ năng cần thiết.
IV. Cách đo lường độ tin cậy bài thi VSTEP bằng thống kê
Bên cạnh việc đánh giá giá trị, đo lường độ tin cậy bài thi VSTEP là một bước không thể thiếu để khẳng định chất lượng. Độ tin cậy, đặc biệt là độ nhất quán nội tại (internal consistency), cho biết mức độ mà các câu hỏi trong cùng một bài thi cùng đo lường một năng lực duy nhất. Một trong những công cụ thống kê phổ biến và hiệu quả nhất để thực hiện việc này là hệ số Cronbach's Alpha. Hệ số này dao động từ 0 đến 1, với giá trị càng gần 1 thì độ tin cậy càng cao. Trong nghiên cứu thực nghiệm VSTEP với dữ liệu từ 1000 thí sinh, việc tính toán Cronbach's Alpha cung cấp một cái nhìn tổng thể về tính nhất quán của đề thi. Ngoài ra, để có một phân tích sâu hơn, các nhà nghiên cứu còn sử dụng các kỹ thuật phân tích item (item analysis). Phân tích này xem xét từng câu hỏi riêng lẻ thông qua các chỉ số như tương quan item-tổng (item-total correlation), cho biết mỗi câu hỏi đóng góp như thế nào vào điểm số chung. Các mô hình hiện đại hơn trong khảo thí như mô hình Rasch trong khảo thí cũng được áp dụng để xác định độ khó và độ phân biệt câu hỏi. Những phân tích này không chỉ cho ra một con số tổng quát mà còn giúp chỉ ra chính xác những câu hỏi nào đang hoạt động kém hiệu quả, có thể làm giảm độ tin cậy chung của bài thi và cần được xem xét, chỉnh sửa hoặc loại bỏ.
4.1. Ứng dụng hệ số Cronbach s Alpha để đo tính nhất quán
Trong nghiên cứu được phân tích, bài thi Đọc VSTEP đạt hệ số Cronbach's Alpha là 0.83. Theo quy ước chung trong khoa học xã hội, một giá trị trên 0.8 được coi là có độ tin cậy tốt. Kết quả này cho thấy các câu hỏi trong bài thi có xu hướng đo lường một cách nhất quán cùng một construct, đó là năng lực đọc hiểu tiếng Anh. Điều này có nghĩa là thí sinh đạt điểm cao ở một nhóm câu hỏi cũng có khả năng đạt điểm cao ở các nhóm câu hỏi khác, khẳng định rằng bài thi có tính nhất quán của đề thi ở mức độ cao.
4.2. Phân tích độ khó và độ phân biệt câu hỏi chi tiết
Mặc dù Cronbach's Alpha tổng thể cao, phân tích chi tiết từng item lại cho thấy một bức tranh đa chiều hơn. Phân tích tương quan item-tổng (Corrected Item-Total Correlation) chỉ ra một số câu hỏi (ví dụ: 7, 17, 20, 30, 38, 39) có độ tương quan thấp với điểm tổng (<0.2). Điều này cho thấy những câu hỏi này có thể không đo lường cùng một kỹ năng như phần còn lại của bài thi. Đặc biệt, phân tích "Cronbach's Alpha if Item Deleted" cho thấy nếu loại bỏ câu 20, độ tin cậy chung của bài thi sẽ tăng nhẹ. Đây là những bằng chứng thống kê mạnh mẽ cho thấy sự cần thiết phải rà soát và cải thiện chất lượng của từng câu hỏi riêng lẻ.
V. Kết quả nghiên cứu thực nghiệm VSTEP và các đề xuất
Kết quả tổng hợp từ nghiên cứu thực nghiệm VSTEP cho thấy bài thi Đọc VSTEP.3-5 mẫu có chất lượng khá tốt, với độ tin cậy cao và mức độ tuân thủ các tiêu chuẩn về mặt cấu trúc. Cụ thể, độ tin cậy bài thi VSTEP, được đo bằng hệ số Cronbach's Alpha là 0.83, cho thấy một sự nhất quán nội tại đáng kể. Về mặt giá trị, bài thi đã thể hiện sự tương thích cao với ma trận đề thi VSTEP do Bộ Giáo dục và Đào tạo ban hành, từ số lượng từ, chủ đề cho đến phân bổ câu hỏi theo cấp độ. Điều này khẳng định bài thi đã đáp ứng được phần lớn các yêu cầu của một công cụ kiểm tra đánh giá ngôn ngữ chuẩn hóa. Tuy nhiên, nghiên cứu cũng chỉ ra những điểm yếu cần khắc phục để nâng cao hơn nữa chất lượng. Phân tích định tính của chuyên gia và phân tích thống kê item đều chỉ ra sự tồn tại của một số câu hỏi có vấn đề. Các câu hỏi này hoặc không kiểm tra đúng kỹ năng đọc hiểu (ví dụ, có thể trả lời bằng kiến thức nền), hoặc có chất lượng tâm lý đo lường thấp (độ tương quan thấp với điểm tổng). Những phát hiện này mâu thuẫn với một số nghiên cứu trước đây vốn chỉ tập trung vào các chỉ số tổng thể mà bỏ qua phân tích cấp độ item. Do đó, đề xuất quan trọng nhất là cần có một quy trình rà soát, chỉnh sửa và thử nghiệm câu hỏi một cách nghiêm ngặt hơn trước khi đưa vào sử dụng chính thức.
5.1. Bằng chứng về độ giá trị và độ xác thực của bài thi VSTEP
Bằng chứng chính cho độ giá trị bài thi VSTEP đến từ sự tuân thủ nghiêm ngặt về mặt cấu trúc và nội dung so với các quy định chính thức. Việc bài thi bao quát các chủ đề đa dạng, có độ khó tăng dần và phân bổ câu hỏi hợp lý theo Khung năng lực ngoại ngữ 6 bậc đã tạo nên một nền tảng vững chắc cho giá trị nội dung. Nhìn chung, bài thi đã thể hiện được độ xác thực của bài thi khi đánh giá một loạt các kỹ năng đọc hiểu quan trọng.
5.2. Các câu hỏi cần điều chỉnh để tăng cường chất lượng đề thi
Nghiên cứu đã xác định cụ thể một số câu hỏi cần được xem xét lại. Câu 4 và 5 cần được thiết kế lại để yêu cầu thí sinh phải khai thác thông tin trực tiếp từ văn bản. Câu 20 cần được thay thế bằng một câu hỏi có các lựa chọn rõ ràng và liên quan hơn đến nội dung đoạn văn. Các câu hỏi có chỉ số thống kê thấp (7, 17, 30, 38, 39) cần được phân tích lại về mặt nội dung và kỹ thuật để xác định nguyên nhân (câu dẫn mơ hồ, phương án nhiễu không đủ mạnh,...) và tiến hành sửa đổi hoặc loại bỏ. Việc này sẽ trực tiếp cải thiện cả độ tin cậy và độ giá trị của bài thi.
VI. Hướng đi tương lai cho tiêu chuẩn ra đề thi ngoại ngữ
Nghiên cứu về độ tin cậy và giá trị bài thi Đọc VSTEP 3-5 không chỉ cung cấp một cái nhìn sâu sắc về chất lượng của một bài thi cụ thể mà còn mở ra những định hướng quan trọng cho tương lai của công tác khảo thí ngoại ngữ tại Việt Nam. Kết quả cho thấy, để xây dựng được những bài thi chất lượng cao, việc tuân thủ tiêu chuẩn ra đề thi ngoại ngữ về mặt cấu trúc là chưa đủ. Quá trình phát triển đề thi cần tích hợp một cách hệ thống cả hai phương pháp đánh giá: phân tích định tính từ chuyên gia và phân tích định lượng dựa trên dữ liệu thực nghiệm. Cần thiết lập một quy trình chuẩn, trong đó mọi câu hỏi đều phải trải qua các bước thẩm định chuyên môn và thử nghiệm trên một nhóm mẫu thí sinh trước khi được đưa vào ngân hàng đề thi. Hơn nữa, việc kiểm tra đánh giá ngôn ngữ không nên là một hoạt động tĩnh. Các bài thi cần được đánh giá và hiệu chỉnh định kỳ để đảm bảo chúng vẫn giữ được độ tin cậy và giá trị theo thời gian, cũng như phản ánh được những thay đổi trong phương pháp giảng dạy và năng lực của người học. Việc công bố các nghiên cứu thực nghiệm VSTEP như thế này sẽ góp phần tăng tính minh bạch và thúc đẩy sự phát triển chung của lĩnh vực khảo thí ngôn ngữ trong nước, hướng tới các chuẩn mực quốc tế.
6.1. Đề xuất cải tiến quy trình xây dựng và thẩm định đề thi
Một quy trình phát triển đề thi lý tưởng cần bao gồm các bước sau: (1) Xây dựng đặc tả chi tiết (detailed specifications); (2) Biên soạn câu hỏi bởi đội ngũ có chuyên môn; (3) Thẩm định chéo bởi các chuyên gia độc lập về nội dung và kỹ thuật; (4) Thử nghiệm (piloting) câu hỏi trên một mẫu đại diện; (5) Phân tích thống kê kết quả thử nghiệm bằng các mô hình như mô hình Rasch trong khảo thí để đánh giá độ khó và độ phân biệt câu hỏi; (6) Lựa chọn những câu hỏi đạt chất lượng để đưa vào ngân hàng đề thi. Quy trình này đảm bảo mỗi item trong đề thi đều có chất lượng cao nhất.
6.2. Tầm quan trọng của việc kiểm tra đánh giá ngôn ngữ định kỳ
Thế giới và ngôn ngữ luôn vận động. Năng lực của người học thay đổi, các phương pháp giảng dạy được cập nhật. Do đó, một bài thi được coi là tốt ở thời điểm hiện tại có thể trở nên lỗi thời trong tương lai. Việc tiến hành các nghiên cứu xác thực (validation studies) một cách định kỳ là cực kỳ quan trọng để đảm bảo kỳ thi VSTEP luôn là một công cụ đo lường chính xác, công bằng và hiệu quả, phản ánh đúng năng lực đọc hiểu tiếng Anh của người học Việt Nam trong bối cảnh mới.
