Luận văn: Đánh giá độ giá trị nội dung bài thi đọc VSTEP 3-5 - Nguyễn Thị Minh Ngọc

Luận văn phân tích chuyên sâu độ giá trị nội dung và độ tin cậy của bài thi Đọc VSTEP 3-5, cung cấp dữ liệu và kết quả nghiên cứu khoa học.

• Tác giả: Nguyen Thi Minh Ngoc
• Người hướng dẫn: Nguyen Thi Ngoc Quynh
• Trường học: Vietnam National University Hanoi, University of Languages and International Studies, Faculty of Post-Graduate Studies
• Chuyên ngành: English Language Teaching Methodology
• Đề tài: Assessing Content Validity and Internal Consistency Reliability of a Vietnamese Standardized Test of English Proficiency (VSTEP.3-5) Reading Test
• Loại tài liệu: Thesis
• Năm xuất bản: 2024
• Địa điểm: Hanoi

Tóm tắt

I. Tổng quan bài thi Đọc VSTEP 3 5 và tầm quan trọng

Bài thi Vietnamese Standardized Test of English Proficiency (VSTEP) là kỳ thi đánh giá năng lực tiếng Anh theo Khung năng lực ngoại ngữ 6 bậc dành cho Việt Nam, do Bộ Giáo dục và Đào tạo ban hành. Trong đó, bài thi Đọc VSTEP 3-5 (VSTEP.3-5) được thiết kế để đo lường và xác định trình độ đọc hiểu của thí sinh từ bậc 3 đến bậc 5 (tương đương B1-C1). Việc đảm bảo chất lượng của một kỳ thi chuẩn hóa mang tầm quốc gia là yêu cầu cấp thiết. Do đó, việc phân tích và đánh giá độ tin cậy bài thi VSTEP và độ giá trị bài thi VSTEP không chỉ là một hoạt động nghiên cứu học thuật mà còn có ý nghĩa thực tiễn to lớn. Một bài thi có độ giá trị cao đảm bảo rằng nó đo lường đúng kỹ năng cần đánh giá – trong trường hợp này là năng lực đọc hiểu tiếng Anh. Đồng thời, một bài thi có độ tin cậy cao sẽ cho kết quả nhất quán và chính xác, loại bỏ tối đa các yếu tố sai số ngẫu nhiên. Theo nghiên cứu của Nguyễn Thị Minh Ngọc (2024), việc xem xét hai yếu tố này là nền tảng để khẳng định chất lượng, sự công bằng và tính hiệu quả của bài thi. Kết quả đánh giá cung cấp những bằng chứng khoa học giúp các nhà phát triển đề thi tinh chỉnh và cải thiện công cụ đo lường, đồng thời mang lại sự tin tưởng cho thí sinh và các đơn vị sử dụng kết quả thi. Phân tích này không chỉ dừng lại ở việc xác nhận chất lượng mà còn chỉ ra những điểm cần cải thiện, góp phần nâng cao tiêu chuẩn ra đề thi ngoại ngữ tại Việt Nam.

1.1. Vai trò của VSTEP trong Khung năng lực ngoại ngữ 6 bậc

VSTEP được xây dựng như một công cụ kiểm tra đánh giá ngôn ngữ chuẩn hóa đầu tiên của Việt Nam, nhằm thống nhất hệ thống đánh giá năng lực ngoại ngữ trong nước và tiệm cận với các chuẩn quốc tế. Bài thi VSTEP.3-5 Reading Test (hay VSTEP B1-C1 reading test) có vai trò xác định năng lực đọc hiểu của thí sinh ở ba cấp độ quan trọng: B1, B2 và C1. Kết quả của bài thi được sử dụng cho nhiều mục đích đa dạng, từ xét tốt nghiệp, tuyển sinh sau đại học đến yêu cầu chuẩn đầu ra cho sinh viên và công chức. Sự ra đời của VSTEP theo Khung năng lực ngoại ngữ 6 bậc đánh dấu một bước tiến quan trọng trong việc chuẩn hóa giáo dục ngoại ngữ, tạo ra một thước đo chung và khách quan để so sánh và công nhận trình độ tiếng Anh trên toàn quốc.

1.2. Tại sao cần đánh giá độ tin cậy và độ giá trị bài thi

Theo Brown & Lee (2015), độ giá trị của bài thi (validity) là mức độ mà một bài thi đo lường chính xác construct (khái niệm) mà nó dự định đo. Một bài thi đọc VSTEP có giá trị phải thực sự đánh giá được kỹ năng đọc hiểu, chứ không phải kiến thức nền hay khả năng suy luận logic đơn thuần. Trong khi đó, độ tin cậy của bài thi (reliability) đề cập đến tính nhất quán của đề thi trong việc cho ra kết quả. Nếu một thí sinh làm cùng một bài thi (hoặc một đề tương đương) vào hai thời điểm khác nhau mà kết quả chênh lệch lớn, bài thi đó có độ tin cậy thấp. Việc đánh giá hai yếu tố này là bắt buộc để đảm bảo sự công bằng cho thí sinh và tính chính xác của kết quả, từ đó củng cố uy tín của chứng chỉ VSTEP.

II. Thách thức trong việc đảm bảo chất lượng đề thi VSTEP

Việc xây dựng một bài thi chuẩn hóa vừa đảm bảo độ xác thực của bài thi vừa có tính nhất quán cao là một quá trình phức tạp và đầy thách thức. Đối với bài thi Đọc VSTEP, các nhà phát triển đề phải đối mặt với nhiều vấn đề, từ việc lựa chọn văn bản phù hợp đến thiết kế câu hỏi có khả năng phân loại chính xác trình độ thí sinh. Một trong những thách thức lớn nhất là đảm bảo giá trị nội dung (content validity), tức là các câu hỏi phải phản ánh đầy đủ và cân đối các kỹ năng đọc hiểu được quy định trong ma trận đề thi VSTEP. Việc lựa chọn văn bản có độ khó tăng dần, chủ đề đa dạng nhưng không quá chuyên sâu, và phù hợp với bối cảnh văn hóa Việt Nam và châu Á là một bài toán khó. Bên cạnh đó, việc đo lường tính nhất quán của đề thi cũng gặp nhiều trở ngại. Mỗi câu hỏi trong bài thi cần phải cùng hướng đến việc đo lường một construct duy nhất là năng lực đọc hiểu. Tuy nhiên, các câu hỏi được thiết kế không tốt, quá mơ hồ hoặc có nhiều hơn một đáp án đúng có thể làm giảm độ tin cậy của toàn bộ bài thi. Theo nghiên cứu của Nguyễn Thị Minh Ngọc (2024), việc thiếu các nghiên cứu thực nghiệm VSTEP quy mô lớn và thường xuyên khiến việc phát hiện và khắc phục các điểm yếu này trở nên khó khăn hơn, ảnh hưởng trực tiếp đến chất lượng chung của kỳ thi.

2.1. Phân tích các vấn đề về giá trị nội dung content validity

Giá trị nội dung yêu cầu sự tương thích chặt chẽ giữa nội dung bài thi và các mục tiêu đã được xác định trong đặc tả kỹ thuật (test specifications). Thách thức ở đây là làm thế nào để 40 câu hỏi trắc nghiệm có thể bao quát toàn bộ phạm vi kỹ năng đọc hiểu từ B1 đến C1, như đọc tìm ý chính, đọc tìm thông tin chi tiết, suy luận, và đoán nghĩa từ vựng trong ngữ cảnh. Theo Weir (2005), bất kỳ sự sai lệch nào so với đặc tả kỹ thuật đều có thể tạo ra những lỗ hổng trong việc đánh giá, làm giảm giá trị của bài thi. Ví dụ, nếu đề thi tập trung quá nhiều vào từ vựng mà bỏ qua kỹ năng suy luận, nó sẽ không phản ánh đúng năng lực đọc hiểu tiếng Anh toàn diện của thí sinh.

2.2. Khó khăn khi đo lường giá trị cấu trúc construct validity

Giá trị cấu trúc là một khái niệm phức tạp hơn, đòi hỏi bằng chứng cho thấy bài thi đang thực sự đo lường cấu trúc lý thuyết (theoretical construct) mà nó hướng tới. Trong trường hợp của VSTEP Reading, construct đó chính là "năng lực đọc hiểu". Thách thức là phải chứng minh rằng điểm số của thí sinh phản ánh đúng năng lực này, chứ không phải do các yếu tố gây nhiễu khác như tốc độ làm bài, kiến thức nền về chủ đề, hay khả năng đoán mò. Việc xác định độ khó và độ phân biệt câu hỏi một cách khoa học là cực kỳ quan trọng để đảm bảo giá trị cấu trúc. Một câu hỏi tốt phải có khả năng phân biệt được thí sinh có năng lực cao và thí sinh có năng lực thấp.

III. Phương pháp đánh giá giá trị nội dung bài thi Đọc VSTEP

Để đánh giá một cách toàn diện độ giá trị bài thi VSTEP, cần áp dụng một phương pháp tiếp cận đa diện, kết hợp giữa phân tích định tính và định lượng. Nghiên cứu của Nguyễn Thị Minh Ngọc (2024) đã sử dụng phương pháp hỗn hợp để thực hiện nhiệm vụ này. Về mặt định tính, nghiên cứu tiến hành một cuộc phân tích đề thi VSTEP chi tiết, đối chiếu từng yếu tố của một đề thi mẫu với các quy định chính thức trong tài liệu hướng dẫn của Bộ Giáo dục và Đào tạo. Cụ thể, các chuyên gia được mời để xem xét sự phù hợp của cấu trúc đề thi đọc VSTEP, bao gồm độ dài văn bản, độ khó, chủ đề, và sự phân bổ câu hỏi theo từng cấp độ năng lực. Cách tiếp cận này giúp xác định xem bài thi có tuân thủ ma trận đề thi VSTEP hay không. Việc phân tích định tính dựa trên ý kiến chuyên gia (expert judgement) là một trong những phương pháp nền tảng để xác lập giá trị nội dung (content validity). Các chuyên gia không chỉ đánh giá sự phù hợp chung mà còn đi sâu vào từng câu hỏi, phân tích cách chúng được diễn đạt, tính rõ ràng của câu dẫn và độ hợp lý của các phương án nhiễu. Phương pháp này giúp phát hiện những sai sót tinh vi mà các phân tích thống kê đơn thuần có thể bỏ qua, đảm bảo độ xác thực của bài thi ở cấp độ vi mô.

3.1. So sánh cấu trúc đề thi đọc VSTEP với ma trận đề thi

Nghiên cứu đã so sánh một đề thi mẫu với các tiêu chí trong Quyết định số 730/QĐ-BGDĐT. Kết quả cho thấy sự tương thích cao về các yếu tố cấu trúc. Ví dụ, tổng số từ của bài thi (1863 từ) nằm trong khoảng cho phép (1700-2050 từ). Các chủ đề của bốn bài đọc cũng đa dạng, từ đời sống, khoa học xã hội đến các lĩnh vực chuyên ngành, và có một bài đọc liên quan đến bối cảnh châu Á, đúng theo yêu cầu. Sự phân bổ câu hỏi theo ba cấp độ năng lực (15 câu cho B1, 15 câu cho B2, 10 câu cho C1) cũng tuân thủ chặt chẽ hướng dẫn. Những phát hiện này cung cấp bằng chứng ban đầu vững chắc cho giá trị nội dung của bài thi.

3.2. Phân tích đề thi VSTEP từ góc nhìn của chuyên gia khảo thí

Mặc dù cấu trúc chung đạt yêu cầu, phân tích sâu của các chuyên gia đã chỉ ra một số vấn đề ở cấp độ câu hỏi. Cụ thể, câu 4 và 5 được xác định là có vấn đề vì thí sinh có thể trả lời dựa trên kiến thức nền mà không cần đọc hiểu thông tin trong bài đọc. Tương tự, câu 20 bị đánh giá là có cấu trúc gây nhiễu, yêu cầu thí sinh hoàn thành đoạn cuối nhưng các phương án lựa chọn lại không liên kết chặt chẽ với nội dung chính của đoạn văn. Theo Woolley (2011), các câu hỏi đọc hiểu hiệu quả phải khuyến khích người đọc tương tác sâu với văn bản. Những câu hỏi như trên làm giảm độ xác thực của bài thi vì chúng không đo lường đúng kỹ năng cần thiết.

IV. Cách đo lường độ tin cậy bài thi VSTEP bằng thống kê

Bên cạnh việc đánh giá giá trị, đo lường độ tin cậy bài thi VSTEP là một bước không thể thiếu để khẳng định chất lượng. Độ tin cậy, đặc biệt là độ nhất quán nội tại (internal consistency), cho biết mức độ mà các câu hỏi trong cùng một bài thi cùng đo lường một năng lực duy nhất. Một trong những công cụ thống kê phổ biến và hiệu quả nhất để thực hiện việc này là hệ số Cronbach's Alpha. Hệ số này dao động từ 0 đến 1, với giá trị càng gần 1 thì độ tin cậy càng cao. Trong nghiên cứu thực nghiệm VSTEP với dữ liệu từ 1000 thí sinh, việc tính toán Cronbach's Alpha cung cấp một cái nhìn tổng thể về tính nhất quán của đề thi. Ngoài ra, để có một phân tích sâu hơn, các nhà nghiên cứu còn sử dụng các kỹ thuật phân tích item (item analysis). Phân tích này xem xét từng câu hỏi riêng lẻ thông qua các chỉ số như tương quan item-tổng (item-total correlation), cho biết mỗi câu hỏi đóng góp như thế nào vào điểm số chung. Các mô hình hiện đại hơn trong khảo thí như mô hình Rasch trong khảo thí cũng được áp dụng để xác định độ khó và độ phân biệt câu hỏi. Những phân tích này không chỉ cho ra một con số tổng quát mà còn giúp chỉ ra chính xác những câu hỏi nào đang hoạt động kém hiệu quả, có thể làm giảm độ tin cậy chung của bài thi và cần được xem xét, chỉnh sửa hoặc loại bỏ.

4.1. Ứng dụng hệ số Cronbach s Alpha để đo tính nhất quán

Trong nghiên cứu được phân tích, bài thi Đọc VSTEP đạt hệ số Cronbach's Alpha là 0.83. Theo quy ước chung trong khoa học xã hội, một giá trị trên 0.8 được coi là có độ tin cậy tốt. Kết quả này cho thấy các câu hỏi trong bài thi có xu hướng đo lường một cách nhất quán cùng một construct, đó là năng lực đọc hiểu tiếng Anh. Điều này có nghĩa là thí sinh đạt điểm cao ở một nhóm câu hỏi cũng có khả năng đạt điểm cao ở các nhóm câu hỏi khác, khẳng định rằng bài thi có tính nhất quán của đề thi ở mức độ cao.

4.2. Phân tích độ khó và độ phân biệt câu hỏi chi tiết

Mặc dù Cronbach's Alpha tổng thể cao, phân tích chi tiết từng item lại cho thấy một bức tranh đa chiều hơn. Phân tích tương quan item-tổng (Corrected Item-Total Correlation) chỉ ra một số câu hỏi (ví dụ: 7, 17, 20, 30, 38, 39) có độ tương quan thấp với điểm tổng (<0.2). Điều này cho thấy những câu hỏi này có thể không đo lường cùng một kỹ năng như phần còn lại của bài thi. Đặc biệt, phân tích "Cronbach's Alpha if Item Deleted" cho thấy nếu loại bỏ câu 20, độ tin cậy chung của bài thi sẽ tăng nhẹ. Đây là những bằng chứng thống kê mạnh mẽ cho thấy sự cần thiết phải rà soát và cải thiện chất lượng của từng câu hỏi riêng lẻ.

V. Kết quả nghiên cứu thực nghiệm VSTEP và các đề xuất

Kết quả tổng hợp từ nghiên cứu thực nghiệm VSTEP cho thấy bài thi Đọc VSTEP.3-5 mẫu có chất lượng khá tốt, với độ tin cậy cao và mức độ tuân thủ các tiêu chuẩn về mặt cấu trúc. Cụ thể, độ tin cậy bài thi VSTEP, được đo bằng hệ số Cronbach's Alpha là 0.83, cho thấy một sự nhất quán nội tại đáng kể. Về mặt giá trị, bài thi đã thể hiện sự tương thích cao với ma trận đề thi VSTEP do Bộ Giáo dục và Đào tạo ban hành, từ số lượng từ, chủ đề cho đến phân bổ câu hỏi theo cấp độ. Điều này khẳng định bài thi đã đáp ứng được phần lớn các yêu cầu của một công cụ kiểm tra đánh giá ngôn ngữ chuẩn hóa. Tuy nhiên, nghiên cứu cũng chỉ ra những điểm yếu cần khắc phục để nâng cao hơn nữa chất lượng. Phân tích định tính của chuyên gia và phân tích thống kê item đều chỉ ra sự tồn tại của một số câu hỏi có vấn đề. Các câu hỏi này hoặc không kiểm tra đúng kỹ năng đọc hiểu (ví dụ, có thể trả lời bằng kiến thức nền), hoặc có chất lượng tâm lý đo lường thấp (độ tương quan thấp với điểm tổng). Những phát hiện này mâu thuẫn với một số nghiên cứu trước đây vốn chỉ tập trung vào các chỉ số tổng thể mà bỏ qua phân tích cấp độ item. Do đó, đề xuất quan trọng nhất là cần có một quy trình rà soát, chỉnh sửa và thử nghiệm câu hỏi một cách nghiêm ngặt hơn trước khi đưa vào sử dụng chính thức.

5.1. Bằng chứng về độ giá trị và độ xác thực của bài thi VSTEP

Bằng chứng chính cho độ giá trị bài thi VSTEP đến từ sự tuân thủ nghiêm ngặt về mặt cấu trúc và nội dung so với các quy định chính thức. Việc bài thi bao quát các chủ đề đa dạng, có độ khó tăng dần và phân bổ câu hỏi hợp lý theo Khung năng lực ngoại ngữ 6 bậc đã tạo nên một nền tảng vững chắc cho giá trị nội dung. Nhìn chung, bài thi đã thể hiện được độ xác thực của bài thi khi đánh giá một loạt các kỹ năng đọc hiểu quan trọng.

5.2. Các câu hỏi cần điều chỉnh để tăng cường chất lượng đề thi

Nghiên cứu đã xác định cụ thể một số câu hỏi cần được xem xét lại. Câu 4 và 5 cần được thiết kế lại để yêu cầu thí sinh phải khai thác thông tin trực tiếp từ văn bản. Câu 20 cần được thay thế bằng một câu hỏi có các lựa chọn rõ ràng và liên quan hơn đến nội dung đoạn văn. Các câu hỏi có chỉ số thống kê thấp (7, 17, 30, 38, 39) cần được phân tích lại về mặt nội dung và kỹ thuật để xác định nguyên nhân (câu dẫn mơ hồ, phương án nhiễu không đủ mạnh,...) và tiến hành sửa đổi hoặc loại bỏ. Việc này sẽ trực tiếp cải thiện cả độ tin cậy và độ giá trị của bài thi.

VI. Hướng đi tương lai cho tiêu chuẩn ra đề thi ngoại ngữ

Nghiên cứu về độ tin cậy và giá trị bài thi Đọc VSTEP 3-5 không chỉ cung cấp một cái nhìn sâu sắc về chất lượng của một bài thi cụ thể mà còn mở ra những định hướng quan trọng cho tương lai của công tác khảo thí ngoại ngữ tại Việt Nam. Kết quả cho thấy, để xây dựng được những bài thi chất lượng cao, việc tuân thủ tiêu chuẩn ra đề thi ngoại ngữ về mặt cấu trúc là chưa đủ. Quá trình phát triển đề thi cần tích hợp một cách hệ thống cả hai phương pháp đánh giá: phân tích định tính từ chuyên gia và phân tích định lượng dựa trên dữ liệu thực nghiệm. Cần thiết lập một quy trình chuẩn, trong đó mọi câu hỏi đều phải trải qua các bước thẩm định chuyên môn và thử nghiệm trên một nhóm mẫu thí sinh trước khi được đưa vào ngân hàng đề thi. Hơn nữa, việc kiểm tra đánh giá ngôn ngữ không nên là một hoạt động tĩnh. Các bài thi cần được đánh giá và hiệu chỉnh định kỳ để đảm bảo chúng vẫn giữ được độ tin cậy và giá trị theo thời gian, cũng như phản ánh được những thay đổi trong phương pháp giảng dạy và năng lực của người học. Việc công bố các nghiên cứu thực nghiệm VSTEP như thế này sẽ góp phần tăng tính minh bạch và thúc đẩy sự phát triển chung của lĩnh vực khảo thí ngôn ngữ trong nước, hướng tới các chuẩn mực quốc tế.

6.1. Đề xuất cải tiến quy trình xây dựng và thẩm định đề thi

Một quy trình phát triển đề thi lý tưởng cần bao gồm các bước sau: (1) Xây dựng đặc tả chi tiết (detailed specifications); (2) Biên soạn câu hỏi bởi đội ngũ có chuyên môn; (3) Thẩm định chéo bởi các chuyên gia độc lập về nội dung và kỹ thuật; (4) Thử nghiệm (piloting) câu hỏi trên một mẫu đại diện; (5) Phân tích thống kê kết quả thử nghiệm bằng các mô hình như mô hình Rasch trong khảo thí để đánh giá độ khó và độ phân biệt câu hỏi; (6) Lựa chọn những câu hỏi đạt chất lượng để đưa vào ngân hàng đề thi. Quy trình này đảm bảo mỗi item trong đề thi đều có chất lượng cao nhất.

6.2. Tầm quan trọng của việc kiểm tra đánh giá ngôn ngữ định kỳ

Thế giới và ngôn ngữ luôn vận động. Năng lực của người học thay đổi, các phương pháp giảng dạy được cập nhật. Do đó, một bài thi được coi là tốt ở thời điểm hiện tại có thể trở nên lỗi thời trong tương lai. Việc tiến hành các nghiên cứu xác thực (validation studies) một cách định kỳ là cực kỳ quan trọng để đảm bảo kỳ thi VSTEP luôn là một công cụ đo lường chính xác, công bằng và hiệu quả, phản ánh đúng năng lực đọc hiểu tiếng Anh của người học Việt Nam trong bối cảnh mới.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HANOI UNIVERSITY OF LANGUAGES AND INTERNATIONAL STUDIES FACULTY OF POST-GRADUATE STUDIES -------- NGUYỄN THỊ MINH NGỌC ASSESSING CONTENT VALIDITY AND INTERNAL CONSISTENCY RELIABILITY OF A VIETNAMESE STANDARDIZED TEST OF ENGLISH PROFICIENCY (VSTEP.3-5) READING TEST Đánh giá độ giá trị nội dung và độ ổn định bên trong của bài thi kỹ năng Đọc của một đề thi Vstep bậc 3-5 M.A MINOR PROGRAMME THESIS Field: English Language Teaching Methodology Code: 8140231.01 Hanoi – 2024 VIETNAM NATIONAL UNIVERSITY HANOI UNIVERSITY OF LANGUAGES AND INTERNATIONAL STUDIES FACULTY OF POST-GRADUATE STUDIES -------- NGUYỄN THỊ MINH NGỌC ASSESSING CONTENT VALIDITY AND INTERNAL CONSISTENCY RELIABILITY OF A VIETNAMESE STANDARDIZED TEST OF ENGLISH PROFICIENCY (VSTEP.3-5) READING TEST Đánh giá độ giá trị nội dung và độ ổn định bên trong của bài thi kỹ năng Đọc của một đề thi Vstep bậc 3-5 M.A MINOR PROGRAMME THESIS Field: English Language Teaching Methodology Code: 8140231. Nguyễn Thị Ngọc Quỳnh Hanoi - 2024 DECLARATION I declare that the work in research titled: “Assessing content validity and internal consistency reliability of a Vietnamese standardized test of English proficiency (vstep.3-5) Reading test” has been carried out by me under the guidance of my supervisor, Dr. Nguyen Thi Ngoc Quynh. Any sources of information or ideas used in this research have been duly acknowledged and referenced.

The research represents an original contribution to the field of language assessment and teaching. All data collected and analyzed for this research have been obtained through ethical means and in compliance with relevant research guidelines and regulations. I affirm that no part of this research has been previously submitted for any other academic qualification, and it does not infringe upon the intellectual property rights of any individual or organization. Furthermore, I acknowledge the contributions of all individuals who have provided assistance, guidance, or support throughout the process of conducting this research and writing this research.

Their input has been invaluable in shaping the direction and outcomes of this research. I understand that any findings, conclusions, or recommendations presented in this research are based solely on the evidence and analysis presented herein. They reflect my own interpretations and perspectives as the author of this research. Hanoi – 09/2024 Nguyen Thi Minh Ngoc Signature of Approval: __________________________________ Supervisor’s Comments and Suggestions ___________________________________________________________________ ___________________________________________________________________ i ACKNOWLEDGEMENTS To everyone who helped complete this research on "Assessing Content Validity and Internal Consistency Reliability of a Vietnamese Standardized Test of English Proficiency (VSTEP 3-5) Reading Test.", I would like to extend my profound appreciation.

First and foremost, I extend my heartfelt thanks to my research advisor, Dr. Nguyen Thi Ngoc Quynh, for offered tremendous advice, assistance, and inspiration at every turn during the research project. Her knowledge, perceptions, and helpful criticism have greatly influenced the process and quality of the research. I am also thankful to my family, my co-workers and my friends for their unwavering encouragement, understanding, and patience during the course of this academic pursuit.

Finally, I wish to express my appreciation to all the researchers, scholars, and practitioners in the field of language assessment and testing whose work has informed and influenced this research. ii ABSTRACT This research reports on a research on the content validity and internal consistency of a reading sample test for assessing English proficiency levels 3-5 (VSTEP.3-5) through both quantitative and qualitative analysis. Three lecturers with expertise in assessment analysis were invited to analyze the test content according to the task analysis framework. Additionally, the research analyzed the test scores of 1000 test takers who completed this test.

The research methodology involves a meticulous analysis of the test specifications, alignment with educational frameworks, and statistical evaluation of test scores. Content validity is assessed by comparing the test questions to predetermined criteria and specifications, revealing overall alignment with desired proficiency levels but identifying specific questions requiring revision. Reliability analysis, conducted through Cronbach's alpha coefficient, item-to-total correlation, and factor analysis, demonstrates high internal consistency and suitability for measuring language proficiency. Findings highlight the test's effectiveness in evaluating reading skills across various proficiency levels and subject areas.

However, certain questions exhibit discrepancies in alignment with passage content, suggesting potential areas for improvement in item development. Recommendations include revising problematic questions and conducting further validation studies to enhance the test's validity and reliability. Overall, this research contributes to the ongoing refinement of English proficiency assessments in Vietnam, providing insights into test design, alignment with educational standards, and strategies for improving validity and reliability. iii TABLE OF CONTENT DECLARATION.

iii LIST OF TABLES. vi LIST OF FIGURES. Aims and objectives of the research. Scope of the research.

Methods of the study. Significance of the research. Structure of the research. Test validity and reliability.

Internal consistency reliability. Previous studies on content validity. Previous studies on internal consistency reliability. Research Context and Participants.

Data collection procedure. RESEARCH FINDINGS AND DISCUSSION. Suggestions for further research. I v LIST OF TABLES Table 4.

The comparison of the specification and the sample test. VSTEP reading test reliability. Evaluate the Reliability of the VSTEP Reading test items. KMO and Bartlett's Test.

39 LIST OF FIGURES Figure 1. The calculation of validity index. The calculation of the percentage of items. Illustration of the matching of questions in the test VSTEP Reading Sample test.

Response model parameter estimates. Rationale The VSTEP (Vietnamese Standardized Test of English Proficiency) is the first standardized English test in Vietnam. The VSTEP was introduced by the Ministry of Education and Training (MOET) in Vietnam and is being used to evaluate students' and English language learners' English language ability within the Vietnamese educational system. Its objective is to ascertain test-takers’ degrees of English proficiency in four domains from level 3 to level 5 in accordance with the six-level foreign language proficiency framework for Vietnam.

This test assesses the ability to use English for communication, reading comprehension, writing, and listening comprehension. VSTEP can be used for many different purposes, such as giving admission to universities and colleges, providing English certificates for students, or assessing English proficiency for personal goals. By aligning with international standards, VSTEP plays an important role in measuring and comparing the English proficiency of Vietnamese students and students with international standards and supporting the country’s effort to improve the education system and prepare students for international opportunities. VSTEP is well recognized and used in Vietnam; however, empirical research that precisely assesses the content validity and internal consistency reliability of the VSTEP 3-5 Reading sample test is severely lacking.

The findings of previous research on language proficiency tests have been conflicting, and different viewpoints have been expressed on the most effective ways to examine these crucial components of assessment quality. Furthermore, according to the MOET announcement, only organizations that have acquired official Ministry permission may administer tests for foreign language competency. In addition, all live tests are strictly secured by law. This leads to the need for quality sample tests so that those who are interested in the test can have 1 information about its structure, time, some kinds of questions, and format.

Therefore, the National Testing Center of Educational Testing and Assessment has developed a computerized test website for the evaluation of foreign language competence to introduce the sample tests in the assessment of foreign language competence according to the six-level foreign language proficiency framework for Vietnam so that teachers and interested foreign language learners can get familiar with the computerized form of the test. The Education Quality Management Agency of MOET declared that around thirty institutions and academies nationwide are authorized to administer VSTEP tests and grant certifications. All of them notify interested lecturers, trainees, and contestants of the address of the test page developed by the National Testing Center of Educational Testing and Assessment on their websites. The issue, however, is whether this sample test fully and accurately reflects the English language skills of students and users in the context of the six-level foreign language proficiency framework for Vietnam.

With the continuous development of English education and the science of measurement and evaluation, this issue is becoming increasingly important and requires careful consideration. Therefore, it is crucial to assess the quality of the sample tests to make sure they are valid and reliable so that candidates can follow and do the sample tests, which is good preparation for taking official tests. Aims and objectives of the research The primary aim of this research is to assess the content validity and internal consistency reliability of the VSTEP 3-5 Reading sample test, with a focus on aligning the test with the six-level foreign language proficiency framework for Vietnam. This aim is specified in the following objectives: The first is to examine its alignment with framework objectives or investigate how well the reading sample test aligns with the objectives and proficiency levels outlined in the Six-Level Competence Framework.

The second objective is to analyze its internal consistency reliability, 2 which involves determining the consistency and coherence of the reading sample test items to ensure reliable measurement of English language proficiency. In addition, in each objective, identifying areas for improvement or any shortcomings in the content, structure, or administration of the reading sample test to enhance its effectiveness as a measure of English proficiency would be added. Research questions To fulfill the above aim and two objectives, the research raises two questions for exploration: Research question 1: To what extent are the sample test items relevant to the representative of the targeted constructs as described in the test specifications? Research question 2: To what extent do the sample test items that probe the same construct produce similar results? 1. Scope of the research This research focuses on the reading skill component, which offers practical data collection advantages, as reading tests typically involve discrete items or passages with specific questions, facilitating easier and more objective response data analysis.

Reading comprehension lends itself well to quantitative analysis, allowing for straightforward performance measurement and the assessment of internal consistency reliability, which contributes to a more rigorous evaluation of the sample tests. As reading is fundamental to academic, professional, and everyday communication, analyzing this component helps assess a critical dimension of language proficiency. Given the framework's likely emphasis on reading skill development, this research provides valuable insights into the alignment between the sample tests and framework objectives, enhancing the assessment instrument's overall validity. This research also emphasizes evaluating the content validity and internal consistency reliability of the sample test used in VSTEP.

Both of them are fundamental aspects of assessment quality. Evaluating these aspects is essential for ensuring that the sample tests effectively measure English language proficiency. Moreover, assessing content validity ensures that the sample tests accurately reflect the constructs and 3 domains of English language proficiency specified in the six-level foreign language proficiency framework for Vietnam. This enhances the validity and reliability of the assessment results, providing stakeholders with confidence in the test outcomes.

Ensuring internal consistency reliability indicates the consistency and coherence of the test items, which is crucial for effective assessment. A reliable test produces consistent results across administrations, allowing for a more accurate measurement of English language proficiency (DeVellis, 2016). Additionally, insights from this research can inform test design, item selection, and educational policies, benefiting test developers, educators, policymakers, and other stakeholders in English language education in Vietnam by improving learning outcomes. The research chooses the sample test over a live test primarily due to security concerns, as live tests pose challenges in maintaining confidentiality and test integrity.

Sample tests offer a controlled environment, reducing the risk of content leakage and ensuring research integrity. Their accessibility and reproducibility enable the analysis of multiple versions, facilitating a thorough assessment of content validity and internal consistency reliability. Sample tests are also more resource- efficient, eliminating logistical needs like participant recruitment and venue arrangements, allowing researchers to focus on data analysis and interpretation.