Xây dựng Bài Kiểm Tra Thích Ứng Bằng Máy Tính Để Đánh Giá Kiến Thức Từ Vựng Tiếp Nhận Tiếng Anh

Nghiên cứu xây dựng bài kiểm tra thích ứng trên máy tính, đánh giá kiến thức từ vựng tiếng Anh hiệu quả. Luận án tiến sĩ chuyên sâu về đo lường và đánh giá giáo dục.

• Tác giả: Bùi Thị Kim Phượng
• Người hướng dẫn: GS. Nguyễn Quý Thanh
• Trường học: Trường Đại Học Giáo Dục - ĐHQGHN
• Chuyên ngành: Đo Lường Và Đánh Giá Trong Giáo Dục
• Đề tài: Xây Dựng Bài Kiểm Tra Thích Ứng Bằng Máy Tính Để Đánh Giá Kiến Thức Từ Vựng Tiếp Nhận Tiếng Anh
• Loại tài liệu: Luận Án Tiến Sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• MỤC LỤC
• MỞ ĐẦU
• 0.1. Mục đích và nhiệm vụ nghiên cứu
• 0.2. Mục đích nghiên cứu
• 0.3. Nhiệm vụ nghiên cứu
• 0.4. Khách thể và đối tượng nghiên cứu
• 0.5. Phạm vi và giới hạn nghiên cứu
• 0.6. Câu hỏi nghiên cứu
• 0.7. Phương pháp nghiên cứu
• 0.7.1. Phương pháp nghiên cứu định tính
• 0.7.2. Phương pháp nghiên cứu định lượng
• 0.8. Đóng góp khoa học của luận án
• 0.8.1. Đóng góp về lý luận
• 1. CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU
• 1.1. Lý thuyết khảo thí hiện đại
• 1.2. Lý luận về trắc nghiệm thích ứng bằng máy tính
• 1.3. Lý luận về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh
• 1.4. Tổng quan nghiên cứu
• 1.5. Các nghiên cứu về kiểm tra thích ứng trong đào tạo ngôn ngữ
• 1.6. Các nghiên cứu về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh
• 1.7. Khoảng trống nghiên cứu
• 1.8. Đề xuất mô hình nghiên cứu
• 1.9. Kết chương
• 2. CHƯƠNG 2: PHƯƠNG PHÁP LUẬN NGHIÊN CỨU
• 2.1. Quy trình nghiên cứu
• 2.2. Phương pháp nghiên cứu
• 2.2.1. Phương pháp nghiên cứu định lượng
• 2.2.2. Phương pháp nghiên cứu định tính
• 2.3. Quá trình lấy mẫu
• 2.4. Mẫu của phương pháp chuyên gia
• 2.5. Mẫu tham gia thử nghiệm
• 2.6. Mẫu tham gia khảo sát và phỏng vấn
• 2.7. Công cụ nghiên cứu
• 2.7.1. Hệ thống UEd-CAT
• 2.7.2. Bài trắc nghiệm song ngữ đánh giá từ vựng tiếp nhận tiếng Anh
• 2.7.3. Bảng câu hỏi xin ý kiến chuyên gia
• 2.7.4. Bảng câu hỏi khảo sát
• 2.7.5. Bộ câu hỏi phỏng vấn
• 2.8. Các vấn đề về đạo đức nghiên cứu
• 2.9. Kết chương
• 3. CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN
• 3.1. Chuẩn hóa ngân hàng câu hỏi trắc nghiệm thích ứng từ vựng tiếp nhận tiếng Anh
• 3.2. Biên soạn và chỉnh sửa bộ câu hỏi thô
• 3.3. Đánh giá độ tin cậy của các đề thử nghiệm
• 3.4. Loại các câu hỏi không phù hợp với mô hình
• 3.5. Phân loại và chỉnh sửa câu hỏi
• 3.6. Cân bằng đề và chuẩn hóa ngân hàng câu hỏi
• 3.7. Đánh giá bài kiểm tra thích ứng từ vựng tiếp nhận tiếng Anh
• 3.8. Quá trình làm bài của thí sinh trên hệ thống UEd-CAT
• 3.9. Kết quả làm bài của thí sinh trên hệ thống
• 3.10. Phản hồi của thí sinh thực hiện trắc nghiệm thích ứng
• 3.11. Kết chương
• TÓM LƯỢC KẾT QUẢ NGHIÊN CỨU CỦA LUẬN ÁN
• ĐÓNG GÓP CỦA LUẬN ÁN
• KHUYẾN NGHỊ VỚI NGƯỜI HỌC
• KHUYẾN NGHỊ VỚI GIÁO VIÊN VÀ CÁC CƠ SỞ ĐÀO TẠO
• KHUYẾN NGHỊ VỚI NHÓM CHUYÊN GIA PHÁT TRIỂN HỆ THỐNG
• KHUYẾN NGHỊ VỚI CÁC NHÀ NGHIÊN CỨU
• KHUYẾN NGHỊ VỚI CÁC CƠ QUAN QUẢN LÝ GIÁO DỤC
• HẠN CHẾ CỦA LUẬN ÁN VÀ ĐỀ XUẤT NGHIÊN CỨU TIẾP THEO
• DANH MỤC CÔNG TRÌNH NGHIÊN CỨU
• TÀI LIỆU THAM KHẢO
• Phụ lục 1: Bảng câu hỏi xin ý kiến chuyên gia
• Phụ lục 2: Bảng câu hỏi khảo sát sinh viên
• Phụ lục 3: Bộ câu hỏi phỏng vấn sinh viên
• Phụ lục 4: Đề kiểm tra song ngữ từ vựng tiếp nhận tiếng Anh
• Phụ lục 5: Kết quả đánh giá định tính 7 đề kiểm tra từ các chuyên gia
• Phụ lục 6: Kết quả phân tích sự phù hợp với mô hình của 7 đề thử nghiệm
• Phụ lục 7: Bản đồ phân bố năng lực và độ khó của 7 đề thử nghiệm
• Phụ lục 8: Ngân hàng câu hỏi đã chuẩn hóa nhập trên hệ thống UEd-CAT
• Phụ lục 9: Báo cáo thử nghiệm trên hệ thống UEd-CAT
• Phụ lục 10: Nội dung phỏng vấn

Tóm tắt

I. Tổng Quan Về Bài Kiểm Tra Thích Ứng Bằng Máy Tính 55 ký tự

Ứng dụng công nghệ thông tin vào giáo dục là một trong những nhiệm vụ quan trọng. Kỷ nguyên 4.0 của chuyển đổi kỹ thuật số đã tác động đến các phương pháp kiểm tra đánh giá. Trong lĩnh vực đánh giá ngôn ngữ, việc ứng dụng CNTT đã trở nên phổ biến, tạo điều kiện thuận lợi cho một hệ thống kiểm tra ngôn ngữ thích ứng trên máy tính (CAT). Trên thế giới, ngày càng có nhiều bài kiểm tra ngôn ngữ thích ứng trên máy tính được phát triển và nhận được phản hồi tích cực. Tại Việt Nam chưa có bài kiểm tra ngôn ngữ thích ứng nào được phát triển và công bố. Trong bối cảnh giáo dục ở Việt Nam, hệ thống trắc nghiệm thích ứng UEd-CAT là tiên phong. Với lĩnh vực kiểm tra ngôn ngữ, kiểm tra kiến thức từ vựng có ý nghĩa quan trọng trong đào tạo ngôn ngữ với cả người dạy và người học. Luận án này tập trung vào xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh. Bài kiểm tra sẽ giúp người học xác định trình độ, giáo viên cung cấp tài liệu phù hợp và hỗ trợ nghiên cứu trong lĩnh vực dạy và học tiếng Anh tại Việt Nam.

1.1. Vai trò của Kiểm tra Từ vựng trong Đào tạo Ngôn ngữ

Kiểm tra từ vựng có vai trò quan trọng đối với cả người dạy và người học. Với người học, kiểm tra kiến thức từ vựng giúp xác định trình độ thông thạo ngôn ngữ vì kiến thức từ vựng đóng vai trò nền móng cho tất cả các hoạt động sử dụng ngôn ngữ (Schmitt và cộng sự, 2017). Lĩnh hội được kiến thức từ vựng là một trong những điều kiện tiên quyết quan trọng để học ngôn ngữ thành công. Với người dạy, việc có những ước tính đáng tin cậy về kiến thức từ vựng cho phép giáo viên cung cấp tài liệu phù hợp, đánh giá hiệu quả của quá trình học và đặt ra các mục tiêu phù hợp để người học có thể phát triển kỹ năng và năng lực ngôn ngữ của mình (Nation, 2013). Ngoài ra, kiểm tra từ vựng có thể được sử dụng để để đánh giá tác động của trải nghiệm học tập đối với quá trình phát triển từ vựng cũng như để đo lường mức độ phát triển từ vựng (Stoeckel & Bennett, 2015).

1.2. UEd CAT Hệ thống Trắc Nghiệm Thích Ứng Tiên Phong

Trong bối cảnh giáo dục ở Việt Nam, hệ thống trắc nghiệm thích ứng được xem là tiên phong và duy nhất đến thời điểm hiện tại là UEd-CAT. Hệ thống được xây dựng và phát triển bởi trường Đại học Giáo Dục – Đại học Quốc gia Hà Nội, và đã công bố những kết quả rất tích cực trong việc kiểm tra đánh giá về toán và đọc hiểu tiếng Việt, tạo động lực cho việc phát triển các bài kiểm tra thích ứng bằng máy tính hướng tới việc đánh giá ngôn ngữ trong thời gian tới. Với lĩnh vực kiểm tra ngôn ngữ, kiểm tra kiến thức từ vựng có ý nghĩa quan trọng trong đào tạo ngôn ngữ với cả người dạy và người học.

II. Thách Thức Đánh Giá Từ Vựng Tiếng Anh Hiện Nay 58 ký tự

Trong Chương trình giáo dục phổ thông môn Tiếng Anh, học sinh cần có khoảng 2500 từ vựng sau khi hoàn thành chương trình. Tuy nhiên, nhiều nghiên cứu chỉ ra rằng học sinh Việt Nam có lượng từ vựng hạn chế, không đạt yêu cầu. Cần có thêm những công cụ đánh giá kiến thức từ vựng tiếng Anh của người học để hỗ trợ người dạy, người học và nhà nghiên cứu. Luận án “Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh” được lựa chọn làm đề tài nghiên cứu. Đề tài phù hợp với xu hướng phát triển trong giáo dục để đáp ứng yêu cầu đổi mới trong kỷ nguyên chuyển đổi số, hứa hẹn mang lại những đóng góp có giá trị trong lĩnh vực đào tạo ngôn ngữ.

2.1. Hạn Chế về Vốn Từ vựng của Học Sinh Việt Nam

Trong bối cảnh dạy và học ngoại ngữ Việt Nam, từ vựng luôn có được xem trọng trong chương trình giảng dạy tiếng Anh ở Việt Nam. Trong Chương trình giáo dục phổ thông môn Tiếng Anh được ban hành kèm theo Thông tư số 32/2018/TT-BGDĐT ngày 26 tháng 12 năm 2018 của Bộ trưởng Bộ Giáo dục và Đào tạo, học sinh sau khi hoàn thành chương trình phổ thông, cần có số lượng từ vựng là khoảng 2500 từ. Tuy nhiên, theo kết quả của một số lượng không nhiều các nghiên cứu gần đây kiểm tra từ vựng của người học tiếng Anh của Việt Nam, học sinh phổ thông và sinh viên đại học có lượng từ vựng rất hạn chế, không đạt được yêu cầu về lượng từ này (Vu & Peters, 2021).

2.2. Sự Cần Thiết của Công Cụ Đánh Giá Từ Vựng Tiếng Anh

Việc có thêm những công cụ đánh giá kiến thức từ vựng tiếng Anh của người học cũng được đặt ra như một nhiệm vụ quan trọng để hỗ trợ người dạy, người học cũng như những nhà nghiên cứu trong lĩnh vực dạy và học tiếng Anh tại Việt Nam. Xuất phát từ những nhận định trên, đề tài “Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh” được lựa chọn làm đề tài nghiên cứu thuộc chuyên ngành Đo lường và đánh giá trong giáo dục.

III. Phương Pháp Xây Dựng CAT Đánh Giá Từ Vựng 53 ký tự

Mục đích của luận án là xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá từ vựng tiếp nhận tiếng Anh cho người học tại Việt Nam. Luận án tập trung vào việc tìm hiểu các thuật toán để thiết kế ngân hàng câu hỏi kiểm tra từ vựng đáp ứng yêu cầu của hệ thống UEd-CAT. Sau đó, tiến hành xây dựng, thử nghiệm và đánh giá bài trắc nghiệm thích ứng đánh giá kiến thức từ vựng. Các nhiệm vụ nghiên cứu bao gồm xây dựng ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng và thiết kế, thử nghiệm bài kiểm tra thích ứng bằng máy tính.

3.1. Xây Dựng Ngân Hàng Câu Hỏi cho Hệ Thống UEd CAT

Với việc sử dụng các thuật toán sẵn có của hệ thống trắc nghiệm thích ứng UEd-CAT, luận án tập trung vào tìm hiểu các thuật toán để thiết kế ngân hàng câu hỏi kiểm tra từ vựng tiếp nhận tiếng Anh đáp ứng yêu của hệ thống, từ đó tiến hành xây dựng, thử nghiệm và đánh giá bài trắc nghiệm thích ứng đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tiếng Anh tại Việt Nam.

3.2. Thiết Kế và Thử Nghiệm Bài Kiểm Tra Thích Ứng

Để thực hiện được mục đích nghiên cứu, luận án triển khai những nhiệm vụ nghiên cứu cụ thể như sau: (1) Xây dựng và chuẩn hóa ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh đáp ứng các yêu cầu của hệ thống trắc nghiệm thích ứng UEd-CAT. (2) Thiết kế, thử nghiệm và đánh giá bài kiểm tra thích ứng bằng máy tính đánh giá kiến thức từ vựng tiếp nhận tiếng Anh.

IV. Ứng Dụng CAT trong Đánh Giá Từ Vựng Kết Quả 58 ký tự

Luận án sử dụng các phương pháp nghiên cứu định tính và định lượng. Phương pháp định tính bao gồm phương pháp chuyên gia, phỏng vấn và phân tích nội dung. Phương pháp định lượng bao gồm thử nghiệm, khảo sát và xử lý số liệu thống kê. Nghiên cứu thực hiện với sinh viên kỹ thuật tại Hà Nội trong khoảng thời gian từ tháng 12/2020 đến tháng 12/2023. Các câu hỏi nghiên cứu tập trung vào việc ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng được xây dựng như thế nào và bài kiểm tra thích ứng được thiết kế thực hiện việc đánh giá từ vựng như thế nào.

4.1. Phương Pháp Nghiên Cứu Định Tính và Định Lượng

Để đạt được mục đích của nghiên cứu, luận án sử dụng các phương pháp nghiên cứu khoa học kết hợp định tính và định lượng như sau: Phương pháp nghiên cứu định tính - Phương pháp chuyên gia nhằm thu thập các ý kiến của những người có kinh nghiệm, có kiến thức chuyên sâu trong lĩnh vực nghiên cứu có liên quan. - Phương pháp phỏng vấn để tìm hiểu sâu quan điểm của thí sinh, cung cấp thêm góc nhìn về bài kiểm tra thích ứng được thiết kế. - Phương pháp phân tích nội dung để tổng thuật và nghiên cứu các quan điểm, công trình nghiên cứu có liên quan ở trong và ngoài nước làm cơ sở cho việc xây dựng khung lí thuyết của đề tài, định hướng cho nghiên cứu thực tiễn cũng như phân tích nhận thức của người tham gia khảo sát và phỏng vấn.

4.2. Đối Tượng và Phạm Vi Nghiên Cứu

Về đối tượng tham gia nghiên cứu, luận án được thực hiện với sinh viên các chuyên ngành kỹ thuật tại một trường đại học tại Hà Nội, một nhóm đối tượng người học ngoại ngữ tiếng Anh ở Việt Nam. Về bối cảnh thực hiện nghiên cứu, luận án sử hệ thống trắc nghiệm thích ứng của trường ĐHGD - ĐHQGHN với sự cho phép của nhóm chuyên gia phát triển hệ thống. Căn cứ vào mục đích, nhiệm vụ và đối tượng nghiên cứu, luận án được thực hiện để trả lời hai câu hỏi nghiên cứu sau: Câu hỏi 1: Ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh được xây dựng và chuẩn hóa như thế nào? Câu hỏi 2: Bài kiểm tra thích ứng bằng máy tính được thiết kế thực hiện việc đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tiếng Anh ở Việt Nam như thế nào?

V. Đóng Góp của Luận Án Tiến Sĩ Về CAT Từ Vựng 57 ký tự

Luận án là công trình nghiên cứu khoa học có hệ thống dựa trên cơ sở lý thuyết về kiểm tra từ vựng và trắc nghiệm thích ứng. Luận án hệ thống hóa vấn đề lý luận về kiểm tra từ vựng và việc áp dụng trắc nghiệm thích ứng trong kiểm tra từ vựng tiếng Anh. Luận án là một trong những nghiên cứu quy mô đầu tiên về trắc nghiệm thích ứng bằng máy tính áp dụng trong đào tạo ngôn ngữ ở Việt Nam. Luận án hứa hẹn đóng góp vào lĩnh vực kiểm tra đánh giá ngôn ngữ những giá trị lý luận có ý nghĩa hướng tới đối tượng người học tiếng Anh.

5.1. Hệ Thống Hóa Lý Thuyết về Kiểm Tra Từ Vựng

Luận án là công trình nghiên cứu khoa học có hệ thống, logic, và chặt chẽ dựa trên cơ sở lý thuyết được phát triển bởi các học giả và nhà nghiên cứu liên quan về kiểm tra từ vựng và trắc nghiệm thích ứng bằng máy tính. - Luận án hệ thống hóa vấn đề lý luận về kiểm tra từ vựng và việc áp dụng trắc nghiệm thích ứng trong kiểm tra từ vựng tiếng Anh, cụ thể là đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của đối tượng người học tiếng Anh ở Việt Nam.

5.2. Nghiên Cứu Tiên Phong về Trắc Nghiệm Thích Ứng

• Luận án là một trong những nghiên cứu quy mô đầu tiên về trắc nghiệm thích ứng bằng máy tính áp dụng trong đào tạo ngôn ngữ ở Việt Nam, đóng góp bằng chứng xác thực về việc áp dụng lý thuyết hồi đáp và phương pháp cân bằng trong xây dựng và chuẩn hóa ngân hàng câu hỏi trong lĩnh vực đo lường và đánh giá trong giáo dục. - Luận án hứa hẹn đóng góp vào lĩnh vực kiểm tra đánh giá ngôn ngữ những giá trị lý luận có ý nghĩa hướng tới đối tượng người học tiếng Anh ở Việt Nam, từ đó mang lại những đóng góp tích cực vào việc áp dụng CNTT trong đo lường và đánh giá trong giáo dục cũng như lĩnh vực dạy và học ngoại ngữ tiếng Anh ở Việt Nam.

Nội dung chính

Tổng quan luận án

Đề tài “Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh” do nghiên cứu sinh Bùi Thị Kim Phượng thực hiện dưới sự hướng dẫn khoa học của GS. Nguyễn Quý Thanh và PGS. Lê Thái Hưng, thuộc chuyên ngành Đo lường và Đánh giá trong giáo dục (mã số 9140115) tại Trường Đại học Giáo dục – Đại học Quốc gia Hà Nội năm 2024.

Tính cấp thiết của luận án xuất phát từ chủ trương ứng dụng công nghệ thông tin trong đổi mới kiểm tra đánh giá của ngành giáo dục Việt Nam giai đoạn 2016–2020, định hướng 2025 và Chương trình giáo dục phổ thông môn Tiếng Anh năm 2018 (Thông tư 32/2018/TT-BGDĐT). Trong đào tạo ngôn ngữ, kiến thức từ vựng đóng vai trò nền tảng cho việc sử dụng ngôn ngữ và là chỉ số dự báo năng lực ngôn ngữ. Mặc dù chuẩn đầu ra phổ thông yêu cầu người học tích lũy khoảng 2500 từ, các khảo sát thực tế (Vu & Peters, 2021) cho thấy lượng từ vựng của học sinh và sinh viên Việt Nam còn nhiều hạn chế. Khoảng trống nghiên cứu được chỉ ra là: trên thế giới các bài kiểm tra ngôn ngữ thích ứng trên máy tính (CALT) đã phát triển mạnh mẽ, song tại Việt Nam chưa có công cụ kiểm tra thích ứng nào được xây dựng và công bố để đánh giá từ vựng tiếng Anh.

Mục đích nghiên cứu của luận án là xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá từ vựng tiếp nhận tiếng Anh cho người học ngoại ngữ tiếng Anh tại Việt Nam dựa trên nền tảng thuật toán của hệ thống UEd-CAT. Để đạt mục đích này, luận án xác định hai nhiệm vụ nghiên cứu:

1. Xây dựng và chuẩn hóa ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh đáp ứng yêu cầu kỹ thuật của hệ thống trắc nghiệm thích ứng UEd-CAT.
2. Thiết kế, thử nghiệm và đánh giá bài kiểm tra thích ứng bằng máy tính đánh giá kiến thức từ vựng tiếp nhận tiếng Anh.

Luận án giải quyết hai câu hỏi nghiên cứu:

• Câu hỏi 1: Ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh được xây dựng và chuẩn hóa như thế nào?
• Câu hỏi 2: Bài kiểm tra thích ứng bằng máy tính được thiết kế thực hiện việc đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tiếng Anh ở Việt Nam như thế nào?

Đối tượng nghiên cứu là bài kiểm tra thích ứng bằng máy tính đánh giá kiến thức từ vựng tiếp nhận tiếng Anh. Khách thể nghiên cứu là người học tiếng Anh tại Việt Nam. Về phạm vi và giới hạn: nghiên cứu tập trung vào dạng từ vựng tiếp nhận; thực nghiệm được triển khai từ tháng 12/2020 đến tháng 12/2023 trên nhóm đối tượng sinh viên các chuyên ngành kỹ thuật tại một trường đại học ở Hà Nội (Khoa Ngoại ngữ – Đại học Bách khoa Hà Nội) và sử dụng hệ thống UEd-CAT của Trường Đại học Giáo dục – Đại học Quốc gia Hà Nội.

Tổng quan tài liệu và vị trí của luận án

Luận án tổng thuật các công trình nghiên cứu trong và ngoài nước xoay quanh hai trục nội dung chính: trắc nghiệm thích ứng bằng máy tính và đánh giá kiến thức từ vựng tiếng Anh.

Trong lĩnh vực kiểm tra thích ứng, tác giả điểm lại các cơ sở lý thuyết và quy trình phát triển CAT của Thompson và Weiss (2011), các mô hình tham số trong lý thuyết ứng đáp câu hỏi (IRT) của Hambleton và Swaminathan (1985), Baker (1997), Keng (2008), Szabo (2008), Carlson (2020), Lâm Quang Thiệp (2010), Wu và Adams (2007), Wu và cộng sự (2016), Himelfarb (2019), Choi và McClenen (2020), Oppl và cộng sự (2017). Tại Việt Nam, các công trình phát triển ngân hàng câu hỏi theo IRT được ghi nhận gồm nghiên cứu của Lê Thái Hưng và cộng sự (2019), Le và Nguyen (2021), Nguyen và cộng sự (2021), Nguyen và Nguyen (2020). Tuy nhiên, các nghiên cứu trong nước trước đó chủ yếu tập trung vào môn Toán hoặc đọc hiểu tiếng Việt, chưa công bố báo cáo cụ thể về kỹ thuật cân bằng đề thi thử nghiệm để đưa tham số câu hỏi về cùng một thang đo chuẩn hóa cho bài kiểm tra từ vựng tiếng Anh.

Trong lĩnh vực đánh giá từ vựng, tác giả phân tích các khái niệm về độ rộng và độ sâu từ vựng (Milton, 2009; Read, 2019; Schmitt, 2014), từ vựng tiếp nhận và sản sinh (Webb & Chang, 2012), kiến thức chủ động và thụ động, khả năng nhận diện và hồi suy (Laufer và cộng sự, 2004), thang đo kiến thức từ vựng VKS (Paribakht & Wesche, 1997), khung phân tích 9 khía cạnh từ vựng (Nation, 2013), các định dạng kiểm tra từ vựng như VLT, New VLT, VST, CATSS, CAT-WPLT và danh sách từ vựng NGSL cùng bài kiểm tra NGSLT. Tác giả cũng phân tích mối quan hệ giữa từ vựng và năng lực ngôn ngữ (Lin & Morrison, 2010; Zareva và cộng sự, 2005; Laufer, 2013; Qian & Lin, 2019; Stoeckel & Bennett, 2015; Schmitt và cộng sự, 2017, 2020; Yanagisawa & Webb, 2019; Kremmel, 2019; Gyllstad, 2019).

Khoảng trống nghiên cứu được luận án lựa chọn giải quyết là sự thiếu vắng một công cụ kiểm tra thích ứng trên máy tính đánh giá từ vựng tiếp nhận tiếng Anh được thiết kế riêng cho người học Việt Nam, có ngân hàng câu hỏi định cỡ theo mô hình IRT và chuẩn hóa thông qua phương pháp cân bằng đề thi.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án xây dựng trên nền tảng lý thuyết khảo thí hiện đại IRT và các khung đánh giá chuyên ngành:

• Lý thuyết ứng đáp câu hỏi (IRT): dựa trên 3 giả định gồm mối quan hệ giữa xác suất ứng đáp và năng lực thể hiện qua đường cong đặc trưng câu hỏi (ICC), tính đơn chiều và tính độc lập cục bộ. Các mô hình IRT được tổng hợp theo bảng sau:

Mô hình IRT	Tham số ước tính	Ý nghĩa tham số	Biểu thức/Đặc trưng
Mô hình 1 tham số (Rasch)	$b$	Độ khó của câu hỏi	Xem xét duy nhất độ khó câu hỏi đối sánh với năng lực $\theta$
Mô hình 2 tham số	$b$, $a$	Độ khó ($b$) và độ phân biệt ($a$)	Xem xét thêm độ dốc của đường cong đặc trưng câu hỏi
Mô hình 3 tham số	$b$, $a$, $c$	Độ khó ($b$), độ phân biệt ($a$), đoán mò ($c$)	Bổ sung tham số tiệm cận dưới chỉ xác suất đoán mò

• Khung phát triển CAT của Thompson và Weiss (2011): gồm 5 bước (Nghiên cứu tính khả thi; Xây dựng nội dung ngân hàng câu hỏi; Thử nghiệm, hiệu chỉnh và cân bằng; Xác định thông số kỹ thuật cho CAT; Công bố và bảo trì). Thuật toán thích ứng thiết lập điểm khởi đầu năng lực $\theta = 0,0$, thuật toán chọn câu hỏi theo hàm thông tin tối đa, ước tính năng lực liên tục và tiêu chí kết thúc dựa trên số lượng câu hỏi hoặc sai số chuẩn (SE).
• Khung xây dựng bài kiểm tra ngôn ngữ của Bachman và Palmer (1996): 3 giai đoạn (Thiết kế, Thao tác xây dựng, Tiến hành kiểm tra) kết hợp các tiêu chí đánh giá tính hữu dụng của đề thi.
• Khung kiểm tra từ vựng của Read và Chapelle (2001): 5 thành tố (Mục đích kiểm tra, Cân nhắc độ giá trị, Yếu tố trung gian, Thiết kế đề kiểm tra, Xác trị đề thi).
• Khung đối sánh từ vựng: Chương trình giáo dục phổ thông môn Tiếng Anh 2018 (mục tiêu 2500 từ ở Bậc 3), Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam (Thông tư 01/2014/TT-BGDĐT) và danh sách từ vựng tiếng Anh thông dụng mới (NGSL).

Cấp học (CT GDPT 2018)	Số lượng từ vựng quy định	Bậc năng lực tương ứng
Tiểu học	Khoảng 600 - 700 từ	Bậc 1
Trung học cơ sở	Khoảng 800 - 1000 từ	Bậc 2
Trung học phổ thông	Khoảng 600 - 800 từ	Bậc 3 (tổng tích lũy ~2500 từ)

Phương pháp nghiên cứu kết hợp định tính và định lượng:

• Nghiên cứu định tính: Phương pháp chuyên gia (thu thập ý kiến đánh giá định tính về nội dung câu hỏi); phương pháp phỏng vấn sâu sinh viên; phương pháp phân tích nội dung tài liệu.
• Nghiên cứu định lượng: Thử nghiệm đề thi trên máy tính; khảo sát bằng bảng hỏi Likert; phân tích thống kê xử lý số liệu bằng các phần mềm Excel, SPSS, ConQuest (phân tích mô hình Rasch/IRT, MNSQ Infit/Outfit, đồ thị ICC), R (cân bằng đề thi qua câu hỏi neo).
• Nguồn dữ liệu: Dữ liệu thẩm định từ nhóm chuyên gia; dữ liệu làm bài thử nghiệm 7 đề thi mẫu; dữ liệu nhật ký hệ thống làm bài CAT của các thí sinh (ví dụ: DAN, HONG, MDUC, LINH); dữ liệu kiểm tra đối sánh của 98 thí sinh làm bài thi cố định; dữ liệu phiếu khảo sát và biên bản phỏng vấn sinh viên Đại học Bách khoa Hà Nội.

Nội dung chính theo từng chương

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU

Chương 1 tập trung hệ thống hóa toàn diện các lý thuyết nền tảng và bức tranh tổng quan nghiên cứu. Tác giả phân tích sự chuyển dịch từ lý thuyết khảo thí cổ điển sang lý thuyết ứng đáp câu hỏi (IRT), làm rõ các ưu thế của IRT trong việc phân tách năng lực thí sinh khỏi độ khó của đề thi và cho phép đánh giá ở cấp độ từng câu hỏi độc lập. Ba mô hình toán học của IRT (1 tham số, 2 tham số, 3 tham số) cùng các giả định cốt lõi (tính đơn chiều, độc lập cục bộ, đường cong đặc trưng ICC) được giải thích chi tiết như cơ sở toán học cho trắc nghiệm thích ứng.

Về trắc nghiệm thích ứng, chương này phân tích quy trình vận hành thích ứng theo Thompson và Weiss (2011), cấu trúc 4 thuật toán thành phần (điểm khởi đầu, chọn câu hỏi, tính điểm năng lực $\theta$, tiêu chí kết thúc) và khung 5 bước phát triển hệ thống CAT. Về lý luận kiểm tra từ vựng, tác giả làm rõ bản chất của từ vựng tiếp nhận (mối liên hệ dạng từ - nghĩa ở dạng đọc/nghe), đối chiếu thang đo phát triển VKS (Paribakht & Wesche, 1997) với khung 9 khía cạnh từ vựng (Nation, 2013), và vận dụng khung thiết kế đề thi của Bachman & Palmer (1996) cùng khung kiểm tra từ vựng của Read & Chapelle (2001). Cuối cùng, chương 1 đối sánh các quy định về từ vựng trong Chương trình GDPT 2018 và Khung năng lực ngoại ngữ 6 bậc của Việt Nam với các bài kiểm tra chuẩn hóa quốc tế (VLT, VST, NGSLT), từ đó xác định khoảng trống nghiên cứu và đề xuất mô hình nghiên cứu của luận án.

CHƯƠNG 2: PHƯƠNG PHÁP LUẬN NGHIÊN CỨU

Chương 2 trình bày chi tiết thiết kế nghiên cứu hỗn hợp và các công cụ thu thập dữ liệu. Quy trình nghiên cứu được triển khai tuần tự: thiết kế khung ma trận đặc tả bài kiểm tra song ngữ dựa trên danh sách từ NGSL; biên soạn bộ câu hỏi thô dạng trắc nghiệm chọn nghĩa tiếng Việt tương ứng cho từ tiếng Anh; xin ý kiến nhóm chuyên gia đo lường và ngôn ngữ học để hiệu chỉnh câu hỏi; tổ chức thử nghiệm trên hệ thống theo 7 mã đề thi có thiết kế câu hỏi neo (anchor items); thu thập dữ liệu phản hồi để phân tích tâm trắc học.

Chương này mô tả chi tiết các công cụ nghiên cứu: hệ thống phần mềm UEd-CAT của Trường Đại học Giáo dục; bài trắc nghiệm song ngữ tiếng Anh - tiếng Việt; phiếu xin ý kiến chuyên gia (đánh giá tính phù hợp về ngữ nghĩa, ngữ pháp, các phương án nhiễu); bảng hỏi khảo sát nhận thức người học sau khi làm bài CAT; khung phỏng vấn bán cấu trúc. Chương 2 cũng trình bày quy trình chọn mẫu thực nghiệm tại Đại học Bách khoa Hà Nội, quy trình bảo đảm tính bảo mật dữ liệu và đạo đức nghiên cứu giáo dục.

CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN

Chương 3 trình bày các kết quả thực nghiệm và bàn luận học thuật qua hai giai đoạn chính:

1. Chuẩn hóa ngân hàng câu hỏi: Tác giả biên soạn bộ câu hỏi thô phân bổ theo các dải tần suất từ vựng NGSL, gửi chuyên gia thẩm định và chỉnh sửa các phương án gây nhiễu chưa hợp lý. Sau đó, 7 đề thử nghiệm được đưa lên hệ thống cho sinh viên làm bài. Kết quả phân tích độ tin cậy Alpha và chỉ số phân tích IRT bằng phần mềm ConQuest cho từng đề được ghi nhận. Các câu hỏi có chỉ số MNSQ Infit/Outfit nằm ngoài khoảng chấp nhận (chẳng hạn câu hỏi 66 ở đề mẫu, câu hỏi 20 ở Đề 4, và các câu hỏi không phù hợp ở Đề 1, Đề 6) được loại bỏ hoặc chỉnh sửa nội dung. Sau khi làm sạch, kỹ thuật cân bằng đề thi (equating) được thực hiện thông qua hệ số câu hỏi neo giữa 7 đề thi để đưa tham số độ khó ($b$) của tất cả các câu hỏi về cùng một thang đo chuẩn hóa thống nhất, thiết lập ngân hàng câu hỏi chính thức nhập lên hệ thống UEd-CAT.

2. Đánh giá bài kiểm tra thích ứng trên hệ thống UEd-CAT:

• Phân tích nhật ký làm bài của thí sinh: Hệ thống UEd-CAT thích ứng chính xác theo năng lực thực tế. Khi thí sinh trả lời đúng, hệ thống tự động chọn câu hỏi tiếp theo có độ khó cao hơn; khi trả lời sai, câu hỏi sau có độ khó thấp hơn. Luận án phân tích chi tiết lộ trình thích ứng và sự hội tụ của sai số chuẩn (SE) qua từng bước làm bài của thí sinh HONG, các lộ trình làm bài của thí sinh MDUC, LINH, và 3 lượt làm bài độc lập của thí sinh DAN. Kết quả cho thấy bài kiểm tra CAT rút ngắn đáng kể thời gian làm bài nhưng vẫn đạt độ chính xác cao trong ước tính năng lực $\theta$.
• Phân tích độ giá trị đối sánh: Luận án phân tích kết quả của 98 thí sinh thực hiện đồng thời bài kiểm tra cố định và bài kiểm tra thích ứng. Phân tích tương quan Pearson cho thấy điểm số giữa hai hình thức kiểm tra có mối tương quan thuận mạnh và có ý nghĩa thống kê, minh chứng cho độ giá trị tiêu chí của bài kiểm tra thích ứng.
• Khảo sát và phỏng vấn nhận thức thí sinh: Dữ liệu phản hồi cho thấy sinh viên đánh giá cao tính tiện ích, giao diện thân thiện, mức độ phân hóa phù hợp với năng lực cá nhân và bày tỏ mong muốn được sử dụng bài kiểm tra thích ứng trong quá trình tự học và kiểm tra định kỳ.

Kết quả và những đóng góp mới

Luận án công bố các đóng góp mới về mặt lý luận và thực tiễn:

Về lý luận:

• Hệ thống hóa cơ sở lý luận về kiểm tra đánh giá từ vựng tiếp nhận tiếng Anh kết hợp với lý thuyết khảo thí hiện đại IRT và công nghệ trắc nghiệm thích ứng bằng máy tính.
• Đóng góp bằng chứng thực nghiệm về việc áp dụng mô hình IRT và quy trình cân bằng đề thi qua câu hỏi neo trong xây dựng và chuẩn hóa ngân hàng câu hỏi kiểm tra ngôn ngữ tại Việt Nam.

Về thực tiễn:

• Xây dựng thành công ngân hàng câu hỏi chuẩn hóa và vận hành bài kiểm tra thích ứng đánh giá từ vựng tiếp nhận tiếng Anh trên nền tảng UEd-CAT, mang lại công cụ đo lường có độ chính xác cao và tiết kiệm thời gian làm bài so với các bài kiểm tra cố định truyền thống.
• Cung cấp minh chứng thực nghiệm khẳng định tính khả thi của mô hình CALT đối với người học tiếng Anh tại các trường đại học ở Việt Nam.

Khuyến nghị và giải pháp đề xuất:

• Đối với người học: sử dụng bài kiểm tra thích ứng như công cụ tự chẩn đoán vốn từ vựng để xây dựng lộ trình học tập phù hợp.
• Đối với giáo viên và cơ sở đào tạo: tích hợp công cụ kiểm tra thích ứng vào hoạt động kiểm tra xếp lớp, đánh giá quá trình và điều chỉnh tài liệu giảng dạy theo trình độ từ vựng của sinh viên.
• Đối với nhóm phát triển hệ thống UEd-CAT: tiếp tục mở rộng quy mô ngân hàng câu hỏi, tối ưu hóa giao diện và thuật toán kiểm soát độ phơi nhiễm của câu hỏi.
• Đối với các nhà nghiên cứu và cơ quan quản lý: đẩy mạnh ứng dụng IRT và CAT trong đánh giá các kỹ năng ngôn ngữ khác, hoàn thiện chính sách kiểm tra đánh giá số hóa trong giáo dục.

Hạn chế và hướng nghiên cứu tiếp

Về hạn chế, luận án tự xác định các điểm giới hạn:

• Mẫu khảo sát và thử nghiệm mới chỉ tập trung vào sinh viên khối ngành kỹ thuật tại một trường đại học ở Hà Nội (Đại học Bách khoa Hà Nội), chưa bao phủ toàn diện các nhóm đối tượng người học khác trên cả nước.
• Phạm vi nội dung kiểm tra mới giới hạn ở kiến thức từ vựng tiếp nhận (mối quan hệ nhận diện dạng từ - nghĩa qua đọc hiểu), chưa bao quát từ vựng sản sinh hay các khía cạnh chiều sâu khác của kiến thức từ.

Hướng nghiên cứu tiếp theo:

• Mở rộng phạm vi và quy mô lấy mẫu trên nhiều nhóm đối tượng người học đa dạng ở các bậc học và vùng miền khác nhau.
• Tiếp tục phát triển và bổ sung câu hỏi mới để làm giàu ngân hàng câu hỏi, tiến hành thử nghiệm đánh giá các khía cạnh từ vựng nâng cao và kết hợp đánh giá các kỹ năng ngôn ngữ tích hợp khác trên hệ thống thích ứng.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị chuyên môn cao cho nhiều nhóm đối tượng:

• Nghiên cứu sinh, học viên cao học và nhà nghiên cứu chuyên ngành Đo lường và Đánh giá trong giáo dục, Ngôn ngữ học ứng dụng và Phương pháp giảng dạy tiếng Anh: tham khảo quy trình phân tích tâm trắc học IRT, kỹ thuật sử dụng phần mềm ConQuest, phương pháp cân bằng đề thi qua câu hỏi neo và khung xác trị đề thi theo Bachman & Palmer.
• Giảng viên, giáo viên ngoại ngữ: tham khảo cấu trúc đặc tả bài kiểm tra từ vựng theo dải tần suất NGSL và phương pháp đánh giá chẩn đoán từ vựng tiếp nhận.
• Đơn vị phát triển phần mềm giáo dục và cán bộ quản lý khảo thí: tham khảo cấu trúc thuật toán CAT và mô hình triển khai hệ thống trắc nghiệm thích ứng UEd-CAT trong thực tế giáo dục đại học.

Câu hỏi thường gặp

1. Luận án sử dụng mô hình lý thuyết khảo thí nào để chuẩn hóa ngân hàng câu hỏi? Luận án ứng dụng Lý thuyết ứng đáp câu hỏi (Item Response Theory – IRT), cụ thể là mô hình 1 tham số (mô hình Rasch) được phân tích thông qua phần mềm ConQuest để ước tính tham số độ khó ($b$) của câu hỏi, kiểm tra độ phù hợp MNSQ Infit/Outfit, phân tích đường cong đặc trưng ICC và thực hiện cân bằng đề thi qua hệ thống câu hỏi neo.

2. Danh sách từ vựng nào được lựa chọn làm căn cứ biên soạn đề kiểm tra trong luận án? Luận án sử dụng Danh sách từ vựng tiếng Anh thông dụng mới (New General Service List – NGSL) và định dạng bài kiểm tra NGSLT, xây dựng thành bài kiểm tra song ngữ tiếng Anh – tiếng Việt nhằm đánh giá chính xác khả năng nhận biết nghĩa từ vựng của người học Việt Nam.

3. Hệ thống phần mềm trắc nghiệm thích ứng nào được sử dụng để triển khai bài thi? Nghiên cứu sử dụng hệ thống trắc nghiệm thích ứng UEd-CAT (University of Education – Computerized Adaptive Testing) do Trường Đại học Giáo dục – Đại học Quốc gia Hà Nội phát triển.

4. Dữ liệu thực nghiệm của luận án được thu thập trên đối tượng nào và trong khoảng thời gian nào? Nghiên cứu được triển khai từ tháng 12/2020 đến tháng 12/2023 trên nhóm khách thể là sinh viên các chuyên ngành kỹ thuật tại Trường Đại học Bách khoa Hà Nội.

5. Điểm số bài kiểm tra thích ứng CAT có tương quan như thế nào với bài kiểm tra cố định truyền thống? Kết quả phân tích hệ số tương quan Pearson trên mẫu đối chứng gồm 98 thí sinh thực hiện cả hai bài thi cho thấy điểm số bài kiểm tra thích ứng và bài kiểm tra cố định có mối tương quan thuận chặt chẽ, khẳng định độ giá trị tiêu chí của bài thi thích ứng.

Kết luận

Luận án tiến sĩ của tác giả Bùi Thị Kim Phượng đã giải quyết trọn vẹn mục tiêu nghiên cứu thông qua việc chuẩn hóa thành công ngân hàng câu hỏi trắc nghiệm từ vựng tiếp nhận tiếng Anh theo mô hình IRT và tích hợp vận hành hiệu quả trên hệ thống UEd-CAT. Kết quả nghiên cứu cung cấp quy trình kỹ thuật hoàn chỉnh từ khâu biên soạn, thẩm định chuyên gia, hiệu chỉnh tham số bằng phần mềm ConQuest, cân bằng đề thi bằng câu hỏi neo đến phân tích lộ trình làm bài thích ứng của thí sinh. Công trình đóng góp nền tảng lý luận và thực tiễn vững chắc cho lĩnh vực đo lường đánh giá ngôn ngữ trong bối cảnh chuyển đổi số giáo dục tại Việt Nam.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU 1. Lý thuyết khảo thí hiện đại Trước đây, lý thuyết khảo thí cổ điển (Classical Test Theory) đã ra đời từ khoảng cuối thế kỉ 19 và hoàn thiện vào khoảng những năm 1970, đã có nhiều đóng góp quan trọng, đặt nền móng cho hoạt động đánh giá trong giáo dục, nhưng cũng thể hiện một số điểm hạn chế như không thể tách biệt năng lực của thí sinh và các tham số của câu hỏi hay xem xét việc ứng đáp dựa vào cấp độ đề kiểm tra chứ không phải cấp độ câu hỏi (Lâm Quang Thiệp, 2010). Với mục đích khắc phục những hạn chế của khảo thí cổ điển, các nhà tâm trắc học đã cố gắng xây dựng một lý thuyết khảo thí hiện đại – lý thuyết ứng đáp câu hỏi, Item Response Theory – IRT, sử dụng mô hình toán học để dự đoán xác suất trả lời đúng một câu hỏi, dựa trên chỉ số về năng lực của người trả lời và độ khó của câu hỏi (Wu & Adams, 2007). Để đánh giá đối tượng nào đó thì lý thuyết khảo thí cổ điển tiếp cận ở cấp độ một đề kiểm tra, còn lý thuyết khảo thí hiện đại IRT tiếp cận ở cả cấp độ câu hỏi và đề thi.

Lý thuyết khảo thí hiện đại đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỉ 20 – đầu thế kỉ 21 nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng cho đến nay, được áp dụng rộng rãi, trong đó có phát triển đề thi, xây dựng ngân hàng câu hỏi, phân tích dữ liệu, trắc nghiệm thích ứng và so bằng đề thi (test equating) (Himelfarb, 2019). Các giả thiết IRT Szabo (2008) tổng lược ba giả thiết cơ bản làm nền tảng cho các mô hình IRT, bao gồm mối quan hệ giữa xác suất ứng đáp câu hỏi và năng lực thí sinh, tính đơn chiều và tính độc lập cục bộ. Giả thiết đầu tiên liên quan đến mối quan hệ giữa các biến có thể quan sát được và biến tiềm ẩn, tức là mối quan hệ tương ứng giữa xác suất ứng đáp câu hỏi và năng lực của thí sinh. Mối quan hệ này được thể hiện bằng đường cong đặc trưng của câu hỏi (Item Characteristic Curve – ICC) (Baker, 1997, trích trong Szabo, 2008).

Giả thiết thứ hai là tính đơn chiều (unidimensionality). Keng (2008) đưa ra một ví dụ để minh họa, nếu IRT được sử dụng để mô hình hóa bài kiểm tra đọc hiểu thì người ta giả định rằng bất kỳ sự phụ thuộc thống kê nào giữa các câu trả lời đều được tính bằng năng lực đọc của thí sinh. Giả thiết thứ ba của IRT là tính độc lập cục bộ (local independence) (Hambleton & Swaminathan, 1985, trích trong Keng, 2008). Tùy thuộc vào năng lực của thí sinh, xác suất ứng đáp với câu hỏi không phụ thuộc về mặt thống kê với xác suất ứng đáp với bất kỳ câu hỏi nào khác.

Các học giả nhấn mạnh đặc tính quan trọng của IRT rằng nội dung của một câu hỏi không được cung cấp bất kỳ manh mối nào cho câu trả lời của một câu hỏi khác trong bài kiểm tra. Việc hiểu và tuân thủ các giả thiết IRT là rất quan trọng vì chúng ảnh hưởng đến tính chính xác và độ tin cậy của quá trình xây dựng và phát triển các công cụ đo lường và đánh giá áp dụng IRT. Nếu có bất kỳ sự vi phạm nào đối với các giả thiết IRT, nhà nghiên cứu cần tiến hành sửa lỗi để cải thiện chất lượng của bài kiểm tra cũng như hiệu quả của quá trình đánh giá. Các mô hình IRT Một câu hỏi trắc nghiệm có 3 tham số đặc trưng.

Trong 3 tham số trên, tham số “độ khó (b)” là tham số quan trọng nhất của câu hỏi, tham số b sẽ được sử dụng để đối sánh với tham số năng lực (θ) của thí sinh. Tham số a được sử dụng để thể hiện đặc trưng phân biệt của câu hỏi và tham số c để chỉ tỉ lệ đoán mò của thí sinh khi gặp câu hỏi. Hiện nay có ba mô hình phổ biến trong lý thuyết ứng đáp câu hỏi được phân loại theo số tham số đặc trưng mà mô hình xem xét, bao gồm mô hình một tham số kiểm tra các câu hỏi trắc nghiệm theo chỉ một tham số, độ khó của câu hỏi; mô hình hai tham số phân tích cả độ khó của câu hỏi và độ phân biệt câu hỏi, và mô hình ba tham số bao gồm độ khó của câu hỏi, độ phân biệt câu hỏi và mức độ dự đoán hay đoán mò câu trả lời. Cả ba mô hình đều sử dụng đường cong đặc trưng của câu hỏi làm căn cứ đề phân tích.1 trình bày một số thông tin cơ bản của ba mô hình IRT được tổng hợp (Carlson, 2020; Lâm Quang Thiệp, 2010).

Trong đó, θ là mức năng lực của thí sinh trả lời câu hỏi và P (θ) là xác suất trả lời đúng câu hỏi của thí sinh có mức năng lực θ. Các mô hình IRT một tham số, hai tham số và ba tham số cung cấp khả năng phân loại năng lực của thí sinh và hiểu rõ hơn về tính chất của các câu hỏi trong bài kiểm tra. Sự phức tạp của các mô hình tăng lên từ mô hình Rasch đến mô hình ba tham số, nhưng cũng cung cấp thông tin chi tiết và chính xác hơn về năng lực của thí sinh. Các ứng dụng của IRT trong lĩnh vực kiểm tra đánh giá Lý thuyết ứng đáp câu hỏi từ khi ra đời đã được ứng dụng rộng rãi vì tính hữu ích và ưu việt của nó; và việc phát minh ra máy tính cá nhân đã giúp nhiều nghiên cứu tiếp cận được sức mạnh tính toán cần thiết cho IRT.1: Các mô hình IRT (Carlson, 2020; Lâm Quang Thiệp, 2010) Mô hình Tham số Biểu thức Đường cong đặc trưng của câu hỏi 1 tham số • độ khó của câu hỏi b 2 tham số • độ khó của câu hỏi b • độ phân biệt của câu hỏi a 3 tham số • độ khó của câu hỏi b • độ phân biệt của câu hỏi a • mức độ đoán mò c 12 IRT được sử dụng để phát triển các bài kiểm tra chuẩn hóa, chẳng hạn như Bài kiểm tra năng lực học thuật (SAT).

Sau đó, nó đã trở thành phương pháp tâm trắc quan trọng để xây dựng thang đo vì nó cung cấp một phương pháp giải quyết nhiều thách thức đo lường cần được giải quyết khi xây dựng một bài kiểm tra hoặc thang đo. Mục đích của IRT là cung cấp một khuôn khổ để đánh giá mức độ thực hiện đánh giá và các câu hỏi riêng lẻ trong kiểm tra đánh giá. Một trong những ứng dụng phổ biến nhất của IRT là trong giáo dục, nơi các nhà nghiên cứu sử dụng IRT để phát triển và thiết kế các bài thi, xây dựng và duy trì ngân hàng câu hỏi và cân bằng độ khó của các câu hỏi trong bài thi cũng như các phiên thi khác nhau (Wu và cộng sự, 2016). Đầu tiên, IRT cung cấp những ước tính chính xác và đáng tin cậy hơn về khả năng của người làm bài kiểm tra, vì nó tính đến độ khó và sự phân biệt khác nhau của các câu hỏi cũng như điều chỉnh khả năng đoán mò và các yếu tố ngẫu nhiên khác.

Thứ hai, IRT cho phép tạo ra các ngân hàng câu hỏi là tập hợp các câu hỏi được hiệu chuẩn trên thang đo chung nhờ phương pháp cân bằng, từ đó các câu kiểm tra có thể được chọn hoặc thiết lập theo các tiêu chí cụ thể. Thứ ba, IRT tạo điều kiện thuận lợi cho việc so sánh và cân bằng điểm số giữa các hình thức hoặc phiên bản khác nhau của bài kiểm tra, vì nó đặt chúng trên một thang điểm chung bất biến đối với các câu hỏi cụ thể được sử dụng. Thứ tư, IRT cho phép kiểm tra thích ứng, là một hình thức kiểm tra trên máy tính nhằm điều chỉnh độ khó và nội dung của các câu hỏi phù hợp với năng lực của người dự thi, dẫn đến các bài kiểm tra ngắn hơn và hiệu quả hơn. Tổng thể, nhờ có một số lợi thế so với lý thuyết khảo thí cổ điển, IRT đã được ứng dụng rộng rãi trong việc phát triển và đánh giá bài kiểm tra.

Ứng dụng của lý thuyết ứng đáp câu hỏi IRT không chỉ giúp nâng cao chất lượng của các kỳ thi khách quan hơn, chính xác hơn mà còn tối ưu hóa quá trình phát 13 triển, duy trì và triển khai. Điều này mang lại lợi ích lớn cho cả thí sinh và các bên liên quan. Lý luận về trắc nghiệm thích ứng bằng máy tính 1. Trắc nghiệm thích ứng bằng máy tính Hình 1.1: Biểu đồ CAT (Thompson & Weiss, 2011) Hình 1.1 minh họa quy trình CAT – trắc nghiệm thích ứng bằng/trên máy tính (Thompson & Weiss, 2011).

Trong một quy trình kiểm tra hoàn chỉnh, bài kiểm tra bắt đầu với một câu hỏi được chọn từ ngân hàng câu hỏi đã hiệu chuẩn. Câu hỏi đầu tiên này có thể được chọn ngẫu nhiên hoặc từ một nhóm câu hỏi có độ khó trung bình trong ngân hàng câu hỏi (Choi & McClenen, 2020; Oppl 14 và cộng sự, 2017). Nếu người dự thi đưa ra một câu trả lời đúng, thì một câu hỏi có độ khó cao hơn sẽ được chọn là câu hỏi tiếp theo, và ngược lại, khi người dự thi đưa ra một câu trả lời sai, một câu hỏi có độ khó thấp hơn sẽ được chọn là câu hỏi tiếp theo. Trong quá trình lặp lại này, khả năng của thí sinh được ước tính và tính toán lại dựa trên thành tích của thí sinh cho đến khi hệ thống thu thập đủ bằng chứng để xác định trình độ ngôn ngữ của thí sinh, nghĩa là đã thỏa mãn tiêu chí kết thúc.

Các thành tố của hệ thống trắc nghiệm thích ứng Ngân hàng câu hỏi trắc nghiệm thích ứng Thành tố đầu tiên của CAT là một ngân hàng câu hỏi đã được chuẩn hóa, dùng làm nội dung của hệ thống. Trong trường hợp đánh giá ngôn ngữ, ngân hàng câu hỏi bao gồm các câu hỏi về ngôn ngữ để tạo ra các bài kiểm tra ngôn ngữ. Với một hệ thống trắc nghiệm đã phát triển và đưa vào sử dụng thì các thuật toán đã được xác định từ trước, do đó, chất lượng của ngân hàng câu hỏi chất lượng đóng vai trò quyết định hiệu quả đánh giá năng lực của các thí sinh. Tất cả các câu hỏi trong ngân hàng đều đầu tiên được phân tích với lý thuyết ứng đáp câu hỏi.