Xây dựng Bài Kiểm Tra Thích Ứng Bằng Máy Tính Để Đánh Giá Kiến Thức Từ Vựng Tiếp Nhận Tiếng Anh

Nghiên cứu xây dựng bài kiểm tra thích ứng trên máy tính, đánh giá kiến thức từ vựng tiếng Anh hiệu quả. Luận án tiến sĩ chuyên sâu về đo lường và đánh giá giáo dục.

• Tác giả: Bùi Thị Kim Phượng
• Người hướng dẫn: GS. Nguyễn Quý Thanh
• Trường học: Trường Đại Học Giáo Dục - ĐHQGHN
• Chuyên ngành: Đo Lường Và Đánh Giá Trong Giáo Dục
• Đề tài: Xây Dựng Bài Kiểm Tra Thích Ứng Bằng Máy Tính Để Đánh Giá Kiến Thức Từ Vựng Tiếp Nhận Tiếng Anh
• Loại tài liệu: Luận Án Tiến Sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• MỤC LỤC
• MỞ ĐẦU
• 0.1. Mục đích và nhiệm vụ nghiên cứu
• 0.2. Mục đích nghiên cứu
• 0.3. Nhiệm vụ nghiên cứu
• 0.4. Khách thể và đối tượng nghiên cứu
• 0.5. Phạm vi và giới hạn nghiên cứu
• 0.6. Câu hỏi nghiên cứu
• 0.7. Phương pháp nghiên cứu
• 0.7.1. Phương pháp nghiên cứu định tính
• 0.7.2. Phương pháp nghiên cứu định lượng
• 0.8. Đóng góp khoa học của luận án
• 0.8.1. Đóng góp về lý luận
• 1. CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU
• 1.1. Lý thuyết khảo thí hiện đại
• 1.2. Lý luận về trắc nghiệm thích ứng bằng máy tính
• 1.3. Lý luận về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh
• 1.4. Tổng quan nghiên cứu
• 1.5. Các nghiên cứu về kiểm tra thích ứng trong đào tạo ngôn ngữ
• 1.6. Các nghiên cứu về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh
• 1.7. Khoảng trống nghiên cứu
• 1.8. Đề xuất mô hình nghiên cứu
• 1.9. Kết chương
• 2. CHƯƠNG 2: PHƯƠNG PHÁP LUẬN NGHIÊN CỨU
• 2.1. Quy trình nghiên cứu
• 2.2. Phương pháp nghiên cứu
• 2.2.1. Phương pháp nghiên cứu định lượng
• 2.2.2. Phương pháp nghiên cứu định tính
• 2.3. Quá trình lấy mẫu
• 2.4. Mẫu của phương pháp chuyên gia
• 2.5. Mẫu tham gia thử nghiệm
• 2.6. Mẫu tham gia khảo sát và phỏng vấn
• 2.7. Công cụ nghiên cứu
• 2.7.1. Hệ thống UEd-CAT
• 2.7.2. Bài trắc nghiệm song ngữ đánh giá từ vựng tiếp nhận tiếng Anh
• 2.7.3. Bảng câu hỏi xin ý kiến chuyên gia
• 2.7.4. Bảng câu hỏi khảo sát
• 2.7.5. Bộ câu hỏi phỏng vấn
• 2.8. Các vấn đề về đạo đức nghiên cứu
• 2.9. Kết chương
• 3. CHƯƠNG 3: KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN
• 3.1. Chuẩn hóa ngân hàng câu hỏi trắc nghiệm thích ứng từ vựng tiếp nhận tiếng Anh
• 3.2. Biên soạn và chỉnh sửa bộ câu hỏi thô
• 3.3. Đánh giá độ tin cậy của các đề thử nghiệm
• 3.4. Loại các câu hỏi không phù hợp với mô hình
• 3.5. Phân loại và chỉnh sửa câu hỏi
• 3.6. Cân bằng đề và chuẩn hóa ngân hàng câu hỏi
• 3.7. Đánh giá bài kiểm tra thích ứng từ vựng tiếp nhận tiếng Anh
• 3.8. Quá trình làm bài của thí sinh trên hệ thống UEd-CAT
• 3.9. Kết quả làm bài của thí sinh trên hệ thống
• 3.10. Phản hồi của thí sinh thực hiện trắc nghiệm thích ứng
• 3.11. Kết chương
• TÓM LƯỢC KẾT QUẢ NGHIÊN CỨU CỦA LUẬN ÁN
• ĐÓNG GÓP CỦA LUẬN ÁN
• KHUYẾN NGHỊ VỚI NGƯỜI HỌC
• KHUYẾN NGHỊ VỚI GIÁO VIÊN VÀ CÁC CƠ SỞ ĐÀO TẠO
• KHUYẾN NGHỊ VỚI NHÓM CHUYÊN GIA PHÁT TRIỂN HỆ THỐNG
• KHUYẾN NGHỊ VỚI CÁC NHÀ NGHIÊN CỨU
• KHUYẾN NGHỊ VỚI CÁC CƠ QUAN QUẢN LÝ GIÁO DỤC
• HẠN CHẾ CỦA LUẬN ÁN VÀ ĐỀ XUẤT NGHIÊN CỨU TIẾP THEO
• DANH MỤC CÔNG TRÌNH NGHIÊN CỨU
• TÀI LIỆU THAM KHẢO
• Phụ lục 1: Bảng câu hỏi xin ý kiến chuyên gia
• Phụ lục 2: Bảng câu hỏi khảo sát sinh viên
• Phụ lục 3: Bộ câu hỏi phỏng vấn sinh viên
• Phụ lục 4: Đề kiểm tra song ngữ từ vựng tiếp nhận tiếng Anh
• Phụ lục 5: Kết quả đánh giá định tính 7 đề kiểm tra từ các chuyên gia
• Phụ lục 6: Kết quả phân tích sự phù hợp với mô hình của 7 đề thử nghiệm
• Phụ lục 7: Bản đồ phân bố năng lực và độ khó của 7 đề thử nghiệm
• Phụ lục 8: Ngân hàng câu hỏi đã chuẩn hóa nhập trên hệ thống UEd-CAT
• Phụ lục 9: Báo cáo thử nghiệm trên hệ thống UEd-CAT
• Phụ lục 10: Nội dung phỏng vấn

Tóm tắt

I. Tổng Quan Về Bài Kiểm Tra Thích Ứng Bằng Máy Tính 55 ký tự

Ứng dụng công nghệ thông tin vào giáo dục là một trong những nhiệm vụ quan trọng. Kỷ nguyên 4.0 của chuyển đổi kỹ thuật số đã tác động đến các phương pháp kiểm tra đánh giá. Trong lĩnh vực đánh giá ngôn ngữ, việc ứng dụng CNTT đã trở nên phổ biến, tạo điều kiện thuận lợi cho một hệ thống kiểm tra ngôn ngữ thích ứng trên máy tính (CAT). Trên thế giới, ngày càng có nhiều bài kiểm tra ngôn ngữ thích ứng trên máy tính được phát triển và nhận được phản hồi tích cực. Tại Việt Nam chưa có bài kiểm tra ngôn ngữ thích ứng nào được phát triển và công bố. Trong bối cảnh giáo dục ở Việt Nam, hệ thống trắc nghiệm thích ứng UEd-CAT là tiên phong. Với lĩnh vực kiểm tra ngôn ngữ, kiểm tra kiến thức từ vựng có ý nghĩa quan trọng trong đào tạo ngôn ngữ với cả người dạy và người học. Luận án này tập trung vào xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh. Bài kiểm tra sẽ giúp người học xác định trình độ, giáo viên cung cấp tài liệu phù hợp và hỗ trợ nghiên cứu trong lĩnh vực dạy và học tiếng Anh tại Việt Nam.

1.1. Vai trò của Kiểm tra Từ vựng trong Đào tạo Ngôn ngữ

Kiểm tra từ vựng có vai trò quan trọng đối với cả người dạy và người học. Với người học, kiểm tra kiến thức từ vựng giúp xác định trình độ thông thạo ngôn ngữ vì kiến thức từ vựng đóng vai trò nền móng cho tất cả các hoạt động sử dụng ngôn ngữ (Schmitt và cộng sự, 2017). Lĩnh hội được kiến thức từ vựng là một trong những điều kiện tiên quyết quan trọng để học ngôn ngữ thành công. Với người dạy, việc có những ước tính đáng tin cậy về kiến thức từ vựng cho phép giáo viên cung cấp tài liệu phù hợp, đánh giá hiệu quả của quá trình học và đặt ra các mục tiêu phù hợp để người học có thể phát triển kỹ năng và năng lực ngôn ngữ của mình (Nation, 2013). Ngoài ra, kiểm tra từ vựng có thể được sử dụng để để đánh giá tác động của trải nghiệm học tập đối với quá trình phát triển từ vựng cũng như để đo lường mức độ phát triển từ vựng (Stoeckel & Bennett, 2015).

1.2. UEd CAT Hệ thống Trắc Nghiệm Thích Ứng Tiên Phong

Trong bối cảnh giáo dục ở Việt Nam, hệ thống trắc nghiệm thích ứng được xem là tiên phong và duy nhất đến thời điểm hiện tại là UEd-CAT. Hệ thống được xây dựng và phát triển bởi trường Đại học Giáo Dục – Đại học Quốc gia Hà Nội, và đã công bố những kết quả rất tích cực trong việc kiểm tra đánh giá về toán và đọc hiểu tiếng Việt, tạo động lực cho việc phát triển các bài kiểm tra thích ứng bằng máy tính hướng tới việc đánh giá ngôn ngữ trong thời gian tới. Với lĩnh vực kiểm tra ngôn ngữ, kiểm tra kiến thức từ vựng có ý nghĩa quan trọng trong đào tạo ngôn ngữ với cả người dạy và người học.

II. Thách Thức Đánh Giá Từ Vựng Tiếng Anh Hiện Nay 58 ký tự

Trong Chương trình giáo dục phổ thông môn Tiếng Anh, học sinh cần có khoảng 2500 từ vựng sau khi hoàn thành chương trình. Tuy nhiên, nhiều nghiên cứu chỉ ra rằng học sinh Việt Nam có lượng từ vựng hạn chế, không đạt yêu cầu. Cần có thêm những công cụ đánh giá kiến thức từ vựng tiếng Anh của người học để hỗ trợ người dạy, người học và nhà nghiên cứu. Luận án “Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh” được lựa chọn làm đề tài nghiên cứu. Đề tài phù hợp với xu hướng phát triển trong giáo dục để đáp ứng yêu cầu đổi mới trong kỷ nguyên chuyển đổi số, hứa hẹn mang lại những đóng góp có giá trị trong lĩnh vực đào tạo ngôn ngữ.

2.1. Hạn Chế về Vốn Từ vựng của Học Sinh Việt Nam

Trong bối cảnh dạy và học ngoại ngữ Việt Nam, từ vựng luôn có được xem trọng trong chương trình giảng dạy tiếng Anh ở Việt Nam. Trong Chương trình giáo dục phổ thông môn Tiếng Anh được ban hành kèm theo Thông tư số 32/2018/TT-BGDĐT ngày 26 tháng 12 năm 2018 của Bộ trưởng Bộ Giáo dục và Đào tạo, học sinh sau khi hoàn thành chương trình phổ thông, cần có số lượng từ vựng là khoảng 2500 từ. Tuy nhiên, theo kết quả của một số lượng không nhiều các nghiên cứu gần đây kiểm tra từ vựng của người học tiếng Anh của Việt Nam, học sinh phổ thông và sinh viên đại học có lượng từ vựng rất hạn chế, không đạt được yêu cầu về lượng từ này (Vu & Peters, 2021).

2.2. Sự Cần Thiết của Công Cụ Đánh Giá Từ Vựng Tiếng Anh

Việc có thêm những công cụ đánh giá kiến thức từ vựng tiếng Anh của người học cũng được đặt ra như một nhiệm vụ quan trọng để hỗ trợ người dạy, người học cũng như những nhà nghiên cứu trong lĩnh vực dạy và học tiếng Anh tại Việt Nam. Xuất phát từ những nhận định trên, đề tài “Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh” được lựa chọn làm đề tài nghiên cứu thuộc chuyên ngành Đo lường và đánh giá trong giáo dục.

III. Phương Pháp Xây Dựng CAT Đánh Giá Từ Vựng 53 ký tự

Mục đích của luận án là xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá từ vựng tiếp nhận tiếng Anh cho người học tại Việt Nam. Luận án tập trung vào việc tìm hiểu các thuật toán để thiết kế ngân hàng câu hỏi kiểm tra từ vựng đáp ứng yêu cầu của hệ thống UEd-CAT. Sau đó, tiến hành xây dựng, thử nghiệm và đánh giá bài trắc nghiệm thích ứng đánh giá kiến thức từ vựng. Các nhiệm vụ nghiên cứu bao gồm xây dựng ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng và thiết kế, thử nghiệm bài kiểm tra thích ứng bằng máy tính.

3.1. Xây Dựng Ngân Hàng Câu Hỏi cho Hệ Thống UEd CAT

Với việc sử dụng các thuật toán sẵn có của hệ thống trắc nghiệm thích ứng UEd-CAT, luận án tập trung vào tìm hiểu các thuật toán để thiết kế ngân hàng câu hỏi kiểm tra từ vựng tiếp nhận tiếng Anh đáp ứng yêu của hệ thống, từ đó tiến hành xây dựng, thử nghiệm và đánh giá bài trắc nghiệm thích ứng đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tiếng Anh tại Việt Nam.

3.2. Thiết Kế và Thử Nghiệm Bài Kiểm Tra Thích Ứng

Để thực hiện được mục đích nghiên cứu, luận án triển khai những nhiệm vụ nghiên cứu cụ thể như sau: (1) Xây dựng và chuẩn hóa ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh đáp ứng các yêu cầu của hệ thống trắc nghiệm thích ứng UEd-CAT. (2) Thiết kế, thử nghiệm và đánh giá bài kiểm tra thích ứng bằng máy tính đánh giá kiến thức từ vựng tiếp nhận tiếng Anh.

IV. Ứng Dụng CAT trong Đánh Giá Từ Vựng Kết Quả 58 ký tự

Luận án sử dụng các phương pháp nghiên cứu định tính và định lượng. Phương pháp định tính bao gồm phương pháp chuyên gia, phỏng vấn và phân tích nội dung. Phương pháp định lượng bao gồm thử nghiệm, khảo sát và xử lý số liệu thống kê. Nghiên cứu thực hiện với sinh viên kỹ thuật tại Hà Nội trong khoảng thời gian từ tháng 12/2020 đến tháng 12/2023. Các câu hỏi nghiên cứu tập trung vào việc ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng được xây dựng như thế nào và bài kiểm tra thích ứng được thiết kế thực hiện việc đánh giá từ vựng như thế nào.

4.1. Phương Pháp Nghiên Cứu Định Tính và Định Lượng

Để đạt được mục đích của nghiên cứu, luận án sử dụng các phương pháp nghiên cứu khoa học kết hợp định tính và định lượng như sau: Phương pháp nghiên cứu định tính - Phương pháp chuyên gia nhằm thu thập các ý kiến của những người có kinh nghiệm, có kiến thức chuyên sâu trong lĩnh vực nghiên cứu có liên quan. - Phương pháp phỏng vấn để tìm hiểu sâu quan điểm của thí sinh, cung cấp thêm góc nhìn về bài kiểm tra thích ứng được thiết kế. - Phương pháp phân tích nội dung để tổng thuật và nghiên cứu các quan điểm, công trình nghiên cứu có liên quan ở trong và ngoài nước làm cơ sở cho việc xây dựng khung lí thuyết của đề tài, định hướng cho nghiên cứu thực tiễn cũng như phân tích nhận thức của người tham gia khảo sát và phỏng vấn.

4.2. Đối Tượng và Phạm Vi Nghiên Cứu

Về đối tượng tham gia nghiên cứu, luận án được thực hiện với sinh viên các chuyên ngành kỹ thuật tại một trường đại học tại Hà Nội, một nhóm đối tượng người học ngoại ngữ tiếng Anh ở Việt Nam. Về bối cảnh thực hiện nghiên cứu, luận án sử hệ thống trắc nghiệm thích ứng của trường ĐHGD - ĐHQGHN với sự cho phép của nhóm chuyên gia phát triển hệ thống. Căn cứ vào mục đích, nhiệm vụ và đối tượng nghiên cứu, luận án được thực hiện để trả lời hai câu hỏi nghiên cứu sau: Câu hỏi 1: Ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh được xây dựng và chuẩn hóa như thế nào? Câu hỏi 2: Bài kiểm tra thích ứng bằng máy tính được thiết kế thực hiện việc đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tiếng Anh ở Việt Nam như thế nào?

V. Đóng Góp của Luận Án Tiến Sĩ Về CAT Từ Vựng 57 ký tự

Luận án là công trình nghiên cứu khoa học có hệ thống dựa trên cơ sở lý thuyết về kiểm tra từ vựng và trắc nghiệm thích ứng. Luận án hệ thống hóa vấn đề lý luận về kiểm tra từ vựng và việc áp dụng trắc nghiệm thích ứng trong kiểm tra từ vựng tiếng Anh. Luận án là một trong những nghiên cứu quy mô đầu tiên về trắc nghiệm thích ứng bằng máy tính áp dụng trong đào tạo ngôn ngữ ở Việt Nam. Luận án hứa hẹn đóng góp vào lĩnh vực kiểm tra đánh giá ngôn ngữ những giá trị lý luận có ý nghĩa hướng tới đối tượng người học tiếng Anh.

5.1. Hệ Thống Hóa Lý Thuyết về Kiểm Tra Từ Vựng

Luận án là công trình nghiên cứu khoa học có hệ thống, logic, và chặt chẽ dựa trên cơ sở lý thuyết được phát triển bởi các học giả và nhà nghiên cứu liên quan về kiểm tra từ vựng và trắc nghiệm thích ứng bằng máy tính. - Luận án hệ thống hóa vấn đề lý luận về kiểm tra từ vựng và việc áp dụng trắc nghiệm thích ứng trong kiểm tra từ vựng tiếng Anh, cụ thể là đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của đối tượng người học tiếng Anh ở Việt Nam.

5.2. Nghiên Cứu Tiên Phong về Trắc Nghiệm Thích Ứng

• Luận án là một trong những nghiên cứu quy mô đầu tiên về trắc nghiệm thích ứng bằng máy tính áp dụng trong đào tạo ngôn ngữ ở Việt Nam, đóng góp bằng chứng xác thực về việc áp dụng lý thuyết hồi đáp và phương pháp cân bằng trong xây dựng và chuẩn hóa ngân hàng câu hỏi trong lĩnh vực đo lường và đánh giá trong giáo dục. - Luận án hứa hẹn đóng góp vào lĩnh vực kiểm tra đánh giá ngôn ngữ những giá trị lý luận có ý nghĩa hướng tới đối tượng người học tiếng Anh ở Việt Nam, từ đó mang lại những đóng góp tích cực vào việc áp dụng CNTT trong đo lường và đánh giá trong giáo dục cũng như lĩnh vực dạy và học ngoại ngữ tiếng Anh ở Việt Nam.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU 1. Lý thuyết khảo thí hiện đại Trước đây, lý thuyết khảo thí cổ điển (Classical Test Theory) đã ra đời từ khoảng cuối thế kỉ 19 và hoàn thiện vào khoảng những năm 1970, đã có nhiều đóng góp quan trọng, đặt nền móng cho hoạt động đánh giá trong giáo dục, nhưng cũng thể hiện một số điểm hạn chế như không thể tách biệt năng lực của thí sinh và các tham số của câu hỏi hay xem xét việc ứng đáp dựa vào cấp độ đề kiểm tra chứ không phải cấp độ câu hỏi (Lâm Quang Thiệp, 2010). Với mục đích khắc phục những hạn chế của khảo thí cổ điển, các nhà tâm trắc học đã cố gắng xây dựng một lý thuyết khảo thí hiện đại – lý thuyết ứng đáp câu hỏi, Item Response Theory – IRT, sử dụng mô hình toán học để dự đoán xác suất trả lời đúng một câu hỏi, dựa trên chỉ số về năng lực của người trả lời và độ khó của câu hỏi (Wu & Adams, 2007). Để đánh giá đối tượng nào đó thì lý thuyết khảo thí cổ điển tiếp cận ở cấp độ một đề kiểm tra, còn lý thuyết khảo thí hiện đại IRT tiếp cận ở cả cấp độ câu hỏi và đề thi.

Lý thuyết khảo thí hiện đại đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỉ 20 – đầu thế kỉ 21 nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng cho đến nay, được áp dụng rộng rãi, trong đó có phát triển đề thi, xây dựng ngân hàng câu hỏi, phân tích dữ liệu, trắc nghiệm thích ứng và so bằng đề thi (test equating) (Himelfarb, 2019). Các giả thiết IRT Szabo (2008) tổng lược ba giả thiết cơ bản làm nền tảng cho các mô hình IRT, bao gồm mối quan hệ giữa xác suất ứng đáp câu hỏi và năng lực thí sinh, tính đơn chiều và tính độc lập cục bộ. Giả thiết đầu tiên liên quan đến mối quan hệ giữa các biến có thể quan sát được và biến tiềm ẩn, tức là mối quan hệ tương ứng giữa xác suất ứng đáp câu hỏi và năng lực của thí sinh. Mối quan hệ này được thể hiện bằng đường cong đặc trưng của câu hỏi (Item Characteristic Curve – ICC) (Baker, 1997, trích trong Szabo, 2008).

Giả thiết thứ hai là tính đơn chiều (unidimensionality). Keng (2008) đưa ra một ví dụ để minh họa, nếu IRT được sử dụng để mô hình hóa bài kiểm tra đọc hiểu thì người ta giả định rằng bất kỳ sự phụ thuộc thống kê nào giữa các câu trả lời đều được tính bằng năng lực đọc của thí sinh. Giả thiết thứ ba của IRT là tính độc lập cục bộ (local independence) (Hambleton & Swaminathan, 1985, trích trong Keng, 2008). Tùy thuộc vào năng lực của thí sinh, xác suất ứng đáp với câu hỏi không phụ thuộc về mặt thống kê với xác suất ứng đáp với bất kỳ câu hỏi nào khác.

Các học giả nhấn mạnh đặc tính quan trọng của IRT rằng nội dung của một câu hỏi không được cung cấp bất kỳ manh mối nào cho câu trả lời của một câu hỏi khác trong bài kiểm tra. Việc hiểu và tuân thủ các giả thiết IRT là rất quan trọng vì chúng ảnh hưởng đến tính chính xác và độ tin cậy của quá trình xây dựng và phát triển các công cụ đo lường và đánh giá áp dụng IRT. Nếu có bất kỳ sự vi phạm nào đối với các giả thiết IRT, nhà nghiên cứu cần tiến hành sửa lỗi để cải thiện chất lượng của bài kiểm tra cũng như hiệu quả của quá trình đánh giá. Các mô hình IRT Một câu hỏi trắc nghiệm có 3 tham số đặc trưng.

Trong 3 tham số trên, tham số “độ khó (b)” là tham số quan trọng nhất của câu hỏi, tham số b sẽ được sử dụng để đối sánh với tham số năng lực (θ) của thí sinh. Tham số a được sử dụng để thể hiện đặc trưng phân biệt của câu hỏi và tham số c để chỉ tỉ lệ đoán mò của thí sinh khi gặp câu hỏi. Hiện nay có ba mô hình phổ biến trong lý thuyết ứng đáp câu hỏi được phân loại theo số tham số đặc trưng mà mô hình xem xét, bao gồm mô hình một tham số kiểm tra các câu hỏi trắc nghiệm theo chỉ một tham số, độ khó của câu hỏi; mô hình hai tham số phân tích cả độ khó của câu hỏi và độ phân biệt câu hỏi, và mô hình ba tham số bao gồm độ khó của câu hỏi, độ phân biệt câu hỏi và mức độ dự đoán hay đoán mò câu trả lời. Cả ba mô hình đều sử dụng đường cong đặc trưng của câu hỏi làm căn cứ đề phân tích.1 trình bày một số thông tin cơ bản của ba mô hình IRT được tổng hợp (Carlson, 2020; Lâm Quang Thiệp, 2010).

Trong đó, θ là mức năng lực của thí sinh trả lời câu hỏi và P (θ) là xác suất trả lời đúng câu hỏi của thí sinh có mức năng lực θ. Các mô hình IRT một tham số, hai tham số và ba tham số cung cấp khả năng phân loại năng lực của thí sinh và hiểu rõ hơn về tính chất của các câu hỏi trong bài kiểm tra. Sự phức tạp của các mô hình tăng lên từ mô hình Rasch đến mô hình ba tham số, nhưng cũng cung cấp thông tin chi tiết và chính xác hơn về năng lực của thí sinh. Các ứng dụng của IRT trong lĩnh vực kiểm tra đánh giá Lý thuyết ứng đáp câu hỏi từ khi ra đời đã được ứng dụng rộng rãi vì tính hữu ích và ưu việt của nó; và việc phát minh ra máy tính cá nhân đã giúp nhiều nghiên cứu tiếp cận được sức mạnh tính toán cần thiết cho IRT.1: Các mô hình IRT (Carlson, 2020; Lâm Quang Thiệp, 2010) Mô hình Tham số Biểu thức Đường cong đặc trưng của câu hỏi 1 tham số • độ khó của câu hỏi b 2 tham số • độ khó của câu hỏi b • độ phân biệt của câu hỏi a 3 tham số • độ khó của câu hỏi b • độ phân biệt của câu hỏi a • mức độ đoán mò c 12 IRT được sử dụng để phát triển các bài kiểm tra chuẩn hóa, chẳng hạn như Bài kiểm tra năng lực học thuật (SAT).

Sau đó, nó đã trở thành phương pháp tâm trắc quan trọng để xây dựng thang đo vì nó cung cấp một phương pháp giải quyết nhiều thách thức đo lường cần được giải quyết khi xây dựng một bài kiểm tra hoặc thang đo. Mục đích của IRT là cung cấp một khuôn khổ để đánh giá mức độ thực hiện đánh giá và các câu hỏi riêng lẻ trong kiểm tra đánh giá. Một trong những ứng dụng phổ biến nhất của IRT là trong giáo dục, nơi các nhà nghiên cứu sử dụng IRT để phát triển và thiết kế các bài thi, xây dựng và duy trì ngân hàng câu hỏi và cân bằng độ khó của các câu hỏi trong bài thi cũng như các phiên thi khác nhau (Wu và cộng sự, 2016). Đầu tiên, IRT cung cấp những ước tính chính xác và đáng tin cậy hơn về khả năng của người làm bài kiểm tra, vì nó tính đến độ khó và sự phân biệt khác nhau của các câu hỏi cũng như điều chỉnh khả năng đoán mò và các yếu tố ngẫu nhiên khác.

Thứ hai, IRT cho phép tạo ra các ngân hàng câu hỏi là tập hợp các câu hỏi được hiệu chuẩn trên thang đo chung nhờ phương pháp cân bằng, từ đó các câu kiểm tra có thể được chọn hoặc thiết lập theo các tiêu chí cụ thể. Thứ ba, IRT tạo điều kiện thuận lợi cho việc so sánh và cân bằng điểm số giữa các hình thức hoặc phiên bản khác nhau của bài kiểm tra, vì nó đặt chúng trên một thang điểm chung bất biến đối với các câu hỏi cụ thể được sử dụng. Thứ tư, IRT cho phép kiểm tra thích ứng, là một hình thức kiểm tra trên máy tính nhằm điều chỉnh độ khó và nội dung của các câu hỏi phù hợp với năng lực của người dự thi, dẫn đến các bài kiểm tra ngắn hơn và hiệu quả hơn. Tổng thể, nhờ có một số lợi thế so với lý thuyết khảo thí cổ điển, IRT đã được ứng dụng rộng rãi trong việc phát triển và đánh giá bài kiểm tra.

Ứng dụng của lý thuyết ứng đáp câu hỏi IRT không chỉ giúp nâng cao chất lượng của các kỳ thi khách quan hơn, chính xác hơn mà còn tối ưu hóa quá trình phát 13 triển, duy trì và triển khai. Điều này mang lại lợi ích lớn cho cả thí sinh và các bên liên quan. Lý luận về trắc nghiệm thích ứng bằng máy tính 1. Trắc nghiệm thích ứng bằng máy tính Hình 1.1: Biểu đồ CAT (Thompson & Weiss, 2011) Hình 1.1 minh họa quy trình CAT – trắc nghiệm thích ứng bằng/trên máy tính (Thompson & Weiss, 2011).

Trong một quy trình kiểm tra hoàn chỉnh, bài kiểm tra bắt đầu với một câu hỏi được chọn từ ngân hàng câu hỏi đã hiệu chuẩn. Câu hỏi đầu tiên này có thể được chọn ngẫu nhiên hoặc từ một nhóm câu hỏi có độ khó trung bình trong ngân hàng câu hỏi (Choi & McClenen, 2020; Oppl 14 và cộng sự, 2017). Nếu người dự thi đưa ra một câu trả lời đúng, thì một câu hỏi có độ khó cao hơn sẽ được chọn là câu hỏi tiếp theo, và ngược lại, khi người dự thi đưa ra một câu trả lời sai, một câu hỏi có độ khó thấp hơn sẽ được chọn là câu hỏi tiếp theo. Trong quá trình lặp lại này, khả năng của thí sinh được ước tính và tính toán lại dựa trên thành tích của thí sinh cho đến khi hệ thống thu thập đủ bằng chứng để xác định trình độ ngôn ngữ của thí sinh, nghĩa là đã thỏa mãn tiêu chí kết thúc.

Các thành tố của hệ thống trắc nghiệm thích ứng Ngân hàng câu hỏi trắc nghiệm thích ứng Thành tố đầu tiên của CAT là một ngân hàng câu hỏi đã được chuẩn hóa, dùng làm nội dung của hệ thống. Trong trường hợp đánh giá ngôn ngữ, ngân hàng câu hỏi bao gồm các câu hỏi về ngôn ngữ để tạo ra các bài kiểm tra ngôn ngữ. Với một hệ thống trắc nghiệm đã phát triển và đưa vào sử dụng thì các thuật toán đã được xác định từ trước, do đó, chất lượng của ngân hàng câu hỏi chất lượng đóng vai trò quyết định hiệu quả đánh giá năng lực của các thí sinh. Tất cả các câu hỏi trong ngân hàng đều đầu tiên được phân tích với lý thuyết ứng đáp câu hỏi.