Tổng quan nghiên cứu

Trong nền giáo dục hiện đại, đo lường và đánh giá năng lực người học đóng vai trò then chốt trong việc bảo đảm chất lượng đào tạo. Trên bình diện quốc tế, ngành công nghiệp trắc nghiệm đã phát triển quy mô vượt bậc với ước tính hơn 250 triệu lượt trắc nghiệm tiêu chuẩn hóa và khoảng 5 tỷ lượt kiểm tra do giáo viên tự biên soạn mỗi năm tại các quốc gia phát triển. Điển hình như các kỳ thi chuẩn hóa quốc tế bao gồm Scholastic Assessment Test với khoảng 1,8 triệu thí sinh và American College Testing với hơn 1,6 triệu thí sinh tham dự hàng năm, toàn bộ đều ứng dụng mô hình trắc nghiệm khách quan trên nền tảng công nghệ số.

Tuy nhiên, tại Việt Nam, phần lớn các hệ thống khảo thí trực tuyến vẫn dừng lại ở việc áp dụng Lý thuyết trắc nghiệm cổ điển, đánh giá người học đơn thuần qua điểm thô tính bằng tổng số câu trả lời đúng nhân với trọng số cố định. Cách tiếp cận này bộc lộ hạn chế lớn khi không tách bạch được giữa độ khó của đề thi và năng lực thực chất của người học. Đề tài tập trung nghiên cứu ứng dụng Lý thuyết ứng đáp câu hỏi và chuẩn đặc tả Question and Test Interoperability nhằm giải quyết bài toán ước lượng đồng thời tham số câu hỏi và năng lực thí sinh trên hệ thống trắc nghiệm trực tuyến.

Mục tiêu cụ thể của nghiên cứu là xây dựng quy trình chuẩn hóa ngân hàng câu hỏi, tích hợp chuẩn trao đổi dữ liệu quốc tế và ứng dụng thuật toán ước lượng tham số vào hệ thống khảo thí cmTest tại Viện Công nghệ Thông tin trực thuộc Đại học Quốc gia Hà Nội. Kết quả triển khai thực tế trong khuôn khổ Đề án 112 của Chính phủ đã phục vụ sát hạch kỹ năng công nghệ thông tin cho gần 60.000 lượt cán bộ công chức, giúp giảm thiểu sai số đo lường xuống dưới mức 5% và loại bỏ hoàn toàn tính chủ quan trong khâu chấm thi.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng đối sánh giữa hai trường phái đo lường giáo dục lớn: Lý thuyết trắc nghiệm cổ điển và Lý thuyết ứng đáp câu hỏi, đồng thời mở rộng tiếp cận Lý thuyết ứng đáp câu hỏi nhiều chiều. Trong đó, Lý thuyết ứng đáp câu hỏi đóng vai trò trung tâm nhằm khắc phục hai điểm yếu cố hữu của Lý thuyết cổ điển: tham số câu hỏi bị phụ thuộc vào nhóm mẫu thử nghiệm và điểm số của thí sinh bị phụ thuộc vào độ khó của bài thi cụ thể.

Mô hình nghiên cứu cốt lõi áp dụng hàm số tham số hóa logistic 3 tham số, bao gồm:

  • Tham số độ khó $b$: Xác định vị trí của câu hỏi trên thang đo năng lực chuẩn tắc, phản ánh mức độ thử thách của câu hỏi đối với người học.
  • Tham số độ phân biệt $a$: Đo lường độ dốc của đường cong đặc trưng câu hỏi, thể hiện khả năng phân loại chính xác giữa thí sinh có năng lực cao và năng lực thấp.
  • Tham số độ phỏng đoán $c$: Phản ánh xác suất trả lời đúng của thí sinh có năng lực rất thấp nhờ việc đoán mò ngẫu nhiên.

Bên cạnh đó, nghiên cứu tích hợp chuẩn đặc tả Question and Test Interoperability do tổ chức IMS Global ban hành. Chuẩn kỹ thuật này cung cấp cấu trúc dữ liệu chuẩn hóa bằng ngôn ngữ đánh dấu mở rộng, định nghĩa toàn diện từ kiểu câu hỏi, cấu trúc bài thi, phản hồi tương tác đến quy tắc chấm điểm. Việc ứng dụng chuẩn IMS QTI bảo đảm tính khả thi tương tác, cho phép các cơ sở đào tạo dễ dàng chia sẻ, tái sử dụng và vận hành ngân hàng câu hỏi trên đa nền tảng đào tạo qua mạng mà không bị ràng buộc bởi phần mềm độc quyền.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu khảo sát thực nghiệm thu thập từ 315 thí sinh thuộc hệ đào tạo Kỹ thuật viên Tin học tại Trung tâm Tin học PT trực thuộc Viện Công nghệ Thông tin – Đại học Quốc gia Hà Nội. Dữ liệu đầu vào là kết quả làm bài thi trắc nghiệm trực tuyến môn Tin học văn phòng bao gồm bộ 40 câu hỏi được thiết kế theo các mức độ nhận thức khác nhau.

Phương pháp chọn mẫu được thực hiện theo nguyên tắc chọn mẫu ngẫu nhiên phân tầng từ các lớp đào tạo kỹ thuật viên, bảo đảm tính đại diện cao cho phổ năng lực người học từ mức trung bình đến xuất sắc. Cỡ mẫu 315 thí sinh được đánh giá là phù hợp về mặt thống kê để chạy các mô hình ước lượng tham số theo phân phối chuẩn tắc trung bình 0 và phương sai 1.

Lý do lựa chọn phương pháp ước lượng hợp lý cực đại kết hợp thuật toán lặp đồng thời là bởi tính ưu việt trong việc xử lý bài toán khi cả tham số câu hỏi lẫn năng lực thí sinh đều chưa biết trước. Thuật toán phân tích ma trận nhị phân kết quả bài làm để liên tục tối ưu hóa hàm hợp lý, từ đó hội tụ về các giá trị tham số có độ chính xác cao. Toàn bộ tiến trình nghiên cứu, chuẩn hóa ngân hàng câu hỏi và thực nghiệm trên phần mềm cmTest được tiến hành trong mốc thời gian khoảng 12 tháng, bảo đảm độ tin cậy khoa học và tính ứng dụng thực tiễn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm mô hình Lý thuyết ứng đáp câu hỏi trên hệ thống cmTest với 40 câu hỏi và 315 thí sinh đã mang lại các phát hiện thực nghiệm mang tính đột phá:

Thứ nhất, thuật toán ước lượng thành công bộ 3 tham số $a, b, c$ cho 40 câu hỏi trắc nghiệm Tin học văn phòng. Kết quả cho thấy khoảng 75% số câu hỏi đạt độ phân biệt tốt với giá trị tham số $a$ dao động từ 0,85 đến 1,65, hỗ trợ phân loại học viên chuẩn xác. Đồng thời, hệ thống phát hiện khoảng 10% số câu hỏi có tham số phỏng đoán $c$ vượt quá mức 0,25, chỉ ra rằng các phương án gây nhiễu chưa đủ sức hấp dẫn và cần được biên tập lại.

Thứ hai, việc đo lường năng lực thí sinh theo biến số theta chuẩn hóa đã định vị chính xác năng lực thực tế của từng học viên trên thang đo liên tục từ -3,0 đến +3,0 thay vì phụ thuộc vào điểm số thô. Trong bài kiểm tra 100 câu hỏi với 5 phương án lựa chọn, xác suất đoán mò ngẫu nhiên chỉ đạt 20%, tương đương mức điểm thô tiệm cận 0 sau khi hiệu chỉnh tham số, chứng minh trắc nghiệm khách quan trực tuyến loại bỏ hoàn toàn hiện tượng may rủi hoặc học tủ.

Thứ ba, quy trình chuẩn hóa theo chuẩn IMS QTI kết hợp hệ thống cmTest đã chứng minh tính hiệu quả vượt trội khi vận hành trên quy mô lớn. Trong quá trình sát hạch 7 module kỹ năng công nghệ thông tin thuộc Đề án 112 với gần 60.000 lượt thí sinh, tỷ lệ sai sót kỹ thuật và gian lận thi cử giảm hơn 90% so với phương thức thi tập trung truyền thống, đồng thời tiết kiệm khoảng 40% chi phí in ấn và nhân lực coi thi.

Thảo luận kết quả

Khi phân tích sâu về mối tương quan giữa tham số câu hỏi và năng lực người học, dữ liệu thực nghiệm được trực quan hóa thông qua biểu đồ đường cong đặc trưng câu hỏi Item Characteristic Curve và hàm thông tin bài thi Test Information Function. Trên đồ thị biểu diễn, trục hoành thể hiện năng lực thí sinh theta trải dài từ -3,0 đến +3,0, trong khi trục tung phản ánh xác suất trả lời đúng từ 0 đến 1,0. Bảng ma trận tham số câu hỏi cho thấy các câu hỏi có độ dốc cao tại vùng năng lực trung bình đã cung cấp lượng thông tin cực đại, giúp bài thi đạt độ tin cậy tối ưu.

Nguyên nhân cốt lõi giúp mô hình đạt hiệu quả cao là do thuật toán xử lý dữ liệu đã tách rời việc đánh giá câu hỏi khỏi đặc tính của nhóm mẫu thử nghiệm. Khác với cách tiếp cận truyền thống vốn chỉ tính tỷ lệ phần trăm làm đúng câu hỏi, phương pháp này cho phép nhận diện chính xác câu hỏi nào quá dễ, câu hỏi nào quá khó hoặc thiếu tính phân biệt. Kết quả này tương đồng với các công bố khoa học của các tổ chức khảo thí quốc tế lớn như Educational Testing Service, khẳng định rằng việc tích hợp công nghệ thông tin với lý thuyết khảo thí hiện đại là con đường tất yếu để nâng cao chất lượng giáo dục đại học tại Việt Nam.

Đề xuất và khuyến nghị

Nhằm đẩy mạnh ứng dụng công nghệ đo lường hiện đại trong giáo dục và đào tạo trực tuyến, nghiên cứu đề xuất 4 nhóm giải pháp chiến lược sau:

  • Ban hành quy chuẩn kỹ thuật ngân hàng câu hỏi theo chuẩn IMS QTI: Các trường đại học và viện nghiên cứu cần áp dụng ngay cấu trúc đóng gói dữ liệu câu hỏi theo định dạng chuẩn quốc tế nhằm đạt mục tiêu 100% tài nguyên khảo thí có thể chia sẻ và liên thông giữa các hệ thống quản lý học tập E-learning trong vòng 12 đến 18 tháng tới.
  • Nâng cấp thuật toán khảo thí từ CTT sang IRT trong các phần mềm giáo dục: Các đơn vị phát triển phần mềm EdTech cần chủ động tích hợp thuật toán ước lượng tham số 3 tham số vào module chấm điểm tự động, hướng tới mục tiêu giảm sai số đo lường năng lực xuống dưới 3% và nâng độ tin cậy của bài thi đạt mức trên 0,90 trong vòng 6 đến 12 tháng.
  • Phát triển hệ thống trắc nghiệm thích ứng trên máy tính: Cục Quản lý chất lượng phối hợp cùng các viện nghiên cứu công nghệ thông tin đẩy mạnh thiết kế hệ thống thích ứng, tự động điều chỉnh độ khó câu hỏi theo năng lực tức thời của thí sinh, giúp rút ngắn từ 40% đến 50% thời gian làm bài thi mà vẫn bảo đảm độ chính xác đo lường đạt trên 95% trong giai đoạn 2 đến 3 năm tới.
  • Mở rộng quy mô sát hạch kỹ năng số chuẩn hóa cho khối hành chính và đào tạo nghề: Các bộ ngành liên quan cần tiếp tục nhân rộng mô hình sát hạch kỹ năng công nghệ thông tin trên nền tảng trực tuyến cho cán bộ công chức và sinh viên, đặt mục tiêu phục vụ trên 100.000 lượt kiểm tra chuẩn hóa định kỳ mỗi năm theo tiêu chuẩn quốc gia và quốc tế.

Đối tượng nên tham khảo luận văn

Nội dung nghiên cứu mang giá trị tham khảo chuyên sâu và thực tiễn cho 4 nhóm đối tượng chính:

  • Giảng viên và chuyên gia khảo thí: Cung cấp phương pháp luận khoa học và quy trình 4 bước biên soạn, thẩm định và chuẩn hóa ngân hàng câu hỏi trắc nghiệm, giúp tối ưu hóa công tác kiểm tra đánh giá thường xuyên và định kỳ.
  • Kỹ sư phát triển phần mềm giáo dục và EdTech: Nắm bắt kiến trúc hệ thống trắc nghiệm trực tuyến cmTest, cách thức tích hợp chuẩn trao đổi dữ liệu IMS QTI và giải thuật lập trình ước lượng đồng thời tham số câu hỏi trên nền tảng Web.
  • Nhà quản lý giáo dục và lãnh đạo cơ sở đào tạo: Cung cấp cơ sở khoa học để hoạch định chiến lược chuyển đổi số trong thi cử, tổ chức các kỳ thi sát hạch diện rộng an toàn, minh bạch và tiết kiệm chi phí vận hành.
  • Học viên cao học và nghiên cứu sinh chuyên ngành Công nghệ Thông tin, Đo lường và Đánh giá Giáo dục: Nguồn tài liệu học thuật giá trị về mô hình toán học trắc nghiệm hiện đại, mở ra hướng nghiên cứu tiếp nối về trắc nghiệm thích ứng nhiều chiều và xử lý ngôn ngữ tự nhiên trong khảo thí.

Câu hỏi thường gặp

Lý thuyết ứng đáp câu hỏi IRT ưu việt hơn Lý thuyết trắc nghiệm cổ điển CTT ở những điểm nào? Lý thuyết IRT giải quyết triệt để hai điểm nghẽn của CTT: tham số câu hỏi không còn phụ thuộc vào mẫu thí sinh thử nghiệm và năng lực người học không bị phụ thuộc vào đề thi cụ thể. Nhờ mô hình hóa xác suất trả lời đúng qua hàm logistic 3 tham số, IRT định vị năng lực thực chất của người học với sai số đo lường cực thấp.

Chuẩn đặc tả IMS QTI đóng vai trò gì trong các hệ thống trắc nghiệm trực tuyến hiện đại? Chuẩn IMS QTI do tổ chức IMS Global ban hành cung cấp cấu trúc định dạng dữ liệu tiêu chuẩn cho câu hỏi và bài thi. Việc này giúp các cơ sở giáo dục dễ dàng lưu trữ, trao đổi và tái sử dụng ngân hàng đề thi trên 100% các nền tảng đào tạo trực tuyến khác nhau mà không lo ngại xung đột định dạng kỹ thuật.

Tại sao thi trắc nghiệm khách quan trực tuyến lại ngăn chặn hiệu quả hiện tượng đoán mò và học tủ? Đề thi trắc nghiệm trực tuyến bao quát toàn bộ chương trình học với ngân hàng hàng trăm câu hỏi được đảo ngẫu nhiên. Trong bài thi 100 câu có 5 lựa chọn, xác suất làm đúng ngẫu nhiên chỉ là 20%, khiến điểm số thực tế tiệm cận mức 0, từ đó triệt tiêu hoàn toàn cơ hội đạt điểm cao nhờ may rủi.

Hệ thống phần mềm khảo thí cmTest đã được chứng minh hiệu quả qua quy mô thực tế nào? Phần mềm cmTest do Viện Công nghệ Thông tin phát triển đã được triển khai sát hạch kỹ năng công nghệ thông tin cho gần 60.000 lượt cán bộ trong Đề án 112 với 7 module kỹ năng, đồng thời phục vụ đào tạo cho 315 học viên kỹ thuật viên với độ ổn định cao và tỷ lệ vi phạm quy chế thi giảm hơn 90%.

Làm thế nào để ước lượng tham số câu hỏi khi năng lực thí sinh ban đầu chưa được xác định? Hệ thống sử dụng phương pháp ước lượng hợp lý cực đại biên kết hợp thuật toán lặp đồng thời trên mẫu dữ liệu lớn. Bằng cách giả định năng lực thí sinh tuân theo phân phối chuẩn tắc trung bình 0 và độ lệch chuẩn 1, thuật toán liên tục hiệu chỉnh để đồng thời hội tụ về giá trị thực của cả tham số câu hỏi lẫn năng lực thí sinh.

Kết luận

  • Luận văn hệ thống hóa toàn diện cơ sở khoa học của Lý thuyết ứng đáp câu hỏi và chuẩn đặc tả kỹ thuật IMS QTI trong khảo thí trực tuyến.
  • Xây dựng thành công quy trình chuẩn hóa ngân hàng câu hỏi và giải thuật ước lượng 3 tham số câu hỏi kết hợp năng lực người học.
  • Ứng dụng thực nghiệm hiệu quả trên phần mềm cmTest với dữ liệu 315 học viên và gần 60.000 lượt sát hạch kỹ năng công nghệ thông tin thực tế.
  • Khẳng định tính tất yếu của việc chuyển đổi từ cách tính điểm thô cổ điển sang mô hình đo lường năng lực chuẩn hóa hiện đại.
  • Mở ra lộ trình nâng cấp hệ thống sang mô hình Trắc nghiệm thích ứng trên máy tính trong giai đoạn tiếp theo.

Các cơ sở giáo dục, tổ chức khảo thí và doanh nghiệp công nghệ đào tạo quan tâm đến giải pháp chuẩn hóa ngân hàng đề thi và tích hợp thuật toán đo lường hiện đại hãy liên hệ ngay với nhóm nghiên cứu để nhận tài liệu chuyển giao công nghệ và hợp tác triển khai thực tế.