Tổng quan nghiên cứu

Trong bối cảnh hiện đại hóa giáo dục đại học, công tác kiểm tra đánh giá đóng vai trò là đòn bẩy chiến lược nhằm kiểm soát và nâng cao chất lượng đào tạo. Tại Trường Đại học Kỹ thuật - Hậu cần Bộ Công an (thành lập theo Quyết định số 1945/QĐ-TTg ngày 21/10/2010), nhu cầu chuẩn hóa quy trình đánh giá kết quả học tập cho hơn 843 học viên các khóa đại học chính quy ngành Công nghệ thông tin và Kỹ thuật Điện tử truyền thông là một nhiệm vụ cấp thiết. Thực tiễn giảng dạy cho thấy các phương thức thi truyền thống nặng về tự luận thường chỉ bao quát được khoảng 20% đến 30% dung lượng kiến thức, dễ dẫn đến hiện tượng học lệch, học tủ và chịu nhiều tác động chủ quan từ người chấm điểm.

Luận văn thạc sĩ chuyên ngành Đo lường và Đánh giá trong giáo dục (Mã số: 60140120) của tác giả Trần Anh Chất, dưới sự hướng dẫn khoa học của Phó Giáo sư, Tiến sĩ Hoàng Bá Thịnh tại Viện Đảm bảo chất lượng giáo dục – Đại học Quốc gia Hà Nội, đã tập trung giải quyết bài toán cốt lõi: Nghiên cứu đặc tính câu hỏi để xây dựng ngân hàng câu hỏi trắc nghiệm khách quan chuẩn hóa cho môn học Mạng máy tính. Nghiên cứu được triển khai thực nghiệm trên đối tượng học viên khóa D1 trong khung thời gian từ tháng 11/2013 đến tháng 09/2014. Mục tiêu then chốt của công trình là thiết lập bộ ngân hàng gồm 350 đến 400 câu hỏi trắc nghiệm khách quan nhiều lựa chọn đạt chuẩn khoa học đo lường, nâng độ tin cậy của bài thi lên trên 0.80 và giảm thiểu xác suất đoán mò ngẫu nhiên xuống dưới 20%, tạo nền tảng vững chắc cho công tác đảm bảo chất lượng dạy và học tại nhà trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng tích hợp giữa hai trụ cột khảo thí học kinh điển: Lý thuyết trắc nghiệm cổ điển (Classical Test Theory - CTT) và Lý thuyết ứng đáp câu hỏi (Item Response Theory - IRT) với trọng tâm là Mô hình Rasch đơn tham số. Bên cạnh đó, tác giả vận dụng Thang phân loại mục tiêu nhận thức của Benjamin Bloom với 6 cấp độ từ thấp đến cao (Nhận biết, Thông hiểu, Vận dụng, Phân tích, Tổng hợp, Đánh giá) để thiết kế ma trận đề thi hai chiều cân đối.

Hệ thống khái niệm đo lường nền tảng được chuẩn hóa xuyên suốt đề tài bao gồm:

  • Đo lường (Measurement): Quá trình thu thập thông tin định lượng về các biến số năng lực của người học thông qua công cụ trắc nghiệm.
  • Đánh giá (Assessment): Việc đối chiếu kết quả đo lường với các tiêu chuẩn đầu ra nhằm đưa ra nhận định chính xác về chất lượng tiếp thu tri thức.
  • Độ khó của câu hỏi ($p$): Tỷ lệ phần trăm thí sinh trả lời đúng trên tổng số thí sinh tham gia, dao động trong khoảng lý tưởng từ 0.40 đến 0.60.
  • Độ phân biệt ($D$): Khả năng phân loại giữa nhóm thí sinh có năng lực cao (top 27%) và nhóm có năng lực thấp (bottom 27%), với ngưỡng chấp nhận chuẩn $D \ge 0.30$.
  • Độ tin cậy và Độ giá trị: Đảm bảo hệ số tương quan đo lường đạt từ 0.60 đến 1.00 và phản ánh trung thực toàn diện nội dung chương trình học phần Mạng máy tính.

Phương pháp nghiên cứu

Nghiên cứu kết hợp chặt chẽ giữa nghiên cứu lý luận, điều tra khảo sát thực trạng và thực nghiệm sư phạm. Nguồn dữ liệu thực nghiệm được thu thập từ các bài kiểm tra trắc nghiệm thử nghiệm của toàn thể học viên khóa D1 ngành Công nghệ thông tin tại Trường Đại học Kỹ thuật - Hậu cần Bộ Công an, kết hợp phiếu điều tra xã hội học lấy ý kiến từ đội ngũ giảng viên chuyên trách.

Quy trình chọn mẫu được thực hiện theo phương pháp chọn mẫu thuận tiện có chủ đích trên quy mô toàn khóa D1 với hơn 200 bài làm hợp lệ được đưa vào phân tích chuyên sâu. Để xử lý dữ liệu, tác giả sử dụng phần mềm chuyên dụng QUEST và ConQuest để chạy mô hình Rasch, ước lượng đồng thời tham số độ khó câu hỏi ($\delta$) và năng lực thí sinh ($\theta$) trên cùng một thước đo Logit tuyến tính, kết hợp công cụ SPSS và Microsoft Excel để tính toán các thống kê mô tả. Việc lựa chọn mô hình Rasch và phần mềm QUEST là giải pháp tối ưu nhằm khắc phục triệt để nhược điểm phụ thuộc vào mẫu thí sinh của lý thuyết CTT, đảm bảo tính khách quan và tính bất biến của tham số câu hỏi đo lường trong suốt tiến trình nghiên cứu từ cuối năm 2013 đến tháng 9 năm 2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích dữ liệu thực nghiệm của ngân hàng 350 đến 400 câu hỏi trắc nghiệm môn Mạng máy tính đã đem lại những kết quả định lượng cụ thể:

  • Phân bố độ khó câu hỏi ($p$-value): Khoảng 68.5% số câu hỏi được thử nghiệm đạt độ khó trung bình lý tưởng dao động trong khoảng từ 0.40 đến 0.60; khoảng 18.2% câu hỏi thuộc nhóm dễ ($p > 0.60$) và 13.3% câu hỏi thuộc nhóm có độ khó cao ($p < 0.40$). Tỷ lệ này đảm bảo bài thi vừa sức với số đông nhưng vẫn có tính thách thức đối với học viên khá giỏi.
  • Chỉ số phân biệt ($D$): Hơn 72.0% số câu hỏi đạt chỉ số phân biệt tốt với $D \ge 0.30$, phản ánh sự chênh lệch rõ rệt về tỷ lệ trả lời đúng giữa nhóm 27% học viên xuất sắc nhất và nhóm 27% học viên có kết quả thấp nhất.
  • Mức độ tương thích mô hình Rasch (Fit Statistics): Kết quả phân tích qua phần mềm QUEST cho thấy 85.6% câu hỏi có chỉ số MNSQ (Mean Square Infit và Outfit) nằm hoàn hảo trong khoảng giới hạn từ 0.77 đến 1.30, chứng minh các câu hỏi đều đo lường cùng một cấu trúc năng lực đơn chiều về kiến thức Mạng máy tính.
  • Độ tin cậy của bài kiểm tra: Hệ số tin cậy toàn bài đạt 0.82 (vượt trội so với ngưỡng yêu cầu tối thiểu 0.60), cùng sai số đo lường chuẩn được khống chế ở mức rất thấp dưới 0.28 Logit.

Thảo luận kết quả

Dữ liệu phân tích thực nghiệm từ phần mềm QUEST được hiển thị trực quan thông qua Bản đồ năng lực và độ khó (Wright Map) cùng Đường cong đặc trưng câu hỏi (Item Characteristic Curve - ICC). Bản đồ Wright Map chỉ ra rằng phổ phân bố năng lực của học viên khóa D1 trải dài từ -2.50 Logit đến +2.80 Logit, bao phủ cân đối với thang độ khó của các câu hỏi (trung bình xấp xỉ 0.00 Logit). Điều này chứng minh đề thi có khả năng phân hóa đa tầng, không xảy ra hiện tượng lệch trần (ceiling effect) hay lệch sàn (floor effect).

Nguyên nhân một số câu hỏi có chỉ số phân biệt chưa đạt ($D < 0.20$) chủ yếu bắt nguồn từ việc các phương án nhiễu (distractors) chưa đủ tính hợp lý để thu hút học viên yếu, hoặc phần câu dẫn (stem) vô tình chứa từ khóa định hướng đáp án. So với các công trình nghiên cứu khảo thí trước đây của Lâm Quang Thiệp và Lê Đức Ngọc, kết quả của luận văn khẳng định việc ứng dụng ngân hàng câu hỏi trắc nghiệm khách quan đa lựa chọn giúp kiểm soát 100% chuẩn đầu ra môn Mạng máy tính, triệt tiêu nguy cơ thiên vị khi chấm thi và tạo động lực học tập tích cực, tự giác cho người học.

Đề xuất và khuyến nghị

Nhằm phát huy tối đa giá trị thực tiễn của đề tài trong công tác đào tạo, tác giả đưa ra 4 nhóm giải pháp chiến lược:

  • Mở rộng và chuẩn hóa ngân hàng câu hỏi: Tăng quy mô ngân hàng đề thi từ 350 - 400 câu lên mức 600 - 800 câu hỏi trong vòng 12 tháng tới, bao phủ toàn diện các module chuyên sâu về định tuyến mạng, bảo mật và kiến trúc giao thức TCP/IP, đảm bảo 100% câu hỏi được định cỡ tham số Logit.
  • Bồi dưỡng năng lực khảo thí cho giảng viên: Tổ chức định kỳ ít nhất 02 khóa tập huấn chuyên sâu mỗi năm về lý thuyết IRT và kỹ năng biên soạn câu hỏi trắc nghiệm đa lựa chọn chuẩn hóa cho 100% cán bộ, giảng viên Khoa Công nghệ thông tin do các chuyên gia đo lường giáo dục trực tiếp hướng dẫn.
  • Số hóa quy trình trộn đề và chấm thi tự động: Triển khai phần mềm quản trị khảo thí tích hợp công nghệ đảo đề tự động theo ma trận 2 chiều và ứng dụng máy chấm thi quang học OMR, giúp rút ngắn 90% thời gian xử lý điểm thi và loại bỏ 100% sai sót cơ học trong quá trình chấm bài.
  • Thiết lập cơ chế kiểm định chất lượng định kỳ: Ban hành quy chế rà soát ngân hàng đề thi theo chu kỳ 12 tháng/lần; chủ động loại bỏ hoặc biên tập lại ít nhất 10% các câu hỏi có chỉ số MNSQ vi phạm chuẩn ($< 0.77$ hoặc $> 1.30$). Trách nhiệm triển khai do Phòng Khảo thí và Đảm bảo chất lượng đào tạo chủ trì phối hợp cùng Ban Giám hiệu Nhà trường.

Đối tượng nên tham khảo luận văn

  • Giảng viên chuyên ngành Công nghệ thông tin và Mạng máy tính: Cung cấp phương pháp thiết kế ma trận kiểm tra 6 bậc Bloom và kỹ thuật xây dựng các phương án nhiễu chất lượng cao phục vụ đánh giá học phần.
  • Chuyên viên Khảo thí và Đảm bảo chất lượng tại các trường đại học: Cung cấp tài liệu hướng dẫn chuẩn mực về quy trình chuẩn hóa câu hỏi thi bằng phần mềm QUEST và mô hình Rasch phục vụ công tác kiểm định chất lượng đào tạo.
  • Cán bộ quản lý giáo dục trong khối trường Công an nhân dân và Quân đội: Tham khảo mô hình chuyển đổi số công tác thi cử, giúp nâng cao tính kỷ luật, khách quan và bảo mật tuyệt đối trong đánh giá năng lực học viên lực lượng vũ trang.
  • Học viên cao học và Nghiên cứu sinh ngành Đo lường - Đánh giá giáo dục: Khai thác khung phương pháp luận nghiên cứu thực nghiệm, hệ thống công thức giải thuật đo lường và cách xử lý dữ liệu khảo thí hiện đại để phục vụ các công trình nghiên cứu chuyên sâu.

Câu hỏi thường gặp

Tại sao môn Mạng máy tính nên áp dụng hình thức trắc nghiệm khách quan thay vì tự luận thuần túy?

Môn Mạng máy tính có khối lượng kiến thức rộng lớn về giao thức, mô hình OSI và cấu hình thiết bị. Đề thi trắc nghiệm khách quan với 40 đến 50 câu hỏi giúp bao quát trên 90% nội dung chương trình học phần, trong khi đề thi tự luận thông thường chỉ kiểm tra được khoảng 20% đến 30% kiến thức, dễ dẫn đến hiện tượng học tủ.

Mô hình Rasch mang lại lợi ích gì vượt trội so với lý thuyết trắc nghiệm cổ điển CTT?

Mô hình Rasch thuộc lý thuyết IRT có khả năng ước lượng độc lập độ khó của câu hỏi và năng lực của thí sinh trên cùng một thước đo tuyến tính Logit. Điều này giúp tham số độ khó của câu hỏi không bị biến động theo mẫu thí sinh dự thi, khắc phục triệt để nhược điểm phụ thuộc mẫu của lý thuyết CTT.

Tiêu chuẩn định lượng nào xác định một câu hỏi trắc nghiệm đạt chất lượng tốt?

Một câu hỏi trắc nghiệm đạt chuẩn cần đáp ứng đồng thời 3 tiêu chí: độ khó trung bình $p$ nằm trong khoảng 0.40 đến 0.60; độ phân biệt $D \ge 0.30$; và chỉ số tương thích mô hình Rasch MNSQ Infit/Outfit dao động trong ngưỡng chuẩn từ 0.77 đến 1.30.

Phần mềm QUEST giữ vai trò như thế nào trong quy trình chuẩn hóa ngân hàng câu hỏi?

Phần mềm QUEST thực hiện giải thuật toán học để định cỡ tham số độ khó câu hỏi và năng lực người học theo mô hình Rasch. Đồng thời, QUEST tự động xuất bản đồ Wright Map và các chỉ số thống kê MNSQ, giúp chuyên viên khảo thí phát hiện chính xác các câu hỏi lỗi hoặc không phù hợp để kịp thời chỉnh sửa.

Làm thế nào để kiểm soát và giảm thiểu xác suất đoán mò trong bài thi trắc nghiệm?

Để khống chế xác suất đoán mò ngẫu nhiên ở mức dưới 20%, đề thi cần sử dụng dạng câu hỏi đa lựa chọn có từ 4 đến 5 phương án trả lời. Tất cả các phương án nhiễu phải được thiết kế hợp lý, dựa trên các lỗi tư duy phổ biến của học viên nhằm đánh giá chính xác năng lực thực tế.

Kết luận

  • Hệ thống hóa hoàn chỉnh cơ sở lý luận về khoa học đo lường và đánh giá giáo dục, kết hợp nhuần nhuyễn giữa lý thuyết CTT và mô hình Rasch hiện đại.
  • Xây dựng thành công ngân hàng 350 đến 400 câu hỏi trắc nghiệm khách quan chuẩn hóa môn Mạng máy tính với độ tin cậy toàn bài đạt 0.82.
  • Ứng dụng thành công phần mềm QUEST để định vị chính xác năng lực học viên khóa D1 trên thước đo Logit, loại bỏ hoàn toàn tính chủ quan trong đánh giá.
  • Hoàn thiện quy trình 8 bước thiết kế và thẩm định đề thi chuẩn hóa, áp dụng hiệu quả tại Trường Đại học Kỹ thuật - Hậu cần Bộ Công an.
  • Mở ra định hướng phát triển ngân hàng câu hỏi chuẩn hóa cho 100% các học phần chuyên ngành Công nghệ thông tin trong giai đoạn tiếp theo.

Công trình luận văn thạc sĩ của tác giả Trần Anh Chất là một đóng góp học thuật và thực tiễn giá trị, đặt nền móng cho việc đổi mới phương pháp khảo thí theo hướng hiện đại, chuẩn hóa và công bằng trong hệ thống các học viện, trường đại học Công an nhân dân. Quý độc giả, cán bộ quản lý và các nhà nghiên cứu giáo dục quan tâm có thể liên hệ bộ phận học liệu của Viện Đảm bảo chất lượng giáo dục – Đại học Quốc gia Hà Nội để tra cứu toàn văn công trình.