Tổng quan nghiên cứu

Hoạt động kiểm tra và đánh giá kết quả học tập giữ vai trò then chốt trong công tác quản lý chất lượng giáo dục đại học và cao đẳng. Trong bối cảnh đổi mới giáo dục theo hướng chuẩn hóa và hội nhập quốc tế, việc đo lường chính xác năng lực người học trở thành yêu cầu cấp thiết nhằm thay thế các phương thức đánh giá cảm tính, thiếu tính khách quan. Luận văn thạc sĩ chuyên ngành Quản lý giáo dục với định hướng Đo lường và Đánh giá trong giáo dục của tác giả Nguyễn Thị Hạnh tập trung giải quyết bài toán cốt lõi: phân tích thực trạng công tác khảo thí và xây dựng quy trình chuẩn hóa công cụ trắc nghiệm khách quan dựa trên cơ sở khoa học hiện đại.

Mục tiêu cụ thể của nghiên cứu là đánh giá thực trạng các hình thức kiểm tra đánh giá tại Trường Cao đẳng Sư phạm Trung ương, xác định các rào cản kỹ thuật mà giảng viên gặp phải, đồng thời thực nghiệm quy trình biên soạn đề thi trắc nghiệm học phần chuyên biệt nhằm nâng cao độ tin cậy và độ giá trị của điểm số. Phạm vi nghiên cứu được triển khai toàn diện tại 5 khoa đào tạo bao gồm: Giáo dục Mầm non, Giáo dục Đặc biệt, Công nghệ Thông tin, Sư phạm Âm nhạc và Bộ môn Mác - Lênin. Cuộc khảo sát thu thập dữ liệu từ 53 giảng viên và 255 sinh viên hệ cao đẳng chính quy, kết hợp thực nghiệm đo lường trên các nhóm sinh viên học phần Can thiệp sớm cho trẻ chậm phát triển trí tuệ.

Thời gian thực hiện đề tài kéo dài trong 16 tháng, từ tháng 5 năm 2007 đến tháng 8 năm 2008. Ý nghĩa thực tiễn của công trình thể hiện qua việc cung cấp bộ công cụ đo lường chuẩn hóa, nâng cao độ phân biệt của đề thi lên mức trên 0,35 và kiểm soát độ phù hợp mô hình trong khoảng 0,77 đến 1,30. Kết quả nghiên cứu tạo nền tảng vững chắc giúp nhà trường chuẩn hóa ngân hàng đề thi, giảm thiểu 75% sai số chủ quan trong chấm thi và tạo động lực học tập tự giác cho sinh viên.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của hai nền tảng lý thuyết khảo thí kinh điển: Lý thuyết khảo thí cổ điển (Classical Test Theory - CTT) và Lý thuyết khảo thí hiện đại (Modern Test Theory), trọng tâm là Lý thuyết hồi đáp câu hỏi (Item Response Theory - IRT) với Mô hình Rasch một tham số. Bên cạnh đó, thang phân loại mục tiêu giáo dục nhận thức 6 cấp độ của Benjamin Bloom (1956) được vận dụng để xác định ma trận chuẩn kiến thức và kỹ năng cần đo lường.

Khung lý thuyết của luận văn làm rõ 5 khái niệm cốt lõi:

  • Đo lường (Measurement): Quá trình thu thập thông tin định lượng về các thuộc tính tri thức, kỹ năng và phẩm chất của người học thông qua các công cụ đo l chuẩn hóa.
  • Đánh giá (Evaluation): Tiến trình thu thập, xử lý và phân tích dữ liệu một cách hệ thống nhằm đưa ra các phán đoán giá trị và quyết định quản lý giáo dục.
  • Lượng giá (Assessment): Hoạt động ước lượng trình độ và năng lực của người học dựa trên sự kết hợp giữa dữ liệu định tính và định lượng.
  • Đánh giá quá trình (Formative Assessment): Hình thức đánh giá liên tục trong quá trình giảng dạy nhằm cung cấp thông tin phản hồi ngược giúp giảng viên và sinh viên kịp thời điều chỉnh hoạt động dạy - học.
  • Đánh giá tổng kết (Summative Assessment): Hình thức đánh giá cuối kỳ hoặc cuối khóa nhằm phân loại, cấp chứng chỉ và xác nhận mức độ hoàn thành mục tiêu đào tạo.

Hệ thống chỉ số thống kê chuẩn được thiết lập chặt chẽ: chỉ số độ khó lý tưởng của câu hỏi trắc nghiệm dao động từ 40% đến 60%, chỉ số độ phân biệt đạt từ 0,20 trở lên, hệ số độ tin cậy Kuder-Richardson KR-20 đạt mức tối thiểu 0,70 và chỉ số tương thích Infit Mean Square (MNSQ) trong mô hình Rasch nằm trong khoảng 0,77 đến 1,30.

Phương pháp nghiên cứu

Nguồn dữ liệu của luận văn được thu thập thông qua phương pháp điều tra bảng hỏi kết hợp phỏng vấn sâu trên quy mô 53 giảng viên và 255 sinh viên chính quy. Trong giai đoạn thực nghiệm, tác giả khảo sát 53 thí sinh trước tập huấn và 38 sinh viên sau tập huấn đối với học phần Can thiệp sớm cho trẻ chậm phát triển trí tuệ tại Khoa Giáo dục Đặc biệt.

Phương pháp chọn mẫu là chọn mẫu phân tầng kết hợp ngẫu nhiên có chủ đích. Cách tiếp cận này đảm bảo tính đại diện cho các khoa có quy mô lớn, bề dày truyền thống như Khoa Giáo dục Mầm non lẫn các khoa đào tạo chuyên ngành mới mang tính đặc thù cao như Khoa Giáo dục Đặc biệt. Để kiểm chứng độ tin cậy của bảng hỏi ankét, phương pháp phỏng vấn sâu được tiến hành trên tỷ lệ mẫu ngẫu nhiên từ 5% đến 9% tổng số người tham gia.

Phương pháp phân tích dữ liệu ứng dụng phần mềm thống kê SPSS và phần mềm đo lường chuyên dụng Quest. Việc lựa chọn mô hình Rasch và phần mềm Quest được giải trình khoa học: phương pháp thống kê cổ điển thường phụ thuộc vào mẫu thi cụ thể và không tách biệt được năng lực thí sinh khỏi độ khó của đề thi; ngược lại, mô hình Rasch định vị năng lực thí sinh và độ khó câu hỏi trên cùng một thước đo logit tuyến tính, giúp phát hiện chính xác các câu hỏi lệch chuẩn và đánh giá cấu trúc bài test một cách khách quan. Quy trình nghiên cứu được triển khai theo 12 bước nghiêm ngặt, từ khâu xác định bảng trọng số, biên soạn câu hỏi, thử nghiệm, làm sạch dữ liệu đến chuẩn hóa bộ đề thi cuối cùng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Khảo sát thực trạng tại 5 khoa cho thấy sự chênh lệch lớn giữa nhận thức và kỹ năng thực hành khảo thí của đội ngũ giảng viên:

  • Thực trạng áp dụng phương pháp kiểm tra: Mặc dù 85% giảng viên và sinh viên nhận thức được tầm quan trọng của việc đa dạng hóa hình thức đánh giá, trên 70% các kỳ thi kết thúc học phần vẫn phụ thuộc vào phương pháp tự luận truyền thống. Đề thi tự luận thường chỉ gồm 2 đến 3 câu hỏi lớn, dẫn đến độ bao phủ nội dung chương trình chỉ đạt dưới 35%, tạo cơ hội cho tình trạng học tủ và học lệch.
  • Khó khăn trong kỹ thuật biên soạn trắc nghiệm: Có tới 62,3% giảng viên thừa nhận gặp khó khăn khi thiết kế câu hỏi trắc nghiệm nhiều lựa chọn đạt chuẩn khoa học; 67,9% giảng viên chưa từng hoặc hiếm khi phân tích độ khó và độ phân biệt của đề thi sau khi chấm do thiếu công cụ phần mềm chuyên dụng và áp lực thời gian.
  • Hiệu quả kiểm định công cụ qua mô hình Rasch: Thử nghiệm ban đầu bộ đề 49 câu hỏi trên 53 sinh viên phát hiện 4 câu hỏi có chỉ số Infit MNSQ vượt ngoài khoảng 0,77 - 1,30 (câu hỏi số 37 có độ phân biệt âm và tương quan điểm nhị phân dưới 0,15). Sau quá trình hiệu chỉnh và loại bỏ các biến gây nhiễu, bộ đề thử nghiệm 47 câu đạt độ tương thích mô hình hoàn hảo với 100% câu hỏi nằm trong ngưỡng chuẩn, giá trị Infit trung bình đạt 1,02.
  • Năng lực đo lường sau tập huấn kỹ thuật: Sau khi tham gia khóa bồi dưỡng khảo thí, tỷ lệ giảng viên nắm vững kỹ thuật lập bảng ma trận trọng số tăng từ 24,5% lên 83,0%, giúp tỷ lệ câu hỏi đạt độ phân biệt xuất sắc (D ≥ 0,40) tăng thêm 28,6% so với giai đoạn trước can thiệp.

Thảo luận kết quả

Nguyên nhân chính của những hạn chế trên bắt nguồn từ việc công tác đào tạo nghiệp vụ sư phạm trước đây chưa chú trọng đúng mức đến khoa học đo lường và đánh giá. Đa phần giảng viên ra đề dựa vào kinh nghiệm cá nhân hơn là cấu trúc ma trận nhận thức của Bloom. Việc thiếu vắng ngân hàng câu hỏi chuẩn hóa cấp trường khiến quá trình ra đề thi cuối kỳ còn mang tính chủ quan.

Kết quả này hoàn toàn tương đồng với các công trình nghiên cứu của Robert Glaser và Popham về trắc nghiệm theo tiêu chí, cũng như các nghiên cứu thực nghiệm tại Đại học Đà Lạt và Đại học Quốc gia Hà Nội. Dữ liệu nghiên cứu chứng minh rằng khi áp dụng công nghệ khảo thí hiện đại, mức độ phân hóa trình độ người học trở nên rõ nét và công bằng hơn.

Trong thực tế trình bày học thuật, mối quan hệ giữa năng lực người học và độ khó của đề thi được trực quan hóa tối ưu thông qua bản đồ phân bố tham số (Wright Map) của phần mềm Quest. Biểu đồ này sắp xếp tọa độ năng lực của thí sinh ở cột bên trái và tọa độ độ khó của từng câu hỏi ở cột bên phải theo cùng một trục logit từ -3,0 đến +3,0. Dạng hiển thị này giúp các nhà quản trị đào tạo nhìn thấy ngay phần kiến thức nào vượt quá năng lực chung của sinh viên hoặc câu hỏi nào quá dễ không còn giá trị phân loại.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm và phân tích định lượng, luận văn đề xuất 4 nhóm giải pháp chiến lược nhằm chuẩn hóa công tác kiểm tra đánh giá:

  1. Chuẩn hóa quy trình 12 bước biên soạn đề thi trắc nghiệm khách quan: Ban Giám hiệu cùng Phòng Đào tạo ban hành quy định bắt buộc về việc lập bảng ma trận trọng số nội dung cho 100% học phần trong toàn trường. Chỉ tiêu đặt ra là hoàn thiện khung ma trận cho tối thiểu 45 học phần cốt lõi trong thời gian 12 tháng, bảo đảm mỗi đề thi bao phủ tối thiểu 80% dung lượng chương trình đào tạo.
  2. Nâng cao năng lực chuyên môn khảo thí cho giảng viên: Trung tâm Đảm bảo chất lượng phối hợp cùng các chuyên gia đo lường tổ chức định kỳ 2 đợt tập huấn chuyên sâu mỗi năm. Mục tiêu là 100% cán bộ giảng dạy làm chủ kỹ năng sử dụng phần mềm SPSS và Quest, biết cách đọc hiểu các chỉ số Infit MNSQ, Outfit MNSQ và hệ số tương quan Point-Biserial trước khi đưa đề thi vào sử dụng chính thức.
  3. Xây dựng và thẩm định ngân hàng câu hỏi trắc nghiệm cấp trường: Các khoa chuyên môn thành lập hội đồng thẩm định câu hỏi thi độc lập, xây dựng ngân hàng dữ liệu đạt quy mô tối thiểu từ 300 đến 500 câu hỏi chuẩn hóa cho mỗi học phần trong lộ trình 18 tháng. Định kỳ mỗi học kỳ thực hiện rà soát, loại bỏ các câu hỏi có độ phân biệt dưới 0,20 và bổ sung 15% câu hỏi mới nhằm bảo mật thông tin.
  4. Tái cấu trúc tỷ trọng đánh giá và tự động hóa khâu chấm thi: Phòng Khảo thí điều chỉnh quy chế đào tạo theo hướng nâng tỷ trọng điểm đánh giá quá trình lên mức 40% đến 50% tổng điểm học phần; đầu tư hệ thống máy quét quang học chuyên dụng OMR nhằm tự động hóa 100% công tác chấm thi trắc nghiệm, giảm thiểu 80% thời gian xử lý điểm và công bố kết quả trong vòng 48 giờ sau thi.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu cung cấp hệ thống dữ liệu thực nghiệm và giải pháp ứng dụng thiết thực cho 4 nhóm đối tượng trọng tâm:

  1. Cán bộ quản lý giáo dục và lãnh đạo các trường đại học, cao đẳng: Tài liệu cung cấp cơ sở khoa học để hoạch định chính sách kiểm định chất lượng nội bộ, thiết lập quy chuẩn kiểm tra đánh giá theo tín chỉ và chuẩn hóa quy trình quản lý điểm số theo tiêu chuẩn quốc gia.
  2. Giảng viên các trường sư phạm và cán bộ phụ trách khảo thí: Cẩm nang hướng dẫn chi tiết quy trình 12 bước biên soạn câu hỏi trắc nghiệm nhiều lựa chọn, cách xây dựng bảng kiểm chất lượng câu hỏi và phương pháp thiết lập ma trận trọng số cho từng môn học chuyên ngành.
  3. Học viên cao học và nghiên cứu sinh chuyên ngành Đo lường - Đánh giá và Quản lý giáo dục: Nguồn tài liệu tham khảo mẫu mực về phương pháp nghiên cứu kết hợp định tính với mô hình phân tích Rasch định lượng, cách thức vận hành phần mềm Quest và SPSS trong xử lý dữ liệu giáo dục thực tế.
  4. Sinh viên ngành sư phạm mầm non và giáo dục đặc biệt: Giúp người học làm quen với các dạng thức đánh giá năng lực hiện đại, hiểu rõ tiêu chí đo lường kết quả học tập, từ đó xây dựng phương pháp tự học và rèn luyện kỹ năng thiết kế công cụ đánh giá trẻ trong thực tiễn dạy học sau này.

Câu hỏi thường gặp

Mô hình Rasch mang lại ưu thế vượt trội gì so với phương pháp tính điểm trung bình cổ điển?

Mô hình Rasch thuộc lý thuyết hồi đáp câu hỏi chuyển đổi điểm số thô thành thước đo logit tuyến tính trên cùng một thang đo năng lực người học và độ khó câu hỏi. Nhờ vậy, điểm số không bị phụ thuộc vào mức độ dễ hay khó của từng đề thi cụ thể, giúp kiểm soát sai số đo lường xuống dưới 5% và triệt tiêu tính chủ quan trong đánh giá kết quả học tập.

Một câu hỏi trắc nghiệm khách quan đạt chuẩn chất lượng cần đáp ứng các chỉ số kỹ thuật nào?

Theo chuẩn đo lường của mô hình Rasch và phần mềm Quest, một câu hỏi trắc nghiệm chất lượng cần có chỉ số độ khó P dao động từ 40% đến 60%, hệ số độ phân biệt D từ 0,20 trở lên (tối ưu khi đạt trên 0,40) và chỉ số tương thích cấu trúc Infit MNSQ nằm trong khoảng cho phép từ 0,77 đến 1,30.

Làm cách nào để hạn chế tối đa yếu tố đoán mò trong bài thi trắc nghiệm nhiều lựa chọn?

Giảng viên cần thiết kế tối thiểu 4 đến 5 phương án lựa chọn có độ hấp dẫn tương đương nhau dựa trên các lỗi tư duy phổ biến của người học, tránh các phương án hiển nhiên sai. Việc nâng số lượng câu hỏi trong đề thi lên từ 40 đến 60 câu và xây dựng bảng trọng số chi tiết sẽ làm giảm xác suất đoán mò ngẫu nhiên xuống dưới 1,5%.

Tại sao cần kết hợp đánh giá quá trình và đánh giá tổng kết trong đào tạo theo học chế tín chỉ?

Đánh giá quá trình cung cấp thông tin phản hồi liên tục giúp giảng viên điều chỉnh phương pháp dạy học và hỗ trợ sinh viên bù đắp lỗ hổng kiến thức kịp thời. Việc kết hợp tỷ trọng 40% điểm quá trình và 60% điểm tổng kết đảm bảo phản ánh toàn diện cả thái độ, kỹ năng thực hành lẫn năng lực tư duy tổng hợp của sinh viên.

Cần bao nhiêu thời gian và nguồn lực để hoàn thiện một ngân hàng câu hỏi trắc nghiệm chuẩn hóa?

Quy trình chuẩn hóa một ngân hàng đề thi học phần gồm 300 đến 500 câu hỏi thường kéo dài từ 12 đến 18 tháng. Quá trình này đòi hỏi sự tham gia của nhóm 3 đến 5 giảng viên chuyên ngành cùng chuyên gia khảo thí để trải qua các vòng phản biện, thử nghiệm thực địa trên tối thiểu 100 sinh viên và hiệu chuẩn tham số bằng phần mềm chuyên dụng.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện lý luận đo lường giáo dục hiện đại, khẳng định vai trò quyết định của công tác kiểm tra đánh giá đối với chất lượng đào tạo đại học và cao đẳng.
  • Khảo sát thực trạng trên 53 giảng viên và 255 sinh viên tại 5 khoa thuộc Trường Cao đẳng Sư phạm Trung ương đã vạch rõ những điểm nghẽn về kỹ thuật ra đề tự luận và thói quen đánh giá cảm tính.
  • Thực nghiệm ứng dụng mô hình Rasch và phần mềm Quest trên bộ đề học phần Can thiệp sớm cho trẻ chậm phát triển trí tuệ đã chứng minh tính khả thi và độ chính xác cao của công cụ trắc nghiệm chuẩn hóa với 100% câu hỏi đạt chỉ số Infit MNSQ từ 0,77 đến 1,30.
  • Đề xuất hệ thống 4 nhóm giải pháp mang tính đồng bộ, gắn liền quy trình kỹ thuật 12 bước biên soạn đề thi với công tác bồi dưỡng nghiệp vụ và hiện đại hóa hạ tầng khảo thí.
  • Thiết lập cơ sở thực tiễn vững chắc giúp nhà trường chuyển đổi phương thức đánh giá kết quả học tập theo chuẩn đầu ra, nâng cao tính công bằng và thúc đẩy năng lực tự học của sinh viên.

Đóng góp lớn nhất của luận văn là đã chuyển giao thành công quy trình công nghệ khảo thí tiên tiến vào thực tiễn quản lý đào tạo tại một trường sư phạm trọng điểm. Lộ trình triển khai tiếp theo được xác định qua 3 giai đoạn: giai đoạn 6 tháng đầu tập trung bồi dưỡng nghiệp vụ phần mềm Quest cho toàn thể giảng viên; giai đoạn 12 tháng tiếp theo xây dựng ngân hàng câu hỏi cho 10 học phần cơ bản; giai đoạn 24 tháng hoàn thiện hệ thống khảo thí điện tử trên toàn trường. Các đơn vị đào tạo cần chủ động ứng dụng ngay quy trình chuẩn hóa này để tạo bước đột phá trong quản lý chất lượng giáo dục thời kỳ mới.