Tổng quan nghiên cứu

Trong xu thế đổi mới căn bản và toàn diện giáo dục đại học, phương pháp kiểm tra đánh giá đóng vai trò là cán cân đo lường chất lượng người học. Từ năm 2006, Bộ Giáo dục và Đào tạo đã đẩy mạnh ứng dụng phương pháp trắc nghiệm khách quan trong các kỳ thi quy mô lớn với tỷ lệ áp dụng mở rộng đến hơn 70% các trường đại học, cao đẳng. Mặc dù vậy, tại Trường Đại học Sài Gòn vào năm 2012, nhiều học phần lý thuyết chuyên ngành như môn Văn hóa ẩm thực Việt Nam vẫn duy trì 100% hình thức thi tự luận truyền thống. Thực trạng này dẫn đến nhiều hạn chế như tình trạng học tủ, học lệch của sinh viên, độ phủ kiến thức chỉ đạt từ 20% đến 30% nội dung chương trình, đồng thời điểm số phụ thuộc nhiều vào yếu tố chủ quan của cán bộ chấm thi.

Xuất phát từ yêu cầu thực tiễn đó, luận văn thạc sĩ của tác giả Đặng Thị Thanh Lễ đã tập trung thực hiện đề tài xây dựng bộ câu hỏi trắc nghiệm khách quan nhiều lựa chọn cho môn Văn hóa ẩm thực Việt Nam tại Trường Đại học Sài Gòn. Mục tiêu then chốt của công trình là thiết kế, thử nghiệm và chuẩn hóa một hệ thống câu hỏi có độ tin cậy cao, bám sát chuẩn đầu ra của chương trình đào tạo. Nghiên cứu được triển khai trong phạm vi năm học 2011 - 2012 trên 9 lớp sinh viên chuyên ngành văn hóa du lịch khóa 2008 và 2009. Đề tài mang ý nghĩa quan trọng khi thiết lập thành công ngân hàng 240 câu trắc nghiệm được định lượng khoa học, giúp nâng cao độ bao phủ nội dung lên 100% các bài học và rút ngắn hơn 80% thời gian chấm thi so với phương pháp tự luận.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của hai lý thuyết đo lường giáo dục kinh điển: Lý thuyết trắc nghiệm cổ điển (Classical Test Theory - CTT) và Khung phân loại mục tiêu giáo dục nhận thức của Bloom. Theo các công trình của các chuyên gia đo lường giáo dục như Dương Thiệu Tống và Robert L. Ebel, trắc nghiệm khách quan là công cụ định lượng chính xác thành quả học tập, đảm bảo tính khách quan tối đa khi điểm số không bị chi phối bởi người chấm.

Khung lý thuyết của đề tài tập trung vào 4 khái niệm cốt lõi:

  • Kiểm tra đánh giá: Khâu then chốt trong chu trình dạy học khép kín gồm so sánh, phản hồi và dự đoán năng lực người học.
  • Trắc nghiệm khách quan nhiều lựa chọn: Dạng thức trắc nghiệm chuẩn hóa gồm phần câu dẫn và 4 phương án trả lời, trong đó có 1 phương án đúng duy nhất và 3 phương án mồi nhử.
  • Độ khó của câu hỏi: Tỷ lệ phần trăm người học trả lời đúng câu hỏi trên tổng số thí sinh tham gia làm bài.
  • Độ phân cách của câu hỏi: Chỉ số biểu thị khả năng phân biệt giữa nhóm sinh viên có năng lực học tập giỏi và nhóm có năng lực học tập yếu kém.

Phương pháp nghiên cứu

Nghiên cứu kết hợp chặt chẽ giữa phân tích lý luận và khảo sát thực nghiệm sư phạm thông qua nguồn dữ liệu thực chứng:

  • Nguồn dữ liệu: Đề cương chi tiết học phần Văn hóa ẩm thực Việt Nam, phiếu xin ý kiến chuyên gia, cùng kết quả làm bài thi của 350 sinh viên qua 4 mã đề trắc nghiệm thử nghiệm.
  • Cỡ mẫu và phương pháp chọn mẫu: Cỡ mẫu khảo sát gồm 9 lớp sinh viên (DVI1082, DVI1081, DVI1083, CVI1091, CVI1092, CVI1093, DVI1092, DVI1093, DVI1091) với tổng cộng 350 bài thi. Tác giả áp dụng phương pháp chọn mẫu phân tầng kết hợp thuận tiện, đại diện cho sinh viên các hệ cao đẳng và đại học ngành du lịch.
  • Phương pháp phân tích và lý do lựa chọn: Toàn bộ dữ liệu bài thi được mã hóa và xử lý bằng phần mềm Microsoft Excel. Phương pháp phân tích thống kê cổ điển được lựa chọn nhờ tính trực quan, mức độ tin cậy cao và phù hợp với điều kiện cơ sở vật chất của nhà trường năm 2012. Tác giả thực hiện phân tích 27% nhóm điểm cao nhất đối chiếu với 27% nhóm điểm thấp nhất để tính toán chỉ số độ phân cách và phân tích hiệu quả của từng phương án gây nhiễu.
  • Thời gian nghiên cứu: Quy trình được thực hiện liên tục từ tháng 9 năm 2011 đến tháng 9 năm 2012, hoàn tất thẩm định vào tháng 10 năm 2012.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình xây dựng và thẩm định bộ câu hỏi trắc nghiệm môn Văn hóa ẩm thực Việt Nam đã mang lại những kết quả định lượng cụ thể:

  • Hoàn thành biên soạn 240 câu hỏi trắc nghiệm 4 lựa chọn, bao quát 3 chương và 5 chủ đề nội dung cốt lõi của giáo trình.
  • Sau quá trình thử nghiệm trên 350 bài kiểm tra thuộc 4 mã đề, phân tích thống kê cho thấy có 225 câu hỏi (chiếm 93.75%) đạt chuẩn kỹ thuật khảo thí. Các câu hỏi này có độ khó lý tưởng dao động từ 0.25 đến 0.75 và hệ số phân cách tốt từ 0.20 trở lên.
  • Phát hiện 15 đến 25 câu hỏi (chiếm từ 6.25% đến 10.4%) chưa đạt yêu cầu do độ khó quá cao hoặc các phương án mồi nhử chưa phát huy tác dụng gây nhiễu, cần được lưu trữ để biên tập lại.
  • Phổ điểm bài kiểm tra của sinh viên qua 4 đề thi phân bố tương đối tiệm cận đường cong phân phối chuẩn Gauss, với điểm trung bình toàn khối dao động từ 6.20 đến 7.15 điểm trên thang điểm 10.

Thảo luận kết quả

Tỷ lệ 93.75% câu hỏi đạt tiêu chuẩn khẳng định quy trình biên soạn 7 bước của tác giả đã bám sát ma trận mục tiêu nhận thức và bảng trọng số bài giảng. Những câu hỏi có chỉ số phân cách cao trên 0.40 đã phân loại xuất sắc giữa nhóm sinh viên khá giỏi và nhóm sinh viên yếu kém, đặc biệt ở các câu hỏi kiểm tra tư duy tổng hợp và so sánh đặc trưng ẩm thực vùng miền.

Khi so sánh với các nghiên cứu cùng thời kỳ như công trình của Đặng Thị Diệu Hiền năm 2007 hay Cổ Tồn Minh Đăng năm 2010 tại Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, kết quả của luận văn này cho thấy sự tương đồng cao về độ tin cậy của bài thi trắc nghiệm (đạt hệ số tin cậy trên 0.82). Việc áp dụng trắc nghiệm giúp loại bỏ hoàn toàn các sai số ngẫu nhiên do tâm lý người chấm trong các bài tự luận trước đây.

Về mặt biểu diễn dữ liệu, toàn bộ phân bố độ khó và độ phân cách được thể hiện chi tiết qua 4 đồ thị tần số (từ Hình 3.1 đến Hình 3.8) và các bảng phân tích tính mồi nhử (từ Bảng 3.18 đến Bảng 3.39). Các bảng số liệu này chỉ ra rõ ràng số lượng sinh viên lựa chọn từng phương án A, B, C, D, làm bằng chứng khoa học vững chắc để giữ lại các câu hỏi tốt hoặc chỉnh sửa những phương án nhiễu có tỷ lệ lựa chọn dưới 5%.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 nhóm giải pháp mang tính hành động cao:

  1. Mở rộng và chuẩn hóa ngân hàng đề thi: Tiếp tục biên soạn bổ sung để nâng quy mô bộ câu hỏi từ 240 câu hiện tại lên tối thiểu 500 câu hỏi vào quý 4 năm 2013. Tổ bộ môn Văn hóa du lịch chịu trách nhiệm rà soát, đồng thời chỉnh sửa 25 câu hỏi chưa đạt chuẩn nhằm hoàn thiện ngân hàng đề thi cấp trường.
  2. Nâng cao năng lực khảo thí cho giảng viên: Tổ chức tối thiểu 2 khóa tập huấn chuyên sâu hàng năm về kỹ thuật thiết lập ma trận đề và phương pháp phân tích câu trắc nghiệm bằng phần mềm chuyên dụng. Ban Giám hiệu phối hợp với Khoa Sư phạm Kỹ thuật triển khai trong thời gian 6 tháng cho toàn thể giảng viên khoa.
  3. Chuyển đổi sang hình thức thi trắc nghiệm trên máy vi tính: Đầu tư hệ thống phần mềm khảo thí như TestPro hoặc Vitesta để tổ chức thi trên phòng máy cho 100% sinh viên các khóa tiếp theo, giúp giảm 90% chi phí in ấn đề thi và công bố điểm thi tự động trong vòng 24 giờ sau khi kết thúc ca thi.
  4. Cập nhật định kỳ ngân hàng câu hỏi: Thiết lập quy định rà soát từ 10% đến 15% số lượng câu hỏi sau mỗi năm học dựa trên sự thay đổi của thực tiễn văn hóa và phản hồi của sinh viên, đảm bảo tính giá trị nội dung luôn phù hợp với chuẩn đầu ra.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị ứng dụng cao cho 4 nhóm đối tượng cụ thể:

  1. Giảng viên giảng dạy ngành Du lịch và Văn hóa học: Sử dụng trực tiếp 225 câu hỏi đã chuẩn hóa làm ngân hàng đề thi hết môn, kiểm tra giữa kỳ, giúp giảm 75% thời gian ra đề mà vẫn đảm bảo tính công bằng và bao quát chương trình.
  2. Cán bộ quản lý đào tạo và chuyên viên khảo thí: Vận dụng quy trình 7 bước xây dựng đề thi và phương pháp phân tích định lượng trên phần mềm Excel để chuẩn hóa ngân hàng câu hỏi cho hơn 30 học phần khác trong nhà trường.
  3. Học viên cao học và nhà nghiên cứu giáo dục học: Khai thác phương pháp luận thực chứng về ứng dụng lý thuyết trắc nghiệm cổ điển (CTT) làm tài liệu tham khảo cho các luận văn chuyên ngành Đo lường và Đánh giá trong giáo dục.
  4. Sinh viên chuyên ngành Du lịch, Khách sạn và Việt Nam học: Sử dụng bộ câu hỏi làm tài liệu tự học, tự ôn tập có cấu trúc để củng cố hơn 100 chuyên đề kiến thức sâu rộng về văn hóa ẩm thực ba miền Bắc, Trung, Nam.

Câu hỏi thường gặp

  1. Bộ câu hỏi trắc nghiệm trong luận văn gồm bao nhiêu câu và tỷ lệ đạt chuẩn là bao nhiêu? Bộ câu hỏi gồm 240 câu trắc nghiệm nhiều lựa chọn cho môn Văn hóa ẩm thực Việt Nam. Qua phân tích thử nghiệm trên 350 bài thi của sinh viên, có 225 câu đạt chuẩn độ khó và độ phân cách theo quy chuẩn khảo thí, đạt tỷ lệ 93.75%, chứng minh chất lượng biên soạn rất cao.

  2. Tiêu chí xác định độ khó và độ phân cách của câu trắc nghiệm được tính như thế nào? Dựa trên lý thuyết trắc nghiệm cổ điển, độ khó lý tưởng của một câu hỏi nằm trong khoảng từ 0.25 đến 0.75. Độ phân cách được tính bằng hiệu số tỷ lệ làm đúng giữa 27% sinh viên nhóm điểm cao nhất và 27% sinh viên nhóm điểm thấp nhất, yêu cầu chỉ số đạt từ 0.20 trở lên.

  3. Môn học mang tính văn hóa xã hội như Văn hóa ẩm thực có thực sự phù hợp với trắc nghiệm khách quan? Hoàn toàn phù hợp khi cần kiểm tra diện rộng khối lượng kiến thức về phong tục, địa lý, nguyên liệu và quy tắc chế biến. Trắc nghiệm giúp kiểm tra 100% các chương học, khắc phục nhược điểm học tủ, học lệch thường thấy ở các đề thi tự luận 3 câu hỏi trước đây.

  4. Tác giả xử lý như thế nào đối với 25 câu hỏi chưa đạt chuẩn sau khi thử nghiệm? Những câu hỏi có độ khó quá cao hoặc phương án mồi nhử có dưới 5% thí sinh lựa chọn được tác giả phân tích chi tiết qua các bảng thống kê phương án. Tác giả đã phân loại và lưu giữ 25 câu này để điều chỉnh lại ngôn từ của câu dẫn và viết lại các phương án nhiễu hợp lý hơn.

  5. Quy trình xây dựng bộ câu hỏi trong đề tài có thể áp dụng cho các học phần khác không? Quy trình 7 bước từ phân tích mục tiêu, lập ma trận trọng số, biên soạn câu hỏi, lấy ý kiến chuyên gia đến thử nghiệm thực tế và phân tích Excel hoàn toàn có thể chuyển giao áp dụng cho hơn 30 môn học lý thuyết khác tại các trường đại học và cao đẳng.

Kết luận

  • Hoàn thành thiết kế ngân hàng 240 câu hỏi trắc nghiệm nhiều lựa chọn bao phủ 100% nội dung học phần Văn hóa ẩm thực Việt Nam.
  • Chuẩn hóa thành công 225 câu hỏi đạt chuẩn kỹ thuật với độ khó từ 0.25 đến 0.75 và hệ số phân cách trên 0.20.
  • Khảo sát thực nghiệm trên 350 bài thi thuộc 9 lớp sinh viên, cung cấp bộ dữ liệu thực chứng phân bố chuẩn theo đường cong Gauss.
  • Đóng góp quy trình 7 bước biên soạn và phân tích đề thi trắc nghiệm bằng Excel dễ ứng dụng cho các cơ sở giáo dục đại học.
  • Đề xuất lộ trình nâng quy mô ngân hàng câu hỏi lên 500 câu và ứng dụng phần mềm thi trực tuyến trong vòng 3 đến 6 tháng tới.

Công trình luận văn thạc sĩ của tác giả Đặng Thị Thanh Lễ là tài liệu tham khảo mẫu mực về phương pháp đổi mới kiểm tra đánh giá. Hãy tải và nghiên cứu toàn văn luận văn để áp dụng ngay quy trình khảo thí chuẩn hóa cho cơ sở đào tạo của bạn!