Tổng quan nghiên cứu

Thực hiện định hướng đổi mới giáo dục theo Nghị quyết số 14/2005/NQ-CP của Chính phủ về đổi mới cơ bản và toàn diện giáo dục đại học Việt Nam giai đoạn 2006 - 2020, công tác kiểm tra đánh giá chất lượng người học đóng vai trò quyết định trong việc bảo đảm chuẩn đầu ra. Môn học Công nghệ kim loại tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh là học phần cơ sở kỹ thuật cốt lõi cho sinh viên khối ngành cơ khí. Trước năm 2012, ngân hàng đề thi của bộ môn chỉ lưu trữ khoảng 200 câu hỏi với hình thức trắc nghiệm nhiều lựa chọn đơn điệu. Tỷ lệ lặp lại các câu hỏi trong đề thi qua các năm dao động từ 30% đến 50%, các câu hỏi chưa được thử nghiệm chuẩn hóa và phân tích thông số đo lường, dẫn đến việc đánh giá chưa phản ánh chính xác năng lực người học.

Đề tài tập trung nghiên cứu và xây dựng bộ ngân hàng câu hỏi trắc nghiệm khách quan chuẩn hóa cho môn Công nghệ kim loại tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh. Mục tiêu cụ thể là biên soạn và chuẩn hóa bộ câu hỏi đáp ứng đầy đủ mục tiêu môn học, nâng cao tính khách quan và khoa học trong công tác khảo thí. Phạm vi nghiên cứu được triển khai trong niên khóa 2010 - 2012, áp dụng thử nghiệm trên quy mô 1.500 sinh viên theo học môn Công nghệ kim loại thuộc tổng số 5.000 sinh viên Khoa Cơ khí Chế tạo máy của nhà trường. Kết quả nghiên cứu góp phần hạ tỷ lệ trùng lặp đề thi xuống dưới 10%, rút ngắn 70% thời gian chấm thi và cung cấp công cụ đo lường đạt độ tin cậy cao cho nhà trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu vận dụng Lý thuyết trắc nghiệm cổ điển kết hợp các nguyên lý đo lường giáo dục hiện đại nhằm xây dựng công cụ đánh giá chuẩn mực và tiêu chí. Khung lý thuyết tích hợp Thang nhận thức Bloom gồm 6 mức độ tư duy: Biết, Hiểu, Vận dụng, Phân tích, Tổng hợp và Đánh giá, làm cơ sở phân tầng mục tiêu nhận thức trong kỹ thuật cơ khí. Các mục tiêu kiểm tra được xây dựng theo nguyên tắc SMART bảo đảm tính cụ thể, đo lường được, khả thi, hướng kết quả và giới hạn thời gian.

Các khái niệm then chốt được chuẩn hóa bao gồm: Trắc nghiệm khách quan (công cụ đo lường hạn chế tối đa yếu tố chủ quan của người chấm), Ngân hàng câu hỏi trắc nghiệm (tập hợp số lượng lớn câu hỏi đã được định cỡ tham số), Độ khó (tỷ lệ thí sinh trả lời đúng trên tổng số thí sinh tham gia) và Độ phân cách (chỉ số đo lường khả năng phân biệt giữa nhóm sinh viên đạt điểm cao và nhóm đạt điểm thấp). Đề tài cũng ứng dụng quy trình Popham trong việc thiết lập ma trận đề thi 2 chiều giữa nội dung kiến thức và cấp độ nhận thức.

Phương pháp nghiên cứu

Quy trình nghiên cứu được triển khai đồng bộ qua nhiều phương pháp phân tích định tính và định lượng:

  • Cỡ mẫu và phương pháp chọn mẫu: Từ tổng thể 1.500 sinh viên đăng ký học phần Công nghệ kim loại trong năm học 2011 - 2012, tác giả áp dụng phương pháp chọn mẫu ngẫu nhiên với cỡ mẫu thử nghiệm gồm 400 sinh viên thuộc Khoa Cơ khí Chế tạo máy, chia thành nhóm thực nghiệm và nhóm đối chứng. Cỡ mẫu này bảo đảm ý nghĩa thống kê và độ đại diện cao cho toàn bộ khóa học.
  • Nguồn dữ liệu: Dữ liệu sơ cấp thu thập từ 4 giảng viên trực tiếp giảng dạy môn học thông qua phiếu khảo sát thực trạng, kết hợp dữ liệu điểm số thực nghiệm từ 4 mã đề thi thử nghiệm (đề A, B, C, D) biên soạn từ ngân hàng câu hỏi.
  • Phương pháp phân tích: Sử dụng phương pháp thống kê toán học giáo dục để tính toán chỉ số độ khó, độ phân cách, phương sai và độ lệch chuẩn thông qua phần mềm Microsoft Excel. Lý thuyết trắc nghiệm cổ điển được lựa chọn vì phù hợp với quy mô đánh giá lớp học đại học, cho phép xử lý nhanh chóng dữ liệu mẫu và hiệu chỉnh từng câu hỏi. Việc quản lý và xáo trộn mã đề được hỗ trợ bởi các phần mềm chuyên dụng như McMIX và Trngh.
  • Tiến độ nghiên cứu: Toàn bộ quá trình từ khảo sát thực trạng, xây dựng khung lý luận, biên soạn đề mục đến thực nghiệm và xử lý số liệu được tiến hành trong 10 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Khảo sát thực trạng ban đầu cho thấy 100% giảng viên giảng dạy đều khẳng định tầm quan trọng của việc kiểm tra đánh giá chính xác, nhưng nguồn lực ngân hàng câu hỏi cũ bị hạn chế nghiêm trọng khi chỉ có 200 câu hỏi đơn thuần, tỷ lệ trùng lặp câu hỏi giữa các kỳ thi lên đến 50%.

Nghiên cứu đã biên soạn thành công bộ câu hỏi trắc nghiệm hoàn chỉnh gồm 398 câu hỏi chuẩn hóa, bao quát toàn bộ 3 nội dung trọng tâm của học phần: công nghệ đúc, công nghệ gia công áp lực và công nghệ hàn. Bộ câu hỏi được cấu trúc khoa học thành 4 dạng thức đánh giá: trắc nghiệm nhiều lựa chọn (chiếm trên 75%), trắc nghiệm đúng - sai, trắc nghiệm ghép hợp và trắc nghiệm điền khuyết.

Kết quả phân tích thử nghiệm trên 400 sinh viên cho thấy độ khó của bộ câu hỏi phân bố hợp lý theo phân phối chuẩn với khoảng 65% số câu hỏi đạt độ khó trung bình từ 0.40 đến 0.70. Chỉ số độ phân cách đạt yêu cầu cao với hơn 80% số câu có hệ số phân cách lớn hơn 0.30, cho phép phân loại chính xác các nhóm sinh viên giỏi, khá, trung bình và yếu. Những câu hỏi có độ phân cách dưới 0.20 đã được rà soát để chỉnh sửa hoặc loại bỏ.

Điểm số kiểm tra của nhóm thực nghiệm sử dụng bộ đề thi chuẩn hóa tăng trung bình từ 12% đến 15% về độ đồng đều và mức độ phản ánh đúng năng lực so với nhóm đối chứng thi theo phương pháp truyền thống, giảm thiểu tối đa hiện tượng học tủ và quay cóp.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự cải thiện vượt bậc về chất lượng đánh giá là việc xây dựng ma trận 2 chiều chuẩn xác, gắn kết chặt chẽ từng câu hỏi với mục tiêu hành vi nhận thức theo thang Bloom. Thay vì chỉ kiểm tra mức độ ghi nhớ máy móc, bộ câu hỏi mới mở rộng sang kiểm tra khả năng phân tích quy trình công nghệ và ứng dụng thực tiễn trong gia công kim loại.

So sánh với các công trình nghiên cứu cùng thời kỳ của các tác giả tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, kết quả nghiên cứu này tương đồng về tính khả thi của việc ứng dụng trắc nghiệm khách quan vào các môn kỹ thuật chuyên ngành. Việc áp dụng đồng thời 4 dạng thức câu hỏi giúp khắc phục nhược điểm đoán mò của hình thức trắc nghiệm nhiều lựa chọn truyền thống.

Về mặt trình bày trực quan, dữ liệu thực nghiệm được thể hiện qua biểu đồ hình chuông phân bố tần số độ khó, biểu đồ cột so sánh phổ điểm giữa nhóm thực nghiệm và đối chứng, cùng 20 bảng thống kê chi tiết các tham số đo lường. Cách thể hiện này chứng minh rõ ràng tính ổn định và độ tin cậy của bộ công cụ khảo thí.

Đề xuất và khuyến nghị

Nhằm phát huy tối đa giá trị thực tiễn của bộ ngân hàng câu hỏi, các giải pháp cụ thể được đề xuất như sau:

  • Mở rộng quy mô ngân hàng câu hỏi: Bộ môn Công nghệ kim loại cần tiếp tục bổ sung số lượng câu hỏi từ 398 câu lên trên 600 câu trong thời gian 12 tháng, nhằm bảo đảm mỗi học kỳ có thể tạo ra ít nhất 10 mã đề thi độc lập với tỷ lệ trùng lặp dưới 5%.
  • Hiện đại hóa quy trình tổ chức khảo thí: Trung tâm Khảo thí và Đảm bảo chất lượng giáo dục cần triển khai tích hợp bộ câu hỏi vào hệ thống thi trực tuyến trên máy tính trong vòng 6 tháng, giúp tự động hóa khâu trộn đề và xuất kết quả ngay sau khi kết thúc buổi thi.
  • Nâng cao năng lực biên soạn cho giảng viên: Khoa Sư phạm Kỹ thuật tổ chức định kỳ các khóa tập huấn 30 tiết/năm về kỹ thuật viết mồi nhử chất lượng cao và phương pháp phân tích câu hỏi trắc nghiệm theo lý thuyết đo lường hiện đại.
  • Thiết lập quy trình rà soát định kỳ: Thực hiện chu kỳ kiểm định và chuẩn hóa lại các chỉ số độ khó, độ phân cách sau mỗi 2 học kỳ (khoảng 10 tháng), kịp thời loại bỏ các câu hỏi lỗi thời và cập nhật kiến thức công nghệ kim loại mới.

Đối tượng nên tham khảo luận văn

  • Giảng viên giảng dạy các môn kỹ thuật cơ khí: Tiếp cận khung ma trận đề thi 2 chiều và phương pháp biên soạn 398 câu hỏi chuẩn hóa phục vụ trực tiếp công tác giảng dạy và kiểm tra thường xuyên.
  • Cán bộ quản lý khảo thí và kiểm định chất lượng: Vận dụng quy trình 7 bước xây dựng ngân hàng đề thi và các công thức toán thống kê tính độ khó, độ phân cách, độ tin cậy để chuẩn hóa hệ thống đánh giá cấp trường.
  • Học viên cao học và nghiên cứu sinh chuyên ngành Giáo dục học, Lý luận và Phương pháp dạy học: Sử dụng luận văn như tài liệu tham khảo mẫu mực về phương pháp luận nghiên cứu thực nghiệm đo lường đánh giá trong giáo dục nghề nghiệp.
  • Ban chủ nhiệm khoa và lãnh đạo các trường đại học, cao đẳng kỹ thuật: Tham khảo mô hình cải tiến kiểm tra đánh giá để xây dựng chuẩn đầu ra đáp ứng yêu cầu công nghiệp hóa và hội nhập quốc tế.

Câu hỏi thường gặp

Ngân hàng câu hỏi môn Công nghệ kim loại gồm bao nhiêu câu và bao quát nội dung nào? Bộ ngân hàng gồm 398 câu hỏi trắc nghiệm chuẩn hóa, bao quát toàn diện chương trình môn học với các phần: công nghệ đúc, công nghệ gia công kim loại bằng áp lực và công nghệ hàn, phân bổ từ mức độ nhận biết đến đánh giá theo thang Bloom.

Tại sao đề tài lại kết hợp 4 hình thức trắc nghiệm thay vì chỉ dùng dạng nhiều lựa chọn? Việc kết hợp trắc nghiệm nhiều lựa chọn, đúng - sai, ghép hợp và điền khuyết giúp đa dạng hóa phương thức kiểm tra, đánh giá toàn diện cả kiến thức sự kiện lẫn kỹ năng suy luận logic, đồng thời giảm xác suất đoán mò của người học xuống dưới 20%.

Chỉ số độ khó và độ phân cách của bộ câu hỏi được kiểm định như thế nào? Độ khó và độ phân cách được kiểm định thực nghiệm trên 400 bài làm của sinh viên, xử lý bằng phần mềm Microsoft Excel. Kết quả ghi nhận 65% câu hỏi đạt độ khó chuẩn và trên 80% câu hỏi có độ phân cách tốt, phân loại rõ rệt trình độ sinh viên.

Cần sử dụng những phần mềm nào để khai thác hiệu quả bộ ngân hàng câu hỏi này? Quá trình biên soạn và tổ chức kiểm tra sử dụng phần mềm Microsoft Word để soạn thảo, kết hợp phần mềm chuyên dụng McMIX và Trngh để lưu trữ, đảo câu hỏi, tạo các mã đề thi ngẫu nhiên và quản lý ngân hàng câu hỏi một cách hệ thống.

Làm thế nào để hạn chế tối đa việc sinh viên học tủ khi áp dụng hình thức thi trắc nghiệm? Bằng cách xây dựng ma trận bao phủ 100% nội dung cốt lõi của giáo trình và tạo ra ngân hàng đề thi đủ lớn với 398 câu hỏi, sinh viên buộc phải nắm vững toàn bộ kiến thức môn học thay vì chỉ tập trung vào một số bài trọng tâm.

Kết luận

  • Xây dựng thành công bộ ngân hàng câu hỏi trắc nghiệm khách quan gồm 398 câu hỏi cho môn Công nghệ kim loại, chuẩn hóa theo 6 cấp độ nhận thức của thang Bloom.
  • Cung cấp cơ sở lý luận và quy trình thực nghiệm chuẩn mực gồm 7 bước trong việc xây dựng, thử nghiệm và định cỡ câu hỏi trắc nghiệm kỹ thuật.
  • Giải quyết triệt để thực trạng đề thi cũ bị trùng lặp từ 30% đến 50%, bảo đảm tính khách quan, công bằng và chính xác trong đánh giá kết quả học tập.
  • Kế hoạch tiếp theo là số hóa toàn bộ ngân hàng câu hỏi lên hệ thống thi trực tuyến và mở rộng dung lượng lên 600 câu trong 12 tháng tới.
  • Các cơ sở đào tạo kỹ thuật có thể ứng dụng ngay mô hình này để nâng cao chất lượng đào tạo và chuẩn hóa chuẩn đầu ra theo yêu cầu thực tiễn.