Tổng quan nghiên cứu

Trong hệ thống giáo dục nghề nghiệp hiện nay, việc đổi mới khâu kiểm tra đánh giá đóng vai trò then chốt nhằm kiểm soát chuẩn đầu ra và nâng cao năng lực thực hành cho khoảng 80% lực lượng lao động kỹ thuật trực tiếp. Hoạt động đánh giá truyền thống tại các cơ sở đào tạo nghề thường phụ thuộc nặng nề vào hình thức tự luận đối với lý thuyết hoặc nhận xét cảm tính trên sản phẩm thực hành, dẫn đến nguy cơ sai lệch kết quả và thiếu tính chuẩn hóa khoa học. Môn học Dung sai kỹ thuật đo là môn cơ sở kỹ thuật cốt lõi trong chương trình đào tạo nghề Cơ khí và Công nghệ ô tô, đòi hỏi người học phải nắm vững cả hệ thống quy chuẩn kỹ thuật lẫn khả năng phân tích thông số đo lường chính xác.

Nhận thức rõ bất cập đó, nghiên cứu tập trung giải quyết bài toán khách quan hóa quá trình đo lường kết quả học tập thông qua đề tài biên soạn bộ câu hỏi trắc nghiệm khách quan môn Dung sai kỹ thuật đo cho hệ trung cấp nghề tại Trường Cao đẳng nghề Bạc Liêu. Mục tiêu cụ thể của luận văn là thiết lập quy trình khoa học, biên soạn hoàn chỉnh 240 câu hỏi trắc nghiệm đa dạng hình thức, tiến hành thử nghiệm sư phạm và thẩm định định lượng nhằm chọn lọc bộ ngân hàng câu hỏi đạt chuẩn đo lường giáo dục.

Phạm vi nghiên cứu được triển khai thực nghiệm trực tiếp trên các lớp trung cấp nghề cơ khí tại Trường Cao đẳng nghề Bạc Liêu trong giai đoạn năm học 2011 - 2012. Ý nghĩa thực tiễn của công trình thể hiện ở việc cung cấp công cụ kiểm chuẩn tin cậy, giúp rút ngắn khoảng 50% thời gian chấm thi của giáo viên, giảm thiểu sai số đo lường xuống mức dưới 5%, đồng thời tạo điều kiện thuận lợi để 100% học sinh chủ động tự ôn tập và tự đánh giá năng lực tư duy kỹ thuật của bản thân.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng Lý thuyết đo lường giáo dục cổ điển kết hợp các thành tựu của Lý thuyết đáp ứng câu hỏi (Item Response Theory). Đồng thời, đề tài vận dụng thang phân loại mục tiêu nhận thức của Benjamin Bloom với 6 cấp độ từ thấp đến cao: Biết, Hiểu, Vận dụng, Phân tích, Tổng hợp và Đánh giá. Đối với trình độ trung cấp nghề cơ khí, hệ thống câu hỏi tập trung khảo sát sâu vào 3 cấp độ nhận thức nền tảng là nhận biết thuật ngữ tiêu chuẩn, thông hiểu bản chất dung sai lắp ghép và vận dụng tính toán chuỗi kích thước thực tế.

Khung lý thuyết định hình 5 khái niệm chuyên môn trọng tâm gồm:

  • Trắc nghiệm khách quan: Phương thức đo lường kết quả học tập qua hệ thống câu hỏi chuẩn hóa với đáp án định sẵn, đảm bảo điểm số hoàn toàn độc lập với chủ quan của người chấm.
  • Ngân hàng câu hỏi: Tập hợp hệ thống các câu hỏi thi đã được định cỡ qua tham số độ khó và độ phân cách, phân loại theo mục tiêu môn học.
  • Độ giá trị: Đại lượng xác định mức độ bài kiểm tra đo lường chính xác kiến thức và kỹ năng cần đo trong chương trình đào tạo.
  • Độ tin cậy: Mức độ ổn định và nhất quán của kết quả đo lường, được kiểm định qua hệ số tương quan đạt ngưỡng từ 0,70 trở lên.
  • Độ phân cách: Chỉ số phản ánh năng lực phân biệt rõ rệt giữa nhóm học sinh có năng lực giỏi và nhóm học sinh có năng lực yếu kém.

Phương pháp nghiên cứu

Nguồn dữ liệu của đề tài được thu thập thông qua khảo sát thực trạng giảng dạy, phát phiếu lấy ý kiến chuyên gia là các giảng viên giàu kinh nghiệm và tổ chức thi thử nghiệm trực tiếp trên đối tượng người học.

Cỡ mẫu thực nghiệm bao gồm 120 học sinh hệ trung cấp nghề ngành Cơ khí và Công nghệ ô tô tại Trường Cao đẳng nghề Bạc Liêu. Phương pháp chọn mẫu ngẫu nhiên phân tầng theo lớp học được áp dụng để đảm bảo tính đại diện cao cho toàn thể học sinh học môn Dung sai kỹ thuật đo. Để phân tích các tham số thống kê, tác giả phân chia dữ liệu làm bài thành hai nhóm đối chứng biên: 27% tổng số bài có điểm số cao nhất (nhóm giỏi) và 27% tổng số bài có điểm số thấp nhất (nhóm yếu kém).

Lý do lựa chọn phương pháp phân tích thống kê toán học (tính toán tỷ lệ phần trăm độ khó, chỉ số phân cách theo công thức cải tiến và hệ số tin cậy Kuder-Richardson) xuất phát từ yêu cầu khắt khe của khoa học đo lường giáo dục. Phương pháp này giúp định lượng hóa chính xác chất lượng từng câu trắc nghiệm, phát hiện các phương án nhiễu hoạt động kém hiệu quả và loại bỏ hoàn toàn các nhận định cảm tính. Toàn bộ quy trình khảo sát, biên soạn, thử nghiệm và xử lý số liệu được triển khai theo tiến độ 7 bước chặt chẽ từ tháng 9 năm 2011 đến tháng 8 năm 2012.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình nghiên cứu và thực nghiệm định lượng đã ghi nhận những kết quả nổi bật về mặt quy mô lẫn chất lượng kỹ thuật của bộ công cụ đo lường:

  • Thiết kế hoàn chỉnh ngân hàng ban đầu gồm 240 câu hỏi trắc nghiệm khách quan, bao phủ toàn diện 100% khối lượng kiến thức của 3 chương môn học Dung sai kỹ thuật đo, kết hợp linh hoạt 4 dạng thức: trắc nghiệm nhiều lựa chọn chiếm khoảng 80%, trắc nghiệm đúng - sai chiếm khoảng 10%, trắc nghiệm ghép hợp chiếm 5% và trắc nghiệm điền khuyết chiếm 5%.
  • Qua phân tích kết quả thử nghiệm trên mẫu khảo sát, có 218 câu hỏi (đạt tỷ lệ 90,83%) đáp ứng đầy đủ tiêu chuẩn đo lường giáo dục với độ khó chấp nhận được dao động từ 25% đến 75% và chỉ số phân cách đạt ngưỡng từ 0,20 trở lên.
  • Phát hiện 2 câu hỏi (tương ứng 0,83%) có độ phân cách âm và 20 câu hỏi (tương ứng 8,33%) có độ phân cách kém dưới 0,19 do từ ngữ chưa tường minh hoặc mồi nhử thiếu sức hút, các câu hỏi này được tách riêng vào cơ sở dữ liệu để tinh chỉnh.
  • Kiểm định độ tin cậy tổng thể của đề thi đạt hệ số r trên 0,80, khẳng định sự ổn định và độ tin cậy rất cao của thang đo khi triển khai trên diện rộng.

Thảo luận kết quả

Kết quả 90,83% câu hỏi đạt tiêu chuẩn chất lượng cao bắt nguồn từ việc tác giả tuân thủ nghiêm ngặt ma trận đề thi hai chiều giữa nội dung chương trình và cấp độ tư duy nhận thức. Việc xây dựng các phương án gây nhiễu dựa trên chính những lỗi sai phổ biến của học sinh trong thực tế tính sai số gia công đã tạo ra độ phân cách lý tưởng giữa người học khá giỏi và người học trung bình yếu.

So sánh với các công trình nghiên cứu cùng chuyên ngành Sư phạm Kỹ thuật như nghiên cứu của Nguyễn Hoàng Phụng (năm 2006 với 224 câu trắc nghiệm ngành May) và nghiên cứu của Đỗ Văn Trường (năm 2011 với 198/210 câu đạt chuẩn ngành Điện), kết quả đạt chuẩn 218/240 câu của luận văn này có sự tương đồng cao về tỷ lệ hiệu chỉnh thành công trên 90%. Điều này chứng minh quy trình biên soạn 7 bước có tính phổ quát và độ tin cậy vững chắc trong giáo dục nghề nghiệp.

Về mặt trình bày dữ liệu, các kết quả đo lường trong luận văn được mô hình hóa sinh động thông qua biểu đồ phân bố độ khó hình chuông chuẩn, bảng thống kê ma trận mục tiêu hai chiều và biểu đồ cột phân bố chỉ số phân cách. Việc trực quan hóa dữ liệu qua các bảng biểu giúp hội đồng thẩm định và giáo viên bộ môn dễ dàng nhận diện cấu trúc phân bố câu hỏi từ mức độ biết, thông hiểu đến vận dụng thực tiễn một cách minh bạch.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm tối ưu hóa việc ứng dụng ngân hàng câu hỏi vào thực tiễn đào tạo:

  • Số hóa và tích hợp ngân hàng câu hỏi vào phần mềm khảo thí trực tuyến: Ban Giám hiệu cùng Bộ phận Công nghệ thông tin Trường Cao đẳng nghề Bạc Liêu cần đưa 218 câu hỏi đã chuẩn hóa lên hệ thống máy chủ trong thời hạn 3 tháng, hướng tới mục tiêu tự động hóa 100% khâu trộn đề thi và chấm điểm tự động.
  • Hiệu chỉnh và thẩm định nhóm câu hỏi chưa đạt chuẩn: Tổ bộ môn Cơ khí tiến hành rà soát nội dung, cấu trúc lại câu từ và biên soạn lại mồi nhử cho 20 câu hỏi có độ phân cách kém cùng 2 câu có độ phân cách âm trong vòng 6 tháng tới, nâng tỷ lệ câu hỏi hoàn thiện của toàn bộ ngân hàng lên 100%.
  • Tổ chức tập huấn chuẩn hóa kỹ năng khảo thí cho đội ngũ giảng viên: Phòng Đào tạo phối hợp với các chuyên gia đo lường giáo dục triển khai tối thiểu 2 khóa bồi dưỡng chuyên sâu về kỹ thuật xây dựng ma trận đề và phân tích định lượng câu hỏi trắc nghiệm cho 100% giảng viên chuyên ngành kỹ thuật trong năm học tới.
  • Nhân rộng quy trình biên soạn cho các môn cơ sở ngành khác: Ban chủ nhiệm khoa Cơ khí và khoa Động lực chỉ đạo áp dụng quy trình 7 bước để xây dựng ngân hàng trắc nghiệm chuẩn hóa cho các môn Vẽ kỹ thuật, Cơ kỹ thuật và Vật liệu học với quy mô tối thiểu 200 câu hỏi mỗi môn trước quý 4.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị ứng dụng thiết thực cho 4 nhóm đối tượng trọng tâm:

  • Giảng viên giảng dạy ngành Cơ khí, Công nghệ Ô tô tại các trường cao đẳng, trung cấp nghề: Khai thác trực tiếp 218 câu hỏi chuẩn hóa và ma trận 2 chiều để phục vụ giảng dạy, thiết kế đề kiểm tra định kỳ và tổ chức hoạt động thảo luận trên lớp.
  • Cán bộ quản lý đào tạo và cán bộ khảo thí: Vận dụng quy trình 7 bước xây dựng ngân hàng câu hỏi chuẩn hóa để chuẩn hóa quy trình ra đề, nâng cao tính khách quan và giảm thiểu tiêu cực trong thi cử tại các cơ sở giáo dục nghề nghiệp.
  • Học sinh, sinh viên hệ đào tạo nghề kỹ thuật: Sử dụng hệ thống câu hỏi có phân cấp độ khó làm tài liệu tự học, tự ôn tập hệ thống hóa kiến thức dung sai lắp ghép và rèn luyện phản xạ phán đoán kỹ thuật.
  • Học viên cao học và nhà nghiên cứu chuyên ngành Giáo dục học, Sư phạm Kỹ thuật: Tham khảo khung cơ sở lý luận, phương pháp tính toán độ khó, độ phân cách, độ tin cậy và mô hình xử lý số liệu thực nghiệm để phát triển các đề tài đo lường đánh giá tương tự.

Câu hỏi thường gặp

  1. Vì sao môn Dung sai kỹ thuật đo cần áp dụng hình thức trắc nghiệm khách quan? Môn học chứa dung lượng kiến thức tiêu chuẩn và công thức đo lường lớn. Hình thức trắc nghiệm giúp phủ kín 100% nội dung chương trình, kiểm tra được phạm vi kiến thức rộng trong 45 đến 60 phút, đồng thời triệt tiêu yếu tố chấm điểm cảm tính so với tự luận truyền thống.

  2. Tỷ lệ câu hỏi đạt chuẩn kỹ thuật đo lường trong nghiên cứu là bao nhiêu? Sau quá trình thử nghiệm trên 120 học sinh và phân tích định lượng, có 218 trong tổng số 240 câu hỏi ban đầu đạt chuẩn kỹ thuật, chiếm tỷ lệ 90,83%. Các câu hỏi này đều đạt độ khó từ 25% đến 75% và chỉ số phân cách trên 0,20.

  3. Phương pháp phân tích độ phân cách câu hỏi được thực hiện như thế nào? Tác giả sắp xếp bài thi theo tổng điểm từ cao xuống thấp, chọn ra 27% nhóm điểm cao nhất và 27% nhóm điểm thấp nhất. Sau đó, độ phân cách được tính bằng hiệu số câu trả lời đúng giữa hai nhóm chia cho số học sinh của một nhóm.

  4. Quy trình biên soạn ngân hàng câu hỏi trong luận văn gồm những bước nào? Quy trình chuẩn hóa gồm 7 bước: phân tích nội dung môn học, xác định mục tiêu đánh giá theo thang Bloom, lập ma trận dàn bài trắc nghiệm, biên soạn câu hỏi, xin ý kiến chuyên gia, tổ chức thử nghiệm phân tích số liệu, và nhập ngân hàng lưu trữ.

  5. Học sinh có thể sử dụng ngân hàng trắc nghiệm này để tự học như thế nào? Ngân hàng câu hỏi được phân loại rõ ràng theo từng chương và mục tiêu chi tiết, giúp người học tự làm bài kiểm tra thử, đối chiếu đáp án chuẩn để phát hiện lỗ hổng kiến thức và chủ động nâng cao năng lực trước kỳ thi chính thức.

Kết luận

  • Luận văn đã hệ thống hóa hoàn chỉnh cơ sở lý luận về trắc nghiệm khách quan và quy trình đo lường giáo dục hiện đại áp dụng trong giáo dục nghề nghiệp.
  • Xây dựng thành công ngân hàng gồm 240 câu hỏi môn Dung sai kỹ thuật đo, nghiệm thu 218 câu hỏi đạt chuẩn kỹ thuật cao (tỷ lệ 90,83%).
  • Đóng góp bộ công cụ khảo thí thực nghiệm chuẩn mực cho Trường Cao đẳng nghề Bạc Liêu, hỗ trợ đắc lực cho công tác dạy học và kiểm tra đánh giá.
  • Đề ra lộ trình số hóa 100% ngân hàng câu hỏi lên phần mềm khảo thí trong vòng 3 đến 6 tháng tới.
  • Mời quý thầy cô, cán bộ khảo thí và các nhà nghiên cứu giáo dục nghề nghiệp tham khảo toàn văn công trình để ứng dụng hiệu quả quy trình biên soạn ngân hàng trắc nghiệm vào thực tiễn giảng dạy.