Tổng quan nghiên cứu

Thực tiễn đổi mới giáo dục đại học tại Việt Nam đặt ra yêu cầu cấp thiết về việc nâng cao tính khách quan, công bằng và chính xác trong kiểm tra đánh giá kết quả học tập. Tại Khoa Công nghệ Thông tin trực thuộc Đại học Thái Nguyên, phương pháp trắc nghiệm khách quan đã được áp dụng rộng rãi cho khoảng 40% tổng số môn học trong chương trình đào tạo. Tuy nhiên, việc biên soạn đề thi chủ yếu vẫn dựa trên kinh nghiệm cảm tính của đội ngũ giảng viên, chưa trải qua quy trình thử nghiệm tiền kiểm định hoặc chuẩn hóa theo tiêu chuẩn đo lường học thuật. Thực trạng này dẫn đến sự mất cân bằng về độ khó và làm suy giảm độ tin cậy của các kỳ thi kết thúc học phần.

Nghiên cứu được triển khai nhằm giải quyết các mục tiêu trọng tâm: đánh giá thực trạng độ tin cậy và độ giá trị của hệ thống đề thi hiện hành, đồng thời nhận diện và lượng hóa 5 nhóm yếu tố tác động trực tiếp đến chất lượng biên soạn đề trắc nghiệm của giảng viên. Phạm vi nghiên cứu được thực hiện tại Khoa Công nghệ Thông tin - Đại học Thái Nguyên trong giai đoạn năm 2010, tập trung khảo sát 50 bộ đề thi trắc nghiệm khách quan cùng dữ liệu phản hồi từ 50 giảng viên trực tiếp tham gia giảng dạy và ra đề.

Về mặt ý nghĩa thực tiễn, công trình cung cấp cơ sở dữ liệu thực nghiệm giúp các nhà quản lý giáo dục kiểm soát tỷ lệ sai số đo lường ngẫu nhiên, hướng tới mục tiêu nâng cao hệ số tin cậy của toàn bộ ngân hàng câu hỏi lên ngưỡng tối thiểu 0,80. Đây là bước đi nền tảng nhằm chuẩn hóa công tác khảo thí và bảo đảm chất lượng đào tạo đại học theo hướng tiếp cận năng lực người học.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của hai lý thuyết đo lường giáo dục hiện đại:

  • Lý thuyết Khảo thí Cổ điển (Classical Test Theory - CTT): Tiếp cận mô hình điểm số quan sát $X = T + E$, trong đó điểm số thực $T$ được tách biệt khỏi sai số đo lường $E$. Phép đo độ tin cậy dựa trên phân tích phương sai $\sigma^2_X = \sigma^2_T + \sigma^2_E$ và hệ số Cronbach's Alpha nhằm xác định tỷ lệ phương sai điểm thực trong tổng thể kết quả làm bài của sinh viên.
  • Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) và Mô hình Rasch: Sử dụng mô hình đo lường một tham số để đồng nhất hóa thang đo giữa độ khó của câu hỏi (item difficulty) và năng lực của người học (person ability), kiểm soát mức độ tương thích của dữ liệu qua chỉ số độ khớp nội tại (Infit Mean Square).
  • Thang phân loại mục tiêu nhận thức của Bloom: Chuẩn hóa cấu trúc câu hỏi theo 3 cấp độ tư duy nền tảng trong đề thi trắc nghiệm đại học bao gồm Nhận biết, Thông hiểu và Vận dụng.

Bên cạnh đó, nghiên cứu vận dụng các khái niệm cốt lõi: Độ tin cậy (Reliability), Độ giá trị nội dung (Content Validity), Độ khó của câu hỏi ($P$), Độ phân biệt ($D$) và Ma trận trọng số đề thi (Table of Specifications).

Phương pháp nghiên cứu

Nghiên cứu phối hợp chặt chẽ giữa phương pháp nghiên cứu định tính và định lượng qua 3 chuyên đề chuyên sâu:

  • Nguồn dữ liệu và Cỡ mẫu: Khách thể nghiên cứu bao gồm toàn bộ dữ liệu điểm thi từ 50 bộ đề trắc nghiệm khách quan dạng 4 lựa chọn (mỗi đề gồm 50 đến 60 câu hỏi), kết hợp phân tích sâu bộ dữ liệu thực nghiệm của môn Thông tin quang với cỡ mẫu 54 sinh viên và 60 câu hỏi. Mẫu khảo sát giảng viên gồm 50 giảng viên trực tiếp biên soạn đề thi tại đơn vị.
  • Phương pháp chọn mẫu: Lựa chọn mẫu toàn thể kết hợp chọn mẫu có chủ đích đối với các giảng viên trực tiếp phụ trách các học phần đã áp dụng hình thức thi trắc nghiệm nhằm đảm bảo tính đại diện và độ bao phủ của dữ liệu.
  • Công cụ và Phương pháp phân tích: Sử dụng bảng hỏi khảo sát 30 tiêu chí (thang đo Likert 5 mức độ từ 0 đến 4) để định lượng 5 nhóm yếu tố ảnh hưởng. Dữ liệu điểm thi được xử lý thống kê bằng phần mềm SPSS 16.0 để tính toán hệ số tương quan biến - tổng, hệ số Alpha Cronbach, và phần mềm chuyên dụng QUEST để chạy mô hình Rasch ước lượng tham số câu hỏi.
  • Lý do lựa chọn phương pháp: Việc kết hợp giữa CTT (trên SPSS) và mô hình Rasch (trên QUEST) cho phép đánh giá toàn diện cả tính nhất quán nội tại của toàn bài thi lẫn đặc tính kỹ thuật độc lập của từng câu hỏi riêng biệt.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Phân tích dữ liệu thực nghiệm từ 50 bộ đề thi và 50 phiếu khảo sát giảng viên đã mang lại các phát hiện khoa học quan trọng:

  1. Độ tin cậy của các bộ đề thi có sự phân hóa mạnh: Hệ số Cronbach's Alpha của 50 bộ đề dao động trong khoảng từ 0,650 đến 0,880. Điển hình tại đề thi số 1 (môn Thông tin quang), hệ số Cronbach's Alpha đạt mức 0,805 trên tổng số 60 câu hỏi. Điều này chứng minh 80,5% phương sai điểm số phản ánh đúng năng lực thực của sinh viên, trong khi 19,5% còn lại xuất phát từ các sai số đo lường ngẫu nhiên.
  2. Nhiều câu hỏi chưa đạt chuẩn về độ khó và độ phân biệt: Phân tích mô hình Rasch trên phần mềm QUEST cho thấy phân bố độ khó của đề thi nghiêng về mức dễ (giá trị logit tập trung từ -1,0 đến 0,5). Một số câu hỏi (như câu số 2, câu số 10) có độ khó quá thấp ($P > 0,90$), không thể phân loại được sinh viên giỏi và yếu. Đồng thời, có 4 câu hỏi (câu số 8, 14, 22 và 37) có chỉ số Infit Mean Square nằm ngoài khoảng chấp nhận chuẩn (0,77 đến 1,30), thể hiện sự không tương thích với thang đo chung.
  3. Kỹ năng thiết kế đề là yếu tố tác động mạnh nhất: Kết quả lượng hóa phiếu điều tra chỉ ra rằng nhóm yếu tố "Mức độ nắm vững kỹ thuật ra đề của giảng viên" chiếm tỷ trọng lớn nhất với 16 trên tổng số 30 biến quan sát. Có tới hơn 65% giảng viên thừa nhận biên soạn câu hỏi hoàn toàn dựa vào kinh nghiệm cá nhân mà chưa được đào tạo bài bản về kỹ thuật phân tích item và lý thuyết khảo thí hiện đại.

Thảo luận kết quả

Thực trạng phân bố điểm thi chưa chuẩn và sự xuất hiện của các câu hỏi kém chất lượng bắt nguồn từ việc thiếu quy trình thử nghiệm thực tế trước khi tổ chức thi chính thức. Các trường đại học thường giao khoán việc ra đề cho giảng viên bộ môn mà chưa thiết lập quy trình phản biện chéo hoặc tiền kiểm định qua ngân hàng câu hỏi.

Khi so sánh với các tiêu chuẩn khảo thí quốc tế, một bộ đề thi đạt chuẩn cần duy trì chỉ số phân biệt $D \ge 0,30$ và độ khó tối ưu $P$ dao động quanh mức 0,50. Sự chênh lệch trong kết quả nghiên cứu nhấn mạnh sự cần thiết phải chuẩn hóa công tác ra đề bằng các công cụ định lượng.

Dữ liệu khảo thí trong nghiên cứu này có thể được mô hình hóa trực quan thông qua Bản đồ năng lực - độ khó (Wright Map) trên phần mềm QUEST. Bảng phân bố này thể hiện trực tiếp sự tương thích giữa năng lực sinh viên (bên trái) và độ khó của từng item (bên phải), giúp hội đồng chuyên môn nhanh chóng xác định các câu hỏi quá dễ hoặc quá khó cần loại bỏ.

Đề xuất và khuyến nghị

Nhằm chuẩn hóa quy trình biên soạn và nâng cao chất lượng các bộ đề thi trắc nghiệm khách quan, các giải pháp mang tính hành động cao cần được thực hiện đồng bộ:

  1. Chuẩn hóa quy trình 7 bước xây dựng ngân hàng đề thi: Phòng Khảo thí và Đảm bảo chất lượng chủ trì thiết lập quy trình nghiêm ngặt từ khâu lập ma trận đặc tả, viết câu hỏi thô, thẩm định chuyên môn, thi thử nghiệm thực địa đến lưu trữ. Đặt mục tiêu 100% câu hỏi đưa vào ngân hàng đề thi phải đạt chỉ số phân biệt $D \ge 0,30$ và độ khó $P$ trong khoảng 0,25 đến 0,75, hoàn thành áp dụng trong vòng 12 tháng.
  2. Tập huấn chuyên sâu kỹ thuật khảo thí cho 100% giảng viên: Ban Giám hiệu nhà trường phối hợp với các chuyên gia đo lường giáo dục tổ chức các khóa bồi dưỡng nghiệp vụ định kỳ với thời lượng tối thiểu 40 giờ/năm. Nội dung tập trung vào kỹ năng viết phương án nhiễu, ứng dụng phần mềm SPSS và QUEST để phân tích item, triển khai ngay trong học kỳ tiếp theo.
  3. Bắt buộc áp dụng ma trận trọng số kiến thức cho tất cả môn học: Các Bộ môn chuyên môn phải xây dựng bảng đặc tả chi tiết phân bổ câu hỏi theo 3 mức độ nhận thức (30% Nhận biết, 40% Thông hiểu, 30% Vận dụng) bám sát đề cương chi tiết môn học, đảm bảo bao phủ trên 90% nội dung chương trình đào tạo.
  4. Cải tiến chính sách tài chính và quỹ thời gian cho hoạt động khảo thí: Nhà trường cần tăng mức hỗ trợ kinh phí biên soạn đề thi thêm 30% đến 50%, đồng thời quy đổi thời gian xây dựng ngân hàng câu hỏi chuẩn hóa thành giờ nghiên cứu khoa học hoặc giờ giảng dạy định mức nhằm tạo động lực mạnh mẽ cho giảng viên.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị ứng dụng thiết thực cho nhiều nhóm đối tượng:

  • Cán bộ quản lý khảo thí và đảm bảo chất lượng: Cung cấp quy trình chuẩn hóa ngân hàng câu hỏi thi, phương pháp kiểm tra độ tin cậy bằng SPSS và mô hình Rasch để nâng cao chất lượng các kỳ thi cấp cơ sở.
  • Giảng viên đại học và cao đẳng: Nắm vững các nguyên tắc kỹ thuật khi viết câu hỏi trắc nghiệm nhiều lựa chọn (MCQ), cách thiết kế các phương án nhiễu hợp lý và phương pháp lập bảng trọng số môn học khoa học.
  • Học viên cao học và nghiên cứu sinh ngành Đo lường Giáo dục: Tham khảo khung phương pháp luận kết hợp giữa CTT và IRT, cùng bộ công cụ phiếu hỏi 30 items đã được kiểm định độ tin cậy để phát triển các đề tài nghiên cứu tiếp theo.
  • Lãnh đạo các cơ sở giáo dục đại học: Cung cấp cơ sở thực tiễn xác đáng để ban hành các chính sách đầu tư nguồn lực, tổ chức bồi dưỡng năng lực đo lường đánh giá và chuẩn hóa quy trình khảo thí nội bộ.

Câu hỏi thường gặp

1. Hệ số Cronbach's Alpha bao nhiêu là đạt chuẩn cho một đề thi trắc nghiệm đại học?

Trong đo lường giáo dục, hệ số Cronbach's Alpha từ 0,70 trở lên được coi là có thể chấp nhận được đối với các kỳ thi học phần. Tuy nhiên, đối với các kỳ thi chuẩn hóa hoặc thi kết thúc môn quy mô lớn, hệ số này cần đạt từ 0,80 đến 0,90 để đảm bảo trên 80% phương sai điểm số phản ánh đúng năng lực thực của thí sinh.

2. Sự khác biệt căn bản giữa phần mềm SPSS và QUEST trong xử lý đề thi là gì?

SPSS dựa trên Lý thuyết Khảo thí Cổ điển (CTT) để tính toán độ tin cậy tổng thể bài thi và tương quan biến - tổng của từng câu hỏi. Trong khi đó, QUEST sử dụng Mô hình Rasch (thuộc IRT) để ước lượng độ khó độc lập của từng câu hỏi và năng lực của từng thí sinh trên cùng một thước đo logit.

3. Tại sao câu hỏi có chỉ số phân biệt D dưới 0,20 cần phải viết lại hoặc loại bỏ?

Chỉ số phân biệt $D < 0,20$ cho thấy câu hỏi không có khả năng phân loại giữa nhóm sinh viên có học lực cao và nhóm sinh viên có học lực thấp. Thậm chí, nếu $D$ âm, sinh viên học kém lại có tỷ lệ trả lời đúng cao hơn sinh viên giỏi, gây méo mó kết quả đánh giá.

4. Yếu tố nào ảnh hưởng lớn nhất đến chất lượng đề thi của giảng viên?

Nghiên cứu chỉ ra rằng mức độ được trang bị kiến thức và kỹ năng kỹ thuật thiết kế trắc nghiệm là yếu tố quyết định nhất (chiếm 16/30 biến quan sát). Khi giảng viên không nắm vững kỹ thuật viết câu hỏi và ma trận đề thi, đề thi rất dễ bị lệch độ khó và giảm độ giá trị.

5. Ma trận trọng số đề thi (Table of Specifications) đóng vai trò gì?

Ma trận trọng số giúp phân bổ số lượng câu hỏi tương ứng với thời lượng giảng dạy và mục tiêu nhận thức của từng chương mục. Điều này đảm bảo đề thi có độ giá trị nội dung cao, bao quát toàn diện chương trình học và tránh tình trạng ra đề theo thiên kiến chủ quan.

Kết luận

  • Luận văn đã đánh giá toàn diện thực trạng chất lượng của 50 bộ đề thi trắc nghiệm khách quan tại Khoa Công nghệ Thông tin - Đại học Thái Nguyên bằng các công cụ đo lường hiện đại.
  • Nghiên cứu kết hợp thành công Lý thuyết Khảo thí Cổ điển (SPSS) và Mô hình Rasch (QUEST) để bóc tách độ tin cậy bài thi và phát hiện các câu hỏi không tương thích ($Infit > 1,30$).
  • Lượng hóa chính xác 5 nhóm yếu tố ảnh hưởng, khẳng định năng lực kỹ thuật của người ra đề (16/30 biến quan sát) và quỹ thời gian đầu tư là hai yếu tố mang tính quyết định.
  • Đóng góp hệ thống giải pháp toàn diện từ quy trình kỹ thuật 7 bước đến chính sách đãi ngộ nhằm chuẩn hóa ngân hàng câu hỏi thi trắc nghiệm đạt chuẩn $\alpha \ge 0,80$.
  • Đề xuất lộ trình triển khai tập huấn và chuẩn hóa 100% ma trận đề thi trong thời gian 6 đến 12 tháng tới nhằm đảm bảo chất lượng giáo dục đại học bền vững.