I. Tổng quan các yếu tố ảnh hưởng xây dựng đề thi trắc nghiệm
Trong bối cảnh đổi mới giáo dục đại học, việc kiểm tra đánh giá kết quả học tập của sinh viên đóng vai trò then chốt. Luận văn thạc sĩ của Nguyễn Anh Tuấn (2010) tại VNU đã đi sâu vào việc đánh giá các yếu tố ảnh hưởng đến quá trình xây dựng bộ đề thi trắc nghiệm khách quan, một công cụ ngày càng phổ biến. Phương pháp trắc nghiệm khách quan (TNKQ) được xem là giải pháp hiệu quả để đánh giá kiến thức trên diện rộng, giảm thiểu tính chủ quan và tiêu cực trong thi cử. Nghiên cứu thực hiện tại Khoa Công nghệ Thông tin - Đại học Thái Nguyên chỉ ra rằng, dù được áp dụng rộng rãi, chất lượng các bộ đề thi vẫn là một thách thức lớn. Việc xây dựng một bộ đề thi chất lượng không chỉ đòi hỏi kiến thức chuyên môn mà còn cần tuân thủ một quy trình khoa học, từ việc thiết kế ma trận kiến thức đề thi đến phân tích từng câu hỏi. Các yếu tố như thời gian đầu tư, động cơ của người ra đề, năng lực kỹ thuật, sự quan tâm của nhà trường và đặc thù môn học đều có tác động trực tiếp. Hiểu rõ các yếu tố này là nền tảng để cải thiện quy trình, góp phần đảm bảo chất lượng giáo dục đại học một cách bền vững. Một hệ thống ngân hàng câu hỏi trắc nghiệm được xây dựng bài bản sẽ là tài sản quý giá, phục vụ hiệu quả cho công tác khảo thí và nâng cao chất lượng dạy và học.
1.1. Vai trò của trắc nghiệm khách quan trong giáo dục đại học
Trắc nghiệm khách quan (TNKQ) đã trở thành một phương pháp kiểm tra đánh giá kết quả học tập không thể thiếu trong giáo dục đại học hiện đại. Ưu điểm nổi bật của hình thức này là khả năng kiểm tra một phổ kiến thức rộng trong thời gian ngắn, đảm bảo tính khách quan cao trong quá trình chấm điểm và cho phép ứng dụng công nghệ thông tin để xử lý kết quả nhanh chóng. Theo luận văn, việc áp dụng TNKQ tại Khoa CNTT - ĐHTN giúp đánh giá tương đối chính xác năng lực sinh viên, thúc đẩy họ học tập bao quát hơn thay vì học tủ. Hơn nữa, kết quả từ các bài thi TNKQ cung cấp dữ liệu quan trọng để giảng viên và nhà trường điều chỉnh phương pháp giảng dạy, cải tiến chương trình đào tạo nhằm đáp ứng tốt hơn chuẩn đầu ra môn học.
1.2. Các khái niệm cốt lõi trong đo lường giáo dục hiện đại
Để xây dựng một bộ đề thi chất lượng, cần nắm vững các khái niệm nền tảng trong đo lường trong giáo dục. Luận văn nhấn mạnh hai đặc tính quan trọng nhất là độ tin cậy và độ giá trị. Độ tin cậy (reliability) thể hiện mức độ ổn định, nhất quán của kết quả đo lường qua nhiều lần thi khác nhau. Độ giá trị (validity) khẳng định rằng bài thi đo lường đúng cái cần đo, tức là nội dung và cấu trúc bài thi phải phản ánh đúng mục tiêu và kiến thức của môn học. Bên cạnh đó, các chỉ số như độ khó và độ phân biệt của câu hỏi là công cụ kỹ thuật để phân tích chất lượng từng câu hỏi, giúp loại bỏ những câu hỏi kém hiệu quả và hoàn thiện ngân hàng câu hỏi trắc nghiệm.
II. Thách thức trong quy trình ra đề thi khách quan tại ĐHTN
Mặc dù lợi ích của thi trắc nghiệm là không thể phủ nhận, luận văn của Nguyễn Anh Tuấn đã chỉ ra những thách thức và bất cập nghiêm trọng trong thực tiễn. Vấn đề lớn nhất nằm ở quy trình ra đề thi khách quan còn mang nặng tính chủ quan và thiếu khoa học. Hầu hết giảng viên xây dựng bộ đề thi dựa trên kinh nghiệm cá nhân mà chưa được trang bị đầy đủ kiến thức, kỹ năng về kỹ thuật thiết kế đề thi trắc nghiệm. Các bộ đề thường được đưa vào sử dụng trực tiếp mà không qua giai đoạn thử nghiệm và đánh giá chất lượng. Điều này dẫn đến tình trạng nhiều đề thi có phân bố điểm không chuẩn, chứa nhiều câu hỏi kém chất lượng, không phân loại được sinh viên. Thực trạng này đặt ra một câu hỏi cấp thiết: "Những yếu tố nào thực sự ảnh hưởng đến quá trình xây dựng các bộ đề thi trắc nghiệm?". Nghiên cứu đã xác định 5 nhóm yếu tố giả thuyết: thời gian, động cơ, năng lực của giảng viên, sự quan tâm của nhà trường, và tính chất môn học. Việc phân tích sâu các yếu tố này là chìa khóa để tìm ra giải pháp khắc phục, chuẩn hóa quy trình và nâng cao chất lượng công tác khảo thí, một yêu cầu cốt lõi để đảm bảo chất lượng giáo dục đại học.
2.1. Thực trạng xây dựng đề thi dựa trên kinh nghiệm chủ quan
Một trong những rào cản lớn nhất được chỉ ra trong nghiên cứu là việc xây dựng bộ đề thi TNKQ chủ yếu dựa vào kinh nghiệm chủ quan của giảng viên. Quy trình này thiếu đi các bước quan trọng như xây dựng ma trận kiến thức đề thi chi tiết, phân tích mục tiêu học tập, hay xác định các cấp độ nhận thức cần đánh giá (biết, hiểu, vận dụng). Giảng viên thường tự soạn thảo câu hỏi mà không có sự thẩm định chéo hoặc khảo sát ý kiến chuyên gia. Hậu quả là các bộ đề thi thiếu tính hệ thống, độ bao phủ kiến thức không đồng đều, và thường không đo lường được các năng lực tư duy bậc cao của sinh viên.
2.2. Hạn chế về năng lực của giảng viên trong thiết kế câu hỏi
Nghiên cứu cho thấy năng lực của giảng viên trong lĩnh vực đo lường và đánh giá còn nhiều hạn chế. Nhiều người chưa được tập huấn bài bản về kỹ thuật viết câu hỏi trắc nghiệm, đặc biệt là cách xây dựng các phương án nhiễu hiệu quả. Phân tích phương án nhiễu là một kỹ thuật quan trọng để đảm bảo câu hỏi có thể phân loại được sinh viên khá, giỏi với sinh viên trung bình, yếu. Khi các phương án nhiễu không đủ "hấp dẫn", câu hỏi trở nên quá dễ và mất đi giá trị phân loại. Sự thiếu hụt kiến thức về các lý thuyết khảo thí và công cụ phân tích hiện đại cũng là một trở ngại lớn.
III. Phương pháp đánh giá chất lượng đề thi trắc nghiệm hiệu quả
Để khắc phục tình trạng đánh giá cảm tính, luận văn đã áp dụng các phương pháp khoa học để đánh giá chất lượng đề thi một cách khách quan. Cốt lõi của phương pháp này là phân tích các chỉ số thống kê từ dữ liệu điểm thi thực tế. Hai chỉ số cơ bản là độ khó và độ phân biệt của câu hỏi. Độ khó (P-value) cho biết tỷ lệ thí sinh trả lời đúng một câu, giúp xác định câu hỏi quá dễ hay quá khó. Độ phân biệt (D-index) chỉ ra khả năng của câu hỏi trong việc phân biệt nhóm sinh viên giỏi và nhóm sinh viên yếu. Một câu hỏi tốt cần có độ khó vừa phải và độ phân biệt cao. Ngoài ra, độ tin cậy của toàn bộ bài thi được đánh giá thông qua hệ số Cronbach’s Alpha. Hệ số này càng gần 1, bài thi càng có độ tin cậy cao, nghĩa là kết quả đo lường ổn định và nhất quán. Luận văn cũng đề cập đến việc sử dụng lý thuyết khảo thí hiện đại (IRT) qua phần mềm QUEST để phân tích sâu hơn, cung cấp một cái nhìn toàn diện về đặc tính của từng câu hỏi và toàn bài thi, làm cơ sở khoa học cho việc cải tiến ngân hàng câu hỏi trắc nghiệm.
3.1. Phân tích độ khó và độ phân biệt của từng câu hỏi item
Phân tích item là bước không thể thiếu trong việc đánh giá chất lượng đề thi. Luận văn đã sử dụng phần mềm thống kê để tính toán độ khó và độ phân biệt của câu hỏi. Một item được xem là tốt khi có độ khó nằm trong khoảng phù hợp (thường từ 0.3 đến 0.7) và chỉ số phân biệt D lớn hơn hoặc bằng 0.3. Những câu hỏi có chỉ số phân biệt gần bằng 0 hoặc âm cần được xem xét lại hoặc loại bỏ, vì chúng không có khả năng phân loại năng lực thí sinh, thậm chí còn gây nhiễu ngược. Việc phân tích này giúp người ra đề xác định chính xác những điểm yếu trong bộ đề để chỉnh sửa và hoàn thiện.
3.2. Đo lường độ tin cậy toàn bài thi qua hệ số Cronbach s Alpha
Độ tin cậy là một trong những tiêu chuẩn vàng của một công cụ đo lường trong giáo dục. Nghiên cứu đã sử dụng hệ số Cronbach’s Alpha để đánh giá tính nhất quán nội tại của 50 bộ đề thi. Kết quả phân tích (Bảng 3.3) cho thấy hệ số Alpha của các đề thi dao động, một số đề đạt mức tin cậy cao (α > 0.8) nhưng một số khác lại ở mức thấp. Điều này chứng tỏ chất lượng các bộ đề không đồng đều. Hệ số này giúp khẳng định rằng, một bài thi có các câu hỏi liên kết chặt chẽ với nhau và cùng đo lường một cấu trúc kiến thức sẽ cho kết quả đáng tin cậy hơn.
3.3. Áp dụng lý thuyết khảo thí hiện đại IRT và mô hình QUEST
Bên cạnh các phương pháp cổ điển, luận văn đã tiên phong áp dụng lý thuyết khảo thí hiện đại (IRT) thông qua phần mềm QUEST. Mô hình này không chỉ phân tích độ khó, độ phân biệt mà còn đánh giá mức độ phù hợp (infit mean square) của từng câu hỏi với toàn thang đo. Phân tích trên mô hình QUEST (Bảng 3.5) cho phép xác định các câu hỏi không tương thích, dù có độ khó hợp lý. Việc này cung cấp bằng chứng khoa học mạnh mẽ để tinh lọc ngân hàng câu hỏi trắc nghiệm, đảm bảo mỗi câu hỏi đều đóng góp hiệu quả vào mục tiêu đo lường chung của bài thi.
IV. Cách xác định các yếu tố ảnh hưởng đến đề thi trắc nghiệm
Để tìm ra nguyên nhân gốc rễ của chất lượng đề thi không đồng đều, nghiên cứu đã xây dựng một phương pháp tiếp cận đa chiều. Không chỉ phân tích kết quả thi, luận văn còn tập trung vào chính người ra đề thông qua một quy trình ra đề thi khách quan và có hệ thống. Tác giả đã đề xuất một mô hình gồm 5 nhóm yếu tố giả thuyết có ảnh hưởng đến người ra đề: (1) Thời gian đầu tư, (2) Động cơ thực hiện, (3) Mức độ được trang bị kỹ thuật, (4) Sự quan tâm của nhà trường, và (5) Tính chất các nhóm môn học. Dựa trên mô hình này, một phiếu khảo sát ý kiến chuyên gia (cụ thể là 50 giảng viên trực tiếp ra đề) đã được thiết kế. Phiếu khảo sát sử dụng thang đo Likert 5 mức độ để lượng hóa các nhận định, cho phép thu thập dữ liệu một cách có hệ thống. Dữ liệu từ phiếu hỏi sau đó được xử lý bằng phần mềm thống kê, kết hợp với dữ liệu về chất lượng của 50 bộ đề thi tương ứng. Cách tiếp cận này giúp xác định mối tương quan thực tế giữa các yếu tố giả thuyết và chất lượng bộ đề, từ đó đưa ra kết luận mang tính khoa học và thực tiễn cao.
4.1. Xây dựng mô hình 5 nhóm yếu tố giả thuyết tác động
Mô hình nghiên cứu được xây dựng dựa trên cả cơ sở lý luận và kinh nghiệm thực tiễn. Năm nhóm yếu tố được xác định bao gồm: Thời gian đầu tư (quỹ thời gian dành cho việc biên soạn); Động cơ của người thực hiện (sự hứng thú hay chỉ là hoàn thành nhiệm vụ); Năng lực của giảng viên (mức độ nắm vững kỹ thuật ra đề); Sự quan tâm của nhà trường (chính sách khuyến khích, hỗ trợ); và Tính chất môn học (sự phù hợp của môn học với hình thức thi TNKQ). Mô hình này đóng vai trò kim chỉ nam cho toàn bộ quá trình khảo sát và phân tích, giúp hệ thống hóa các biến số phức tạp ảnh hưởng đến chất lượng đề thi.
4.2. Thiết kế và triển khai phiếu khảo sát ý kiến giảng viên
Để kiểm định mô hình, một phiếu khảo sát ý kiến chuyên gia được thiết kế với 30 item, phân bổ vào 5 nhóm yếu tố. Các item được xây dựng dưới dạng phát biểu thuận chiều và nghịch chiều để đảm bảo tính khách quan. Ví dụ, item "Tôi thiết kế đề thi TNKQ chủ yếu dựa trên kinh nghiệm cá nhân" giúp đánh giá mức độ phụ thuộc vào kinh nghiệm chủ quan, trong khi item "Bộ đề thi TNKQ dùng để đánh giá SV được thiết kế theo ma trận kiến thức" kiểm tra việc áp dụng quy trình khoa học. Việc lượng hóa các câu trả lời cho phép sử dụng các phương pháp thống kê để phân tích và tìm ra các yếu tố có ảnh hưởng lớn nhất.
V. Kết quả phân tích các yếu tố ảnh hưởng đến đề thi tại ĐHTN
Kết quả phân tích từ luận văn mang lại những phát hiện quan trọng về thực trạng xây dựng đề thi tại Khoa CNTT - ĐHTN. Dữ liệu từ việc phân tích 50 bộ đề thi cho thấy một sự không đồng đều rõ rệt về chất lượng. Cụ thể, hệ số tin cậy Cronbach’s Alpha dao động từ mức thấp đến mức chấp nhận được, cho thấy nhiều bài thi chưa đảm bảo tính nhất quán trong đo lường. Phân tích item bằng phần mềm QUEST cũng chỉ ra nhiều câu hỏi có độ khó không phù hợp hoặc không tương thích với thang đo chung. Khi đối chiếu những kết quả này với dữ liệu từ phiếu khảo sát giảng viên, nghiên cứu đã làm sáng tỏ mối tương quan giữa các yếu tố và chất lượng đề thi. Kết quả cho thấy yếu tố "Mức độ nắm vững kỹ thuật ra đề TNKQ của giảng viên" có trọng số và ảnh hưởng lớn nhất. Điều này khẳng định rằng, năng lực của giảng viên trong lĩnh vực khảo thí là nhân tố quyết định. Các yếu tố khác như thời gian đầu tư và sự quan tâm của nhà trường cũng có tác động, nhưng không mạnh mẽ bằng yếu tố năng lực chuyên môn về đo lường trong giáo dục.
5.1. Phân tích thực tế chất lượng 50 bộ đề thi tại Khoa CNTT
Dữ liệu thực nghiệm từ 50 bộ đề thi là bằng chứng xác thực nhất về chất lượng. Bảng 3.3 trong luận văn cho thấy hệ số tin cậy Alpha của một số đề chỉ đạt khoảng 0.7, mức cận dưới của ngưỡng chấp nhận được. Tương tự, phân tích trên QUEST (Bảng 3.4 và 3.5) đã xác định cụ thể các item cần loại bỏ hoặc chỉnh sửa do độ khó quá thấp hoặc nằm ngoài khoảng "infit mean square". Những con số này không chỉ là số liệu thống kê mà còn phản ánh trực tiếp trải nghiệm của sinh viên khi làm bài, cũng như tính chính xác của việc kiểm tra đánh giá kết quả học tập.
5.2. Mối tương quan giữa năng lực giảng viên và chất lượng đề thi
Nghiên cứu đã chỉ ra mối tương quan chặt chẽ giữa chất lượng đề thi và các câu trả lời trong phiếu khảo sát, đặc biệt là các item thuộc nhóm "Mức độ nắm vững kỹ thuật". Những giảng viên cho biết họ đã xây dựng đề thi theo ma trận kiến thức đề thi, thường xuyên phân tích phương án nhiễu, và hiểu về các chỉ số đo lường có xu hướng tạo ra các bộ đề với độ tin cậy và độ giá trị cao hơn. Ngược lại, những người thừa nhận còn yếu về kỹ thuật, chưa nắm được lý thuyết IRT hay cách phân tích item thường tạo ra các bộ đề kém chất lượng. Điều này là minh chứng rõ ràng cho vai trò trung tâm của năng lực của giảng viên.
VI. Hướng đi mới nâng cao chất lượng ngân hàng câu hỏi trắc nghiệm
Từ những kết quả phân tích sâu sắc, luận văn không chỉ dừng lại ở việc chỉ ra các yếu tố ảnh hưởng mà còn đề xuất những giải pháp thiết thực nhằm cải thiện chất lượng xây dựng đề thi. Hướng đi cốt lõi là chuẩn hóa toàn bộ quy trình ra đề thi khách quan, chuyển từ cách làm tự phát, dựa trên kinh nghiệm sang một quy trình khoa học, có sự kiểm soát chặt chẽ. Giải pháp trọng tâm là nâng cao năng lực của giảng viên thông qua các chương trình tập huấn, bồi dưỡng chuyên sâu về kỹ thuật khảo thí. Giảng viên cần được trang bị kiến thức về cách xây dựng ma trận kiến thức đề thi bám sát chuẩn đầu ra môn học, kỹ thuật viết câu hỏi, phân tích item và sử dụng các phần mềm chuyên dụng. Bên cạnh đó, việc xây dựng và phát triển một ngân hàng câu hỏi trắc nghiệm dùng chung, được thẩm định và cập nhật thường xuyên là yêu cầu cấp thiết. Ngân hàng câu hỏi này cần được quản lý một cách khoa học, phân loại câu hỏi theo nội dung, mức độ khó, và các chỉ số chất lượng khác. Đây là nền tảng để tạo ra các đề thi đồng đều về chất lượng, đảm bảo công bằng cho người học và góp phần nâng cao hiệu quả đảm bảo chất lượng giáo dục đại học.
6.1. Giải pháp chuẩn hóa quy trình ra đề thi khách quan
Để nâng cao chất lượng, cần thiết lập một quy trình chuẩn gồm các bước: (1) Xác định mục tiêu đánh giá dựa trên chuẩn đầu ra môn học; (2) Xây dựng ma trận kiến thức đề thi chi tiết; (3) Biên soạn câu hỏi thô theo ma trận; (4) Tổ chức thẩm định, phản biện chéo giữa các giảng viên trong bộ môn; (5) Thử nghiệm đề thi trên một nhóm nhỏ; (6) Phân tích kết quả thử nghiệm để tinh lọc câu hỏi và đưa vào ngân hàng câu hỏi trắc nghiệm. Quy trình này đảm bảo tính khoa học, khách quan và giảm thiểu sai sót do yếu tố cá nhân.
6.2. Nâng cao năng lực khảo thí cho đội ngũ giảng viên
Con người là yếu tố quyết định. Nhà trường cần tổ chức các khóa tập huấn thường xuyên về đo lường trong giáo dục, kỹ thuật phân tích item sử dụng SPSS hoặc QUEST, và ứng dụng lý thuyết khảo thí hiện đại (IRT). Cần có chính sách khuyến khích giảng viên tự nghiên cứu, học hỏi và áp dụng các phương pháp mới trong công tác kiểm tra đánh giá. Việc hình thành một cộng đồng chuyên môn về khảo thí trong khoa và trường sẽ là môi trường tốt để các giảng viên trao đổi kinh nghiệm, cùng nhau nâng cao chất lượng công việc, qua đó trực tiếp cải thiện chất lượng các bộ đề thi.
