Tổng quan nghiên cứu

Theo thống kê từ Trung tâm Ngoại ngữ và Tin học thuộc Học viện An ninh nhân dân, có tới 45% sinh viên và học viên chưa đạt chuẩn đầu ra năng lực tiếng Anh Bậc 3 theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam trong các kỳ đánh giá định kỳ. Thực trạng này đặt ra thách thức lớn trong bối cảnh Quyết định số 1400/QĐ-TTg ngày 30 tháng 9 năm 2008 của Thủ tướng Chính phủ về Đề án Dạy và học ngoại ngữ trong hệ thống giáo dục quốc dân giai đoạn 2008 - 2020 yêu cầu đổi mới căn bản, toàn diện chất lượng đào tạo ngoại ngữ. Đồng thời, theo quy chế đào tạo tín chỉ tại Quyết định số 43/2007/QĐ-BGDĐT của Bộ Giáo dục và Đào tạo, sinh viên phải tự học tới 90 tiết cho mỗi học phần tiếng Anh 3 tín chỉ nhưng lại thiếu nghiêm trọng nguồn học liệu trắc nghiệm được chuẩn hóa khoa học để tự ôn luyện.

Vấn đề nghiên cứu trọng tâm của luận văn là giải quyết sự thiếu hụt các công cụ đo lường đánh giá đạt chuẩn khoa học đối với kỹ năng đọc hiểu tiếng Anh trình độ B1. Mục tiêu cụ thể của đề tài là xây dựng và chuẩn hóa ngân hàng gồm 180 câu hỏi trắc nghiệm khách quan 4 lựa chọn, bám sát các yêu cầu đặc tả của Thông tư số 01/2014/TT-BGDĐT về Khung năng lực ngoại ngữ Việt Nam và Thông tư số 05/2012/TT-BGDĐT về định dạng đề thi B1. Phạm vi nghiên cứu được triển khai tại Học viện An ninh nhân dân trong giai đoạn 2016 - 2017, tập trung vào đối tượng học viên cao học và sinh viên hệ liên thông phải hoàn thành chuẩn đầu ra ngoại ngữ. Công trình có ý nghĩa thực tiễn to lớn khi cung cấp bộ đề kiểm tra có độ tin cậy vượt ngưỡng 0.80, tạo tiền đề giảm tỷ lệ trượt chuẩn đầu ra từ 45% xuống dưới mức 15% và đóng góp trực tiếp vào ngân hàng dữ liệu khảo thí của nhà trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn vận dụng hệ thống lý thuyết đo lường giáo dục hiện đại, kết hợp chặt chẽ giữa Thuyết khảo thí cổ điển và Thuyết ứng đáp câu hỏi, trọng tâm là Mô hình Rasch một tham số. Mô hình này thiết lập hàm xác suất toán học mô tả mối quan hệ giữa năng lực của thí sinh và độ khó của câu hỏi trên cùng một thước đo logit, đảm bảo xác suất trả lời đúng đạt 50% khi mức năng lực tương đương với độ khó câu hỏi. Bên cạnh đó, đề tài tích hợp mô hình năng lực ngôn ngữ giao tiếp của Bachman năm 1990, phân tách năng lực ngôn ngữ thành năng lực tổ chức gồm ngữ pháp, cấu trúc văn bản và năng lực ngữ dụng gồm ngụ ý, ngôn ngữ xã hội.

Các khái niệm đo lường then chốt được chuẩn hóa bao gồm:

  • Độ khó câu hỏi: Giá trị p biểu thị tỷ lệ thí sinh trả lời đúng, được kiểm soát trong khoảng tối ưu từ 0.40 đến 0.80.
  • Độ phân biệt: Đo lường mức chênh lệch kết quả giữa 27% nhóm thí sinh điểm cao nhất và 27% nhóm thí sinh điểm thấp nhất, yêu cầu chỉ số đạt từ 0.30 trở lên theo chuẩn Ebel.
  • Hệ số tương quan điểm nhị phân: Phản ánh mối liên hệ giữa điểm từng câu hỏi và tổng điểm bài thi, duy trì giá trị dương từ 0.20 đến 0.60.
  • Độ tin cậy của đề thi: Đánh giá tính nhất quán nội tại thông qua hệ số Cronbach Alpha với chuẩn chấp nhận từ 0.70 trở lên.
  • Thang phân loại tư duy của Bloom: Hệ thống hóa 6 mức độ nhận thức từ Nhận biết, Thông hiểu đến Vận dụng, Phân tích, Tổng hợp và Đánh giá, định hình cấu trúc ma trận đề thi.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp chọn mẫu thuận tiện có chủ đích với cỡ mẫu gồm 324 lượt thí sinh là học viên cao học và sinh viên liên thông tại Học viện An ninh nhân dân tham gia làm bài thi thử nghiệm qua 2 đợt. Cỡ mẫu này đảm bảo tính đại diện cao cho đối tượng người học đặc thù trong lực lượng vũ trang và đáp ứng các yêu cầu về độ ổn định tham số trong mô hình đo lường.

Lý do lựa chọn phương pháp phân tích kết hợp giữa phần mềm SPSS và phần mềm chuyên dụng Quest là nhằm tận dụng thế mạnh thống kê mô tả cổ điển của SPSS và khả năng định cỡ khách quan của Quest theo mô hình Rasch. Phân tích Rasch cho phép đánh giá độ tương thích của từng câu hỏi độc lập với mẫu khảo sát cụ thể, kiểm soát chỉ số Infit MNSQ và Outfit MNSQ trong giới hạn chuẩn từ 0.77 đến 1.30.

Tiến trình nghiên cứu được triển khai xuyên suốt từ năm 2016 đến năm 2017 qua quy trình 5 giai đoạn nghiêm ngặt:

  1. Giai đoạn 1: Nghiên cứu mục tiêu, khảo sát chương trình và tìm kiếm nguồn ngữ liệu từ các giáo trình Cambridge PET và báo chí học thuật quốc tế.
  2. Giai đoạn 2: Biên soạn văn bản đọc hiểu và thiết kế câu hỏi trắc nghiệm theo ma trận kỹ năng.
  3. Giai đoạn 3: Lấy ý kiến phản biện chuyên gia từ đội ngũ giảng viên tiếng Anh giàu kinh nghiệm.
  4. Giai đoạn 4: Tổ chức 2 đợt thi thử nghiệm thực địa và tiến hành phân tích thông số kỹ thuật.
  5. Giai đoạn 5: Hiệu chỉnh các câu hỏi lỗi, hoàn thiện và lưu trữ 180 câu hỏi đạt chuẩn vào ngân hàng đề.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Phân tích định lượng trên 324 câu hỏi và lượt thi thử nghiệm qua hai vòng đánh giá đã mang lại những kết quả nổi bật:

Thứ nhất, phân bố độ khó của bộ câu hỏi đạt chuẩn rất cao. Sau vòng hiệu chỉnh thứ hai, khoảng 85% số câu hỏi có giá trị độ khó dao động trong khoảng lý tưởng từ 0.42 đến 0.78. Chỉ có khoảng 12% số câu quá khó với giá trị dưới 0.35 hoặc quá dễ với giá trị trên 0.85 trong đợt 1 được phát hiện kịp thời để viết lại hoặc thay thế hoàn toàn.

Thứ hai, độ phân biệt của các câu hỏi thi thể hiện sự vượt trội. Sau khi sàng lọc, hơn 78.5% số câu hỏi đạt chỉ số phân biệt D từ 0.30 trở lên, trong đó có 42% số câu đạt mức phân biệt rất tốt trên 0.40. Hệ số tương quan điểm nhị phân của các đáp án đúng đều đạt giá trị dương ổn định từ 0.25 đến 0.58, trong khi các phương án sai đều mang giá trị âm, chứng minh năng lực phân loại học viên chính xác.

Thứ ba, chất lượng các phương án gây nhiễu được tối ưu hóa rõ rệt. Đợt thử nghiệm thứ nhất phát hiện 26 phương án sai kém hấp dẫn khi tỷ lệ thí sinh lựa chọn dưới 5%. Sau khi được tái cấu trúc dựa trên phân tích lỗi sai ngữ pháp và ngữ nghĩa thực tế của sinh viên, xác suất lựa chọn giữa các phương án nhiễu ở đợt hai đã cân bằng, duy trì xác suất may rủi tự nhiên ở mức chuẩn 25% cho dạng câu hỏi 4 lựa chọn.

Thứ tư, độ tin cậy của đề thi hoàn chỉnh đạt hệ số Cronbach Alpha là 0.84, vượt xa ngưỡng chuẩn thông thường là 0.70. Tất cả các câu hỏi trong đề thi chính thức đều có chỉ số tương thích Infit MNSQ và Outfit MNSQ nằm trong dải an toàn từ 0.82 đến 1.21.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp bộ câu hỏi đạt được các chỉ số đo lường xuất sắc là việc tuân thủ ma trận đặc tả nhận thức theo thang đo Bloom và bảng mô tả kỹ năng đọc hiểu Bậc 3 của Khung năng lực ngoại ngữ Việt Nam. Việc kiểm soát độ dài bài đọc từ 200 đến 350 từ kết hợp loại bỏ các yếu tố biệt ngữ chuyên ngành quá sâu đã giúp tập trung đo lường chính xác các kỹ năng đọc lướt lấy ý chính, đọc quét tìm chi tiết và suy luận ngữ cảnh.

Dữ liệu nghiên cứu được biểu diễn trực quan thông qua bản đồ phân bố năng lực thí sinh và độ khó câu hỏi Wright Map xuất ra từ phần mềm Quest. Sơ đồ này cho thấy sự tương thích hoàn hảo giữa đường cong phân bố năng lực của học viên Học viện An ninh và các mức độ khó của 4 phần thi đọc hiểu. Biểu đồ cột thể hiện độ phân biệt và bảng thống kê tần suất lựa chọn phương án sai đã chỉ ra chính xác những điểm nghẽn nhận thức của nhóm học viên yếu kém.

So sánh với các nghiên cứu khảo thí quốc tế của Hiệp hội các đơn vị khảo thí châu Âu ALTE và nghiên cứu của Green cùng Hawkey năm 2007 về quy trình thiết kế bài thi đọc hiểu học thuật, kết quả của luận văn hoàn toàn tương đồng về mặt phương pháp luận. Nghiên cứu đã chứng minh rằng việc áp dụng mô hình Rasch vào xây dựng câu hỏi trắc nghiệm tiếng Anh tại Việt Nam hoàn toàn khả thi và mang lại độ chuẩn xác cao hơn nhiều so với việc chỉ dựa vào kinh nghiệm cảm tính của người ra đề.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực chứng, luận văn đưa ra 4 nhóm khuyến nghị hành động cụ thể nhằm nâng cao chất lượng đánh giá ngoại ngữ:

  1. Tích hợp ngân hàng 180 câu hỏi chuẩn hóa vào quy trình thi cấp chứng chỉ và kiểm tra định kỳ tại Học viện An ninh nhân dân. Mục tiêu nâng tỷ lệ đạt chuẩn B1 của học viên từ 55% lên mức 85% trong thời gian 12 tháng. Chủ thể chịu trách nhiệm thực hiện là Phòng Khảo thí và Đảm bảo chất lượng đào tạo phối hợp cùng Trung tâm Ngoại ngữ và Tin học.
  2. Xây dựng phần mềm quản lý và tạo đề thi trắc nghiệm khách quan tự động trên nền tảng máy tính trong quý IV năm 2017. Hệ thống cần tích hợp thuật toán cân bằng độ khó theo mô hình Rasch, phục vụ cho 100% sinh viên tự luyện tập trong 90 giờ tự học bắt buộc của mỗi học phần.
  3. Tổ chức tối thiểu 4 khóa tập huấn chuyên sâu trong vòng 6 tháng về kỹ thuật biên soạn câu hỏi trắc nghiệm và ứng dụng phần mềm SPSS, Quest cho toàn bộ giảng viên giảng dạy tiếng Anh. Ban Giám đốc Học viện cần chủ trì phê duyệt kế hoạch bồi dưỡng năng lực khảo thí này.
  4. Thiết lập quy trình tái định cỡ và làm mới ngân hàng câu hỏi định kỳ 2 năm một lần. Mỗi chu kỳ cần rà soát, loại bỏ tối thiểu 10% các câu hỏi có chỉ số phân biệt suy giảm và bổ sung các bài đọc cập nhật nhằm duy trì độ tin cậy của toàn hệ thống luôn trên mức 0.80.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị thực tiễn và học thuật cao, là tài liệu tham khảo thiết thực cho 4 nhóm đối tượng:

  1. Giảng viên tiếng Anh tại các học viện, trường đại học: Vận dụng trực tiếp quy trình 5 bước biên soạn câu hỏi đọc hiểu và sử dụng 180 câu trắc nghiệm mẫu để thiết kế các bài kiểm tra tiến độ, kiểm tra chẩn đoán trên lớp học.
  2. Cán bộ quản lý khảo thí và đảm bảo chất lượng giáo dục: Nắm vững phương pháp chuẩn hóa đề thi theo mô hình Rasch và Thuyết khảo thí cổ điển để xây dựng, quản lý ngân hàng câu hỏi thi cấp chứng chỉ chuẩn đầu ra cho đơn vị mình.
  3. Học viên cao học và nhà nghiên cứu chuyên ngành Đo lường và Đánh giá trong giáo dục: Khai thác phương pháp xử lý số liệu định lượng chi tiết qua phần mềm Quest và SPSS như một nghiên cứu tình huống điển hình về kiểm định công cụ đo lường ngôn ngữ.
  4. Học viên, sinh viên chuẩn bị thi chứng chỉ tiếng Anh Bậc 3: Sử dụng các văn bản đọc hiểu chuẩn hóa và hệ thống câu hỏi mẫu để nắm vững cấu trúc đề thi thực tế, phân bổ thời gian làm bài hợp lý và tự đánh giá năng lực bản thân.

Câu hỏi thường gặp

Tại sao nghiên cứu lại chọn định dạng trắc nghiệm 4 lựa chọn mà không dùng dạng câu hỏi Đúng - Sai hay điền khuyết? Định dạng 4 lựa chọn giúp giảm xác suất đoán mò tự nhiên xuống mức 25%, thấp hơn nhiều so với mức 50% của câu hỏi Đúng - Sai. Hình thức này có độ giá trị cao, đo lường được nhiều mức độ tư duy phức tạp của thang Bloom và hoàn toàn tương thích với quy định định dạng đề thi B1 tại Thông tư số 05/2012/TT-BGDĐT.

Mô hình Rasch mang lại ưu điểm vượt trội gì so với phương pháp tính điểm truyền thống? Mô hình Rasch đặt năng lực người học và độ khó câu hỏi trên cùng một thước đo logit khách quan, không phụ thuộc vào mẫu thí sinh cụ thể. Phương pháp này cung cấp các chỉ số kiểm soát chất lượng nghiêm ngặt như Infit và Outfit MNSQ trong khoảng từ 0.77 đến 1.30, giúp loại bỏ các câu hỏi có sai số đo lường lớn.

Làm thế nào để xử lý các phương án gây nhiễu không hiệu quả trong đề thi? Dựa trên phân tích tần số lựa chọn từ phần mềm, những phương án có tỷ lệ chọn dưới 5% hoặc mang hệ số tương quan điểm dương sẽ bị hủy bỏ. Tác giả tiến hành biên tập lại các câu nhiễu bằng cách đưa vào những lỗi tư duy ngữ pháp phổ biến, giúp tăng tính logic và sức hấp dẫn đối với nhóm thí sinh có năng lực trung bình.

Bộ câu hỏi này có thể mở rộng sử dụng cho các cơ sở giáo dục ngoài ngành Công an không? Bộ câu hỏi hoàn toàn có thể áp dụng rộng rãi cho mọi trường đại học trên toàn quốc. Toàn bộ ngữ liệu đọc hiểu được tinh lọc từ các chủ đề đời sống, khoa học thường thức, giáo dục đại chúng và tuân thủ chặt chẽ bảng mô tả chuẩn Bậc 3 của Khung năng lực ngoại ngữ Việt Nam, không chứa nội dung biệt ngữ ngành hẹp.

Tiêu chí quan trọng nhất để một câu hỏi trắc nghiệm được chấp nhận lưu trữ vào ngân hàng là gì? Câu hỏi đạt chuẩn bắt buộc phải thỏa mãn đồng thời 3 tiêu chí kỹ thuật: Độ khó p nằm trong khoảng từ 0.40 đến 0.80, độ phân biệt D đạt từ 0.30 trở lên với hệ số tương quan điểm nhị phân dương, và chỉ số tương thích mô hình Rasch Infit MNSQ nằm trong giới hạn từ 0.80 đến 1.25.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở lý luận về đo lường giáo dục hiện đại, kết hợp nhuần nhuyễn giữa Thuyết ứng đáp câu hỏi, thang nhận thức Bloom và khung chuẩn năng lực ngoại ngữ 6 bậc.
  • Xây dựng thành công ngân hàng 180 câu hỏi trắc nghiệm khách quan kỹ năng đọc hiểu tiếng Anh Bậc 3 đạt độ tin cậy cao 0.84 và các chỉ số thống kê chuẩn hóa tối ưu.
  • Đưa ra quy trình 5 bước nghiêm ngặt từ khâu chọn văn bản, viết câu hỏi, tham vấn chuyên gia đến thực nghiệm phân tích bằng phần mềm chuyên dụng Quest và SPSS.
  • Giải quyết bài toán cấp bách về tỷ lệ 45% sinh viên chưa đạt chuẩn ngoại ngữ tại Học viện An ninh nhân dân, cung cấp công cụ tự học và tự đánh giá hiệu quả.
  • Đề xuất lộ trình 4 giải pháp ứng dụng công nghệ và đào tạo đội ngũ khảo thí đồng bộ trong giai đoạn tiếp theo.

Công trình của tác giả Nguyễn Thị Bắc là đóng góp học thuật quan trọng, giải quyết triệt để khoảng trống về công cụ khảo thí ngoại ngữ chuẩn hóa trong giáo dục đại học. Để nâng cao chất lượng giảng dạy và tối ưu hóa quy trình kiểm tra đánh giá, các cơ sở đào tạo và quý thầy cô hãy tham khảo, áp dụng ngay mô hình nghiên cứu này vào thực tiễn.