Tổng quan nghiên cứu

Đổi mới kiểm tra đánh giá ngoại ngữ là một trong những nhiệm vụ trọng tâm được quy định tại Quyết định số 1400/QĐ-TTg của Thủ tướng Chính phủ về Đề án dạy và học ngoại ngữ giai đoạn 2008–2020. Trong mô hình đào tạo theo học chế tín chỉ theo Quyết định số 43/2007/QĐ-BGDĐT, việc tự học của sinh viên giữ vai trò then chốt nhưng hiệu quả thực tế còn nhiều hạn chế. Số liệu thống kê sơ bộ tại Học viện An ninh nhân dân ghi nhận tỷ lệ học viên chưa đạt chuẩn đầu ra tiếng Anh Bậc 3 theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam lên tới khoảng 45%. Thực trạng này gây áp lực tâm lý nặng nề cho sinh viên khi phải tham gia học lại và thi lại nhiều lần trong điều kiện quỹ thời gian hạn hẹp do phải thực hiện các nghĩa vụ rèn luyện đặc thù.

Nguyên nhân cốt lõi xuất phát từ việc thiếu hụt nguồn tài liệu ôn tập chuẩn hóa và các công cụ đo lường đánh giá khách quan tương thích với Thông tư số 01/2014/TT-BGDĐT và Thông tư số 05/2012/TT-BGDĐT. Để giải quyết khoảng trống học thuật và thực tiễn này, nghiên cứu tập trung xây dựng bộ công cụ gồm 180 câu hỏi trắc nghiệm khách quan 4 lựa chọn đo lường kỹ năng đọc hiểu tiếng Anh cấp độ 3. Đề tài được triển khai thực nghiệm trên các nhóm đối tượng học viên cao học và hệ liên thông tại Học viện An ninh nhân dân trong giai đoạn 2016–2017. Kết quả nghiên cứu cung cấp cơ sở khoa học để thiết kế ngân hàng đề thi có độ tin cậy vượt ngưỡng 0.80, góp phần tối ưu hóa 90 giờ tự học mỗi học phần và hỗ trợ đắc lực công tác bảo đảm chất lượng giáo dục trong toàn học viện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng tích hợp giữa lý thuyết khảo thí hiện đại và mô hình năng lực ngôn ngữ ứng dụng. Trọng tâm của khung lý thuyết là Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT), cụ thể là mô hình Rasch một tham số (1PL). Khác với lý thuyết khảo thí cổ điển (CTT), mô hình Rasch cho phép phân tách độc lập năng lực của thí sinh ($\beta$) và độ khó của câu hỏi ($\delta$) trên cùng một thang đo logit, từ đó loại bỏ các sai số phụ thuộc vào mẫu thử nghiệm.

Bên cạnh đó, đề tài vận dụng thang phân loại mục tiêu giáo dục của Benjamin S. Bloom với 6 mức độ nhận thức (Nhận biết, Thông hiểu, Vận dụng, Phân tích, Tổng hợp, Đánh giá) kết hợp cùng mô hình năng lực ngôn ngữ của Lyle Bachman (1990). Khung lý thuyết này phân định rõ năng lực ngôn ngữ gồm năng lực tổ chức (ngữ pháp, văn bản) và năng lực ngữ dụng (hành vi ngôn ngữ, văn hóa xã hội). Trong bối cảnh bài thi đọc hiểu trắc nghiệm khách quan 4 phương án (Multiple Choice Questions - MCQ), xác suất đoán mò ngẫu nhiên được kiểm soát ở mức 25%. Các khái niệm đo lường cốt lõi được áp dụng xuyên suốt bao gồm: độ khó lý tưởng của câu hỏi ($p$-value dao động từ 0.40 đến 0.80 theo Osterlind), độ phân biệt ($D \ge 0.30$ theo tiêu chuẩn của Robert Ebel), hệ số tương quan điểm câu hỏi với tổng điểm bài thi (Point-Biserial từ 0.20 đến 0.75) và độ tin cậy tính nhất quán nội tại ($\alpha \ge 0.70$).

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp chọn mẫu thuận tiện kết hợp phân tầng trên tập hợp học viên cao học và sinh viên liên thông tại Học viện An ninh nhân dân, những đối tượng bắt buộc phải đạt chuẩn Bậc 3 (tương đương B1 theo Khung tham chiếu Châu Âu - CEFR). Mẫu thực nghiệm ban đầu được triển khai trên 324 câu hỏi thi thử nghiệm, tương ứng với chương trình tiếng Anh B1 chuẩn hóa gồm 2 học phần (tổng cộng 6 tín chỉ, phân bổ 15 tiết lý thuyết, 58 tiết thực hành và 90 giờ tự học cho mỗi học phần).

Dữ liệu được xử lý thông qua hai công cụ bổ trợ nhau: phần mềm SPSS 20.0 để thực hiện thống kê mô tả tần suất, độ lệch chuẩn và phần mềm chuyên dụng Quest để ước lượng các tham số Rasch. Việc lựa chọn mô hình Rasch thông qua phần mềm Quest giúp kiểm soát độ phù hợp Infit/Outfit MNSQ của từng câu hỏi trong phạm vi chấp nhận từ 0.77 đến 1.30. Toàn bộ tiến trình nghiên cứu diễn ra theo quy trình 5 giai đoạn nghiêm ngặt: (1) Nghiên cứu mục tiêu chuẩn đầu ra và nguồn văn bản học thuật từ Cambridge PET, báo chí chuyên ngành; (2) Thiết kế và biên soạn câu hỏi theo ma trận nhận thức Bloom; (3) Thẩm định chuyên gia với sự tham gia của các giảng viên bộ môn; (4) Thử nghiệm sư phạm 2 đợt; (5) Hiệu chỉnh, phân tích chỉ số kỹ thuật và lưu trữ 180 câu hỏi đạt chuẩn vào ngân hàng đề thi.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm 324 câu hỏi ban đầu qua phần mềm Quest và SPSS đã cung cấp các bằng chứng định lượng vững chắc về chất lượng đề thi kỹ năng đọc hiểu. Qua 2 đợt thử nghiệm sư phạm, các phát hiện kỹ thuật chính được xác lập rõ ràng:

  • Phân bố độ khó của câu hỏi: Tại vòng thử nghiệm thứ nhất, giá trị độ khó $p$ của 324 câu hỏi dao động từ 0.22 đến 0.88. Sau khi tinh chỉnh và loại bỏ các câu hỏi quá khó ($p < 0.25$) hoặc quá dễ ($p > 0.85$), đợt thử nghiệm thứ hai ghi nhận khoảng 72% số câu hỏi tập trung hoàn hảo trong khoảng độ khó tối ưu từ 0.40 đến 0.80, bảo đảm tính cân bằng cho bài thi chuẩn hóa.
  • Chỉ số phân biệt và tương quan toàn bài: Khoảng 76% số câu hỏi đạt chỉ số phân biệt Ebel $D \ge 0.30$. Hệ số tương quan Point-Biserial của các phương án đúng đạt giá trị dương dao động từ 0.28 đến 0.68, trong khi các phương án sai đều mang giá trị tương quan âm (từ -0.12 đến -0.45), chứng minh tính đơn chiều của biến đo lường.
  • Hiệu quả của các phương án nhiễu: Phân tích tần suất lựa chọn cho thấy khoảng 18% phương án sai ở lần thử nghiệm 1 không thu hút được thí sinh (tỷ lệ chọn dưới 5%) hoặc mang tính đánh lừa quá lộ liễu đã được biên tập lại hoàn toàn, giúp phân bổ xác suất chọn đều hơn giữa các nhóm năng lực.
  • Mức độ tương thích mô hình Rasch: Kiểm định chỉ số Infit MNSQ và Outfit MNSQ cho thấy 180 câu hỏi chính thức đều nằm trong dải tin cậy từ 0.82 đến 1.24, đạt độ tin cậy kiểm tra (test reliability) ở mức 0.84.

Thảo luận kết quả

Kết quả phân tích cho thấy việc chuẩn hóa câu hỏi trắc nghiệm khách quan kỹ năng đọc hiểu giúp phân tầng chính xác năng lực người học giữa nhóm điểm cao (27% nhóm trên) và nhóm điểm thấp (27% nhóm dưới). Khi đối chiếu với các phát hiện của Anthony Green và Roger Hawkey (2007) trong việc phát triển đề thi IELTS Reading, nghiên cứu tái khẳng định rằng chất lượng bài thi đọc phụ thuộc mật thiết vào việc tinh giản văn bản gốc và xây dựng các phương án nhiễu có tính liên hệ logic chặt chẽ với chủ đề.

Trong thực tế phân tích dữ liệu khảo thí, mối quan hệ tương tác giữa năng lực thí sinh và độ khó câu hỏi được trực quan hóa sinh động thông qua Bản đồ biến số Rasch (Item-Person Wright Map) và Biểu đồ đường cong đặc trưng câu hỏi (Item Characteristic Curves - ICC). Các biểu đồ phân bố độ khó qua 4 phần thi (Part 1 đến Part 4) minh chứng rằng cấu trúc đề thi đã bao phủ đầy đủ các mức độ tư duy nhận thức của Bloom, từ nhận biết thông tin chi tiết (chiếm khoảng 30%), đọc hiểu ý chính (chiếm khoảng 40%) đến suy luận logic và xử lý văn bản phức tạp (chiếm khoảng 30%). Việc ứng dụng chuẩn hóa đã chuyển dịch phương thức đánh giá từ cảm tính sang định lượng chính xác, tạo tiền đề nâng cao chất lượng dạy và học ngoại ngữ.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, nghiên cứu đề xuất hệ thống 4 nhóm giải pháp mang tính hành động nhằm nâng cao chất lượng đào tạo và đánh giá chuẩn đầu ra ngoại ngữ:

  • Chuẩn hóa và vận hành ngân hàng câu hỏi thi: Phòng Khảo thí và Đảm bảo chất lượng đào tạo phối hợp với Trung tâm Ngoại ngữ - Tin học đưa bộ 180 câu hỏi đã qua chuẩn hóa vào hệ thống phần mềm quản lý ngân hàng đề thi. Thiết lập quy trình tự động sinh đề thi tương đương độ khó, duy trì hệ số tin cậy toàn bài $\ge 0.85$ trong thời gian 6 tháng tới.
  • Đổi mới tài liệu và phương pháp hỗ trợ tự học: Biên soạn và phát hành sổ tay hướng dẫn tự ôn luyện kỹ năng đọc hiểu B1 dựa trên ngữ liệu của bộ câu hỏi chuẩn hóa, phân bổ chi tiết cho 90 giờ tự học của mỗi học phần. Mục tiêu giảm tỷ lệ học viên không đạt chuẩn đầu ra từ 45% xuống dưới mức 20% sau 2 học kỳ áp dụng.
  • Tổ chức đào tạo nâng cao năng lực khảo thí cho giảng viên: Thực hiện tối thiểu 2 khóa tập huấn chuyên sâu trong năm học về kỹ thuật viết câu hỏi trắc nghiệm MCQ, kỹ thuật thiết kế ma trận đặc tả đề thi và phương pháp phân tích câu hỏi bằng mô hình Rasch cho 100% giảng viên tiếng Anh tại học viện.
  • Định kỳ hiệu chuẩn và làm mới ngữ liệu thi: Thiết lập cơ chế rà soát định kỳ 12 tháng một lần, tiến hành loại bỏ các câu hỏi có dấu hiệu lộ đề và bổ sung mới khoảng 20% đến 25% câu hỏi được thử nghiệm chuẩn hóa theo đúng quy trình 5 bước để duy trì tính cập nhật và bảo mật của ngân hàng đề thi.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thực tiễn cao cho 4 nhóm đối tượng cụ thể:

  • Cán bộ quản lý giáo dục và chuyên viên khảo thí: Cung cấp khung phương pháp luận hoàn chỉnh và quy trình 5 giai đoạn để xây dựng, quản lý và vận hành ngân hàng câu hỏi trắc nghiệm đạt chuẩn quốc gia. Ứng dụng trực tiếp vào việc tổ chức các kỳ thi đánh giá năng lực ngoại ngữ quy mô từ 500 đến hơn 2.000 thí sinh mỗi năm.
  • Giảng viên giảng dạy tiếng Anh tại các trường đại học, học viện: Nắm vững kỹ thuật biên soạn câu hỏi nhiều lựa chọn chuẩn mực, cách thức xử lý phương án nhiễu và xây dựng ma trận bài thi đọc hiểu theo chuẩn Khung năng lực ngoại ngữ 6 bậc. Ứng dụng thiết thực trong thiết kế đề kiểm tra thường xuyên và thi kết thúc học phần 3 tín chỉ.
  • Học viên cao học và sinh viên các hệ đào tạo: Sử dụng luận văn như tài liệu định hướng phương pháp làm bài thi đọc hiểu B1, nắm bắt các bẫy thường gặp trong phương án sai, từ đó nâng cao tỷ lệ thi đạt chứng chỉ ngoại ngữ lên trên 80% ngay trong lần thi đầu tiên.
  • Các nhà nghiên cứu chuyên ngành Đo lường và Đánh giá giáo dục: Tìm thấy mô hình tham chiếu thực nghiệm chuẩn xác về việc ứng dụng mô hình Rasch và phần mềm Quest để định cỡ câu hỏi trắc nghiệm trong bối cảnh giáo dục Việt Nam.

Câu hỏi thường gặp

Mô hình Rasch mang lại ưu thế gì vượt trội so với lý thuyết khảo thí cổ điển trong việc xây dựng đề thi?

Mô hình Rasch cho phép tách biệt độc lập tham số độ khó của câu hỏi và năng lực của thí sinh trên cùng thước đo logit. Điều này giúp các giá trị độ khó $p$ và độ phân biệt $D$ không bị biến thiên cục bộ theo mẫu khảo sát, bảo đảm tính khách quan tuyệt đối cho ngân hàng 180 câu hỏi thi chuẩn hóa.

Cấu trúc một đề thi đọc hiểu tiếng Anh cấp độ 3 chuẩn hóa được phân bổ như thế nào?

Đề thi gồm 4 phần (Part 1 đến Part 4) với các văn bản học thuật và giao tiếp thực tế. Đề thi bao phủ 4 mức nhận thức Bloom: 30% nhận biết thông tin chi tiết, 40% thông hiểu ý chính và 30% phân tích, suy luận logic, kiểm soát xác suất đoán mò ở mức 25%.

Làm thế nào để nhận biết và xử lý một phương án sai kém chất lượng trong câu trắc nghiệm?

Phương án sai kém chất lượng là phương án có dưới 5% thí sinh lựa chọn hoặc mang hệ số tương quan Point-Biserial dương lớn. Những phương án này quá lộ liễu hoặc gây hiểu lầm, cần phải được viết lại dựa trên các lỗi sai ngữ pháp, ngữ nghĩa thực tế mà sinh viên thường mắc phải trong quá trình tự học.

Sinh viên cần phân bổ thời gian ra sao để tối ưu hóa 90 giờ tự học mỗi học phần B1?

Sinh viên nên dành khoảng 40 giờ để giải mã cấu trúc bài đọc và trau dồi từ vựng học thuật, 30 giờ thực hành làm đề thi mẫu chuẩn hóa và 20 giờ phân tích các bẫy trong phương án nhiễu. Phương pháp này giúp củng cố năng lực đọc hiểu văn bản, nâng tỷ lệ đạt chuẩn đầu ra vượt mức 80%.

Bộ 180 câu hỏi chuẩn hóa trong luận văn có thể áp dụng rộng rãi cho các đơn vị đào tạo khác không?

Bộ câu hỏi được xây dựng hoàn toàn dựa trên bảng đặc tả kỹ năng Đọc hiểu Bậc 3 của Khung năng lực ngoại ngữ 6 bậc Việt Nam. Do đó, các trường đại học, học viện trên toàn quốc có cùng chuẩn đầu ra B1 đều có thể ứng dụng trực tiếp để tổ chức kiểm tra, đánh giá định kỳ cho người học.

Kết luận

  • Xây dựng thành công bộ công cụ chuẩn hóa gồm 180 câu hỏi trắc nghiệm khách quan 4 lựa chọn đo lường kỹ năng đọc hiểu Bậc 3 theo Khung năng lực ngoại ngữ Việt Nam.
  • Ứng dụng hiệu quả mô hình Rasch và thang nhận thức Bloom, giải quyết triệt để thực trạng 45% sinh viên chưa đạt chuẩn đầu ra tiếng Anh tại cơ sở đào tạo.
  • Cung cấp quy trình 5 bước biên soạn và định cỡ câu hỏi thi khoa học, đạt độ tin cậy kiểm định $\ge 0.84$, loại bỏ triệt để các sai số đo lường chủ quan.
  • Thiết lập nguồn học liệu chuẩn mực, hỗ trợ đắc lực cho việc tối ưu hóa 90 giờ tự học của sinh viên trong chương trình đào tạo theo học chế tín chỉ.
  • Đóng góp nguồn dữ liệu thực nghiệm và tài liệu tham khảo có giá trị cao cho chuyên ngành Đo lường và Đánh giá trong giáo dục tại Việt Nam.

Trong lộ trình 6 đến 12 tháng tiếp theo, các đơn vị đào tạo cần đẩy mạnh tích hợp bộ câu hỏi vào hệ thống khảo thí trực tuyến và tiếp tục mở rộng quy mô ngân hàng đề thi. Các cơ sở giáo dục đại học hãy chủ động áp dụng quy trình chuẩn hóa khảo thí hiện đại này để tối ưu hóa chất lượng đánh giá và bảo đảm chuẩn đầu ra ngoại ngữ thực chất cho người học.