Bối cảnh và vấn đề nghiên cứu
Tại Trường Quốc tế – Đại học Quốc gia Hà Nội (VNU-IS), toàn bộ các chương trình đào tạo cử nhân đều được giảng dạy bằng tiếng Anh, bao gồm cả các chương trình liên kết đào tạo song bằng và các ngành công nghệ dữ liệu mới. Nhằm đảm bảo chất lượng tiếp thu kiến thức chuyên ngành, nhà trường yêu cầu sinh viên phải đạt trình độ tiếng Anh đầu vào tương đương bậc B2 (hoặc sở hữu các chứng chỉ quốc tế hợp lệ như IELTS, TOEFL, TOEIC). Những sinh viên chưa có chứng chỉ tại thời điểm nhập học bắt buộc phải tham gia khóa đào tạo tiếng Anh dự bị (Pre-English course). Khóa học này tổ chức bài kiểm tra năng lực đầu vào (placement test) bao gồm ba kỹ năng Nghe, Đọc, Viết để phân bổ sinh viên vào 5 cấp độ: Foundation, Level 1, Level 2, Level 3 và Level 4. Toàn bộ lộ trình dự bị gồm tối đa 5 đợt học (intakes), kéo dài trong khoảng thời gian tối đa là 10 tháng.
Việc kéo dài thời gian học tiếng Anh dự bị ảnh hưởng trực tiếp đến kế hoạch học tập toàn khóa của sinh viên, làm phát sinh thêm chi phí tài chính và gia tăng áp lực tâm lý, có thể dẫn đến nguy cơ bỏ học. Để hỗ trợ nhà trường trong công tác quản lý đào tạo, đánh giá hiệu quả chương trình và can thiệp kịp thời đối với sinh viên có tốc độ học chậm, đề tài nghiên cứu tập trung giải quyết bài toán: Dự đoán thời gian học tập của sinh viên trong khóa học tiếng Anh dự bị tại VNU-IS (Students’ Learning Time Prediction).
Các câu hỏi và nhiệm vụ nghiên cứu được tác giả xác định cụ thể gồm:
- Những yếu tố nào có mối liên hệ với quá trình học tiếng Anh của sinh viên?
- Các định kiến về nơi sinh, giới tính và ngành học có thực sự liên quan đến năng lực tiếng Anh hay không?
- Những đặc trưng nào trong tập dữ liệu có khả năng đánh giá năng lực và tốc độ học tiếng Anh của sinh viên?
- Nhà trường có thể phân loại năng lực và tốc độ học tập của sinh viên dựa trên các đặc trưng đã cho hay không?
- Đối tượng nghiên cứu: Năng lực tiếng Anh ban đầu, kết quả bài thi kiểm tra trình độ đầu vào, thông tin tuyển sinh, kết quả học tập THPT và thời gian hoàn thành khóa học tiếng Anh dự bị của sinh viên.
- Phạm vi nghiên cứu: Dữ liệu sinh viên khóa tuyển sinh năm 2020 do Phòng Đào tạo Trường Quốc tế – Đại học Quốc gia Hà Nội cung cấp.
Cơ sở lý thuyết và phương pháp
Khóa luận áp dụng quy trình khai phá dữ liệu giáo dục (Educational Data Mining - EDM) tiêu chuẩn, bao gồm các bước: thu thập dữ liệu, tiền xử lý và làm sạch dữ liệu, kỹ thuật đặc trưng (feature engineering), phân tích khám phá dữ liệu (EDA), xây dựng mô hình học máy phân loại có giám sát và đánh giá kết quả.
Kỹ thuật đặc trưng và xử lý dữ liệu
- Làm sạch dữ liệu: Xử lý các giá trị khuyết thiếu (missing values), loại bỏ các bản ghi không phù hợp và chuẩn hóa các lỗi nhập liệu văn bản tiếng Việt không đồng nhất.
- Mã hóa biến phân loại (Categorical Data Encoding): Sử dụng ba kỹ thuật gồm Label Encoder (gán nhãn số tự động), One-Hot Encoder (tạo biến giả nhị phân) và phương thức thay thế có kiểm soát NumPy replace (thiết lập thứ bậc có chủ đích cho các biến thứ tự).
- Trích xuất đặc trưng (Feature Extraction): Sử dụng phương pháp Phân tích thành phần chính (Principal Component Analysis - PCA) với ngưỡng giữ lại 85% phương sai tích lũy, kết hợp chuẩn hóa dữ liệu đầu vào bằng
StandardScaler ($\mu = 0, \sigma = 1$).
Thuật toán học máy
Nghiên cứu thử nghiệm ba mô hình học máy phân loại có giám sát:
- Random Forest (RF): Mô hình học kết hợp dạng bagging, thiết lập tham số độ sâu tối đa
max_depth = 2.
- Support Vector Machine (SVM): Bộ phân loại tìm siêu phẳng phân tách cực đại, sử dụng hàm nhân tuyến tính (linear kernel).
- K-Nearest Neighbors (KNN): Bộ phân loại dựa trên khoảng cách láng giềng gần nhất, thiết lập
k = 3 cho bài toán 3 lớp và k = 5 cho bài toán 5 lớp.
Phương pháp phân chia dữ liệu và chỉ số đánh giá
- Phân chia dữ liệu: Tỷ lệ Train:Test là 80:20. Để xử lý tình trạng mất cân bằng giữa các lớp nhãn đầu ra, tác giả sử dụng phương pháp phân chia phân tầng thủ công (manual stratified split), đảm bảo mỗi tập con đều chứa chính xác 80% dữ liệu huấn luyện và 20% dữ liệu kiểm thử của từng lớp, thực hiện lặp lại trên 5 tập dữ liệu kiểm thử độc lập.
- Chỉ số đánh giá: Độ chính xác tổng thể (Accuracy), điểm cân bằng điều hòa F1-score, độ chuẩn xác (Precision) và độ nhạy (Recall).
- Công cụ triển khai: Ngôn ngữ lập trình Python trên môi trường Google Colab với các thư viện Scikit-learn, Pandas, NumPy, Matplotlib; phần mềm Tableau phục vụ trực quan hóa dữ liệu khám phá (EDA).
Nội dung chính theo từng chương
Chương 1: Problem of Predicting Students’ Learning Time in Pre-English Course
Chương này mô tả bối cảnh đào tạo của Trường Quốc tế – ĐHQGHN, cấu trúc khóa học tiếng Anh dự bị gồm 5 đợt học (tối đa 10 tháng) và đặt vấn đề ứng dụng khai phá dữ liệu trong giáo dục. Tác giả tiếp nhận tập dữ liệu gốc từ Phòng Đào tạo gồm 43 đặc trưng thuộc 5 nhóm thông tin:
- Nhân khẩu học và thông tin cá nhân sinh viên (6 đặc trưng: Ngày sinh, Giới tính, CMND, Ngành học, Số điện thoại, Nơi sinh).
- Thông tin chứng chỉ (7 đặc trưng: Ngày thi, Ngày nộp, Trạng thái chứng chỉ, Loại chứng chỉ nộp, Điểm chứng chỉ, Tình trạng học tập, Ghi chú).
- Thông tin khóa học tiếng Anh dự bị (18 đặc trưng: Điểm Nghe /30, Điểm Đọc /35, Điểm Viết /30; Cấp độ, Lớp học và Điểm số của từng đợt từ Intake 1 đến Intake 5).
- Thông tin tuyển sinh đại học (10 đặc trưng: Mã tổ hợp xét tuyển, Thứ tự nguyện vọng VNU-IS, Tổng điểm xét tuyển, Môn 1, Điểm môn 1, Môn 2, Điểm môn 2, Môn 3, Điểm môn 3, Phương thức trúng tuyển).
- Kết quả học tập THPT (3 đặc trưng: Hạnh kiểm, Học lực, Điểm trung bình lớp 12).
Chương 2: Feature Engineering Methods and Machine Learning Models
Chương 2 hệ thống hóa cơ sở lý thuyết về 4 giai đoạn của kỹ thuật đặc trưng: làm sạch dữ liệu, biến đổi dữ liệu, lựa chọn đặc trưng và trích xuất đặc trưng. Nội dung chương phân tích chi tiết cơ chế hoạt động, ưu và nhược điểm của các bộ mã hóa dữ liệu danh mục (Label Encoder, One-Hot Encoder, NumPy replace). Chương này cũng trình bày nguyên lý toán học của phương pháp trích xuất đặc trưng PCA (chuẩn hóa dữ liệu, tính ma trận hiệp phương sai, trị riêng, vector riêng và phương sai giải thích tích lũy) cùng cơ chế của ba thuật toán phân loại RF, SVM, KNN và các độ đo hiệu năng (Accuracy, Recall, Precision, F1-score).
Chương 3: Experiments
Chương 3 trình bày toàn bộ quá trình thực nghiệm xử lý dữ liệu và huấn luyện mô hình:
- Lọc chọn dữ liệu ban đầu: Loại bỏ 332 bản ghi thiếu dữ liệu tuyển sinh, 63 sinh viên đã có chứng chỉ lúc nhập học và 80 sinh viên bỏ học không có chứng chỉ, thu được tập dữ liệu hợp lệ gồm 893 bản ghi.
- Gán nhãn dữ liệu mục tiêu: Dựa trên dữ liệu xếp lớp và thời điểm nộp chứng chỉ, tác giả tạo cột nhãn
Intake (giá trị từ 1 đến 5).
- Làm sạch và lựa chọn đặc trưng:
- Xử lý nhiễu văn bản tại cột "Place of birth" (POB) do lỗi gõ dấu và định dạng tên tỉnh/thành phố không thống nhất.
- Điền 16 bản ghi mang giá trị "0" ở cột Hạnh kiểm (Conduct) và Học lực (Performance) thành giá trị "Khá".
- Loại bỏ các đặc trưng định danh (Ngày sinh, CMND, SĐT), các đặc trưng chỉ dùng đối soát, đặc trưng đơn trị (Subject 1), đặc trưng quá mất cân bằng (Conduct gồm 862 "Tốt" và 32 "Khá") và các biến xếp lớp từ Intake 2 đến Intake 5 để tránh rò rỉ dữ liệu (data leakage). Giữ lại biến
Intake 1 level làm đặc trưng xuất phát điểm. Tập dữ liệu sau bước này gồm 893 bản ghi và 18 cột.
- Tạo đặc trưng mới bằng phương pháp gom nhóm:
- POB (44 giá trị) gom thành 5 vùng miền (Birth Region): Tây Bắc/Miền Nam (TBB), Đông Bắc (ĐBB), Đồng bằng sông Hồng (ĐBSH), Hà Nội/Nước ngoài, Miền Trung (Trung).
- Major gom thành 4 nhóm ngành (Major type): Kinh doanh quốc tế (IB); Kế toán, Phân tích và Kiểm toán (AC); Công nghệ thông tin (IT); Song bằng (2D).
- Subject group code gom thành 3 khối xét tuyển (Subject group): A00, A01 và Khối Xã hội (Social gồm D01, D03, D06, D96).
- Phân tích khám phá dữ liệu (EDA):
- Khối thi có môn tiếng Anh và không có tiếng Anh: Nhóm có tiếng Anh (A01, Social) chỉ có 36% sinh viên bắt đầu ở cấp độ Foundation, 25% đạt Level 2-3 và 50% hoàn thành chứng chỉ trong 3 đợt đầu (khoảng 1 học kỳ). Ngược lại, nhóm không có tiếng Anh (A00) có tới 70% bắt đầu ở cấp độ Foundation, chỉ 6-7% đạt Level 2-3 và 80% phải mất cả 2 học kỳ (4-5 đợt) mới hoàn thành chứng chỉ.
- Điểm thi đại học so với bài kiểm tra xếp lớp: Trong số 699 sinh viên, có 466 sinh viên (khoảng 66%) đạt điểm thi tốt nghiệp môn tiếng Anh từ 7 trở lên. Tuy nhiên, bài kiểm tra xếp lớp cho thấy điểm kỹ năng Nghe của nhóm này phần lớn chỉ đạt 5-16/30; điểm Viết phân tán rộng và chỉ có kỹ năng Đọc đạt mức khá (19-32/35).
- Điểm xếp lớp theo tốc độ học: Nhóm học chậm (4-5 đợt) có điểm kỹ năng Nghe rất thấp (chỉ đạt 3-11/30) và kỹ năng Viết cũng giảm rõ rệt.
- Thử nghiệm mô hình và so sánh nhãn:
- Tác giả tái cấu trúc nhãn mục tiêu từ 5 lớp (
Intake 1 đến 5) thành 3 lớp (Learning speed: Nhanh = 1; Trung bình = 2 & 3; Chậm = 4 & 5). Kết quả cho thấy bài toán 3 lớp nâng cao độ chính xác của cả ba mô hình từ 10% đến 15%.
- Thử nghiệm trên 4 định dạng dữ liệu mã hóa: LE (17 cột), OHE (83 cột), Enhy (31 cột), Enoh (38 cột).
- Đánh giá hiệu quả của PCA: Giữ 85% phương sai chỉ giúp cải thiện kết quả phân loại trong 38% số lần thử nghiệm; đối với mô hình Random Forest, PCA làm suy giảm mạnh khả năng phân loại lớp 2 và lớp 3. Do đó, PCA không được khuyến nghị sử dụng cho tập dữ liệu này.
Kết quả và đóng góp
Kết quả định lượng
Bảng tổng hợp số lượng đặc trưng và số thành phần chính sau khi áp dụng PCA (giữ 85% phương sai):
| Tập dữ liệu và phương pháp mã hóa |
Ký hiệu |
Số lượng cột đặc trưng đầu vào |
Số thành phần chính PCA (85% phương sai) |
| Dữ liệu gốc + Label Encoder |
LE |
17 |
9 |
| Dữ liệu gốc + One-Hot Encoder |
OHE |
83 |
49 |
| Dữ liệu mới gom nhóm + Phương pháp lai (Hybrid) |
Enhy |
31 |
14 |
| Dữ liệu mới gom nhóm + One-Hot Encoder |
Enoh |
38 |
16 |
- Hiệu năng chuyển đổi nhãn mục tiêu: Việc gộp từ 5 lớp sang 3 lớp tốc độ học giúp độ chính xác của RF, SVM và KNN tăng từ 10% đến 15%. Điểm F1-score của lớp "Trung bình" ở mô hình Random Forest tăng từ 0% lên mức 10-20%.
- So sánh các mô hình học máy:
- Support Vector Machine (SVM): Đạt hiệu năng tốt nhất và ổn định nhất, độ chính xác trung bình đạt khoảng 75%, phân tách tốt lớp trung bình (lớp 2) với F1-score vượt trội hơn hẳn so với RF.
- K-Nearest Neighbors (KNN): Xếp thứ hai, hoạt động hiệu quả nhất trên tập dữ liệu mã hóa One-Hot (OHE) với độ lệch chuẩn thấp và giá trị trung bình cao.
- Random Forest (RF): Hiệu năng kém nhất trong bài toán này do độ sâu bị giới hạn (
max_depth = 2), thường xuyên thất bại trong việc nhận diện lớp 2 (F1-score bằng 0 ở hầu hết các lần chạy).
Đóng góp thực tiễn và giải pháp đề xuất
- Khẳng định tính cần thiết của bài kiểm tra xếp lớp (placement test) đầu khóa học do điểm thi đại học môn tiếng Anh chưa phản ánh khách quan năng lực thực tế ở hai kỹ năng Nghe và Viết.
- Đề xuất nhà trường điều chỉnh phân bổ lớp học dựa trên trình độ kỹ năng cụ thể (đặc biệt là Nghe và Viết) thay vì chỉ căn cứ vào tổng điểm kiểm tra đầu vào.
- Đề xuất giải pháp theo dõi và hỗ trợ học tập sớm đối với nhóm sinh viên xét tuyển từ các khối thi không có môn tiếng Anh (như khối A00) nhằm giảm thiểu tỷ lệ kéo dài thời gian học tập.
Hạn chế và hướng nghiên cứu tiếp
- Hạn chế:
- Tập dữ liệu nghiên cứu chỉ giới hạn trong phạm vi một năm học (khóa tuyển sinh 2020) với quy mô sau làm sạch là 893 bản ghi, chưa bao quát được sự biến động năng lực của sinh viên qua nhiều năm tuyển sinh khác nhau.
- Nghiên cứu chỉ tập trung vào kỹ thuật đặc trưng và sử dụng các tham số mô hình mặc định cơ bản, chưa áp dụng các phương pháp tối ưu hóa siêu tham số tự động như
GridSearchCV hay RandomizedSearchCV.
- Hướng nghiên cứu tiếp:
- Mở rộng tập dữ liệu thực nghiệm sang các khóa tuyển sinh tiếp theo của VNU-IS để kiểm chứng và nâng cao độ khái quát hóa của quy trình xử lý.
- Nghiên cứu tinh chỉnh sâu các siêu tham số cho mô hình Support Vector Machine (SVM) nhằm tối ưu hóa hiệu năng phân loại dự đoán thời gian học tập.
Giá trị tham khảo
Tài liệu này là nguồn tham khảo hữu ích cho:
- Sinh viên và nhà nghiên cứu ngành Phân tích Dữ liệu Kinh doanh (Business Data Analysis), Khoa học Dữ liệu và Công nghệ Thông tin: Tham khảo quy trình khai phá dữ liệu giáo dục thực tế, các phương pháp xử lý dữ liệu bảng có lỗi văn bản tiếng Việt và kỹ thuật gom nhóm đặc trưng phân loại có độ phân mảnh cao.
- Cán bộ quản lý đào tạo tại các trường đại học quốc tế: Tham khảo căn cứ thực nghiệm về sự khác biệt giữa điểm thi tốt nghiệp THPT và bài thi đánh giá năng lực thực tế, từ đó xây dựng kế hoạch sắp xếp lộ trình tiếng Anh dự bị phù hợp cho từng nhóm đối tượng người học.
Câu hỏi thường gặp
1. Tập dữ liệu sau khi sàng lọc còn lại bao nhiêu bản ghi và những trường hợp nào bị loại bỏ?
Tập dữ liệu sau khi lọc chọn còn lại 893 bản ghi hợp lệ. Tác giả đã loại bỏ 475 bản ghi không phù hợp, gồm: 332 bản ghi thiếu dữ liệu tuyển sinh, 63 bản ghi sinh viên đã có chứng chỉ ngoại ngữ tại thời điểm nhập học và 80 bản ghi sinh viên bỏ học khi chưa có chứng chỉ.
2. Sự khác biệt về kết quả học tiếng Anh giữa nhóm sinh viên thi khối có tiếng Anh và không có tiếng Anh là gì?
Nhóm sinh viên thi khối có tiếng Anh (A01, Social) có 36% bắt đầu ở mức Foundation, 25% bắt đầu ở mức Level 2-3 và 50% hoàn thành chứng chỉ trong 3 đợt đầu (1 học kỳ). Ngược lại, nhóm thi khối không có tiếng Anh (A00) có tới 70% xuất phát ở mức Foundation, chỉ 6-7% đạt Level 2-3 và có đến 80% phải mất từ 4 đến 5 đợt học (2 học kỳ) mới hoàn thành chứng chỉ.
3. Việc gom nhóm từ 5 lớp sang 3 lớp nhãn đầu ra mang lại hiệu quả như thế nào?
Việc chuyển đổi nhãn mục tiêu từ 5 lớp (Intake 1 đến 5) sang 3 lớp tốc độ học (Learning speed: Nhanh, Trung bình, Chậm) giúp độ chính xác của cả ba mô hình (RF, SVM, KNN) tăng từ 10% đến 15%, đồng thời cải thiện chỉ số F1-score ở nhóm sinh viên có tốc độ học trung bình.
4. Tại sao tác giả kết luận không nên áp dụng PCA cho bài toán này?
Thực nghiệm cho thấy việc áp dụng PCA giữ 85% phương sai tích lũy chỉ cải thiện độ chính xác trong 38% số lần thử nghiệm so với khi sử dụng dữ liệu gốc. Đồng thời, PCA làm suy giảm nghiêm trọng khả năng phân loại lớp 2 và lớp 3 ở mô hình Random Forest, do 85% phương sai giữ lại không chứa đủ các thành phần thông tin giúp phân tách hai nhóm này.
5. Trong ba mô hình học máy được thử nghiệm, mô hình nào đạt hiệu năng cao nhất và thấp nhất?
Mô hình Support Vector Machine (SVM) đạt hiệu năng cao nhất với độ chính xác khoảng 75% và phân loại đồng đều giữa các lớp. Mô hình Random Forest (RF) có hiệu năng thấp nhất do hạn chế về tham số độ sâu cây (max_depth = 2), dẫn đến việc hoàn toàn không phân loại được nhóm sinh viên có tốc độ học trung bình (F1-score của lớp 2 bằng 0%).
Kết luận
Khóa luận của tác giả Nguyễn Thùy Anh đã thực hiện hoàn chỉnh quy trình khai phá dữ liệu giáo dục nhằm giải quyết bài toán dự đoán thời gian học tiếng Anh dự bị của sinh viên Trường Quốc tế – ĐHQGHN. Thông qua các kỹ thuật tiền xử lý dữ liệu thực tế, phân tích khám phá và tái cấu trúc nhãn mục tiêu từ 5 lớp thành 3 lớp, nghiên cứu đã nâng cao độ chính xác phân loại của các mô hình học máy từ 10% đến 15%. Trong số các thuật toán thử nghiệm, mô hình Support Vector Machine (SVM) mang lại hiệu quả phân loại tốt nhất và ổn định nhất, cung cấp cơ sở dữ liệu thực nghiệm quan trọng phục vụ công tác điều chỉnh chương trình đào tạo của nhà trường.