Luận văn cảnh báo sớm sinh viên thôi học bằng học máy phân tán tại ĐH Sư phạm Kỹ thuật Hưng Yên

Nghiên cứu xây dựng hệ thống cảnh báo sớm sinh viên thôi học bằng mô hình học máy phân tán tại ĐH Sư phạm Kỹ thuật Hưng Yên, nâng cao chất lượng giáo dục.

• Tác giả: Phạm Thị Hạnh
• Người hướng dẫn: TS. Nguyễn Văn Quyết
• Trường học: Trường Đại học Sư phạm Kỹ thuật Hưng Yên
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu và xây dựng hệ thống cảnh báo sớm sinh viên thôi học sử dụng các mô hình học máy phân tán
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2026
• Địa điểm: Hưng Yên

Tóm tắt

I. Tổng quan cảnh báo sớm sinh viên thôi học bằng học máy phân tán

Hiện tượng sinh viên thôi học là thách thức lớn đối với giáo dục đại học. Tình trạng này gây lãng phí nguồn lực đào tạo và ảnh hưởng chất lượng phát triển nguồn nhân lực. Trường Đại học Sư phạm Kỹ thuật Hưng Yên quản lý lượng dữ liệu đào tạo ngày càng gia tăng. Dữ liệu này bao gồm kết quả học tập, điểm rèn luyện và lịch sử tương tác số. Phương pháp thống kê truyền thống không còn đáp ứng việc phân tích dữ liệu lớn. Hệ thống cảnh báo sớm sinh viên thôi học ra đời nhằm giải quyết vấn đề trên. Công nghệ học máy phân tán cho phép mở rộng quy mô tính toán song song. Mô hình xử lý dữ liệu với tốc độ cao và độ chính xác vượt trội. Việc phát hiện sớm dấu hiệu suy giảm kết quả học tập tạo điều kiện thực hiện các can thiệp kịp thời. Giải pháp này đóng vai trò quan trọng trong việc xây dựng môi trường đại học thông minh. Nhà trường có thể tối ưu hóa quy trình quản trị sinh viên. Các cố vấn học tập chủ động tiếp cận người học có hoàn cảnh đặc biệt. Nhờ đó, tỷ lệ duy trì học tập được nâng cao rõ rệt qua từng học kỳ.

1.1. Bối cảnh đào tạo tín chỉ và hiện tượng sinh viên thôi học

Đào tạo theo học chế tín chỉ mang lại sự chủ động cho sinh viên. Sinh viên tự đăng ký lộ trình và tiến độ học tập. Tuy nhiên, hình thức này cũng tạo ra áp lực quản lý thời gian. Nhiều sinh viên gặp khó khăn trong việc thích ứng với môi trường đại học. Kết quả học tập giảm sút kéo dài thường dẫn đến quyết định bỏ học. Tình trạng này gây tổn thất kinh tế cho gia đình và xã hội. Nhà trường cần một công cụ phát hiện sớm để đưa ra định hướng thích hợp. Việc giám sát thủ công không thể bao quát toàn bộ quy mô hàng chục nghìn sinh viên. Công nghệ thông tin là chìa khóa tháo gỡ điểm nghẽn này.

1.2. Mục tiêu nghiên cứu hệ thống cảnh báo sớm tại UTEHY

Đề tài tại Trường Đại học Sư phạm Kỹ thuật Hưng Yên tập trung xây dựng hệ thống CARE. Mục tiêu chính là nhận diện sinh viên có nguy cơ thôi học trước kỳ học mới. Nghiên cứu khai thác nguồn dữ liệu điểm thi và quá trình rèn luyện nhiều năm. Thuật toán học máy phân tán được triển khai trên nền tảng dữ liệu lớn. Hệ thống cung cấp thông tin dự báo trực quan cho cán bộ quản lý. Giảng viên cố vấn nhận danh sách cảnh báo để kịp thời trao đổi với người học. Mô hình bảo đảm tính bảo mật và sự công bằng đối với mọi dữ liệu cá nhân. Kết quả nghiên cứu góp phần chuyển đổi số toàn diện công tác đào tạo.

II. Thách thức cảnh báo sớm sinh viên thôi học từ dữ liệu giáo dục lớn

Dữ liệu giáo dục đại học ngày nay tích lũy theo cấp số nhân. Tập dữ liệu này chứa đựng các đặc trưng điển hình của mô hình 5V trong Big Data. Khối lượng dữ liệu (Volume) mở rộng liên tục qua các khóa đào tạo. Tốc độ sinh dữ liệu (Velocity) diễn ra nhanh chóng tại mỗi kỳ kiểm tra. Tính đa dạng (Variety) xuất hiện từ điểm học phần, dữ liệu hệ thống quản lý học tập đến khảo sát sinh viên. Độ tin cậy (Veracity) là thách thức kỹ thuật lớn nhất cần xử lý. Dữ liệu thực tế thường chứa nhiễu, điểm khuyết hoặc thông tin không đồng nhất. Các máy chủ đơn lẻ không đủ khả năng lưu trữ và tính toán trên quy mô lớn. Việc xử lý tuần tự tốn nhiều thời gian và gây tắc nghẽn tài nguyên. Khi thời gian xử lý kéo dài, cảnh báo thường đến quá muộn đối với sinh viên có nguy cơ. Mục tiêu tối thượng của khai phá dữ liệu giáo dục là tạo ra giá trị (Value). Giá trị này nằm ở tính chính xác của dự báo nguy cơ thôi học. Nếu thuật toán xử lý chậm hoặc sai lệch, hành động hỗ trợ sẽ mất hiệu lực. Do đó, việc ứng dụng môi trường phân tán trở thành yêu cầu kỹ thuật tất yếu.

2.1. Giới hạn của hệ thống tính toán đơn lẻ truyền thống

Các công cụ quản lý truyền thống thường vận hành trên kiến trúc máy chủ đơn lẻ. Cấu trúc này gặp nút thắt cổ chai khi khối lượng bản ghi tăng cao. Bộ nhớ RAM và CPU đơn máy không thể nạp trọn vẹn dữ liệu huấn luyện. Thời gian xử lý thuật toán học máy phức tạp kéo dài nhiều giờ hoặc nhiều ngày. Khi sinh viên đăng ký môn học mới, hệ thống cũ không thể cập nhật dự báo ngay. Hiện tượng treo hệ thống hay thiếu hụt tài nguyên bộ nhớ thường xuyên xuất hiện. Hạn chế phần cứng cản trở việc ứng dụng các thuật toán dự báo độ chính xác cao.

2.2. Vấn đề ma trận thưa và độ lệch điểm số sinh viên

Mỗi sinh viên chỉ theo học một số lượng học phần nhất định trong chương trình. Do đó ma trận sinh viên - môn học chứa nhiều giá trị rỗng. Hiện tượng ma trận thưa làm suy giảm độ chính xác của các mô hình gợi ý. Bên cạnh đó, thang điểm của từng sinh viên mang tính chủ quan sâu sắc. Sinh viên có học lực khá có xu hướng đạt điểm cao hơn mặt bằng chung. Ngược lại sinh viên có học lực yếu có điểm trung bình toàn khóa thấp hơn. Việc so sánh trực tiếp điểm số gốc sẽ tạo ra độ lệch lớn trong phép đo tương đồng. Mô hình dự đoán cần bước tiền xử lý chuyên biệt để loại trừ sai số này.

III. Mô hình học máy phân tán hỗ trợ cảnh báo sớm sinh viên thôi học

Hệ thống CARE giải quyết bài toán dự đoán dựa trên kỹ thuật lọc cộng tác (Collaborative Filtering). Thuật toán tìm kiếm các sinh viên có hành vi học tập tương đồng trong quá khứ. Nhóm sinh viên lân cận (Nearest Neighbors) được xác định để suy diễn điểm số cho học kỳ tiếp theo. Nếu điểm dự đoán giảm mạnh dưới ngưỡng an toàn, hệ thống sẽ kích hoạt cảnh báo nguy cơ thôi học. Trước khi đo độ tương đồng Cosine Similarity, kỹ thuật Mean-Centering được áp dụng. Phương pháp trừ điểm số học phần cho điểm trung bình của chính sinh viên đó. Thao tác chuẩn hóa này triệt tiêu hoàn toàn sự khác biệt về năng lực nền tảng giữa người học. Cosine Similarity sau đó phản ánh chính xác xu hướng tăng giảm điểm theo từng học phần. Hai sinh viên có mức điểm khác nhau vẫn có thể có độ tương đồng rất cao về quỹ đạo học tập. Hệ thống triển khai thuật toán trên cụm máy tính phân tán. Nền tảng chia nhỏ ma trận điểm số và phân phối tính toán cho nhiều nút thợ. Quá trình tính độ tương đồng và chọn lọc k láng giềng diễn ra song song. Nhờ vậy, thời gian huấn luyện mô hình giảm xuống đáng kể và độ chính xác được bảo toàn.

3.1. Chuẩn hóa điểm Mean Centering kết hợp Cosine Similarity

Chuẩn hóa Mean-Centering là cải tiến cốt lõi trong quy trình xử lý dữ liệu. Điểm trung bình của sinh viên được tính từ toàn bộ học phần đã hoàn thành. Điểm chuẩn hóa thu được bằng cách lấy điểm từng môn trừ đi điểm trung bình cá nhân. Phép biến đổi này đưa điểm số của mọi sinh viên về cùng một hệ quy chiếu. Độ tương đồng Cosine Similarity được tính toán trực tiếp trên các véc-tơ đã chuẩn hóa. Kết quả thu được không còn bị chi phối bởi độ cao thấp của điểm số tuyệt đối. Thuật toán xác định chính xác các mẫu sinh viên có tiến độ học tập tương đương. Chất lượng dự đoán điểm số tăng lên rõ rệt.

3.2. Kiến trúc tính toán phân tán nâng cao hiệu năng mô hình

Môi trường phân tán cho phép phân chia ma trận sinh viên thành nhiều phân vùng độc lập. Các nút máy tính thực hiện tính toán song song các phép nhân ma trận lớn. Khung tính toán phân tán tự động cân bằng tải và chịu lỗi khi có sự cố phần cứng. Bộ nhớ đệm phân tán giúp lưu trữ trung gian kết quả mà không cần ghi đĩa liên tục. Nhờ đó, tốc độ xử lý tăng gấp nhiều lần so với mô hình máy chủ đơn lẻ. Hệ thống dễ dàng mở rộng khi số lượng sinh viên tiếp tục gia tăng. Việc tính toán điểm số lân cận cho hàng vạn sinh viên hoàn thành chỉ trong vài phút.

IV. Ứng dụng cảnh báo sớm sinh viên thôi học tại ĐH SPKT Hưng Yên

Việc ứng dụng học máy phân tán tại ĐH SPKT Hưng Yên mang lại hiệu quả quản lý vượt bậc. Hệ thống cung cấp bảng điều khiển thông minh cho phòng đào tạo và các khoa chuyên môn. Cán bộ quản lý có thể theo dõi tỷ lệ rủi ro của từng khóa sinh viên theo thời gian thực. Danh sách sinh viên cần cảnh báo được phân loại theo từng mức độ ưu tiên. Nhà trường triển khai can thiệp dựa trên dữ liệu dự báo chính xác. Cố vấn học tập nhanh chóng liên hệ với sinh viên có biểu hiện sa sút để tìm hiểu nguyên nhân. Các chương trình phụ đạo kiến thức và tư vấn tâm lý được tổ chức kịp thời. Gia đình sinh viên cũng nhận được thông tin để cùng đồng hành trong quá trình học tập. Nhờ các giải pháp đồng bộ, tỷ lệ sinh viên bỏ học giữa chừng giảm thiểu đáng kể. Hệ thống CARE khẳng định vai trò tiên phong của ĐH SPKT Hưng Yên trong ứng dụng công nghệ giáo dục. Mô hình này hoàn toàn có thể nhân rộng sang các cơ sở đại học khác trên cả nước. Việc khai thác dữ liệu lớn giúp tối ưu hóa nguồn lực và nâng cao chất lượng giáo dục toàn diện.

4.1. Quy trình can thiệp sư phạm và hỗ trợ sinh viên kịp thời

Quy trình can thiệp sư phạm được thiết lập chặt chẽ sau khi có kết quả cảnh báo. Hệ thống tự động gửi thông báo đến giảng viên chủ nhiệm và cố vấn học tập. Cán bộ tư vấn tiến hành các buổi phỏng vấn trực tiếp nhằm xác định rào cản học tập. Sinh viên được hỗ trợ đăng ký lại thời khóa biểu phù hợp với năng lực. Nhà trường cũng phân công sinh viên giỏi kèm cặp trong các môn học có nguy cơ trượt cao. Các chính sách hỗ trợ học bổng và miễn giảm học phí được kích hoạt nếu sinh viên gặp biến cố tài chính. Sự hỗ trợ kịp thời bảo đảm mọi sinh viên đều có cơ hội hoàn thành khóa học.

4.2. Triển vọng nhân rộng mô hình cảnh báo trong giáo dục số

Thành công tại ĐH SPKT Hưng Yên chứng minh tính khả thi của học máy phân tán trong giáo dục. Mô hình này mở ra triển vọng tích hợp sâu rộng vào các cổng thông tin đào tạo quốc gia. Các trường đại học kỹ thuật có thể dễ dàng tiếp nhận và tùy biến kiến trúc phân tán. Thuật toán có thể mở rộng để phân tích dữ liệu chuyên cần, khảo sát tâm lý và hành vi thư viện. Hệ thống hướng đến việc cung cấp lộ trình học tập cá nhân hóa cho từng sinh viên. Việc liên tục cập nhật công nghệ trí tuệ nhân tạo sẽ nâng cao độ tin cậy của các dự báo tương lai. Đây là bước tiến quan trọng thúc đẩy chuyển đổi số đại học.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh chuyển đổi số giáo dục đại học, quy mô đào tạo tại các trường đại học thường đạt từ 15.000 đến hơn 20.000 sinh viên. Với chương trình đào tạo tích lũy trung bình 50 học phần cho mỗi khóa học, hệ thống quản lý học vụ tạo ra từ 1.000.000 đến hàng chục triệu bản ghi điểm số và dữ liệu tương tác theo thời gian. Sự bùng nổ này đặt ra bài toán cấp thiết về việc nhận diện sớm những sinh viên gặp khó khăn trong học tập trước khi rơi vào tình trạng bị cảnh báo học vụ hoặc buộc thôi học theo Điều 16(a) của Quy chế đào tạo theo hệ thống tín chỉ. Các phương pháp thống kê truyền thống hoặc đánh giá định tính của giảng viên hiện nay không còn đáp ứng kịp thời trước khối lượng dữ liệu khổng lồ, dẫn đến việc can thiệp thường diễn ra muộn khi sinh viên đã tích lũy số tín chỉ nợ vượt ngưỡng cho phép.

Mục tiêu cụ thể của luận văn là nghiên cứu, thiết kế và phát triển hệ thống cảnh báo sớm sinh viên thôi học ứng dụng các mô hình học máy phân tán. Đề tài tập trung xây dựng khung mô hình tích hợp mang tên CARE kết hợp phân lớp dữ liệu, lọc cộng tác và khai phá luật kết hợp nhằm dự báo nguy cơ không đạt học phần, đồng thời cung cấp cơ chế giải thích trực quan hỗ trợ ra quyết định. Nghiên cứu được triển khai thực nghiệm trên tập dữ liệu học tập của 473 sinh viên ngành Kỹ thuật phần mềm tại Trường Đại học Sư phạm Kỹ thuật Hưng Yên trong giai đoạn đào tạo 2024 - 2026. Phạm vi nghiên cứu tập trung dự báo kết quả của 6 học phần mục tiêu quan trọng gồm Công nghệ phần mềm, Đồ án 1, Kiểm thử phần mềm, Thiết kế Web cơ bản, Tiếng Anh 1 và Xác suất thống kê. Ý nghĩa thực tiễn của công trình thể hiện qua việc nâng cao độ chính xác nhận diện sinh viên có nguy cơ rủi ro học tập lên trên 85%, giúp nhà trường triển khai các biện pháp tư vấn học vụ kịp thời và giảm từ 15% đến 25% tỷ lệ sinh viên bị buộc thôi học hàng năm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng của hai lĩnh vực cốt lõi là Khai phá dữ liệu giáo dục và Phân tích học tập. Trong đó, mô hình CARE tích hợp ba trụ cột công nghệ học máy:

Thứ nhất là lý thuyết học máy có giám sát phục vụ bài toán phân lớp nhị phân, phân loại sinh viên theo hai trạng thái đạt hoặc không đạt học phần. Bốn thuật toán tiêu biểu được khảo sát gồm Hồi quy Logistic, Rừng ngẫu nhiên, Máy vector hỗ trợ và Thuật toán K láng giềng gần nhất. Các thuật toán này có khả năng mô hình hóa mối quan hệ phi tuyến phức tạp giữa kết quả học tập trong quá khứ và nguy cơ trượt môn mục tiêu.

Thứ hai là lý thuyết lọc cộng tác dựa trên người dùng với kỹ thuật chuẩn hóa Mean-Centered kết hợp độ tương đồng Cosine. Phương pháp này tiếp cận dữ liệu học tập dưới dạng ma trận đánh giá giữa sinh viên và học phần, loại bỏ độ lệch về năng lực trung bình của từng cá nhân để khai thác xu hướng biến thiên điểm số giữa các sinh viên có hành vi học tập tương đồng.

Thứ ba là lý thuyết khai phá tập mục phổ biến và luật kết hợp thông qua thuật toán FP-Growth. Bằng việc xây dựng cấu trúc cây FP-Tree nén dữ liệu giao dịch kết quả học tập, hệ thống phát hiện các mối quan hệ đồng xuất hiện giữa các môn học điều kiện với các chỉ số đo lường như Support, Confidence và Lift, từ đó mang lại khả năng diễn giải minh bạch cho các dự báo.

Toàn bộ các mô hình được vận hành trên nền tảng kiến trúc dữ liệu lớn gồm Hệ thống tệp phân tán Hadoop và công cụ tính toán song song trong bộ nhớ Apache Spark thông qua thư viện học máy Spark MLlib, đáp ứng trọn vẹn đặc trưng 5V của dữ liệu lớn trong giáo dục.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu thực tế gồm 473 hồ sơ sinh viên thuộc ngành Kỹ thuật phần mềm. Phương pháp chọn mẫu được thực hiện theo nguyên tắc toàn bộ quần thể sinh viên thuộc các khóa đào tạo tương ứng nhằm đảm bảo tính bao quát, không bị thiên lệch và phản ánh chính xác tiến trình học tập theo học chế tín chỉ. Dữ liệu thu thập từ hệ thống quản lý đào tạo bao gồm điểm học phần, số tín chỉ tích lũy, điểm trung bình học kỳ và lịch sử học vụ trải dài qua hơn 50 môn học.

Lý do lựa chọn phương pháp phân tích tích hợp dựa trên cơ chế kết hợp xác suất có trọng số bắt nguồn từ việc các mô hình đơn lẻ luôn bộc lộ nhược điểm cố hữu. Các thuật toán phân lớp truyền thống thường bỏ qua sự tương quan chéo giữa các sinh viên, trong khi phương pháp lọc cộng tác gặp trở ngại lớn về độ thưa thớt dữ liệu ma trận. Do đó, việc kết hợp ba nguồn tri thức giúp tối ưu hóa độ bao phủ và nâng cao độ tin cậy dự báo.

Quy trình tiền xử lý được chuẩn hóa qua đường ống phân tán của Spark MLlib bao gồm làm sạch dữ liệu, xử lý giá trị ngoại lai, mã hóa thuộc tính, cân bằng dữ liệu biên và trích chọn đặc trưng. Các mô hình được huấn luyện và tinh chỉnh siêu tham số thông qua phương pháp tìm kiếm lưới kết hợp kiểm định chéo K-fold trong khoảng thời gian nghiên cứu từ năm 2024 đến năm 2026, đảm bảo mô hình không bị quá khớp và có khả năng tổng quát hóa cao trên dữ liệu mới.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm chuyên sâu trên 6 học phần mục tiêu đã mang lại 4 phát hiện khoa học quan trọng:

Thứ nhất, mô hình tích hợp CARE vượt trội hoàn toàn so với việc sử dụng các mô hình học máy đơn lẻ. Chỉ số độ chính xác cân bằng và điểm số F1 trung bình trên toàn bộ 6 học phần mục tiêu đạt từ 85.2% đến 91.6%, cải thiện từ 7.4% đến 12.8% so với mô hình phân lớp riêng lẻ tốt nhất. Đối với học phần Xác suất thống kê, mô hình CARE ghi nhận độ chính xác cân bằng đạt mức 88.5%, khắc phục triệt để tình trạng dự báo sai lệch do mất cân bằng tỷ lệ trượt môn thực tế.

Thứ hai, kỹ thuật lọc cộng tác Mean-Centered User-Based Collaborative Filtering chứng minh hiệu quả giảm thiểu sai số rõ rệt. Nhờ loại trừ thiên kiến điểm trung bình cá nhân, sai số tuyệt đối trung bình ghi nhận mức giảm khoảng 18% và sai số căn bậc hai trung bình giảm hơn 15% so với phương pháp đo lường tương đồng Cosine truyền thống, giúp việc ước lượng xác suất không đạt đạt độ tin cậy tiệm cận 90%.

Thứ ba, thuật toán FP-Growth đã khai phá thành công hơn 35 luật kết hợp mạnh có độ tin cậy Confidence vượt ngưỡng 75% và hệ số tương quan Lift lớn hơn 1.25. Điển hình, nghiên cứu phát hiện luật kết hợp thể hiện sinh viên không đạt học phần Cơ sở kỹ thuật lập trình và Giải tích sẽ có xác suất không đạt học phần Cấu trúc dữ liệu và giải thuật lên tới 82.4% với độ hỗ trợ Support đạt 24.6%.

Thứ tư, cơ chế cảnh báo học vụ sớm theo Điều 16(a) giúp hệ thống phát hiện chính xác 92.3% số sinh viên có nguy cơ tích lũy số tín chỉ rớt vượt quá 24 tín chỉ trong hai học kỳ liên tiếp, đưa ra danh sách theo dõi trước khi kỳ thi học kỳ diễn ra ít nhất 4 tuần.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của khung CARE là sự kết hợp hài hòa giữa khả năng phân tách ranh giới dữ liệu phức tạp của các mô hình học máy và tri thức liên kết từ các luật kết hợp. Các thuật toán phân lớp như Rừng ngẫu nhiên hay Máy vector hỗ trợ tuy có độ chính xác cao nhưng hoạt động như một hộp đen khó giải thích. Khi kết hợp với thuật toán FP-Growth, hệ thống không chỉ đưa ra xác suất rủi ro mà còn cung cấp căn cứ rõ ràng: sinh viên bị dự báo trượt môn Công nghệ phần mềm vì đã từng có kết quả kém ở môn Cơ sở dữ liệu và Lập trình hướng đối tượng.

So sánh với các nghiên cứu trong nước của một số tác giả trước đây vốn chỉ áp dụng Hồi quy Logistic đơn lẻ với độ chính xác dao động khoảng 76% đến 78%, giải pháp phân tán CARE mang lại bước tiến vượt bậc cả về hiệu năng lẫn tính ứng dụng. Dữ liệu thực nghiệm này có thể được trình bày một cách trực quan thông qua bảng ma trận nhầm lẫn 2x2 cho từng học phần để minh họa tỷ lệ dự báo đúng các trường hợp có nguy cơ thực tế. Đồng thời, một biểu đồ đường cong ROC-AUC kết hợp với biểu đồ cột so sánh các chỉ số sai số giữa các mô hình sẽ giúp nhà quản lý giáo dục dễ dàng nhận thấy sự khác biệt về năng lực phân loại của hệ thống trên từng môn học cụ thể.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 nhóm giải pháp chiến lược nhằm tối ưu hóa công tác quản trị và đào tạo đại học:

Thứ nhất, tích hợp hệ thống CARE vào cổng thông tin quản lý đào tạo trực tuyến của nhà trường trong thời gian 6 tháng tới. Ban Đào tạo cần chủ trì thiết lập quy trình tự động trích xuất dữ liệu học tập từ hệ thống tín chỉ, vận hành mô hình tính toán phân tán định kỳ sau mỗi đợt nhập điểm giữa kỳ nhằm đạt mục tiêu gửi thông báo cảnh báo sớm trước tuần học thứ 8 của mỗi học kỳ chính.

Thứ tư, tái cấu trúc hoạt động tư vấn học vụ của đội ngũ cố vấn học tập và giảng viên chủ nhiệm. Cố vấn học tập cần sử dụng bảng giải thích nguyên nhân và luật kết hợp do hệ thống cung cấp để xây dựng lộ trình học tập cá nhân hóa cho từng sinh viên có nguy cơ cao, tổ chức các lớp phụ đạo kéo dài từ 8 đến 12 tuần, hướng tới mục tiêu giảm ít nhất 30% tỷ lệ sinh viên bị cảnh báo học vụ mức độ 2 và mức độ 3.

Thứ ba, nâng cấp và duy trì hạ tầng phần cứng xử lý phân tán định kỳ hàng năm. Bộ phận công nghệ thông tin nhà trường cần duy trì cụm máy chủ Apache Spark và HDFS với quy mô tối thiểu từ 3 đến 5 nút tính toán, đảm bảo thời gian xử lý toàn bộ dữ liệu của hơn 20.000 sinh viên không vượt quá 15 phút, sẵn sàng mở rộng linh hoạt theo chiều ngang khi dữ liệu đào tạo gia tăng.

Thứ tư, định kỳ 6 tháng một lần thực hiện tinh chỉnh và tái huấn luyện mô hình học máy. Nhóm chuyên trách dữ liệu cần cập nhật lại trọng số kết hợp xác suất và ngưỡng quyết định phân lớp bằng phương pháp tìm kiếm lưới để mô hình luôn thích ứng với những thay đổi trong chuẩn đầu ra và đề cương chi tiết của các chương trình đào tạo mới.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và thực tiễn sâu sắc cho 4 nhóm đối tượng cụ thể:

Nhóm cán bộ quản lý đào tạo và Ban giám hiệu các trường đại học: Luận văn cung cấp mô hình ứng dụng chuyển đổi số hoàn chỉnh, giúp các nhà quản trị nắm bắt bức tranh toàn cảnh về tiến độ học tập của sinh viên, từ đó ban hành các chính sách hỗ trợ kịp thời nhằm kéo giảm tỷ lệ sinh viên thôi học xuống dưới mức 3% trên toàn khóa đào tạo.

Nhóm cố vấn học tập và giảng viên phụ trách chuyên môn: Tài liệu là cẩm nang hữu ích hướng dẫn cách khai thác dữ liệu học tập và các luật kết hợp trực quan, phục vụ trực tiếp cho use case tư vấn đăng ký học phần phù hợp với năng lực của sinh viên, hỗ trợ trên 85% sinh viên thuộc diện nguy cơ cải thiện kết quả học tập.

Nhóm học viên cao học, nghiên cứu sinh và nhà nghiên cứu trong lĩnh vực Khoa học máy tính: Luận văn là tài liệu tham khảo giá trị về phương pháp luận kết hợp các mô hình học máy lai ghép, kỹ thuật xử lý mất cân bằng dữ liệu và quy trình triển khai thuật toán học máy phân tán trên nền tảng Apache Spark MLlib với tập dữ liệu thực tế gồm 473 mẫu.

Nhóm kỹ sư dữ liệu và chuyên viên phát triển phần mềm trong lĩnh vực công nghệ giáo dục: Các chuyên gia có thể khai thác kiến trúc hệ thống, quy trình trích xuất chuyển đổi nạp dữ liệu phân tán và cơ chế kết hợp xác suất để xây dựng các mô-đun phân tích học tập thông minh trong các nền tảng quản lý học tập quy mô lớn phục vụ hơn 10.000 người dùng đồng thời.

Câu hỏi thường gặp

Khung mô hình CARE mang lại điểm khác biệt nào so với các phương pháp cảnh báo học tập truyền thống?
Hệ thống CARE tích hợp ba thành phần gồm phân lớp học máy, lọc cộng tác và luật kết hợp thay vì chỉ dựa vào một mô hình đơn lẻ. Sự phối hợp này giúp tăng độ chính xác phân loại lên trên 85%, đồng thời cung cấp các luật kết hợp trực quan giúp cố vấn học tập nắm bắt chính xác nguyên nhân dẫn đến nguy cơ trượt môn của sinh viên.

Tại sao nghiên cứu lại triển khai mô hình trên nền tảng Apache Spark và HDFS?
Tại các trường đại học lớn với quy mô trên 20.000 sinh viên, khối lượng bản ghi điểm số có thể vượt qua mốc 1.000.000 dòng. Kiến trúc phân tán của Hadoop và cơ chế tính toán trong bộ nhớ của Apache Spark giúp rút ngắn hơn 70% thời gian xử lý và huấn luyện mô hình, đảm bảo tính sẵn sàng cao và khả năng mở rộng quy mô linh hoạt.

Kích thước tập dữ liệu 473 sinh viên ngành Kỹ thuật phần mềm có đảm bảo tính khái quát của nghiên cứu không?
Quy mô 473 sinh viên bao gồm toàn bộ hồ sơ học tập chi tiết của một ngành đào tạo chuẩn qua nhiều học kỳ với hơn 50 học phần. Mẫu nghiên cứu này đủ lớn để thuật toán FP-Growth khai phá các luật kết hợp ổn định và cho phép quy trình kiểm định chéo K-fold đánh giá chính xác năng lực dự báo trên 6 môn học trọng điểm.

Kỹ thuật Mean-Centered mang lại ưu thế gì trong phương pháp lọc cộng tác?
Phương pháp này lấy điểm của sinh viên trừ đi điểm trung bình tích lũy của chính họ trước khi tính toán độ tương đồng Cosine. Kỹ thuật giúp loại bỏ hoàn toàn độ lệch về mặt bằng điểm giữa sinh viên học lực giỏi và sinh viên trung bình, từ đó nhận diện chính xác các sinh viên có xu hướng tăng giảm kết quả tương đồng trên từng nhóm môn học.

Hệ thống tích hợp quy định đào tạo theo hệ thống tín chỉ vào khâu cảnh báo như thế nào?
Hệ thống chuyển đổi xác suất trượt môn thành số tín chỉ nợ dự kiến phát sinh trong học kỳ. Sau đó, thuật toán đối chiếu trực tiếp với tiêu chí cảnh báo học vụ quy định tại Điều 16(a) của nhà trường, tự động phân nhóm sinh viên theo các mức cảnh báo học vụ 1, 2 hoặc buộc thôi học với độ chuẩn xác đạt 92.3%.

Kết luận

• Luận văn đã thiết kế thành công kiến trúc dữ liệu lớn giáo dục hoàn chỉnh trên nền tảng Apache Spark và HDFS, giải quyết bài toán lưu trữ và xử lý song song khối lượng dữ liệu học tập quy mô lớn.
• Đề xuất khung mô hình lai ghép CARE kết hợp sáng tạo giữa 4 thuật toán phân lớp, kỹ thuật lọc cộng tác Mean-Centered và thuật toán khai phá luật kết hợp FP-Growth.
• Kiểm nghiệm thực nghiệm trên 473 sinh viên ngành Kỹ thuật phần mềm cho thấy mô hình đạt độ chính xác cân bằng trên 88% trên 6 học phần mục tiêu, vượt trội hơn các mô hình cơ sở từ 7% đến 12%.
• Tích hợp thành công cơ chế chuyển đổi kết quả dự báo thành cảnh báo học vụ theo Điều 16(a) Quy chế đào tạo tín chỉ, đạt tỷ lệ nhận diện sinh viên rủi ro lên đến 92.3%.
• Xây dựng giao diện demo trực quan cho phép cố vấn học tập theo dõi các chỉ số phân tích, tra cứu luật kết hợp và đưa ra quyết định can thiệp học vụ chính xác.

Kế hoạch phát triển trong 12 tháng tiếp theo tập trung vào việc mở rộng tập dữ liệu thực nghiệm cho hơn 15.000 sinh viên thuộc toàn bộ các khoa trong trường và bổ sung các đặc trưng hành vi từ hệ thống quản lý học tập trực tuyến. Các cơ sở giáo dục đại học cần chủ động ứng dụng mô hình học máy phân tán vào quản trị đào tạo để xây dựng môi trường đại học thông minh, góp phần nâng cao chất lượng giáo dục và giảm thiểu tối đa tỷ lệ sinh viên thôi học.

Trích đoạn nội dung tài liệu

Chương 1 đã trình bày tổng quan về bài toán cảnh báo sớm sinh viên thôi học trong giáo dục đại học. Trong bối cảnh chuyển đổi số và sự phát triển mạnh mẽ của các hệ thống quản lý đào tạo, dữ liệu học tập của sinh viên ngày càng trở nên phong phú và có giá trị đối với công tác quản lý giáo dục. Việc khai thác hiệu quả các nguồn dữ liệu này cho phép phát hiện sớm những sinh viên có nguy cơ học tập yếu hoặc thôi học, từ đó hỗ trợ nhà trường và người học đưa ra các biện pháp can thiệp phù hợp. Thông qua việc khảo sát tình hình nghiên cứu trong nước và quốc tế, có thể nhận thấy rằng các kỹ thuật khai phá dữ liệu, học máy và phân tích dữ liệu giáo dục đã được ứng dụng rộng rãi trong bài toán dự báo kết quả học tập và cảnh báo sớm sinh viên có nguy cơ bỏ học.

Các mô hình phân lớp như K-Nearest Neighbors, Logistic Regression, Support Vector Machine và Random Forest đã chứng minh được hiệu quả trong việc khai thác dữ liệu học tập để thực hiện dự báo. Bên cạnh đó, các kỹ thuật gợi ý dựa trên Collaborative Filtering và khai phá luật kết hợp cũng cho thấy tiềm năng trong việc phát hiện các mối quan hệ tiềm ẩn giữa sinh viên và các học phần trong chương trình đào tạo. 19 Tuy nhiên, kết quả khảo sát cũng cho thấy phần lớn các nghiên cứu hiện nay vẫn tập trung vào việc sử dụng các mô hình riêng lẻ hoặc triển khai trên môi trường xử lý tập trung. Việc kết hợp nhiều nguồn tri thức khác nhau nhằm nâng cao hiệu quả dự báo, đồng thời tận dụng các nền tảng xử lý dữ liệu phân tán để đáp ứng yêu cầu xử lý dữ liệu quy mô lớn vẫn là một hướng nghiên cứu cần được tiếp tục phát triển.

Từ những phân tích trên, luận văn đề xuất xây dựng một hệ thống cảnh báo sớm sinh viên thôi học mang tên CARE dựa trên mô hình kết hợp các kỹ thuật phân lớp, lọc cộng tác và khai phá luật kết hợp FP-Growth. Hệ thống được triển khai trên nền tảng Hadoop và Apache Spark nhằm tận dụng khả năng lưu trữ và xử lý dữ liệu phân tán. Đồng thời, kết quả dự báo được chuyển đổi thành các cảnh báo học vụ cụ thể nhằm hỗ trợ sinh viên, cố vấn học tập và nhà trường trong công tác quản lý đào tạo. Những nội dung trình bày trong chương này là cơ sở để triển khai các nội dung nghiên cứu ở các chương tiếp theo.

Trong Chương 2, luận văn sẽ trình bày các cơ sở lý thuyết liên quan đến khai phá dữ liệu, học máy, các kỹ thuật phân lớp, lọc cộng tác, khai phá luật kết hợp cũng như các nền tảng xử lý dữ liệu phân tán Hadoop và Apache Spark được sử dụng trong quá trình xây dựng hệ thống. CÁC KỸ THUẬT KHAI PHÁ DỮ LIỆU VÀ HỌC MÁY TRÊN MÔI TRƯỜNG PHÂN TÁN 2. Tổng quan về khai phá dữ liệu và học máy 2. Khái niệm khai phá dữ liệu và học máy Sự phát triển mạnh mẽ của công nghệ thông tin, Internet và quá trình chuyển đổi số đã tạo ra khối lượng dữ liệu ngày càng lớn trong nhiều lĩnh vực như giáo dục, y tế, tài chính và thương mại điện tử.

Việc khai thác hiệu quả các nguồn dữ liệu này nhằm phát hiện tri thức hữu ích và hỗ trợ ra quyết định đã trở thành một trong những yêu cầu quan trọng của khoa học dữ liệu. Trong bối cảnh đó, khai phá dữ liệu và học máy được xem là hai lĩnh vực nền tảng, đóng vai trò quan trọng trong việc phân tích dữ liệu và xây dựng các mô hình dự báo [14], [15]. Khai phá dữ liệu là quá trình khám phá các mẫu, quy luật và mối quan hệ tiềm ẩn từ tập dữ liệu lớn thông qua việc kết hợp các kỹ thuật của cơ sở dữ liệu, thống kê, trí tuệ nhân tạo và học máy [14]. Theo quy trình Khám phá tri thức từ cơ sở dữ liệu, khai phá dữ liệu là bước trung tâm, được thực hiện sau các giai đoạn lựa chọn, tiền xử lý và biến đổi dữ liệu nhằm phát hiện các tri thức có giá trị phục vụ phân tích, dự báo và hỗ trợ ra quyết định.

Song song với khai phá dữ liệu, học máy là một lĩnh vực của trí tuệ nhân tạo tập trung vào việc xây dựng các mô hình có khả năng học từ dữ liệu để nhận diện quy luật và dự đoán kết quả đối với các mẫu dữ liệu mới mà không cần xây dựng các quy tắc tường minh cho từng trường hợp [15]. Tùy thuộc vào mục tiêu của bài toán và đặc điểm dữ liệu, các phương pháp học máy thường được chia thành ba nhóm chính gồm học có giám sát (Supervised Learning), học không giám sát (Unsupervised Learning) và học tăng cường (Reinforcement Learning). Trong đó, học có giám sát được sử dụng phổ biến trong các bài toán phân lớp và dự báo; học không giám sát thích hợp cho việc khám phá cấu trúc tiềm ẩn của dữ liệu; còn học tăng cường được áp dụng trong các bài toán tối ưu hóa quá trình ra quyết định thông qua tương tác với môi trường. Khai phá dữ liệu và học máy có mối quan hệ mật thiết với nhau.

Nếu khai phá dữ liệu là quá trình tổng thể nhằm phát hiện tri thức từ dữ liệu thì học máy cung cấp các thuật toán để xây dựng mô hình phân tích và dự báo. Do đó, học máy được xem là một trong những công cụ quan trọng của khai phá dữ liệu, đặc biệt trong các bài toán phân lớp, dự báo và nhận dạng mẫu [14], [15]. Trong lĩnh vực giáo dục, sự phát triển của Educational Data Mining và Learning Analytics đã mở rộng khả năng khai thác dữ liệu học tập nhằm dự báo kết quả học 21 tập, phát hiện sinh viên có nguy cơ học tập yếu và hỗ trợ xây dựng các hệ thống cảnh báo sớm [1]–[3]. Các mô hình học máy được sử dụng để phân tích dữ liệu lịch sử của sinh viên và dự báo kết quả học tập, trong khi các kỹ thuật khai phá dữ liệu giúp phát hiện các mẫu học tập và mối quan hệ giữa các học phần.

Như vậy, khai phá dữ liệu và học máy là hai lĩnh vực có mối quan hệ bổ trợ, đóng vai trò nền tảng trong việc chuyển đổi dữ liệu thành tri thức phục vụ quá trình phân tích và ra quyết định. Sự kết hợp giữa hai lĩnh vực này không chỉ được ứng dụng rộng rãi trong nhiều bài toán thực tiễn mà còn tạo cơ sở lý thuyết cho việc xây dựng các hệ thống dự báo và cảnh báo sớm trong giáo dục. Quy trình khai phá dữ liệu Khai phá dữ liệu không phải là một họat động độc lập mà là một bước trong quy trình khám phá tri thức từ cơ sở dữ liệu. Quy trình này bao gồm nhiều giai đoạn liên tiếp nhằm chuyển đổi dữ liệu thô thành các tri thức có giá trị phục vụ cho quá trình ra quyết định.

Việc thực hiện đầy đủ các bước trong quy trình giúp nâng cao chất lượng dữ liệu đầu vào, cải thiện độ chính xác của các mô hình học máy và tăng độ tin cậy của kết quả phân tích. Quy trình khai phá dữ liệu thường bao gồm năm giai Thu thập dữ liệu đoạn chính như Hình 2.1: thu thập dữ liệu, tiền xử lý dữ liệu, chuyển đổi dữ liệu, khai phá dữ liệu và đánh giá tri Tiền xử lí dữ liệu thức. Các bước trong quy trình có mối quan hệ chặt chẽ với nhau và được thực hiện lặp đi lặp lại nhằm đạt được kết quả Chuyển đổi dữ liệu tốt nhất. a) Thu thập dữ liệu Khai phá dữ liệu Đây là bước đầu tiên của quy trình, trong đó dữ liệu được thu thập từ nhiều nguồn khác nhau và lựa chọn những Đánh giá và biểu thuộc tính phù hợp với mục tiêu nghiên cứu.

Chất lượng diễn tri thức của dữ liệu đầu vào có ảnh hưởng trực tiếp đến hiệu quả Hình 2. Quy trình của quá trình khai phá, do đó cần loại bỏ các dữ liệu không khai phá dữ liệu liên quan hoặc không phục vụ cho bài toán. b) Tiền xử lý dữ liệu Dữ liệu thu thập từ thực tế thường tồn tại nhiều vấn đề như giá trị thiếu, dữ liệu trùng lặp, nhiễu hoặc không nhất quán. Giai đoạn tiền xử lý nhằm phát hiện và khắc phục các vấn đề này thông qua các kỹ thuật như làm sạch dữ liệu, xử lý giá trị thiếu, loại bỏ dữ liệu ngoại lai và chuẩn hóa dữ liệu.

Đây là bước quan trọng giúp nâng cao chất lượng dữ liệu trước khi đưa vào mô hình học máy. 22 c) Chuyển đổi dữ liệu Sau khi được làm sạch, dữ liệu tiếp tục được chuyển đổi sang dạng phù hợp cho quá trình khai phá. Các thao tác thường được sử dụng bao gồm chuẩn hóa dữ liệu, mã hóa thuộc tính phân loại, lựa chọn đặc trưng và giảm số chiều dữ liệu. Việc chuyển đổi dữ liệu giúp tăng hiệu quả tính toán và cải thiện khả năng học của các mô hình.

d) Khai phá dữ liệu Đây là giai đoạn trung tâm của toàn bộ quy trình, trong đó các thuật toán khai phá dữ liệu và học máy được áp dụng để phát hiện các quy luật, mẫu dữ liệu hoặc xây dựng các mô hình dự đoán. Tùy theo mục tiêu nghiên cứu, có thể sử dụng các kỹ thuật như phân lớp, phân cụm, khai phá luật kết hợp, hồi quy hoặc hệ thống gợi ý. e) Đánh giá và biểu diễn tri thức Sau khi hoàn thành quá trình khai phá, các kết quả thu được cần được đánh giá nhằm xác định mức độ chính xác, tính hữu ích và khả năng ứng dụng trong thực tế. Các tri thức sau khi được kiểm chứng sẽ được trình bày dưới dạng báo cáo, bảng biểu, đồ thị hoặc các mô hình trực quan để hỗ trợ quá trình phân tích và ra quyết định.

Trong thực tế, các bước của quy trình khai phá dữ liệu không hoàn toàn diễn ra theo trình tự tuyến tính mà có thể được lặp lại nhiều lần. Nếu kết quả khai phá chưa đạt yêu cầu, người nghiên cứu có thể quay lại các bước tiền xử lý hoặc chuyển đổi dữ liệu để cải thiện chất lượng dữ liệu trước khi tiếp tục xây dựng mô hình. Chính đặc điểm lặp này giúp quy trình khai phá dữ liệu ngày càng hoàn thiện và phù hợp hơn với từng bài toán cụ thể. Đối với bài toán dự đoán kết quả học tập và cảnh báo sớm sinh viên có nguy cơ thôi học, quy trình khai phá dữ liệu đóng vai trò nền tảng trong việc xây dựng mô hình học máy.