CHƯƠNG 1 Kết thúc chương này, chúng ta đã có cái nhìn tổng quan về tình trạng thôi học tại các trường nghề và vai trò của khai phá dữ liệu trong việc giải quyết vấn đề này. Các nghiên cứu liên quan đã cho thấy tiềm năng của việc sử dụng dữ liệu để dự báo và cải thiện hiệu quả giáo dục, mở ra hướng đi mới cho nghiên cứu và ứng dụng trong lĩnh vực giáo dục nghề nghiệp. 8 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Chương này giới thiệu về các kỹ thuật và thuật toán cốt lõi trong khai phá dữ liệu giáo dục. Bắt đầu với một cái nhìn tổng quan về khái niệm và ứng dụng của khai phá dữ liệu trong giáo dục, chương tiếp tục giới thiệu các phương pháp trong khai phá dữ liệu các thuật toán học máy.1 Khai phá dữ liệu trong giáo dục Khai phá dữ liệu là lĩnh vực nghiên cứu để trích xuất thông tin từ một bộ dữ liệu và chuyển nó thành một cấu trúc dễ hiểu để sử dụng tiếp.
Quá trình khai phá dữ liệu là quá trình khám phá kiến thức có trong cơ sở dữ liệu [7]. Khai phá dữ liệu trong giáo dục (EDM) là quá trình sử dụng các phương pháp và kỹ thuật khai phá dữ liệu để khám phá thông tin hữu ích, mẫu mực, và tri thức từ dữ liệu liên quan đến lĩnh vực giáo dục. Mục tiêu của khai phá dữ liệu trong giáo dục là tìm ra các mẫu, quy luật, và thông tin tiềm ẩn từ các tập dữ liệu về học tập, hành vi của học sinh, hiệu suất học tập, và các yếu tố khác liên quan đến quá trình giảng dạy và học tập. Các kỹ thuật khai phá dữ liệu trong giáo dục thường sử dụng các phương pháp học máy, thống kê, và trí tuệ nhân tạo để phân tích dữ liệu và tạo ra các mô hình dự đoán hoặc mô hình tìm hiểu từ dữ liệu học tập.
Các kết quả của khai phá dữ liệu có thể giúp người quản lý giáo dục, giáo viên và học sinh có cái nhìn sâu sắc hơn về quá trình học tập, giúp cải thiện chất lượng giảng dạy và hỗ trợ định hướng học tập cho học sinh.1: Khai phá dữ liệu trong giáo dục 2.2 Các phương pháp trong khai phá dữ liệu Phân lớp (Classification): xác định một hàm ánh xạ các mục dữ liệu vào một trong nhiều lớp đã được xác định trước. Trong giáo dục, phân lớp thường được sử dụng để xác định học sinh có khả năng cao hoặc thấp trong việc đạt được các kết quả học tập nhất định. 9 Phân cụm (Clustering): là việc nhóm các đối tượng tương tự nhau dựa trên các đặc điểm của chúng mà không cần thông tin về nhãn lớp. Phân cụm có thể được sử dụng để phát hiện các nhóm học sinh có hành vi học tập tương tự.
Hồi quy (Regression): được sử dụng để mô hình hóa và phân tích mối quan hệ giữa các biến số. Trong hồi quy, chúng ta cố gắng xác định hàm ánh xạ từ một hoặc nhiều biến độc lập (predictors) đến một biến phụ thuộc (target). Trong giáo dục, hồi quy thường được sử dụng để dự đoán kết quả học tập dựa trên một loạt các biến đầu vào. Luật kết hợp (Association Rule Mining): tìm ra các mối quan hệ hay quy luật giữa các biến trong dữ liệu.
Phương pháp này giúp phát hiện các mối quan hệ và quy luật không rõ ràng giữa các yếu tố ảnh hưởng đến kết quả học tập.3 Các thuật toán học máy cổ điển 2.1 Hồi quy Logistic Hồi quy Logistic là một phương pháp hồi quy được sử dụng cho các biến phụ thuộc nhị phân, nơi biến đầu ra là dạng phân loại với hai lớp (0 hoặc 1). Mô hình này ước lượng xác suất để một sự kiện cụ thể xảy ra dựa trên một hoặc nhiều biến độc lập.2: Hồi quy Logistic Hồi quy Logistic sử dụng một hàm logistic để mô hình hóa xác suất p của một sự kiện, với công thức: 𝑒 (𝑏0 +𝑏1 𝑋1 +𝑏2 𝑋2 +.+𝑏𝑛𝑋𝑛 ) Trong đó: 𝑝(𝑋): xác suất để sự kiện '1' xảy ra cho một điểm dữ liệu cụ thể. , 𝑋𝑛 là các biến độc lập 𝑏0 là hệ số chặn (intercept) 𝑏1 , 𝑏2 ,. , 𝑏𝑛 là hệ số của mỗi biến độc lập 𝑋1 , 𝑋2 ,.
Ưu điểm và nhược điểm của hồi quy Logistic: Ưu điểm: Cung cấp xác suất liên quan đến mỗi lớp, điều này hữu ích trong việc hiểu rõ sự chắc chắn của mô hình về các dự đoán của mình. Nếu mối quan hệ giữa biến độc lập và biến phụ thuộc là tuyến tính, hồi quy logistic thường hoạt động rất tốt. Nhược điểm: Giới hạn bởi mối quan hệ tuyến tính Không giải quyết tốt với dữ liệu phức tạp Không phù hợp với số lượng lớn các tính năng. Khi có quá nhiều tính năng, mô hình có thể trở nên quá phức tạp và có nguy cơ overfitting.
Nhạy cảm với dữ liệu mất cân đối 2.2 Support Vector Machine – SVM SVM là một mô hình học máy có giám sát được sử dụng phổ biến trong các bài toán phân loại và hồi quy. Trong bối cảnh phân loại, SVM phân loại dữ liệu bằng cách tìm ra siêu phẳng (hyperplane) tối ưu nhất trong không gian đa chiều (n-dimensional space) để phân tách các lớp dữ liệu. Siêu phẳng này được chọn sao cho khoảng cách từ siêu phẳng đến điểm dữ liệu gần nhất từ mỗi lớp (các support vectors) là lớn nhất.3: Phân loại với SVM 11 Trong trường hợp đơn giản nhất với phân loại tuyến tính và hai lớp, mô hình SVM tìm cách tối ưu hóa hàm mục tiêu sau: 1 min ∥ w ∥2 s.2) w,𝑏 2 Trong đó: w là vector trọng số của siêu phẳng. b là độ lệch (bias) x𝑖 là điểm dữ liệu thứ i 𝑦𝑖 là nhãn của điểm dữ liệu x𝑖 , thường được mã hóa là +1 hoặc -1 Trong trường hợp dữ liệu không tuyến tính, SVM sử dụng hàm nhân (kernel functions) để biến đổi dữ liệu vào không gian đặc trưng cao chiều, nơi việc phân tách lớp trở nên dễ dàng hơn.
Công thức sau đây tính toán quyết định cho một điểm dữ liệu mới x: 𝑓(x) = sign(∑𝑛𝑖=1 𝛼𝑖 𝑦𝑖 𝐾(x𝑖 , x) + 𝑏 ) (2.3) Ở đây, K là hàm nhân, và 𝛼𝑖 là các hệ số Lagrange tìm được từ quá trình huấn luyện. Ưu điểm và nhược điểm của SVM: Ưu điểm: SVM hiệu quả trong việc phân loại các tập dữ liệu phức tạp và có chiều cao, thường cho kết quả tốt trong thực tế, đặc biệt với dữ liệu có nhiều chiều. Do việc tối ưu hóa margin, SVM có khả năng chống lại việc overfitting tốt hơn các thuật toán khác. Có thể sử dụng nhiều loại hàm nhân khác nhau để xử lý các mối quan hệ dữ liệu phi tuyến.
Nhược điểm: Việc sử dụng hiệu quả SVM đòi hỏi sự cân nhắc và chuyên môn kỹ thuật. Việc lựa chọn hàm nhân, một quyết định quan trọng trong SVM, cần phải dựa trên hiểu biết về cấu trúc và tính chất của dữ liệu. Các hàm nhân khác nhau có thể phản ánh các mối quan hệ tính năng một cách khác nhau và có ảnh hưởng lớn đến hiệu suất của mô hình. SVM không cung cấp ước lượng xác suất tự nhiên, hiệu suất giảm khi xử lý dữ liệu lớn, và mô hình có thể trở nên khó giải thích, đặc biệt khi sử dụng kernel phi tuyến.3 Naive Bayes Naive Bayes là một nhóm các thuật toán phân loại dựa trên định lý Bayes với giả định "naive" về độc lập giữa các tính năng.
Nói cách khác, Naive Bayes giả định rằng sự hiện diện (hoặc giá trị) của một tính năng cụ thể của một lớp là không liên quan đến 12 sự hiện diện của các tính năng khác, điều này thường không đúng trong thực tế, nhưng thuật toán này vẫn hoạt động tốt trong nhiều trường hợp.4: Phân loại với Naive Bayes Định lý Bayes được biểu diễn bằng công thức sau: 𝑃(𝑋∣𝑌)𝑃(𝑌) 𝑃(𝑌|𝑋 ) = (2.4) 𝑃(𝑋) Trong đó: 𝑃(𝑌|𝑋 ): xác suất xảy ra sự kiện Y khi sự kiện X xảy ra 𝑃(𝑋 ∣ 𝑌): xác suất xảy ra sự kiện X khi sự kiện Y xảy ra 𝑃(𝑌): xác suất của việc xuất hiện lớp Y trước khi quan sát dữ liệu 𝑃(𝑋): xác suất tổng thể của việc quan sát dữ liệu X mà không phụ thuộc vào lớp của dữ liệu. Trong phân loại Naive Bayes, chúng ta sử dụng công thức này để tính xác suất mỗi lớp cho một điểm dữ liệu cụ thể và dự đoán lớp có xác suất cao nhất. Công thức cuối cùng cho việc dự đoán lớp 𝐶𝑘 ới điểm dữ liệu x là: 𝑦̂ = 𝑎𝑟𝑔 𝑚𝑎𝑥 𝑃(𝐶𝑘 ) ∏𝑛𝑖=1 𝑃(𝑥𝑖 |𝐶𝑘 ) (2.,𝐾} Trong đó: 𝑃 (𝑥𝑖 |𝐶𝑘 ) là xác suất mà một tính năng cụ thể 𝑥𝑖 , n là số lượng tính năng. Ưu điểm và nhược điểm của Naive Bayes: Ưu điểm: Thuật toán này đơn giản để hiểu và dễ dàng để triển khai, thường chạy nhanh.
Hoạt động tốt với tập dữ liệu lớn. Yêu cầu ít dữ liệu huấn luyện. 13 Có thể xử lý dễ dàng dữ liệu có nhiều chiều. Nhược điểm: Giả định độc lập có thể không thực tế.
Trong thực tế, các tính năng thường phụ thuộc lẫn nhau. Điều này khiến dự đoán xác suất có thể không chính xác. Thường kém hơn so với các mô hình phức tạp khác khi các tính năng có sự tương quan mạnh mẽ. Naive Bayes có thể không hoạt động tốt nếu tập dữ liệu không cung cấp thông tin đủ về các mối quan hệ thực tế giữa các tính năng và nhãn.4 Học kết hợp Học máy (Machine Learning) là một ngành khoa học nghiên cứu các thuật toán cho phép máy tính có thể học được các khái niệm.
Học kết hợp (Ensemble learning) là một kỹ thuật trong học máy, kết hợp các dự đoán từ nhiều mô hình khác nhau để tạo ra một dự đoán cuối cùng tốt hơn. Cách hoạt động chính của Ensemble Learning là sử dụng nhiều mô hình độc lập để tạo ra một dự đoán chung, thường dựa trên sự kết hợp hoặc biểu quyết của dự đoán từ các mô hình con (weak learner). Sự đa dạng trong cách mà các mô hình con hoạt động và sự khác biệt trong cách chúng học từ dữ liệu là yếu tố quan trọng để tăng hiệu suất của Ensemble Learning.5: Tổng quát về Ensemble Learning Phương pháp tăng cường (Boosting): Boosting là một kỹ thuật trong học máy thuộc lĩnh vực Ensemble Learning. Boosting xây dựng các mô hình tuần tự, mỗi mô hình cố gắng cải thiện các dự đoán sai của mô hình trước đó bằng cách tập trung vào các mẫu bị dự đoán sai.6: Quá trình huấn luyện một mô hình boosting Boosting tiến hành đánh trọng số cho các mô hình mới được thêm vào dựa trên các cách tối ưu khác nhau.