ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA ------------------------------------------------- HỒ HIẾU PHÂN LỚP DỮ LIỆU CHỒNG LẤP CHO BÀI TOÁN DỰ BÁO SỚM TRẠNG THÁI HỌC TẬP CỦA SINH VIÊN Ngành: Khoa Học Máy Tính Mã số: 604801 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 08 năm 2015 1 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học: TS. Võ Thị Ngọc Châu Cán bộ chấm nhận xét 1:TS. Bùi Hoài Thắng Cán bộ chấm nhận xét 2:PGS.TS Lê Hoài Bắc Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp.
HCM ngày 10 tháng 08 năm 2015 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Nguyễn Hứa Phùng 2. Lê Thanh Vân 3. Bùi Hoài Thắng 4.TS Lê Hoài Bắc 5.
Dương Tuấn Anh. \ CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOAKH&KTMT 2 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Hồ Hiếu MSHV: Ngày, tháng, năm sinh: 13/04/1989 Nơi sinh: DakLak Chuyên ngành: Khoa Học Máy Tính Mã số : 604801 I. TÊN ĐỀ TÀI: Phân lớp dữ liệu chồng lấp cho bài toán dự báo sớm trạng thái học tập của sinh viên. NHIỆM VỤ VÀ NỘI DUNG: a.
Tìm hiểu lý thuyết về bài toán phân lớp dữ liệu, bài toán phân lớp dữ liệu giáo dục, và bài toán phân lớp dữ liệu bị chồng lấp. Tìm hiểu lý thuyết về các giải thuật phân lớp phổ biến: Cây quyết định, kNN, SVM, AdaBoost, Bagging và Random Forest. Tìm hiểu về các phương pháp xử lý dữ liệu bị chồng lấp : phương pháp loại bỏ, phương pháp sát nhập và phương pháp phân rã. Tìm hiểu các công trình liên quan cho cơ sở lý thuyết của đề tài và cho cơ sở khoa học của việc đánh giá kết quả đạt được của luận văn.
Thực hiện tiền xử lý dữ liệu chồng lấp. Đề xuất giải pháp cho bài toán ―phân lớp dữ liệu chồng lấp cho bài toán dự báo sớm trạng thái học tập nghiệm của sinh viên‖. Tiến hành thực nghiệm cho bài toán phân lớp cho dữ liệu giáo dục trong học chế tín chỉ với các giải thuật phân lớp phổ biến. Đánh giá cách tiếp cận đề xuất dựa trên việc phân tích các kết quả thực nghiệm thu được theo tiêu chí độ chính xác phân lớp.
NGÀY GIAO NHIỆM VỤ : 19/01/2015 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 15/6/2015 V. CÁN BỘ HƯỚNG DẪN : TS. Võ Thị Ngọc Châu CÁN BỘ HƯỚNG DẪN Tp.
năm 2015 TRƯỞNG KHOA…. Võ Thị Ngọc Châu 3 LỜI CÁM ƠN Tôi xin bày tỏ lòng biết ơn chân thành nhất đến TS. Võ Thị Ngọc Châu và TS. Nguyễn Hứa Phùng, Thầy Cô đã khuyến khích, tận tâm chỉ dẫn, truyền đạt những kiến thức và kinh nghiệm quý báu cho tôi từ những ngày đầu cho đến những ngày cuối trong suốt quá trình thực hiện luận văn.
Tôi xin được gửi lời cám ơn đến các quí Thầy Cô giáo tham gia giảng dạy chương trình cao học ở khoa Khoa Học và Kỹ Thuật Máy Tính, trường Đại Học Bách Khoa TP. Hồ Chí Minh đã trang bị cho tôi những kiến thức nền tảng quan trọng trong suốt quá trình tôi theo học. Tôi cũng xin gửi lời cám ơn chân thành đến các cán bộ tham gia tổ chức chương trình sau đại học trường Đại Học Bách Khoa TP. Hồ Chí Minh đã tạo môi trường thuận lợi nhất cho tôi trong suốt quá trình học tập cũng như thực hiện luận văn này.
Và cuối cùng, tôi xin được gửi lời cám ơn đến gia đình và bạn bè, những người đã động viên tôi trong suốt thời gian vừa qua. 4 TÓM TẮT LUẬN VĂN Trong những năm gần đây, nghiên cứu về khai phá dữ liệu đang được phát triển mạnh mẽ. Bởi vì chúng ta đang có sẵn lượng dữ liệu rất lớn và mục tiêu cấp thiết trước mắt đó là chuyển đổi những dữ liệu đó trở thành những thông tin và kiến thức có ích.Việc khai phá dữ liệu trong giáo dục cũng đang được phát triển mạnh mẽ, và một trong các mục tiêu khi khai phá dữ liệu trong giáo dục đó là có thể dự báo sớm trạng thái học tập của sinh viênkhi kết thúc thời gian quy định của chương trình họctừ đó nâng cao chất lượng trong giáo dục. Chính vì khai phá dữ liệu được đẩy mạnh nên có nhiều phương pháp khai phá dữ liệu ra đời.
Và một trong những phương pháp hiệu quả khi khai phá dữ liệu đó là phương pháp phân lớp dữ liệu.Tuy nhiên việc phân lớp dữ liệu trong thực tế luôn gặp phải nhiều khó khăn, bởi vì nó bị ảnh hưởng bởi nhiều vấn đề làm ảnh hưởng lớn đến kết quả phân lớp. Và một trong những vấn đề khó khăn đó là vấn đề dữ liệu bị chồng lấp. Trong môi trường giáo dục thì vấn đề dữ liệu chồng lấp lại thường xuyên xảy ra.Vì thế để việc phân lớp dữ liệu giáo dục có thể đạt được hiệu suất phân lớp cao là một thách thức lớn. Luận văn này đưa ra phương pháp xử lý dữ liệu chồng lấp bằng cách kết hợp phương pháp phân rã (phân hoạch tập dữ liệu ban đầu ra thành từng vùng dữ liệu chồng lấp và không chồng lấp rồi xử lý riêng phần) sau đó cải thiện hiệu suất phân lớp trên vùng dữ liệu bị chồng lấp bằng cách chia nhỏ vùng dữ liệu chồng lấp ra thành các vùng chồng lấp con và tiến hành xây dựng mô hình trên từng vùng chồng lấp con đó.
Phương pháp mà đề tài đưa ra đã cải tiến được hiệu suất phân lớp trên vùng dữ liệu chồng lấp. Với độ đo được sử dụng là độ chính xác (accuracy) sau khi cải thiện hiệu suất phân lớp trên vùng dữ liệu chồng lấp thì trung bình hiệu suất phân lớp tăng lên xấp xỉ 2% so với khi chưa xử lý dữ liệu chồng lấp. 5 ABSTRACT Recently, data mining has been developed dramatically. Because we have a huge amount of available data and the most important goal is to convert such data to useful information and knowledge.
Educational data mining is also being developed dramatically and one of the targets of educational data mining is to predict academic status of students before the end of their permitted period of study time. Therefore we can improve the quality of education. One of the effective mining methods is classification. At present, one of many difficulties that a classification method faces is data overlapping.
In the educational environment, overlapping data frequently occurs. Hence, achieving a high performance for student classification in the educational data mining area is a major challenge. This thesis provides one method which can handle overlapping data for educational data classification. This method inherits discard method partitioning initial dataset into overlapping and non-overlapping data set and performing classification on each dataset, after that, improves the classification performance on overlapping data set by splitting this data set into smaller overlapping data sets and building models on individual data sets.
As a result of this thesis, accuracy measure used to evaluate the perfomance of classication is improved on the overlapping data set. 6 MỤC LỤC CHƢƠNG 1: GIỚI THIỆU .1 Lý do chọn đề tài .2 Mục tiêu đề tài .3 Ý nghĩa của đề tài .4 Đối tượng và phạm vi nghiên cứu .5 Phương pháp nghiên cứu .6 Cấu trúc luận văn. 16 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .1 Tổng quan về bài toán phân lớp .2 Các thuật toán sử dụng trong đề tài .3 Phát hiện vùng chồng lấp.4 Dữ liệu chồng lấp. 20 CHƢƠNG 3: CÁC CÔNG TRÌNH LIÊN QUAN .1 Công trình liên quan đến giáo dục .2 Công trình xử lý chồng lấp .3 Đối chiếu các công trình liên quan đến luận văn.
27 CHƢƠNG 4: ĐỀ XUẤT GIẢI PHÁP PHÂN LỚP DỮ LIỆU CHỒNG CHẤT CHO BÀI TOÁN “DỰ BÁO SỚM TRẠNG THÁI HỌC TẬP CỦA SINH VIÊN” .1 Định nghĩa bài toán .2 Xây dựng mô hình .3 Đánh giá mô hình .4 Sử dụng mô hình. 32 CHƢƠNG 5: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ.1 Môi trường và tập dữ liệu thực nghiệm .2 Phương pháp thực nghiệm .3 Kết quả thực nghiệm. 46 CHƢƠNG 6: TỔNG KẾT. 66 Những công việc đã thực hiện.
66 Đóng góp của đề tài. 66 Hướng phát triển tiếp theo. 66 DANH MỤC CÁC TÀI LIỆU THAM KHẢO. 68 8 LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ các kết quả tham khảo từ các công trình khác như đã ghi rõ trong luận văn, các công việc trình bày trong luận văn này là do chính tôi thực hiện và chưa có phần nội dung nào của luận văn này được nộp để lấy một bằng cấp ở trường này hoặc trường khác.
Ngày 13 tháng 6 năm 2015 9 DANH MỤC HÌNH Hình 1: Xác định không gian dữ liệu chồng lấp(công trình [5]). 20 Hình 2: Dữ liệu bị chồng lấp(công trình [20]). 21 Hình 3: Xây dựng mô hình phân lớp. 30 Hình 4: Đánh giá mô hình phân lớp.
32 Hình 5: Sử dụng mô hình phân lớp. 33 Hình 6: Phương pháp thực nghiệm. 36 Hình 7: Phương pháp thực nghiệm. 36 Hình 8: Sử dụng StratifiedRemoveFold để chia ra các Fold cho phương pháp k-fold cross validation.
37 Hình 9: Xây dựng mô hình ở bước 4. 43 Hình 10: Đánh giá mô hình ở bước 4. 44 Hình 11: Biểu đồ kết quả phân lớp của các thuật toán khi chưa xử lý dữ liệu chồng lấp 47 Hình 12: Biểu đồ kết quả phân lớp tập dữ liệu năm 2 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã. 49 Hình 13:Biểu đồ kết quả phân lớp tập dữ liệu năm 3 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã.
50 Hình 14: Biểu đồ kết quả phân tập dữ liệu năm 4 lớp trên các vùng dữ liệu chồng lấp và không chồng lấpkhi sử dụng phương pháp phân rã. 51 Hình 15: Biểu đồ kết quả phân lớp tập dữ liệu năm 2 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã kết hợp cải thiện kết quả phân lớp vùng chồng lấp. 53 Hình 16: Biểu đồ kết quả phân lớp tập dữ liệu năm 3 trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã kết hợp cải thiện kết quả phân lớp vùng chồng lấp. 54 Hình 17: Biểu đồ kết quả phân lớp tập dữ liệu năm 4trên các vùng dữ liệu chồng lấp và không chồng lấp khi sử dụng phương pháp phân rã kết hợp cải thiện kết quả phân lớp vùng chồng lấp.
55 10 Hình 18: Biểu đồ so sánh kết quả phân lớp tập dữ liệu năm 2 trên vùng dữ liệu chồng lấp trước và sau khi cải thiện.