ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYEN DUY HOÀNG PHAT TRIEN KY THUAT HOC CHUYEN DOI CHO BAI TOAN DU BAO SOM TRANG THAI HOC TAP CUA SINH VIEN Ngành: KHOA HOC MAY TÍNH Mã số: 60. HO CHI MINH, tháng 11 năm 2015 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRUONG ĐẠI HỌC BACH KHOA - ĐHQG - HCM Cán bộ hướng dẫn khoa học: TS. Võ Thị Ngọc Châu Cán bộ chấm nhận xét 1: PGS.
Lê Hoài Bắc Cán bộ chấm nhận xét 2: TS. Phạm Văn Chung Luận văn thạc sĩ được bảo vệ tại Trường Dai học Bach Khoa, ĐHQG Tp.Hồ Chí Minh, ngày 29 tháng 12 năm 2015 Thanh phan Hội đồng đánh giá luận văn thạc sĩ gồm: I. Cao Hoang Trụ 2. Nguyễn An Khương 3.
Pham Van Chung 4. Lê Hoài Bac 5. Nguyễn Đức Dũng Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nêu có). CHỦ TỊCH HỘI ĐÔNG TRƯỞNG KHOA ŒS.
Cao Hoang Trụ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIEM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Duy Hoàng MSHV: 13070232 Ngày, tháng, năm sinh: 28/07/1989 Nơi sinh: Bình Định Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60. TÊN ĐÈ TÀI: Phát triển kỹ thuật học chuyển đổi cho bài toán dự báo sớm tình trạng học tập cua sinh viên Il. NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu lý thuyết, các công trình nghiên cứu liên quan đến bài toán kỹ thuật học chuyển đổi, các bài toán khai phá dữ liệu về giáo dục và các bài toán liên quan đền việc xử lý đôi với dữ liệu có dạng ngăn và thưa. Đề xuất giải pháp để giải quyết bài toán dự báo sớm tình trạng học tập của sinh viên dựa trên kỹ thuật học chuyển đổi.
Tức là xây dựng mô hình phân loại cho một ngành học dựa trên tập dữ liệu huấn luyện được thu thập từ một ngành học khác có liên quan, cụ thé là hai ngành khoa hoc máy tính và kỹ thuật máy tính ở khoa khoa học và kỹ thuật máy tính trường Đại học Bách Khoa Tp.HCM; Tiến hành thực nghiệm, phân tích kết quả thu được từ giải pháp kỹ thuật học chuyến đổi của dé tài với giải pháp truyền thống. Từ đó, chúng tôi sẽ đánh giá hiệu suất, chi phí giải pháp của đề tài. NGÀY GIAO NHIỆM VU: 19/01/2015 IV. NGÀY HOÀN THÀNH NHIỆM VU: 04/12/2015 v.
CÁN BỌ HƯỚNG DAN: TS. Võ Thị Ngọc Châu Tp. HCM, ngày tháng năm 2015 CAN BỘ HƯỚNG DAN TRƯỞNG KHOA KH & KTMT (Họ tên và chữ ký) (Họ tên và chữ ký) TS. Võ Thị Ngọc Châu lil LỜI CÁM ƠN Trước tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc đến cô TS.
Võ Thị Ngọc Châu, khoa Khoa Học và Kỹ Thuật Máy Tính, trường Đại Học Bách Khoa Tp.HCM đã tận tình hướng dẫn và giúp đỡ trong thời gian qua để tôi có thể hoàn thành tốt luận văn này. Tôi xin gửi lời cảm ơn chân thành đến các Thầy Cô trong khoa Khoa Học và Kỹ Thuật Máy Tính nói riêng và trường Đại Học Bách Khoa Tp.HCM nói chung đã giảng dạy, cung cấp những kiến thức quý báu cho tôi trong suốt quá trình học tập và nghiên cứu tại trường Tôi xin gửi lời cảm ơn đến gia đình, bạn bè và đồng nghiệp đã hỗ trợ tôi về thời gian và tinh thần, tạo mọi điều kiện thuận lợi giúp tôi hoàn thành luận văn. Do thời gian và kiến thức có hạn nên luận văn chắc chăn không tránh khỏi những thiếu sót nhất định. Tôi rất mong nhận được những ý kiến đóng góp quý báu của các thầy cô và các bạn! Tp.
HCM, ngày 15 tháng 10 năm 2015 Học viên Nguyễn Duy Hoàng IV TÓM TAT LUẬN VAN Ngày nay, với sự phát triển mạnh mẽ của khoa học và công nghệ, kỹ thuật phát hiện tri thức và khai phá dữ liệu đã và đang được nghiên cứu, ứng dụng trong nhiều lĩnh vực khác nhau ở các nước trên thế giới. Trong lĩnh vực giáo dục, việc nghiên cứu và khai thác thông tin, tri thức dựa trên dữ liệu lưu trữ từ các hoạt động giảng dạy và học tập cũng đang mang lại rất nhiều hiệu qua trong việc cải thiện chất lượng giảng dạy và hỗ trợ cho các công tác quản lý ngành giáo dục. Do đó, lĩnh vực nghiên cứu về khai phá dữ liệu giáo dục đang được đầu tư và phát triển năng động ở nhiều nước, mở ra nhiều hướng nghiên cứu mới. Tuy nhiên, hiện tại các hướng nghiên cứu chỉ mới tập trung trên các giải thuật khai phá dữ liệu truyền thống nơi mà các giải thuật cần một nguồn dữ liệu chất lượng để xây dựng các mô hình và thường không tận dụng lại được các mô hình của các lĩnh vực khác.
Trong khi đó, kỹ thuật học chuyển đối là một lĩnh vực mới của ngành học máy, cho phép chuyển giao kiến thức học được trong một hoặc nhiễu tác vụ nguồn và sử dụng nó để cải thiện việc học trong một tác vụ đích liên quan. Kỹ thuật này đã và đang được ứng dụng mạnh mẽ đối với dữ liệu dạng văn bản xử lý ảnh và video. Chính vì vậy việc nghiên cứu ứng dụng kỹ thuật này cho dữ liệu giáo dục sẽ giúp giải quyết được các vấn đề hạn chế của các kỹ thuật học máy đã nêu trên. Đó là lý do vì sao chúng tôi nghiên cứu áp dụng kỹ thuật học chuyển đổi cho bài toán dự báo sớm tình trạng học tập của sinh viên để hỗ trợ ra quyết định trong van dé cứu xét các bạn sinh viên trong danh sách sinh viên bị cảnh cáo buộc thôi học.
Trong dé tài luận văn, chúng tôi tập trung phát triển kỹ thuật học chuyền doi cho bài toán phân lớp sinh viên, áp dụng kỹ thuật học chuyên đổi để xây dựng mô hình phân lớp sinh viên cho một ngành học dựa trên mồ hình phân lớp cua một ngành học khác có liên quan. Trong đó, chúng tôi áp dụng hai giải thuật của nhóm các giải thuật học chuyển đổi dựa trên thuộc tính là SFA va SCL. Chúng tôi cũng dé xuất cách áp dụng kỹ thuật xử lý dữ liệu ngắn và thưa để làm tăng độ chính xác của mô hình phân lớp. Đối với việc xây dựng mô hình phân lớp, chúng tôi cũng thử nghiệm trên các giải thuật khác nhau nhằm so sánh và phát hiện ra giải thuật mang lại kết quả tốt nhất.
Kết quả chúng tôi đã xây dựng được mô hình phân loại giúp dự đoán sớm tình trạng của sinh viên của ngành Kỹ Thuật Máy Tính từ mô hình và dữ liệu của ngành Khoa Học Máy Tính với độ chính xác cao. Hy vọng với cách tiếp cận kỹ thuật học chuyển đối cho một bài toán cụ thé, chúng ta mở ra một hướng nghiên cứu mới, toàn diện hơn cho bài toán phần lớp dữ liệu giáo dục. LỜI CAM ĐOAN Tôi xin cam đoan rằng ngoài các kết quả, các thông tin tham khảo từ các công trình khác như đã ghi rõ trong luận văn, những công việc, kết quả được trình bày trong luận văn này là do chính tôi thực hiện và chưa được sử dụng dé lay bat kỳ băng cấp, chứng chỉ nào khác. HCM, ngày 15 tháng 10 năm 2015 Học viên Nguyễn Duy Hoàng VỊ MỤC LỤC NHIEM VU LUẬN VAN THẠC SĨ.
- << s5 se sec eeseesese iii 09809.ÔỎ iv TOM TAT LUẬN VĂN. 2 5© © S5 9S E999 E99 990 9x6 Vv LOT CAM DOAN 0777. vi MUC LUCii. Vii DANH MỤC HINH.ccccsscscscsscsscscssccsessssessssssesssscssssssessssesessssesssscsesssscesssees X DANH MỤC BẢNG.
G5 5< << 9 Sư 9g 29g69 xi DANH MỤC THUAT NGU ANH — VIỆTT. 5s << eessses=se<e xiv CHUONG 1: MO ĐẦU.1 Giới thiệu dé tài 15 1.2 Mục tiêu nghiên cứu dé tài l6 1.3 Ý nghĩa của đề tài l6 1.4 Đối tượng và phạm vi nghiên cứu của đề tài 17 1. Đối tượng nghiên cứu .----- ¿5-52 2s 522222 SE2E212EE21213121211212122 21c te 17 1. Pham vi nghiém CU 0.5 Phuong pháp nghiên cứu 17 CHUONG 2: CƠ SỞ LÝ THUYẾTT.--5- 5 5° s5 sess se ssesesse- 19 2.1 Kỹ thuật hoc chuyển đối (Transfer Learning) 19 2.
Phân loại các kỹ thuật học chuyển đổi .2 Một số phương pháp tiếp cận học chuyền đổi 22 2. Tiếp cận học chuyển đổi dựa trên đối tượng. Tiếp cận học chuyền đổi dựa trên đặc tính. Kỹ thuật xử lý với dữ liệu ngắn và thưa .-----5- 522252 Sx+xccczxerscxe2 33 CHƯƠNG 3: CÔNG TRÌNH LIEN QUAN.1 Các công trình phân loại dữ liệu giáo dục 37 3.2 Nhận xét 39 CHUONG 4: HƯỚNG TIẾP CAN CUA DE TÀI VÀ GIẢI PHÁP.1 Phát biểu bài toán Vil 4.2 Các bước xử lý bài toán 40 4.
Chuẩn bị dữ liệu.--++2++cE th TH Han Al 4. Tao dữ liệu huấn luyện. Xử lý với dữ liệu ngăn và thưa oo. c ccc cscs cssseseessstessseesesestssesteeeseeneses 42 4.
Xây dựng mô hình phân lớp. Đánh giá mô hình phân ÍỚp. Sử dụng mô hình phân lớp. -- - -- - «+ 1E 12g ng vn re 41 4.3 Xây dựng không gian chung băng kỹ thuật học chuyển đổi 44 4.4 Ap dụng giải thuật SFA 45 4.
Lựa chon tập các thuộc tính đặc trưng chung (pivot feature). Xây dựng đồ thi phân đôi. Ánh xạ tập dữ liệu các lĩnh vực vào lĩnh vực chung.5 Áp dụng giải thuật SCL 50 CHƯƠNG 5: KET QUÁ THỰC NGHIỆM VÀ ĐÁNH GIÁ.1 Quy trình thực nghiệm 54 5.2 Chuẩn bị dữ liệu chạy thực nghiệm 54 5. Định dạng tập dữ liệu.
Đặc điểm của tập dữ liệu. Các trường hợp chạy thực nghiệm với tập dữ liệu .3 Giải thuật phân lớp dùng trong chạy thực nghiệm 58 5.4 Môi trường thực nghiệm 59 5.5 Kết quả thực nghiệm và đánh giá 59 5. Chi dting tap dit GU CE 17. Toàn bộ dữ liệu nguồn không qua chuyển đổi.
Toàn bộ dữ liệu nguồn có gia tăng oo. Toàn bộ dữ liệu nguồn không có gia tăng. Chỉ dùng không gian chung. Xử lý dữ liệu ngắn và thưa.
Biểu đồ so sánh các kết quả. Sử dụng mô Binh. ec << 2+ 11119 11199930119 1n ng ng 91 “ca na. 94 CHƯƠNG 6: TONG KKẾTT.-- 5° Ss©cSse+ksetreerkserkeerrssereserked 95 6.1 Đóng góp của luận van 95 Vill 6.2 Hướng phát triển tiếp theo TÀI LIỆU THAM KHẢO IX DANH MỤC HÌNH Hình I: Sự khác biệt của quá trình học giữa học máy truyền thống (a) và học chuyển đổi (b)[6] .--- - ¿2 2E 21+ EEEEEEEEEE5E5E11211111111111215111111 1111 EEee 20 Hình 2: Ba cách xem việc chuyển đối có đem lại hiệu quả trong cải thiện tác VỤ hỌC[Ô].
- - -- c5 5 c5 222000111011101110 111111111111 11 11 1 111111 nhu 21 Hình 3: Giải thuật TrAdaBoost [7]. - - ----< << + + + +11 2S Sexsssses 25 Hình 4: Giải thuật SPA [ [ l |.