ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁ CH KHOA -------------- VÕ THỊ NHƢ MỴ Á P DỤNG KỸ THUẬT HỌC CHUYỂN ĐỔI TRUYỀN DẪN CHO BÀ I TOÁ N PHÂ N LỚP SINH VIÊ N Chuyên ngành: KHOA HỌC MÁ Y TÍNH Mã số: 60.01 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 01 năm 2015 CÔNG TRÌNH ĐƢỢC HOÀ N THÀ NH TẠI TRƢỜNG ĐẠI HỌC BÁ CH KHOA – ĐHQG – HCM Cán bộ hƣớng dẫn khoa học: TS. Võ Thị Ngọc Châu, TS.
Nguyễn Hứa Phùng Cán bộ chấm nhận xét 1:. Cán bộ chấm nhận xét 2:. Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp. HCM ngày 05 tháng 01 năm 2015.
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trƣởng Khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒ A XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁ CH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: VÕ THỊ NHƢ MỲ MSHV: 12070525 Ngày, tháng, năm sinh: 16/08/1984 Nơi sinh: Quảng Trị Chuyên ngành: KHOA HỌC MÁ Y TÍNH Mã số: 60. TÊN ĐỀ TÀ I: Á p dụng kỹ thuật học chuyển đổi truyền dẫn cho bài toán phân lớp sinh viên.
NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu lý thuyết, các công trình nghiên cứu liên quan đến bài toán kỹ thuật học chuyển đổi, các bài toán áp dụng kỹ thuật học chuyển đổi cho hệ hỗ trợ ra quyết định, các bài toán hệ hỗ trợ quyết định về giáo dục. Đề xuất giải pháp khả thi giải quyết bài toán phân lớp sinh viên bằng việc áp dụng kỹ thuật học chuyển đổi truyền dẫn cho hệ hỗ trợ ra quyết định về giáo dục theo quy chế tín chỉ. Tiến hành thực nghiệm, phân tích kết quả thu đƣợc từ giải pháp kỹ thuật học chuyển đổi của đề tài với giải pháp truyền thống. Từ đó, chúng tôi sẽ đánh giá hiệu suất, chi phí giải pháp của đề tài.
NGÀ Y GIAO NHIỆM VỤ: 20/01/2014 IV. NGÀ Y HOÀ N THÀ NH NHIỆM VỤ: 14/11/2014 V. CÁ N BỘ HƢỚNG DẪN: TS. Võ Thị Ngọc Châu - TS.
Nguyễn Hứa Phùng Tp. HCM, ngày tháng năm 2015 CÁ N BỘ HƢỚNG DẪN TRƢỞNG KHOA (Họ tên và chữ ký) (Họ tên và chữ ký) TS. Võ Thị Ngọc Châu i LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất đến TS. Võ Thị Ngọc Châu và TS.
Nguyễn Hứa Phùng, khoa Khoa Học và Kỹ Thuật Máy Tính, trƣờng Đại Học Bách Khoa Tp. Trong suốt quá trình thực hiện đề cƣơng và luận văn cao học, Thầy Cô đã tận tình hƣớng dẫn và giúp đỡ, tạo mọi điều kiện để tôi có thể hoàn thành tốt luận văn này. Tôi xin gửi lời cảm ơn chân thành đến các Thầy Cô trong khoa Khoa Học và Kỹ Thuật Máy Tính, trƣờng Đại Học Bách Khoa Tp. Các Thầy Cô đã rất tận tình chỉ dạy, trang bị cho tôi những kiến thức quý báu trong suốt thời gian tôi học cao học tại trƣờng.
Tôi xin gửi lời cảm ơn đến gia đình, bạn bè và đồng nghiệp đã hỗ trợ tôi về thời gian và tinh thần, tạo mọi điều kiện thuận lợi giúp tôi hoàn thành luận văn. Trong thời gian thực hiện luận văn, đƣợc sự hỗ trợ và giúp đỡ của Thầy Cô, gia đình, bạn bè và đồng nghiệp, cùng với sự cố gắng nỗ lực của bản thân, tôi đã hoàn thành luận văn với hết khả năng có thể. Mặc dù vậy, luận văn sẽ không tránh khỏi những thiếu sót, kính mong quý Thầy Cô và các bạn tận tình chỉ bảo, góp ý để luận văn đƣợc hoàn thiện hơn. HCM, ngày 14 tháng 11 năm 2014 Học viên Võ Thị Nhƣ Mỵ ii TÓ M TẮT LUẬN VĂN Hiện nay, với sự phát triển mạnh mẽ của khoa học kỹ thuật và công nghệ, nhiều tiện ích hỗ trợ cho mọi hoạt động trong cuộc sống hàng ngày của chúng ta.
Trong lĩnh vực giáo dục, việc hỗ trợ cho công tác quản lý ngành giáo dục ngày càng đƣợc quan tâm nghiên cứu, nhằm đem lại hiệu quả cao nhất trong việc dạy và học. Những bài toán liên quan đến việc hỗ trợ các nhà quản lý trong công tác giáo dục đóng vai trò quan trọng trong quá trình xây dựng một hệ thống giáo dục phát triển, hiệu quả cao, ảnh hƣởng đến quá trình phát triển của cả quốc gia. Kỹ thuật học chuyển đổi là một kỹ thuật của ngành học máy, cho phép chuyển giao kiến thức học đƣợc trong một hoặc nhiều tác vụ nguồn và sử dụng nó để cải thiện việc học trong một tác vụ đích liên quan. Kỹ thuật học chuyển đổi có thể đƣợc áp dụng để xây dựng một hệ hỗ trợ ra quyết định về giáo dục mới dựa trên hệ thống sẵn có trƣớc đó, giải quyết đƣợc vấn đề tái sử dụng hệ hỗ trợ ra quyết định, nhân rộng và giảm chi phítrong quá trình xây dựng hệ hỗ trợ ra quyết định.
Đó là lý do vì sao kỹ thuật học chuyển đổi đƣợc chọn để nghiên cứu trong quá trình phát triển các hệ thống hỗ trợ ra quyết định về giáo dục, với mong muốn áp dụng những kết quả sau nghiên cứu vào thực tế, cung cấp một hệ thống hỗ trợ ra quyết định về vấn đề hỗ trợ sinh viên tốt nghiệp hiệu quả, chính xác, mà tiết kiệm chi phí khi xây dựng và hơn thế nữa, mở ra một xu thế nghiên cứu mới khi xây dựng hệ hỗ trợ ra quyết định. Chúng tôi nghiên cứu áp dụng kỹ thuật học chuyển đổi cho bài toán phân lớp sinh viên để hỗ trợ ra quyết định trong vấn đề cứu xét các bạn sinh viên trong danh sách sinh viên bị cảnh cáo buộc thôi học. Trong đề tài luận văn, chúng tôi tập trung phát triển kỹ thuật học chuyển đổi cho bài toán phân lớp sinh viên, áp dụng kỹ thuật học chuyển đổi để xây dựng mô hình phân lớp sinh viên cho một ngành học dựa trên mô hình phân lớp của một ngành học khác có liên quan. Đề tài đã đề xuất đƣợc giải pháp khả thi, xây dựng đƣợc mô hình phân lớp sinh viên hiệu quả cao bằng kỹ thuật học chuyển đổi, giải quyết đƣợc bài toán cứu xét sinh viên.
iii LỜI CAM ĐOAN Tôi xin cam đoan rằng ngoài các kết quả, các thông tin tham khảo từ các công trình khác nhƣ đã ghi rõ trong luận văn, những công việc, kết quả đƣợc trình bày trong luận văn này là do chính tôi thực hiện và chƣa đƣợc sử dụng để lấy bất kỳ bằng cấp, chứng chỉ nào khác. HCM, ngày 14 tháng 11 năm 2014 Học viên Võ Thị Như Mỵ iv MỤC LỤC NHIỆM VỤ LUẬN VĂN THẠC SĨ. ii TÓ M TẮT LUẬN VĂN. iii LỜI CAM ĐOAN.
iv MỤC LỤC. v DANH MỤC HÌNH. viii DANH MỤC BẢNG. ix DANH MỤC THUẬT NGỮ ANH – VIỆT.
xi Chƣơng 1: GIỚI THIỆU.1 Giới thiệu đề tài .2 Mục tiêu và ý nghĩa của đề tài. Ý nghĩa khoa học. Ý nghĩa thực tiễn .3 Đối tƣợng và phạm vi nghiên cứu của đề tài. Đối tƣợng nghiên cứu.
Phạm vi nghiên cứu .4 Phƣơng pháp nghiên cứu. Nội dung nghiên cứu. Phƣơng pháp nghiên cứu. Kết quả cần đạt đƣợc.
15 Chƣơng 2: CƠ SỞ LÝ THUYẾT .1 Học chuyển đổi (Transfer learning). Học chuyển đổi (Transfer learning) .2 Bài toán phân lớp. Bài toán phân lớp. Một số thuật toán phân lớp .1 Quy nạp cây quyết định .4 Boosting và Adaboost.
Đánh giá mô hình phân lớp .1 Các phƣơng pháp đánh giá. 32 Chƣơng 3: CÔ NG TRÌNH LIÊ N QUAN .1 Các công trình phân lớp với dữ liệu giáo dục .2 Công trình nghiên cứu về học chuyển đổi .38 Chƣơng 4: HƢỚNG TIẾP CẬN CỦA ĐỀ TÀ I VÀ GIẢI PHÁ P .1 Phát biểu bài toán .2 Các bƣớc giải quyết bài toán. Xây dựng mô hình. Chuẩn bị dữ liệu.
Xây dựng không gian chung cho tập dữ liệu. Tạo dữ liệu huấn luyện. Xây dựng mô hình phân lớp. Đánh giá mô hình phân lớp.
Sử dụng mô hình. 48 Chƣơng 5: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ .1 Quy trình thực nghiệm .2 Chuẩn bị thực nghiệm. Môi trƣờng thực nghiệm. Tập dữ liệu .3 Chuẩn bị dữ liệu cho thực nghiệm.
Định dạng dữ liệu điểm sinh viên ban đầu. Đặc điểm tập dữ liệu. Định dạng dữ liệu đầu vào của thuật toán .4 Hiện thực thuật toán của đề tài. Xây dựng không gian chung.
Chuyển đổi dữ liệu qua không gian chung. Xây dựng mô hình phân lớp .5 Kết quả thực nghiệm và đánh giá. Kết quả xây dựng mô hình phân lớp chƣa chuyển đổi. Kết quả xây dựng mô hình phân lớp có áp dụng kỹ thuật học chuyển đổi .1 Kết quả cho trƣờng hợp Total Incremental Space .2 Kết quả cho trƣờng hợp Partial Incremental Space .3 Kết quả cho trƣờng hợp Total Non-Incremental Space .4 Kết quả cho trƣờng hợp Shared Space .5 Kết quả cho trƣờng hợp Mapped Space .84 Chƣơng 6: TỔNG KẾT.1 Những công việc đã thực hiện .2 Hƣớng phát triển tiếp theo .86 TÀ I LIỆU THAM KHẢO.
87 vii DANH MỤC HÌNH Hình 2-1: Sự khác biệt của quá trình học giữa học máy truyền thống (a) và học chuyển đổi (b) [28] .17 Hình 2-2: Học chuyển đổi: tri thức từ một hoặc nhiều tác vụ nguồn liên quan[16] .18 Hình 2-3: Ba cách xem việc chuyển đổi có đem lại hiệu quả trong cải thiện tác vụ học [16] .20 Hình 2-4: Quá trình phân lớp: Quá trình học(a) và Sự phân lớp(b).23 Hình 2-5: Siêu phẳng h phân chia dữ liệu huấn luyện thành 2 lớp + và - với khoảng cách biên lớn nhất [15].31 Hình 3-1: Tính năng chung và tính năng liên quan trong hai lĩnh vực.39 Hình 3-2: Giải thuật SCL [14] .40 Hình 4-1: Vận dụng kỹ thuật học chuyển đổi cho quá trình phát triển các mô hình phân lớp.42 Hình 4-3: Sự tƣơng đồng giữa bài toán phân loại văn bản và dữ liệu giáo dục.43 Hình 4-2: Các bƣớc giải quyết bài toán của đề tài .44 Hình 4-4: Giải thuật tìm không gian chung cho tập dữ liệu [14] .46 Hình 5-1: Quy trình thực nghiệm .49 Hình 5-2: Biểu đồ kết quả xây dựng mô hình phân lớp - năm 2.82 Hình 5-3: Biểu đồ kết quả xây dựng mô hình phân lớp - năm 3.82 Hình 5-4: Biểu đồ kết quả xây dựng mô hình phân lớp - năm 4.83 viii DANH MỤC BẢNG Bảng 2-1: Các thiết lập cho học chuyển đổi [28] .21 Bảng 2-2: Mối tƣơng quan giữa độ nhạy và độ chính xác [1] .
