BO GIAO DUC VA DAO TAO TRUONG DAI HOC BACH KHOA HA NOL NVA. ETH ANNA Trần Trung Hiếu DNOHL GH NGHIÊN CỨU PHƯƠNG PHÁP MÔ HÌNH HÓA HÀNH VI NGƯỜI DÙNG DỰA TRÊN DỮ LIỆU WEB NLL ONOHL LUẬN VAN THAC SI KHOA HOC HE THONG THONG TN 8/1022 12 Hà nội - 2018 BỘ GIÁO DỤC VÀ DÀO TẠO TRUONG DAI HOC BACH KHOA HA NOI Tran ‘Trung Hiếu NGHIÊN CỬU PHƯƠNG PHÁP MÔ HÌNH HÓA HÀNH VI NGƯỜI DÙNG DỰA TRÊN DỮ LIỆU WEB Chuyên ngành : IIệ thông thông tin LUẬN VĂN THẠC BÏ KHOA HỌC HE THONG THONG TIN NGƯỜI TƯỚNG DẪN KIIOA HỌC 1. Nguyễn Binh Minh Hả Nội - 2018 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập — Tự do - Hạnh phúc BẢN XÁC NHẠN CHÍNH SỬA LUẬN VĂN THẠC SĨ He va tên tác giả luận văn : Trần Trung TIiễu ể tài luận văn: Nghiên cứn phương pháp mô hình hóa hành vi người đừng dựa trên đữ liệu web Chuyên ngành: Hệ thống thông tin. Mã số SV: CBC17019 Tác giả, Người hướng dẫn khoa học và Hội đông chấm luận văn xác nhận.
tác giả đã sửa chữa, bố sung luận văn theo biên bản họp Hội đồng ngày 27/10/2018 với các nội dụng sau: - _ Chính sửa công thức precision vả recall có trong mục 1.4 phương pháp đánh giá sai số, phương T cơ sở lý thuyết -_ Chỉnh sửa vả trình bảy chỉ tiết hơn phẩn quy trình tổng quát khai phả hành vi người dùng cỏ trong mục 2.1, chương 2 mô hình hóa hành vi. -_ Chỉnh sửa phần nêu rõ ưu diém của việc sử dụng thuật toán Naive Baycs trong việc phân loại đữ liệu text trong mục 2.4 huấn luyện, chương 2 mô hình hóa hành ví ~_ Bổ sung tải liệu tham khảo chứng mình những wu diém việc lựa chọn thuật toán Taive Dayes trong việc phân loại đữ liệu bình luận của người đảng, ~_ Chỉnh sửa hình 210 kiến trúc các thánh phân của hệ thông, chương 2 mô hình hỏa hành vi. LOI CAM DOAN Téi—Trén Trung Hiéu, hac vién cao hoc khéa CLC2017B — cam kết Luận văn tắt nghiệp là công trình nghiên cứu của bản thân tôi đưới sự hướng dẫn củu TS. NguyỄn Binh Minh— Viện Công Nghệ Thông Tin và Truyền Thông— Dại bọc Bách Khoa [1à Nội.
Các kắt quả trong Luận văn tôi nghiệp là trung thực, không sao chép loan văn của bắt kỹ công trình nào khác. Hà Nội, ngày 20 tháng 9 năm 2018 Tác giả luận văn Trần Trung Hiếu 'tiển xứ lý dữ liệu. - - - 33 Tiiều diễn kết quả. Kiển trủc hệ thông.
c2 Kiên trúc phân tảng. Kiến trúc các thành phân của hệ thống $6 CHƯƠNG3: THỨ NGHIỆM. Môtä dữ ligu. Giới thiệu nguồn gốc đữ liệu.
Câu trúc đữ lệu - - 5 313. Phan tich bai toan. HH Hư Hee eriodl 63 3. Quátrinhkhai phá hànhvi.săcesieirierererriee 65 Tua chon dit ida.
65 ab = mo oS Tiển xử lý đữ liệu. - - - 66 eo Tuan huyện và dự báo. - - 69 Biểu diễn kết quả. co 222202 222 tren 111e111xrererre T7 ia > w 3.
Chiic ning cae thanh phan. 3,5, Kết quả thu được vả nhận xét. Kết quả dự doàn dựa rd 3. Kết quê cũa phân loại phê bình - 78 KÉT LUẬN - - - - - 81 TAT LIGU TITAM KqGAO.
ce ccsccssessorsssssssrssvsnteessesesseesserassssvassveeenseessseeenrsatsvvasseeseerBO 6 LOI CAM ON Trước hết, tác giả xin gửi lời cảm ơn chân thành của mình tới các thấy cổ giáo trường Đại học Bách Khoa Hà Nội nói chưng và các thấy cô Viện Công Nghệ Thông Tin và Truyền Thông và bộ môn Hệ thống thông tin nói riêng. Các thầy, cô đã giúp đỡ tác giả trong sud qua trình học tập tại Viện, Tác giả xin dược gửi lời cảm ơn sâu sắc nhất đến thầy giáo TS. Nguyễn Bình Minh đã tận tình giứp đô, trục tiếp chỉ bảo, chỉnh sửa, hướng dẫn tác giả trong suốt quá trình làm luận vấn. Trong thời gian làm việc với thây, tác giả không những được tiến thu thêm kiến thức mà còn học tập được tính thần làm việc, thái độ nghiên cửu khoa học nghiém tie, hiéu qua.
Cuỗi cùng, tác giả xin dược gửi lời cam ơn chân thành tới gia đình, ban lãnh dạo công ty, đồng nghiệp vả bạn bẻ đã động viên, khuyến khich, đóng góp ý kiến và tạo điều kiện cho tác giả trong quá trình học tập, nghiên cứu và hoàn thành luận văn “Trân trong ! Ngày 18 tháng 11 năm 2018 Giáo viên hưởng dẫn 'Tác giả luận văn. CHỦ TỊCH HỘI DÒNG DANITI MỤC CÁC HÌNH VẼ TRình 1. Khai phá dữ liệu là một bước trong quá trình khai phá trí thức[11] 1 Hình 1. Phân tích bài toán 8VM.
con nọnnHnh ưng 21 linh 1. Vi du vé ma tran Utility dua trén sé sao mét user rate cho mét item. Ví dụ mô tả lọc cộng tác user-user, a) Ma trận TItility ban đâu, bỳ Ma trận Utility đã được chuẩn hỏa. e) ma trận user tương tự.
d) dự đoán cdc ratings chuẩn hóa càn thiếu. e) ví dụ về dự đoán rating chuẩn hóa. Minh họa kỹ thuật phân rã ma trận - 34 Hinh 1. Minh hoa vi du dé tinh precision va recall.
Mét sé hanh vi trong dit ligu ngwai ding tuong tie va phan hải sản phẩm. Quá trình khai phả hành vì. Biểu diễn mỗi quan hệ giữa người dùng và sắn phẩm. Tiên xử lý dứ liên [3] - - - 43 Hình 2.
Phương pháp binning cho việc làm mịn đữ liệu. Các ngoại lệ có thể được phát hiện bằng phân cum Hinh 2. Biéu dién quan hé giita user va item bang kỹ thuật phân rã ma trận. Biểu diễn kết quả gợi Ý.
Kién tric phan tang cia hé thang. Kiến trúc các thành phân của hệ thông 57 Tlinh 3. Biéu dé thé hién số lượng review qua các năm 62 Tình 3. Biểu đồ trổ lâ tỉ trọng review giữa các nhóm đanh muục.
Hành vi người dùng trong dữ liệu review của Amtazon. Biểu diễn mỗi quan hệ giữa người dang va sin phim trong bé dit Héu thit aghigm 65 Hình 3. Quy trình phân loại các sản phẩm vào nhóm danh mục. Mô tả số lượng review theo danh mye sau khi da loai bỏ đử liệu review cũ.
Mô tả phân phối chuẩn Poison. 10 MUC LUC TỚI CAM DOAN 7 LỎI CẢM ƠN 8 DANH MỤC CÁC BẢNG. 0 án 228211 eeeeeerrrrereceoÐ) DANH MỤC CÁC HÌNH VẼ. nnHneeaerereiseeoee TÔ, MÔ ĐẦU.
- - - 12 CHUONG1: CO SG LY THUYET. — Tổng quan về hành vi người dùng,. Yếu tô ảnh hưởng hành vị người dùng - - 15 1. Khai pha dit lện Khái niệm.
- Quá trình khai phá trĩ thức. Các phương pháp khai phá đữ liệu. Xay dung ma tran Utility. Goi ¥ dua trén ndi dung.
Toc céng tac. Phuong phap danh gia sai sé. Dánh giá độ chính xác của dự đoán. Bánh giá việc sứ dụng các dự đoán.
CHƯƠNG 2: MO HINH HOA HANH VI. Cosémé hin héa hanh vi 2. - Hànhvi người dùng trong dữ liêu wcb. Qui tinh khai pha hanh vi - 2.
Quytrìnhtổng quát. - - 42 Ngày 18 tháng 11 năm 2018 Giáo viên hưởng dẫn 'Tác giả luận văn. CHỦ TỊCH HỘI DÒNG 'tiển xứ lý dữ liệu. - - - 33 Tiiều diễn kết quả.
Kiển trủc hệ thông. c2 Kiên trúc phân tảng. Kiến trúc các thành phân của hệ thống $6 CHƯƠNG3: THỨ NGHIỆM. Môtä dữ ligu.
Giới thiệu nguồn gốc đữ liệu. Câu trúc đữ lệu - - 5 313. Phan tich bai toan. HH Hư Hee eriodl 63 3.
Quátrinhkhai phá hànhvi.săcesieirierererriee 65 Tua chon dit ida. 65 ab = mo oS Tiển xử lý đữ liệu. - - - 66 eo Tuan huyện và dự báo. - - 69 Biểu diễn kết quả.
co 222202 222 tren 111e111xrererre T7 ia > w 3. Chiic ning cae thanh phan. 3,5, Kết quả thu được vả nhận xét. Kết quả dự doàn dựa rd 3.
Kết quê cũa phân loại phê bình - 78 KÉT LUẬN - - - - - 81 TAT LIGU TITAM KqGAO. ce ccsccssessorsssssssrssvsnteessesesseesserassssvassveeenseessseeenrsatsvvasseeseerBO 6 Ngày 18 tháng 11 năm 2018 Giáo viên hưởng dẫn 'Tác giả luận văn. CHỦ TỊCH HỘI DÒNG DANII MUC CAC BANG Bang 3. Số liệu sai số trường hợp | Bang 3.
Số liệu sai số trường hợp 2. Số liệu sai số trường hợp 3. Số liệu sai số trường hợp 4 Bang 3. Số liệu sai số toàn bộ dữ liệu xếp hạng 9 LOI CAM ON Trước hết, tác giả xin gửi lời cảm ơn chân thành của mình tới các thấy cổ giáo trường Đại học Bách Khoa Hà Nội nói chưng và các thấy cô Viện Công Nghệ Thông Tin và Truyền Thông và bộ môn Hệ thống thông tin nói riêng.
Các thầy, cô đã giúp đỡ tác giả trong sud qua trình học tập tại Viện, Tác giả xin dược gửi lời cảm ơn sâu sắc nhất đến thầy giáo TS. Nguyễn Bình Minh đã tận tình giứp đô, trục tiếp chỉ bảo, chỉnh sửa, hướng dẫn tác giả trong suốt quá trình làm luận vấn. Trong thời gian làm việc với thây, tác giả không những được tiến thu thêm kiến thức mà còn học tập được tính thần làm việc, thái độ nghiên cửu khoa học nghiém tie, hiéu qua. Cuỗi cùng, tác giả xin dược gửi lời cam ơn chân thành tới gia đình, ban lãnh dạo công ty, đồng nghiệp vả bạn bẻ đã động viên, khuyến khich, đóng góp ý kiến và tạo điều kiện cho tác giả trong quá trình học tập, nghiên cứu và hoàn thành luận văn “Trân trong ! DANITI MỤC CÁC HÌNH VẼ TRình 1.
Khai phá dữ liệu là một bước trong quá trình khai phá trí thức[11] 1 Hình 1. Phân tích bài toán 8VM. con nọnnHnh ưng 21 linh 1. Vi du vé ma tran Utility dua trén sé sao mét user rate cho mét item.
Ví dụ mô tả lọc cộng tác user-user, a) Ma trận TItility ban đâu, bỳ Ma trận Utility đã được chuẩn hỏa. e) ma trận user tương tự. d) dự đoán cdc ratings chuẩn hóa càn thiếu. e) ví dụ về dự đoán rating chuẩn hóa.
Minh họa kỹ thuật phân rã ma trận - 34 Hinh 1. Minh hoa vi du dé tinh precision va recall. Mét sé hanh vi trong dit ligu ngwai ding tuong tie va phan hải sản phẩm. Quá trình khai phả hành vì.
Biểu diễn mỗi quan hệ giữa người dùng và sắn phẩm. Tiên xử lý dứ liên [3] - - - 43 Hình 2. Phương pháp binning cho việc làm mịn đữ liệu. Các ngoại lệ có thể được phát hiện bằng phân cum Hinh 2.
Biéu dién quan hé giita user va item bang kỹ thuật phân rã ma trận. Biểu diễn kết quả gợi Ý. Kién tric phan tang cia hé thang. Kiến trúc các thành phân của hệ thông 57 Tlinh 3.
Biéu dé thé hién số lượng review qua các năm 62 Tình 3. Biểu đồ trổ lâ tỉ trọng review giữa các nhóm đanh muục. Hành vi người dùng trong dữ liệu review của Amtazon. Biểu diễn mỗi quan hệ giữa người dang va sin phim trong bé dit Héu thit aghigm 65 Hình 3.