BO GIAO DUC VA BAO TAO TRUONG DAI HOC BACH KHOA HA NOL Nguyén Thanh Huy PLLAT LEN TIN TUC DUOC QUAN TAM TU CAC NGUON TRUC TUYEN Chuyên ngành: Công nghệ thông tin T.UẬN VĂN THẠC SĨ KỸ THUẬT CONG NGHE THONG TIN NGƯỜI HƯỚNG DẪN KHOA HOC: PGS. CAO TUAN DUNG Ha Noi —Nam 2018 LOT CAM ON Em xin bày tỏ lòng kinh trong và cảm ơn chân thành dén thay giáo PGS. Cao Tuân Dũng - Viện Công nghệ thông tin và Truyền thông — Trường Đại học Bách Khoa Hà Nội, người để định hướng, tận tính hướng dẫn, giúp đỡ em trong suốt quả trinh thực hiện luận vẫn. Em xin chân thành cảm em các thay giáo, cô giáo - Viện Công nghệ Thông tin và Truyền thông - Trường Đại học Bách Khoa Hà Nội, những người đã lận tỉnh truyền đạt các kiên thức cho em trong suốt thời gian em học tập vá nghiên cứu tại Trường, Tầm cũng xin gửi lời cảm em tới gia đỉnh đã ủng hệ, động viên em trong suốt quá trình học tập vừa qua Cuỗi củng, em xin cắm ơn các ban học củng lớp 15BCN TT khoá 2015, các đồng nghiệp và đơn vị công táo đã giúp đỡ em trong quá trình học tập và thục hiện luận văn.
Do trong quá trinh nghiên củu, tìm hiểu và thực nghiệm luận văn chắc chân không thể tránh khôi những sai sót nhật định, em rất meng nhận được sự góp ý của thầy, cô giáo và cáo bạn đỗ luận văn được hoàn chính hơn. Em xin trên trọng cảm ơn! Hà Nội, thẳng 09 năm 2018 ‘Tac giả luận văn. Nguyễn Thành Huy LOT CAM DOAN Em xin cam doan luan vin “Phat hién tin tie duge quan tim từ các nguồn trực tuyến” này la oông trinh nghiên cứu của em đưới sự hướng đẫn khoa học của PGS. Cao Tuân Dũng.
Tải cả những tải liêu tham khảo cm đã liệt kê rõ ở phần cuối của huận văn. Các nội dưng công bộ và kết quả trình bảy trong luận văn nảy là trung thực và không có sự sao chép của người khác Nếu phát hiện có bắt kỳ sự gian lân nào, cm xin hoàn toàn chịu trách nhiễm trước tội đồng, cũng như kết quả tốt nghiệp cứa mình. Hà Nội, tháng 09 năm 2018 ‘Tac giả luận văn. Nguyễn Thành Huy CHUONG TIL GIAT PHAP PHAT HIEN THONG TIN BUGC QUAN TAM TU FACEBOOK SỬ DỤNG PHƯƠNG PHÁP LDA.1 Mô hình tổng quát 3.2 Khối thu thập đữ hệu 1 Graph API và khai thác dữ liệu từ Eacebook.2 Khai thác đử liệu 3.3 Khối thuật loán.2 Ước lượng mô hình chủ đề và phản cụm tin tức.4 Khối truy vấn và hiển thị.
sec CHUONG TV: THUC NGHTEM VA KRT QUA, 4.1 Xây dựng hệ thống thứ nghiệm.1 Xây dựng hệ thẳng database nông địch vụ và luồng xử lý liển tục KẾT LUẬN VÀ HƯỚNG PHÁT TRIẾN TÀI LIỆU THAM KHẢO DANH MUC CAC KY HIEU, VIET TAT Ky higu Tiếng Anh Tiếng Việt API Application Prograniming Giao điện lập trình ứng đụng Interface LDA Latent Dirichlet Allocation Phân bố Dữichletẩn JSON JavaScript Object Notation Ký hiệu đổi tượng lavascript Weka Waikato Environment for 1ộ phân mềm học máy được Knowledge Analysis Dai hoe Waikato, New Zealand phat trién bang Java HIP Hypertext Transfer Protocol Giao thức truyền tải siêu vẫn. bản XMU eXtensible Markup Language Ngôn ngữ đánh đấu mở rộng pLST probabilistic Latent Semantic Xác suất xác định ngữ nghĩa Tndexing tiểm ân CRFs Conditional Random Ficlds Trường xác suất có điều kiện SOA Service Oriented Architecture Kién wie hướng dich vu DANH MUC BANG BIEU Bang 1: Bang danh cac ky higu loai tir. Bang 2: Bang đanh sách các trang thông tín thu thập Bang 3: Bảng thống kế dữ liệu dã thu thập Bang 4: Bang danh sach ti khoa cia hai chủ đẻ tin tức. Bang 5: Bằng xác suất lợp TÔ tín tức ứng với chủ để 11 trong tháng 06/2018 Bang 6: Băng so sảnh mức độ quan tâm của 2 chủ để tin tức.
MUC LUC Danh mục các ký hiệu, viết tắt. con cu Danh mục hình ảnh. Danh mục bảng biểu. LỠI MÔ ĐẦU.
10 CHUONGI: XU HƯỚNG QUAX TÂM CUA NGƯỜI DÙNG TRỰC TUYẾN VÀ CÁC PHƯƠNG PHÁP PHÁT LIIỆN TÌN TỨC.1 Tổng quan các nền tầng lin tức của người đùng lrực tuyến. 13 12 Nguỗntin tức tử mạng xã hội.àà So 15 143 Nên tảng mạng xã hộiFacebock. 17 1⁄4 Tinh hinh 6 Viét Nam 18 1.5 Mộtsó phương pháp tiếp cận. Hướng phát hiện tin tức quantâm từ từ khoá tỉm kiểm trực tuyến.2 Hưởng phát hiện tin tức từ công cụ của các hãng công nghệ.
20 1% Hưởng phát hiện tin tức quan tảm từ mạng xã hội sử dụng thuật ie toán phân cựm lin túc 20 CHUONG TI: MOT SỐ GIẢI PHÁP PHÁT HIỆN TIN TÚC QUAN TÂM 1 Khảosátdữliệu.i oi 22 Phan cum đữ liệu.32 __ Thuật toán phân cụm theo thử bậc (IEerarchical Clustering) 30 2. Thudt toan LDA (Latent Dirichlet Allocation).3 Dánh giả chú để tín tức được quan tâm. dB DANH MUC CAC KY HIEU, VIET TAT Ky higu Tiếng Anh Tiếng Việt API Application Prograniming Giao điện lập trình ứng đụng Interface LDA Latent Dirichlet Allocation Phân bố Dữichletẩn JSON JavaScript Object Notation Ký hiệu đổi tượng lavascript Weka Waikato Environment for 1ộ phân mềm học máy được Knowledge Analysis Dai hoe Waikato, New Zealand phat trién bang Java HIP Hypertext Transfer Protocol Giao thức truyền tải siêu vẫn. bản XMU eXtensible Markup Language Ngôn ngữ đánh đấu mở rộng pLST probabilistic Latent Semantic Xác suất xác định ngữ nghĩa Tndexing tiểm ân CRFs Conditional Random Ficlds Trường xác suất có điều kiện SOA Service Oriented Architecture Kién wie hướng dich vu LOIMO DAU Theo théi gian, phuong tién truyén tai tin tức tới người đúng di từ nhật báo, tạp chí trên giấy tới phát thanh, truyền hình rồi tới các bảo điện tứ trên web, gắn đây là xuạng xứ hội.
Trơng Hai thập kỹ vừa qua với sự ra đời của công nghệ kỹ thuê phổ biển thông tin trên internet dã tạo ra một sự thay dỗi trong việc dọc bảo giấy, người dân ngày cảng đọc tin tức thông qua điện thoại thông minh và các thiết bị điện tử kháo. Hiện nay, thông tin trên rạng trực tuyến là quá lớn, tin tức được truyền tái qua internet đưới nhiêu hình thức và cực ky đa dạng. Một trong các hình thức chính mà người dùng trực tuyển sử dung là mạng xã hội. Việc sử đụng hình thức tiếp cập lin tức trên mạng xã hội sẽ mạng lại sự chủ động cao cho người dùng, và mang tính tương tác nhiều hơn.
Sự tương táo trên mạng xã hội khả là đa chiêu, mọi người có thế bấy lô ý kiến cá nhân, cũng như câm xúc với từng loại tĩn tức. Từ đó, bản toàn phát hiện tin tức được quan tâm của người dùng trực tuyến trở nên cấp thiết hơn. Bài toán phát hiện tin tức được quan tâm là bài toán khó và phức tạp, đòi héi phải tổng hợp nhiều Iri thắc dễ giải quyết nhiều vấn dễ. Bài toán này cũng Thứ hút sự quan †âm rất lớn của tác giả với mong muốn đóng góp được phần náo đỏ cho các nghiền cứu tương tự.
Vì vậy, đề Lài “Phát hiện tin tức được quan (âm từ các nguồn {rực tuyến” dược chọn làm đè tài nghiên cửu cho luận văn của mình. Phương pháp tiếp cận đề phát hiện tín bức quan tâm của người đùng trực tuyển đã có một số công trình nghiên cứu, và mỗi phương pháp có ưu nhược điểm riêng. Trong, khuôn khỏ luận văn, các nội dung sẽ như sau: Mục tiêu và nhiệm vụ: - Muc riéw: Dua ra một giải pháp phát hiện tin tức được quan tâm tử các nguồn. trực tuyến với hưởng tiếp cận mới, khắc phục được một sỏ hạn chế của một vài phương pháp hiện tại gặp phải -_ Nhiệm vụ: Đề đại được mục tiêu thư trên thì luận vẫn cản phải thực tiện được các nhiệm vụ sau: DANH MỤC HÌNH ẢNH Link 1: Biểu đỗ các nguồn tin tủc của Mỹ giai đoạn 2012-2017.
Hình 3: Biểu đổ tý lệ các kênh dẫn tới nội dụng tín tức - Hình 3: Biểu đỗ phản bó tỷ lệ sử dụng nguồn tin theo dộ tuổi. Tlỉnh 4: Lượng người hoạt động trên các nên tảng mang xã hội 2017. Hình Š: 8o sánh giữa cáo cách lựa chơn im lức Hinh 6 Mô tả dữ liệu của tia tức trên Facebook. " Tlỉnh 2: Minh hoạ thuật toán phân cựm đữ liệu bằng phân cấp theo 2 kiều Tinh 8: Mô tả chủ đề văn bản trong mô hình chủ đề linh 9: So sảnh mô hình chủ đề với phân cụm văn bản.
Hinh 10: Nguyên lý xử lý của thuật toán LDA. Hình 1ï: Kỷ hiệu khối lặp lại - Tlỉnh 12: Biểu điễn mô hình xử lý của LDA. Hinh 13: Mô hình hệ thống phát hiện tin tức quan tâm. Hình 14: Facebook Graph APT.
Hinh 15: Céng cu Facebook Graph Explorer. eee Hình 16: Ladny xử lý khai thác đữ liệu Hinh 17: Luỗng xử lý dữ liêu thỏ. linh 18:Tiên trinh tiền xứ lý. cv Hình 19: Tiên trình xử lý phân cụm chủ đề tìm tức.
Hình 20: Sơ dỗ thiết kế database. Tlỉnh 2L: Bàng đữ liệu thõ - “ nan Hinh 22: Bảng dữ liệu các bân ghỉ sau khi phân tách đữ liệu thổ Hình 23: Băng lưu thông tin tiển xử lý cửa tin tửG. con Tỉnh 24: Băng đữ liệu mô hình chủ đề Tình 25: Bang dif liệu tỷ lẻ mỗi tín Lức ứng với từng chủ đề Linh 36: Giao điện web của [rendNews. DANH MUC CAC KY HIEU, VIET TAT Ky higu Tiếng Anh Tiếng Việt API Application Prograniming Giao điện lập trình ứng đụng Interface LDA Latent Dirichlet Allocation Phân bố Dữichletẩn JSON JavaScript Object Notation Ký hiệu đổi tượng lavascript Weka Waikato Environment for 1ộ phân mềm học máy được Knowledge Analysis Dai hoe Waikato, New Zealand phat trién bang Java HIP Hypertext Transfer Protocol Giao thức truyền tải siêu vẫn.
bản XMU eXtensible Markup Language Ngôn ngữ đánh đấu mở rộng pLST probabilistic Latent Semantic Xác suất xác định ngữ nghĩa Tndexing tiểm ân CRFs Conditional Random Ficlds Trường xác suất có điều kiện SOA Service Oriented Architecture Kién wie hướng dich vu LOIMO DAU Theo théi gian, phuong tién truyén tai tin tức tới người đúng di từ nhật báo, tạp chí trên giấy tới phát thanh, truyền hình rồi tới các bảo điện tứ trên web, gắn đây là xuạng xứ hội. Trơng Hai thập kỹ vừa qua với sự ra đời của công nghệ kỹ thuê phổ biển thông tin trên internet dã tạo ra một sự thay dỗi trong việc dọc bảo giấy, người dân ngày cảng đọc tin tức thông qua điện thoại thông minh và các thiết bị điện tử kháo. Hiện nay, thông tin trên rạng trực tuyến là quá lớn, tin tức được truyền tái qua internet đưới nhiêu hình thức và cực ky đa dạng. Một trong các hình thức chính mà người dùng trực tuyển sử dung là mạng xã hội.
Việc sử đụng hình thức tiếp cập lin tức trên mạng xã hội sẽ mạng lại sự chủ động cao cho người dùng, và mang tính tương tác nhiều hơn.