TRƯỜNG DẠI HỌC BÁCH KIIOA IIÀ NỘI LUẬN VĂN THẠC SĨ Cá nhân hóa tìm kiếm sử dụng các kỹ thuật học máy CAO HÀ VĨNH Ngành Công nghệ thông tin Giảng viên hưởng din: TS, Tran Hải Anh Công nghệ thông tin và truyền thng HA NOI, 2021 TRUONG BAI HOC BACH KHOA HA NOT LUAN VAN THAC Si Cá nhân hóa tìm kiếm sử dụng các kỹ thuật học máy CAO HÀ VĨNH Ngành Công nghệ thông tin Giảng viên hưởng dẫn: 1S. Trần Hải Anh “Chủ ky cia GVHD. Viện: Công nghệ thông tin và truyền thông HÀ NỘI, 2021 CONG HOA XA HỘI CHỦ NGHĨA VIỆT NAM Độc lập — Tự do — Hạnh phức BẢN XÁC NHẬN CHÍNH SỬA LUẬN VĂN THẠC SĨ Tio va tén tac giá luận văn: Cao Hà Vĩnh Đề tài luận văn: 4 nhân hóa tìm kiếm sử dụng các kỹ thuật học máy Chuyên ngành: Mạng máy tính và An toàn thông tin Ma so HV: CBL80206 ‘Tae gia, Người hướng dan khoa học và Héi déng chm luận văn xác nhận. tác giả dã sửa chửa, bỗ sung luận vẫn theo biên bản họp Hội dồng ngày 27/04/2021 với các nội dụng sau: «© Bổ sung gidi th nột số thuật loán học để xếp hạng khác nhan: «_ Bổ sung tham số cài đặt, mé ta dir ligu hudn Iuyén thuat toan SVM «œ Bổ sung, chỉnh sửa các lưn chế và hưởng phát triển ở phần kết luận © Chỉnh sửa định đạng clmản luận văn và sửa lỗi chính tả Ngàp thẳng nềm 2021 Giáo viên hướng dẫn 'Tác giả luận văn TS.
Trần Hải Anh Cao Hà Vĩnh CHỦ TỊCH HỘI ĐÓNG PGS. Nguyễn Linh Giang MỤC LỤC MỤC LỤC - - - - i TDANH MỤC BẰNG BIÊU. - - iti DANH MỤC HĨNH VẼ. - - - iv DANH MUC THUAT NGU VIET TAT LOT NOT BAU CHUONG 1, M6 BAU.
11 Giới thiệt Wormation Retrieval 1.2 Giới thiệu về hệ thống công cụ tìm kiếm.3 Lich sử phát triển hệ thống tìm kiểm 1.4 Kiến trúc và các bộ phận cấu thành của hệ thống công cu tim 1.5 Giới thiệu về cá nhân hóa.1 Giới thiệu về cá nhân hỏa tìm kiếm. TÔNG QUAN CÁC KỸ THUẬT TÌM KIEM Vi (NgbDUNG CA NLLAN HOA CO SỬ DỤNG HỌC MÁY.1 Các mô hình xếp hạng thông thường,.1 Mê hình Boelean.2 Mê hình không gian vector (vector spspace raodel).3 Mô hình xác suất BM25 - 12 22 Apoche Lucene, Elasticsearch và kỹ thuat tim kiém trong Elasticsearchl2 2.2 Elasticsearch và kỹ thuật tìm kiêm trong Elasticsearch - 13 2. Cá nhân hóa trong tim kiém (Personalized search) 19 2.1 Học đề xếp hạng - 19 2.2 Phuong phap Listwise - - 20 2.3 Phương pháp Pairwise và thuật loán SVMRark.4 Xác định đặc trưng, - - - 21 2.carning to Ranik - - 23 3.6 Mô hình đặt ra cho hệ thống cá nhân hóa 23 CHUONG 3, PHAN TICH THIRT KR VA TRIFN KHAT HR THONG TIM 'KIỀM TREN NEN TANG MICROSOFT AZURE - 25 3.1 Mô hình tổng quan và kiến trúc hệ thông.2 Thiết kế Client 27 3.1 Chức năng Tndex/Reindex.2 Chức năng Indexing JGD.23 Chức năng Search. - - - - 28 DANH MỤC BẰNG BIẾU Bang 2.1 Biển điển có hoặc không xuất hiệu trong doc cũ các index.1 Mô một sủ đặc trưng cho mô hình học để ép hạng.1 Thống kê thời gian lập chỉ mục nội bộ trang wcb.2 Thông kê thời gian lắp chỉ mục bên ngoài iti DANH MỤC BẰNG BIẾU Bang 2.1 Biển điển có hoặc không xuất hiệu trong doc cũ các index.1 Mô một sủ đặc trưng cho mô hình học để ép hạng.1 Thống kê thời gian lập chỉ mục nội bộ trang wcb.2 Thông kê thời gian lắp chỉ mục bên ngoài iti DANH MUC THUAT NGU VIET TAT Tên thuật ngữ | Diễn giải ES Elasticsearch API Giao dién lap trinh tmg dung — Application Programming Interface IR Truy xuat thong tin — Information Retrieval SaaS Phan mềm đạng địch vụ, là một mô hình điện toán đảm mây — Software as a Service SEO Tôi ưu hỏa céng cu tim kiém — Search Engine Optimization L2R/LTR [Hoc đểxép hạng hoặc xếp hạng học mảy ~Leaming torank VM Mây ảo, một trình giả lập một hệ thông máy tỉnh — Virtual Machine VMSS Một tập hợp các máy ao giong nhau cd kha nang nhan ban dé mo réng quy m6 — Virtual Machine scale set BM25 Một hàm tỉnh thử hạng được sử dụng đề xếp hạng các văn.
ban — Best matching CRUD Bon chute nang co ban ctia lu trit lién tue — Create, Read, Update, Delete LOI CAM ON Đổ hoàn thành được luận văn thạc sĩ này, trước tiên tôi xin gửi lồi cảm ơn chân thánh tới người hướng đẫn của tôi, TS. Trần Hải Anh, người đã định hưởng, nhiệt tình đẫn đắt, tạo điều kiện cho tôi trong suốt thời gian thực hiện luân văn thạc sĩ 'Tôi cũng xim gửi lời cám ơn tới Trường Đại hoe Bach khoa Hà Nội, tới các thầy cô tại Viên CNTTK&TT và bộ môn Truyền thông & Mạng máy tính đã truyền đạt cho tôi những kiến thức chuyên sáu về chuyên ngành trong suốt thời gian học tập đề tôi có những nên tảng kiến thức hỗ trợ cho tôi trong quá trình làm luận văn. thac si Luan vin dược tải trợ bởi Qui Phát triển khoa học va công nghệ Quốc gia (NATOSTED) trong đề tài mã số 102.314 Xin chan thanh câm ơn! Hà Nội ngày thang năm 2021 Tae gid Cao Ha Vink MỤC LỤC MỤC LỤC - - - - i TDANH MỤC BẰNG BIÊU. - - iti DANH MỤC HĨNH VẼ.
- - - iv DANH MUC THUAT NGU VIET TAT LOT NOT BAU CHUONG 1, M6 BAU. 11 Giới thiệt Wormation Retrieval 1.2 Giới thiệu về hệ thống công cụ tìm kiếm.3 Lich sử phát triển hệ thống tìm kiểm 1.4 Kiến trúc và các bộ phận cấu thành của hệ thống công cu tim 1.5 Giới thiệu về cá nhân hóa.1 Giới thiệu về cá nhân hỏa tìm kiếm. TÔNG QUAN CÁC KỸ THUẬT TÌM KIEM Vi (NgbDUNG CA NLLAN HOA CO SỬ DỤNG HỌC MÁY.1 Các mô hình xếp hạng thông thường,.1 Mê hình Boelean.2 Mê hình không gian vector (vector spspace raodel).3 Mô hình xác suất BM25 - 12 22 Apoche Lucene, Elasticsearch và kỹ thuat tim kiém trong Elasticsearchl2 2.2 Elasticsearch và kỹ thuật tìm kiêm trong Elasticsearch - 13 2. Cá nhân hóa trong tim kiém (Personalized search) 19 2.1 Học đề xếp hạng - 19 2.2 Phuong phap Listwise - - 20 2.3 Phương pháp Pairwise và thuật loán SVMRark.4 Xác định đặc trưng, - - - 21 2.carning to Ranik - - 23 3.6 Mô hình đặt ra cho hệ thống cá nhân hóa 23 CHUONG 3, PHAN TICH THIRT KR VA TRIFN KHAT HR THONG TIM 'KIỀM TREN NEN TANG MICROSOFT AZURE - 25 3.1 Mô hình tổng quan và kiến trúc hệ thông.2 Thiết kế Client 27 3.1 Chức năng Tndex/Reindex.2 Chức năng Indexing JGD.23 Chức năng Search.
- - - - 28 DANH MUC HiNH VE Hình 1.1 Mô hình tham khảo kiến trúc của hệ thống tim kiếm Google, theo Stanford Universily - - - - - 5 Tình1.2 Ví dụ về cá nhân hóa.1 Danh sách một số sân pham st dung Elasticscarch 14 Hình 2.3 Ví dụ vẻ kiến trúc của một Elasticscarch cluster.3 Ví dụ mô tã vẻ Elasticsearch shard va replicas.4 Sơ dễ dơn giản một hệ thống cá nhân hóa tìm kiểm.5 Mô hình tham khảo hệ thống cả nhân hóa sử dung Elasticsearch LTR 23 Hình 3.1 Mô hình tổng quát hệ thống tìm kiểm.2 Kign tric co si ha tang hé théng tim kiếm triển khai đựa trên Azure.3 So dé hoat dng Index /Reindex ue cccesessseeesssesiensteesieeieet -.4 Sơ đỗ hoạt dòng Indexing Job .5 So dé hoat déng Search .6 Sơ đỗ hoạt động Search statistics.7 So dé hoạt động Request Arthentication.8 So dé hoat ding Request Traoking.9 Mô hình theo dõi lịch sử truy vẫn của Personalization servioe 35 Linh 3.10 Mô hình học đề xếp hạng của Personalization serviee.11 Ví đụ về danh sách đánh giá.12 Vector đặc trưng cho việc huấn luyện học để xếp hạng.13 Một kết quả trọng số cáo đặc trưng cơ bản sau khi được huận lưyện bằng SVM 37 Hình 3.14 Sơ đồ hoạt độngRequest routing forwarding - Al Hình 3.15 Sơ đã hoại động Surcam service.16 So dé hoat déng Ingest.17 Sơ đồ hoạt động Rumer - - AS Hình 318 Sơ đã thiết slicseach cluster. - 7 Hình 41 Kiến trúc hệ thống tìm kiếm triển khai thử nghiệm trên Avure.2 Giao điện website thờ nghiệm -.3 Kết quả 1 lần mdex toàn bộ website.4 Kết quả thử nghiệm crawler 51 Hình 4.5 Kết quả thở ngÌiễm trên k6 io. - 32 Huấi 46 Thông kê truy cập trên Kibana. 52 Tình 47 Kết quả tim kiểm ban đầu - - - 58 Tình 4.8 Kết quả tìm kiếm sau khi truy cập vào một số trang ngẫu nhiê iv 3.4 Chie nang Search slatishes.3 Thiét ké Proxy service va lich hop Personalization service 31 3.
racking và Persoralization tracking - 38 3.3 Request routing/forwarding và Personalizod search.4 Thiết kế Strcam service và Ingest Fimetion .5 Thiết kế Runner (Crawler). KẾT QUẢ THỦ NGHIỆM VÀ ĐÁNH GIÁ.1 Triển khai hệ thống thử nghiệm.1 Mô hình triển khai.2 Cầu hinh thứ nghiệm .2 Thủ nghiệm và kết quá.1 Lập chỉ mục nội dung website hiện tại.2 Lập chỉ mục nội dung bên ngoài.4 Ca nban héa tim laém. khien 53 KET DUAN cccssseeneesticessteeianisistentsinsannensensineestnetnete 1355 1. Kết quả thực hiện 55 2.
Tưởng phát triển trong tương lai 55 ii DANH MUC HiNH VE Hình 1.1 Mô hình tham khảo kiến trúc của hệ thống tim kiếm Google, theo Stanford Universily - - - - - 5 Tình1.2 Ví dụ về cá nhân hóa.1 Danh sách một số sân pham st dung Elasticscarch 14 Hình 2.3 Ví dụ vẻ kiến trúc của một Elasticscarch cluster.3 Ví dụ mô tã vẻ Elasticsearch shard va replicas.4 Sơ dễ dơn giản một hệ thống cá nhân hóa tìm kiểm.5 Mô hình tham khảo hệ thống cả nhân hóa sử dung Elasticsearch LTR 23 Hình 3.1 Mô hình tổng quát hệ thống tìm kiểm.2 Kign tric co si ha tang hé théng tim kiếm triển khai đựa trên Azure.3 So dé hoat dng Index /Reindex ue cccesessseeesssesiensteesieeieet -.4 Sơ đỗ hoạt dòng Indexing Job .5 So dé hoat déng Search .6 Sơ đỗ hoạt động Search statistics.7 So dé hoạt động Request Arthentication.8 So dé hoat ding Request Traoking.9 Mô hình theo dõi lịch sử truy vẫn của Personalization servioe 35 Linh 3.10 Mô hình học đề xếp hạng của Personalization serviee.11 Ví đụ về danh sách đánh giá.12 Vector đặc trưng cho việc huấn luyện học để xếp hạng.13 Một kết quả trọng số cáo đặc trưng cơ bản sau khi được huận lưyện bằng SVM 37 Hình 3.14 Sơ đồ hoạt độngRequest routing forwarding - Al Hình 3.15 Sơ đã hoại động Surcam service.16 So dé hoat déng Ingest.17 Sơ đồ hoạt động Rumer - - AS Hình 318 Sơ đã thiết slicseach cluster. - 7 Hình 41 Kiến trúc hệ thống tìm kiếm triển khai thử nghiệm trên Avure.2 Giao điện website thờ nghiệm -.3 Kết quả 1 lần mdex toàn bộ website.4 Kết quả thử nghiệm crawler 51 Hình 4.5 Kết quả thở ngÌiễm trên k6 io. - 32 Huấi 46 Thông kê truy cập trên Kibana. 52 Tình 47 Kết quả tim kiểm ban đầu - - - 58 Tình 4.