HỘ GIÁO DỤC VÀ ĐÀO TAO iG DAI HOC BACH KHOA HA NOL ANY NVí1LHR1 “1H Huynh Tuan Anh NIL ONQHL JHON ONGO TÌM KIỀM THỰC THẺ DỰA TRÊN DÁNH GIÁ CỦA NGƯỜI DUNG VA UNG DUNG MAPREDUCE TRONG BAI TOAN TIM KIEM 901 TUQNG LUẬN VĂN THẠC SĨ KỸ THUẬT CONG NGHE THONG TIN 0102 VOIIT Hà Nội — Nam 2012 BO GIAO DUC VA BAO TAO TRUONG DAI HOC BACH KHOA HA NOI Huynh Tuan Anh TIM KIEM THUC THE DUA TREN DANH GIA CUA NGUGI DUNG VA UNG DUNG MAPREDUCE TRONG BÀI TOÁN TIM KIEM ĐỐI TƯỢNG Chuyén nganh | Céng Nghệ Thông Tin LUẬN VĂN THẠC 8Ï KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC PG3. Huỳnh Quyết Thắng Hà Nội — Năm 2012 LOI CAM DOAN Tôi xin cam đoan những gì mà tôi viết ra trong luận văn này là do sự Em hiểu và nghiên cứu cia ban thân. Mọi kết quả nghiên cứu cũng nhụý lung của các tác giả khác nếu có dêu dược trích dẫn dầy đồ. Luan vin nay cho đến nay vẫn chua hệ dược bảo vệ tại bất kỳ một hội déng báo vệ luận văn thạc sĩ nảo trên toàn quốc cũng như nước ngoài và cho đến nay chưa hé được công bả trên bắt kỳ phương tiện thông tin naa.
'Tôi xin hoàn toàn chịu trách nhiệm về những gí má tôi đã cam doan trên dây. Tà Nội, ngày 30 tháng 8 năm 2012 Tắc giả Huynh Tuan Anh LOI CAM ON Trước tiên, tôi xin phép bay tổ sự biết ơn chân thành dén PGS.TS Huỳnh Quyết Thắng đã tận tỉnh giúp đỡ tôi hoàn thành luận văn nảy. cũng xin chân thành cảm ơn các thấy cô ở v Công nghệ Thông tim và Truyền thông Đại học Bách khoa Hà Nội đã tận tình giảng đạy, truyền đạt cho tôi những kiến thức quí báu trong suốt thời giam của khỏa Thạc sĩ 3010. Xin cam ơn các đẳng nghiệp ở Dại học Nha Trang đã tạo điều kiện, động viên tôi Irơng thời gian thực hiện luận văn.
TR Nội, ngày 30 tháng 8 nấm 2012 Huỷnh Tuần Anh MỤC LỤC LOI CAM ĐOAN. ¬— ¬— ¬— peed LOL CAM ON. wll DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT.Y DANH MỤC CÁC HÌNH VỆ vi DANH MỤC CAC BANG PIEU vii MG PAU 1 O.1 Giới thiệu về tìm kiểm thực thẻ.2 Tim kiếm thực thể dựa vào đánh giả người dúng,.21 Đánh giá sẵn phẩm của cộng đồng người dùng,.2 Tin kiếm sản phẩm dựa vào dành giả của người dùng. “5 043 Nhiệm vụ wong luận văn.
¬—-- ¬—-- ¬—-- 6 04 Các nghiên củu liên quan.5 Câu trủc của luận văn. BÀI TOÁN TÌM KTEM THONG TIN 9 1. Đánh chỉ mục văn bản (mdexing) 9 12 Từm kiếm vin bane ¬— ¬— " 10 1. Môhinh không gian vector (Vector Space Modal - VSM), n 1⁄22 Mô hinh thống kê 14 1.3 Kiến trúc cơ bân của muội hệ thống TR.
sexy sexy seo, TẾ Kết chương. 0 coccoccec sexy sexy sexy see LT CHƯƠNG 2. TÌM KIM THỰC THẺ DỰA TRỄN CÁC DẢNH GIÁ. 18 21 Xếp hạng thục thể dựa trên các đánh giá 19 2.3 Tính điểm đánh giá có xét các chiêu hướng đánh giá của người sử đựng trong, cóc đảnh giá 31 22.1 Tính mức độ tích eve (positive) hay tiêu cực (negative) của đánh giá.1 Phan lop Sentiment (Sentiment Classification) 23 2.2 Tinh điểm đánh giả của một đảnh giá với câu truy vấn có xét dén SO của 24 22.2 Tính trọng số của các Lừ đánh giá trơng li voclor pox và nog 37 3.23 Tém tắt mô hình tính chỉ số SO đối với các khia cạnh của thực thể 31 1H DANH MỤC CÁC HÌNH VẼ Hinh 0.1: Tém tt ác đặc Lính cia m6.
cellular phone dua trén ảnh giá [1]. Vi du vé postings list. che term “windows” trong inverled index 10 Tỉnh 1. Ví đụ về một mwerted nxlox với vị lrí xuât hiện của lorm windows Irong văn bên 10 Hình 1.
độ tương tự giữa hai vẫn bản dị, đy và câu truy vận q. Kiến trúc cơ băn của một hệ thống 1R [17]. sexy seo, TỔ TTình 2. Mô hình tìm kiếm thực thể dựa trên đánh giá.
Dồ thị của hàm relats(x) với 3⁄7 Hình 3. Hai pha map và ređuoc của một MapReduce job [8] 34 Hình 3. MapReduce với đây đủ các thành phần |8] 36 Hinh 3. So dé một ứng dụng MapReduec ở mức cao |20|.
vei BT TTinh 3. Sơ đỗ theo đối một ứng dụng MapReduce [6]. ¬—-- versie BD Tlinh 3. Sơ đỗ thực thì chỉ tiết một ứng dying MapReduce [20] 40 Hình 3.
Sơ đỗ thuật toán MapReduce Enlity Search cho bài toán tìm kiếm thực thể dua trên cáo đánh giá 42 Hình 4. Điểm số chí tiết cho một đánh giá trong tập posReviwew, negRcvicw.2 Mội khối các đocrmenl biểu điển các đánh giá về một mẫu xe $0 Hình 4.3 nDCG trang bình của top 10 kết quả trả về trong từng trường hợp thử bì m.4 So sành nDCG trong hai trường,hop tét nat khi £2 va £0. top £0 két qua tim kiém với câu tray van: good + fuel economy, vai £0, sum seore, BM25 nDCG,„,„;=0.965 63 Tỉnh 416 top 10 kết quả tim kiếm với câu truy vận: q= #iel với 2, d=0.4, BM25, MDC sepect=0.977 63 vị DANII MUC CAC BANG BIEU Bang 2. Các phương pháp tổng hợp điểm đánh giá 20 Rang 4.ueene DocunenL của một đánh giá 49 Bảng 4.
Lueene Document của một thưực thể. TH su, 49 Bảng 4. Danh sách cáctừ trong, vector pos. Danh sách cáo từ trong vector neg $6 Bang 1.
Cac câu truy vẫn trên từng khia cạnh thực thé có xét đến ảnh hưởng của các từ đánh giá 58 Bang 4. Cac cau truy van trén timg khia canh thực thế không xét đến ảnh hưởng, của các từ đánh giá s8 Rang 4. nDCŒ của tợp 10 kết quả trả về của các câu truy vấn ở bãng 4. nIDCŒ của tợp 10 kết quả trả về của các câu truy vấn ở bằng 4.
60 Kết chương. THUẬ TRÊN CÁC ĐÁNH GIÁ VỚI MAPREDLCH. ¬— ¬— ¬— tee BS 31 MapReduce Framework.1 Cấu trúc dữ liệu trong MapReduee. Map vá Reduee bai hàm cơ bản trong MapReduee.
Partitioner va Combiner: 2 thanih phan phu eGa MapReduce 35 3.4 Ví dụ minh hoa MapReduce a7 3. Giớithiệu Apache Hadoop 38 3. Thuat toan MapReduce Entity Scarch cho bai toán tìm kiểm thực thể dựa trên các dánh giá.cccceeecceee ¬—-- ¬—-- ¬—-- vei Al 3.31 Thanh phan Mapper.2 Thanh phin Reducer 44 3.3 Thành phan Combmer 44 Kết chương 46 CHƯƠNG 4. CÀI ĐẶT THỦ NGHIỆM VÀ ĐÁNH GIÁ.
4 41 Dữliệu cho cải đặt thứ nghiệm.2 Các công cụ sử dụng. MIT Java Wordnet Interface (WL 52 4.5 Mé hinh théng ké BM2S trong Lucene 533 43. Xae dinh lai veclor poS và nộg. SB 44 Danh gid.41 Tiêu chuẩn đánh giá 5 4.43 Ket qua th nghiém ¬.
4-4-4 Một số ví đụ về kết quả tìm kiếm 62 Kết chương:. 555cc sexy sexy sexy sess OD KẾT LUẬN 66 ánh giả chưng về luận văn. 66 Các đóng gop khoa hoe etia luan vin 7 1lưởng phát triển của luận văn. sexy sexy sexy cece OF TAI LIEU THAM KHAO 68 MO DAU Sự phát triển nhanh chóng các ứng dụng của công nghệ thông tin và Internet vào các lĩnh vực trong đời sống xã hội đã tạo ra nhiều nguồn dữ liệu không lỏ.
Trong số đỏ phải kể đến một lượng rất lớn các nhận xét, đảnh giá (sau đây gợi là các dánh giá-review) về các sản phẩm trên các trang tương mại điện tứ và các điển. đàn, các hê sơ liên quan đến các cá nhân. Các ý kiến đánh giá của các chuyên gia hay của cộng đồng người đừng Tnieret rãi. có ích trong việc trợ giúp khách hàng lựa chọn sản phẩm muốn mưa.
VŨ dụ, khách hàng thường dọc qua các đánh giá về một sản phảm trước khi ra quyết định mua nó. Nhưng với một số lượng rất lớn các đánh giá, khách hàng không thể nảo đọc L cỗ các đănh giá về các sản phẩm, Thông thường với sự trợ giúp của các công cụ tìm kiếm hiện tại như Google, Yahoo, Bing, khách hàng thường tìm đọc các đánh giá về sân phẩm sau khi cưng cấp cho máy tìm kiếm tên của sản phẩm. Việc Tựa chon sẵn phẩm như vậy chỗ yến dựa vào sự chủ quan cửa khách hàng chứ không, dựa trên các đánh giả sẵn có. Với sự phát triển của kỹ thuật máy tính và khai phá dữ hệu, đã có một số nghiên cửu trên đữ liệu các đánh giả nhằm trợ giúp khách hàng có thể đưa ra các quyết định của mình đựa trên các đánh giả như: 1.
Tom tat ác đánh giá [1] [10], [H1]: Tẻ tãi. các đặc tỉnh của một. tỉr các đánh giá của người dùng, Kết quá tôm tắt có thể được trình bảy một cách trực quan. Khách hàng có thể xem một cách Lông quan về sự đánh giá của người đùng đổi với một sẵn phẩm.
Khi cản thiết, khách hàng có thể “khoan sâu” trên một thuộc tính cu thể để xem xét từng đánh giá cho thuộc tỉnh đỏ. DANH MỤC CÁC HÌNH VẼ Hinh 0.1: Tém tt ác đặc Lính cia m6. cellular phone dua trén ảnh giá [1]. Vi du vé postings list.
che term “windows” trong inverled index 10 Tỉnh 1. Ví đụ về một mwerted nxlox với vị lrí xuât hiện của lorm windows Irong văn bên 10 Hình 1. độ tương tự giữa hai vẫn bản dị, đy và câu truy vận q. Kiến trúc cơ băn của một hệ thống 1R [17].
sexy seo, TỔ TTình 2. Mô hình tìm kiếm thực thể dựa trên đánh giá. Dồ thị của hàm relats(x) với 3⁄7 Hình 3. Hai pha map và ređuoc của một MapReduce job [8] 34 Hình 3.
MapReduce với đây đủ các thành phần |8] 36 Hinh 3. So dé một ứng dụng MapReduec ở mức cao |20|. vei BT TTinh 3. Sơ đỗ theo đối một ứng dụng MapReduce [6].
¬—-- versie BD Tlinh 3. Sơ đỗ thực thì chỉ tiết một ứng dying MapReduce [20] 40 Hình 3. Sơ đỗ thuật toán MapReduce Enlity Search cho bài toán tìm kiếm thực thể dua trên cáo đánh giá 42 Hình 4. Điểm số chí tiết cho một đánh giá trong tập posReviwew, negRcvicw.2 Mội khối các đocrmenl biểu điển các đánh giá về một mẫu xe $0 Hình 4.3 nDCG trang bình của top 10 kết quả trả về trong từng trường hợp thử bì m.4 So sành nDCG trong hai trường,hop tét nat khi £2 va £0.
top £0 két qua tim kiém với câu tray van: good + fuel economy, vai £0, sum seore, BM25 nDCG,„,„;=0.965 63 Tỉnh 416 top 10 kết quả tim kiếm với câu truy vận: q= #iel với 2, d=0.4, BM25, MDC sepect=0.977 63 vị DANII MUC CAC BANG BIEU Bang 2. Các phương pháp tổng hợp điểm đánh giá 20 Rang 4.ueene DocunenL của một đánh giá 49 Bảng 4. Lueene Document của một thưực thể. TH su, 49 Bảng 4.
Danh sách cáctừ trong, vector pos. Danh sách cáo từ trong vector neg $6 Bang 1.