Chương 1: Giới thiệu đề tài gồm các nội dung sau: lý do chọn đề tài, mục tiêu, phạm vi nghiên cứu, đóng góp của đề tài và cấu trúc của đề tài. Chương 2: Trình bày tổng quan về các loại định dạng văn bản, các phương pháp rút trích nét đối tượng, các phương pháp xác định ngữ nghĩa của ý kiến. Chương 3: Trình bày chi tiết hướng tiếp cận và giải thuật đề xuất gồm có: lý thuyết về Văn phạm phụ thuộc (Dependency Grammar), cách chuyển đổi từ cấu trúc cụm (phrase structure) sang dạng cấu trúc phụ thuộc (dependencies), giải thuật Double Propagation (DP). Chương 4: Trình bày giải pháp rút trích nét đối tượng, mở rộng các luật rút trích nét, chỉnh sửa lại giải thuật DP và tích hợp các luật rút trích mới vào giải thuật DP.
Sử dụng các phương pháp loại bỏ nét không đúng, phương pháp thứ nhất loại bỏ nét không đúng dựa trên danh sách các từ tổng quan (general word), phương pháp hai là xếp hạng nét theo độ liên quan nét (sử dụng giải thuật HITS) và tần suất xuất hiện. Chương 5: Trình bày cách hiện thực luận văn gồm có tập dữ liệu, các công cụ sử dụng, kết quả thực nghiệm và so sánh hiệu quả của các phương pháp loại bỏ nét không đúng khi kết hợp với giải thuật DP (luận văn đã chỉnh sửa và cải tiến). 4 Chương 6: Trình bày phần kết luận, ưu, khuyết điểm của luận văn và hướng phát triển trong tương lai. Cuối cùng là phần liệt kê các tài liệu tham khảo được sử dụng trong quá trình thực hiện luận văn.
5 Chương 2: TỔNG QUAN Khai phá ý kiến dựa trên nét thu hút các nhà nghiên cứu thuộc các lĩnh vực như khai phá dữ liệu và xử lý ngôn ngữ tự nhiên. Có ba công việc chính cần giải quyết: Xác định nét của đối tượng. Định nghĩa hướng ngữ nghĩa (cảm xúc) của ý kiến nhận xét về nét. Gom nhóm các nét đồng nghĩa với nhau.1 Các loại định dạng văn bản Có 2 dạng văn bản khác nhau, mỗi loại có các cách xử lý khác nhau.
Văn bản định dạng 1 (Pros, Cons và Detailed review): người dùng mô tả nhận xét thành các phần riêng biệt Pros (các ưu điểm), Cons (các khuyết điểm) và Detailed review (phần nhận xét chi tiết), định dạng này phổ biến ở các trang như: Epinions1,… Hình 2.1: Văn bản định dạng 1 [1]. Văn bản định dạng 2 (định dạng tự do): người dùng có thể tự do viết nhận xét mà không cần phân chia thành Pros (các ưu điểm), Cons (các khuyết điểm) riêng biệt (như hình 2.1), định dạng này phổ biến ở các trang như Amazon2, … 1 http://www.com 2 http://www.2: Văn bản định dạng 2 [1] 2.2 Rút trích trên văn bản định dạng 1 Văn bản định dạng 1 là một trường hợp đặc biệt, ý kiến được thể hiện qua các cụm từ ngắn hay từng đoạn (segment) ngắn trong câu, được ngăn cách bởi các dấu câu đặc trưng như: “,”, “.”, “and” và “but”, …. Phương pháp học các mẫu có giám sát (supervised pattern learning) [2] được áp dụng để xử lý trong trường hợp này.Ví dụ áp dụng từ hình 2.1 như sau: Phần Pros trong hình 2.1 được chia làm 3 phân đoạn (segment) great photos <photo> easy to use <use> very small <small> Phần Cons được chia làm 2 phân đoạn battery usage <battery> included memory is stingy <memory> Nhìn vào ví dụ trên chúng ta thấy mỗi phân đoạn (segment) sẽ mô tả một nét (feature) được đặt trong dấu < >. Quá trình xử lý được thực hiện thủ công gồm các bước sau: 1.
Đầu tiên mỗi phân đoạn được chuyển đổi thành một chuỗi đã gắn thẻ part- of-speech (POS) và loại bỏ các con số (number). “<V> included <N> memory <V> is <Adj> stingy” 2. Thay thế các từ là nét thật sự trong câu bằng từ [feature] “<V> included <N> [feature] <V> is <Adj> stingy” 3. Sử dụng n-gram để sinh ra các phân đoạn ngắn hơn đối với các phân đoạn dài.
“<V> included <N> [feature] <V> is” 7 “<N>[feature] <V> is <Adj> stingy” 4. Phân biệt các thẻ trùng lặp bằng cách thêm vào số thứ tự “<N1> [feature] <N2> usage” 5. Truy tìm các từ gốc của nét (word stemming). Sau khi thực hiện quá trình tiền xử lý, phương pháp sử dụng kỹ thuật khai phá dựa trên luật kết hợp của hệ thống khai phá kết hợp CBA [3] để rút trích tất cả các nét.
Sau khi có các nét thì tiến hành gom nhóm các từ đồng nghĩa bằng cách sử dụng các tập từ đồng nghĩa (synsets) trong WordNet. Vd: các từ “photo”, “picture” và “image” là các nét có ý nghĩa giống nhau trong máy quay kỹ thuật số. Kỹ thuật rút trích nét này dựa trên phương pháp xử lý ngôn ngữ tự nhiên và khám phá các mẫu (pattern) có giám sát, được áp dụng khá hiệu quả trong thực tế đặc biệt cho loại văn bản định dạng 1. Tuy nhiên, có một nhược điểm là phải xử lý thủ công trong quá trình tiền xử lý dữ liệu.3 Rút trích trên văn bản định dạng 2 Văn bản định dạng 2 sử dụng câu đầy đủ.
Để rút trích nét đối tượng trên định dạng này có các phương pháp sau: Tìm các danh từ/cụm danh từ xuất hiện thường xuyên Đối với định dạng câu hoàn chỉnh ở văn bản loại 2 có thể áp dụng phương pháp trong [2], nhưng phương pháp này sẽ không hiệu quả vì các câu hoàn chỉnh thường phức tạp hơn và chứa nhiều thông tin bị nhiễu nhiều hơn, vì vậy phương pháp Feature-based summary (FBS) được đề xuất để rút trích cho loại văn bản nêu trên. FBS [4] là phương pháp không giám sát (unsupervised method) đòi hỏi phải có 1 lượng lớn dữ liệu các nhận xét và rút trích nét là các danh từ/cụm danh từ thường xuyên xuất hiện trong toàn bộ dữ liệu. Các danh từ/cụm danh từ này được định nghĩa thông qua Part-of-speech (POST). Sự xuất hiện của các nét được đếm và giữ lại các nét xuất hiện thường xuyên.
Phương pháp này giả định các nét của sản phẩm là danh từ/cụm danh từ và mang tính chất hội tụ. Phương pháp này sử dụng 8 giải thuật CBA[3] để tìm các nét ứng viên xuất hiện thường xuyên trong văn bản. Nếu nét xuất hiện thường xuyên thì nét có thể là ứng viên quan trọng. Sau đó, thực hiện các luật để lược bỏ (pruning) [4, 5] để loại bỏ các nhóm từ vô nghĩa do giải thuật trên tìm ra.
Các nét không được đề cập thường xuyên (infrequent feature) là các nét không quan trọng. Phương pháp nêu trên khá đơn giản nhưng được đánh giá khá hiệu quả. Độ chính xác của phương pháp FBS được cải thiện trong phương pháp do Popescu và Etzioni [6] đề xuất. Giải thuật thực hiện rút trích các danh từ/cụm danh từ là nét của các lớp sản phẩm (product class).
Giải thuật này có khuyết điểm là phải biết trước các lớp sản phẩm. Giải thuật cố gắng loại bỏ các cụm danh từ không phải là nét của các thực thể (entity) bằng công thức PMI (Pointwise Mutual Information) để đánh giá độ liên quan giữa cụm từ và bộ phân biệt các thành phần (meronymy discriminators). Ví dụ về bộ phân biệt các thành phần của lớp scanner như sau: “of scanner”, “scanner has”, “scanner comes with”,…, các mẫu này sẽ được sử dụng để tìm các thành phần (component) hoặc các bộ phận (part) của máy scanner. Công thức tính PMI như sau: 𝐇𝐢𝐭𝐬(𝒅 + 𝒇) 𝐏𝐌𝐈 (𝒇, 𝒅) = 𝐇𝐢𝐭𝐬(𝒅) ∗ 𝐇𝐢𝐭𝐬(𝒇) Trong đó f là nét ứng viên và d chính là một bộ phân biệt (discriminator).
Sử dụng việc tìm kiếm trên Web để tính số lần thành công (hits) của từng giá trị (individual) cũng như là sự đồng xuất hiện giữa chúng (co-occurrences). Ý tưởng chính của giải thuật là nếu giá trị PMI của nét ứng viên quá thấp có thể f và d không đồng thời xuất hiện thường xuyên. Ngoài ra giải thuật cũng sử dụng từ điển phân cấp is-a của WordNet (WordNet is-a hierarchy), từ điển này sẽ liệt kê các loại đặc tính khác nhau của các đối tượng và sử dụng các dấu hiệu hình thái học của từ như các hậu tố “-iness” và “- ity” để phân biệt các thành phần/bộ phận và các thuộc tính/đặc tính của sản phẩm. Giải thuật này tuy cải thiện được độ chính xác trong công trình [5] bằng cách sử dụng các mẫu dạng quan hệ part-whole để khai phá các nét nhưng khi truy vấn trên Web lại có nhược điểm là tốn thời gian.
9 Ngoài hai giải thuật được trình bày ở trên còn có một số nghiên cứu khác theo hướng tiếp cận này. Sử dụng mối quan hệ giữa từ chỉ cảm xúc với các nét/mục tiêu Phương pháp theo hướng tiếp cận này cũng được áp dụng trong [2, 5], nó sử dụng mối quan hệ phụ thuộc giữa các từ chỉ cảm xúc với các nét/mục tiêu để rút trích các nét không xuất hiện thường xuyên (infrequent features). Nếu trong câu nét thường xuyên (frequent feature) không xuất hiện nhưng câu có chứa các từ chỉ cảm xúc thì sẽ rút trích các từ, cụm danh từ gần nhất đối với các từ chỉ cảm xúc. Vd: câu “The software is amazing” có “amazing” chính là từ chỉ cảm xúc và “software” chính là nét.
Ngoài ra, phương pháp rút trích nét dựa trên mối quan hệ cũng hữu ích trong việc rút trích các nét quan trọng hay các nét chính trong văn bản khi các nét này không có từ chỉ cảm xúc hay ý kiến đi kèm với nó. Ý tưởng về mối quan hệ phụ thuộc được tổng quát hóa thành giải thuật Double Propagation (DP) trong [7, 8]. ▪ Sử dụng phương pháp học có giám sát Phương pháp học có giám sát dựa vào việc học tuần tự (sequential learning) trong đó có các phương pháp tiêu biểu : Hidden Markov Models (HMM) [9] và Conditional Random Fields (CRF) [10]. Ngoài ra, [11] còn áp dụng mô hình HMM học các mẫu để rút trích các nét và các cảm xúc.
Nhóm tác giả [12] sử dụng cây phụ thuộc để tìm cặp từ là nét và từ chỉ cảm xúc. Phương pháp này sử dụng các mẫu cú pháp được học thông qua khai phá mẫu. Nhóm nghiên cứu [2] rút trích các nét từ hai tập Pros và Cons sau đó gom cụm các nét đồng nghĩa và xếp hạng các từ dựa vào tần suất xuất hiện của chúng. Công trình [14] sử dụng cả hai mô hình học có giám sát và bán giám sát để rút trích nét.
Trong khi đó [15] sử dụng phương pháp học có giám sát để rút trích các thông tin thích hợp từ Wikipedia. Ngoài các phương pháp được đề cập trên, còn có các phương pháp như [16] với ý tưởng chính là gom cụm các từ chỉ cảm xúc cho cùng một nét và xây dựng một bộ phân loại có khả năng xử lý khi có hai từ chỉ ý kiến mô tả cùng một nét.