chương 1, nhược điểm lớn nhất của các phương pháp thuộc nhóm này đó là việc bị lệ thuộc vào sự xuất hiện của các từ khóa cảm xúc trong văn bản. Các phương pháp dựa trên học máy Các phương pháp thuộc nhóm này nhìn vấn đề xác định cảm xúc cho văn bản dưới góc độ của một bài toán phân loại văn bản. Sử dụng các kĩ thuật học máy dựa trên nền tảng mạnh mẽ của xác suất thống kê, mỗi phương pháp trong nhóm này khai thác những đặc tính khác nhau rút trích được từ văn bản để từ đó thực hiện phân loại cho văn bản vào hai hay nhiều loại cảm xúc khác nhau. Các kĩ thuật học máy đã được sử dụng để giải quyết vấn đề này bao gồm cả những kĩ thuật rất cơ bản, phổ biến như Naïve Bayes (NB) [20], Support Vector Machine (SVM), and Conditional Random Fields (CRF).
Trong [25], các kĩ thuật SVM và CRF được sử dụng để xác định cảm xúc cho cả mức độ câu và mức độ tài liệu. Để xác định cảm xúc cho một câu, các từ khóa thuộc một tập đã xác định trước trong câu đó được rút trích ra, để từ đó tạo thành các đặc tính (feature set) đưa vào cho bộ phân loại để thực hiện việc xác định cảm xúc. Hai bộ phân loại trong công trình này, lần lượt sử dụng SVM và CRF, được huấn luyện có giám sát bằng một tập dữ liệu với cảm xúc đã xác định sẵn lấy từ các trang blog. Cảm xúc cho một tài liệu, được xác định bằng các heuristic dựa trên cảm xúc của từng câu trong tài liệu đó, lần lượt là: cảm xúc chiếm đa số các câu, cảm xúc của chuỗi các câu liên tiếp có cùng cảm xúc dài nhất và cảm xúc của câu cuối cùng trong tài liệu.
Trong [3] sử dụng mô hình không gian vectơ (Vector Space Model – VSM), một kĩ thuật cơ bản trong Truy hồi thông tin, thực hiện việc phân loại để xác định cảm xúc cho các tài liệu. Mỗi tài liệu được biểu diễn trong VSM bởi một vectơ mà mỗi thành phần của nó ứng với một từ khóa, và giá trị của mỗi thành phần là trọng 23 số thể hiện mức độ quan trọng của từ khóa tương ứng đối với tài liệu. Mỗi cảm xúc cũng được biểu diễn bởi một vectơ, là trung bình của các vectơ biểu diễn của các văn bản được gán cảm xúc đó trong tập dữ liệu huấn luyện. Cảm xúc cho một tài liệu được xác định là cảm xúc có vectơ biểu diễn gần với vectơ biểu diễn của tài liệu đó nhất (cosin của góc hợp bởi hai vectơ đó là lớn nhất).
Với nhận xét rằng những từ ngữ không phải từ khóa trực tiếp thể hiện cảm xúc, ví dụ: gift (món quà), school (trường học)…, cũng có thể hiện cảm xúc, việc xác định cảm xúc của [20] xét thêm cả những từ ngữ này. Phương pháp này sử dụng phương pháp Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysic – LSA) thu giảm số chiều cho VSM để khai thác những mối quan hệ ngữ nghĩa tiềm ẩn giữa các từ ngữ. Nhờ đó, dựa vào các tập từ khóa cảm xúc định nghĩa trước (WordNet- Affect [21]), cảm xúc cho các từ không phải từ khóa cũng được xác định và sử dụng cho việc xác định cảm xúc của các tài liệu. Ngoài ra, vectơ đại diện cho mỗi cảm xúc, thay vì dựa vào tập dữ liệu huấn luyện, được xác định bằng cách tính tổng của tất cả các vectơ biểu diễn của các từ khóa đại diện cho cảm xúc đó và các từ đồng nghĩa của nó.
Phương pháp này đã đạt được một kết quả khá khả quan. Kết quả thực nghiệm cho thấy các phương pháp này đều tốt hơn so với LSA. Dù sử dụng nhiều kĩ thuật học máy khác nhau nhưng các phương pháp nhóm này về bản chất vẫn phụ thuộc vào các từ khóa cảm xúc. Việc sử dụng các từ khóa đó ẩn trong các đặc tính dùng cho việc phân loại.
Tuy nhiên, khác với các phương pháp dựa trên từ khóa chỉ xét đơn thuần một từ khóa có xuất hiện trong tài liệu hay không, các phương pháp nhóm này đã dựa vào xác suất thống kê để đánh giá trọng số cho các từ khóa đối với tài liệu, nhờ đó đạt kết quả tốt hơn. 24 Các phương pháp dựa trên ngữ nghĩa Cảm xúc là một khái niệm trừu tượng phức tạp, nên việc nhận biết cảm xúc chỉ dựa trên các đặc tính về từ ngữ như hai nhóm phương pháp trên là một thiếu sót. Do đó, nhóm phương pháp thứ ba tập trung khai thác thêm những khía cạnh ngữ nghĩa như: cấu trúc cú pháp, đặc điểm tâm lý… để từ đó rút trích ra những đặc tính mới cho việc xác định cảm xúc. Công trình trong [24] dựa trên nghiên cứu tâm lý về những điều kiện phát sinh của cảm xúc để đúc kết thành một tập các Luật sinh cảm xúc (Emotion Generation Rules – EGR).
Mỗi câu trong tập dữ liệu huấn luyện được gán nhãn cảm xúc và EGR thích hợp nhất tương ứng với nó. Các nhãn ngữ nghĩa gồm ba loại, tương ứng với các động từ quan trọng rút trích từ các EGR, các từ ngữ phủ định (no, never…) và các từ ngữ liên kết câu (and, but, finally…) cũng được định nghĩa trước. Tất cả những việc này đều thực hiện bằng thủ công. Mỗi câu trong tập huấn luyện được chuyển thành một chuỗi gồm các nhãn ngữ nghĩa và các khái niệm (tương ứng với danh từ).
Các khái niệm sau đó được thay thế bằng những thuộc tính tương ứng của nó được định nghĩa sẵn trong một cơ sở tri thức miền. Bằng thuật toán a-priori, các luật kết hợp giữa các nhãn ngữ nghĩa và các thuộc tính được phát hiện, và từ đó được tự động đúc kết thành tập Luật kết hợp cảm xúc (Emotion Association Rules - EAR). Cuối cùng, bằng cách sử dụng Mô hình hỗn hợp khả phân tách (Separable Mixture Model), EAR thích hợp nhất cho một văn bản có thể xác định được, và nhờ đó suy ra được cảm xúc cho văn bản đó. Một công trình khác trong [8] thực hiện một khảo sát để từ đó chỉ ra các cảm xúc thường được diễn đạt kèm với nguyên nhân gây ra nó.
Từ đó, một tập luật được sử dụng để dựa trên cấu trúc cú pháp rút trích ra những nguyên nhân gây cảm xúc trong các câu có chứa từ khóa đặc trưng cho các cảm xúc. Tập luật này ban đầu bao gồm một số luật được xác định bằng thủ công, sau đó được tự động mở rộng ra. Các nguyên nhân gây cảm xúc được phát hiện sau đó được dùng như những dấu hiệu để nhận biết cảm xúc. 25 Các phương pháp thuộc nhóm này, tuy khác nhau về những đặc tính được khai thác, nhưng phần lớn đều thực hiện việc xác định cảm xúc bằng một hệ thống sử dụng luật.
Các luật này ít nhiều vẫn đòi hỏi phải xây dựng một cách thủ công, dẫn tới khó đầy đủ và đòi hỏi nhiều công sức.1 Mô hình không gian vectơ Mô hình không gian vectơ (Vector Space Model – VSM) [3] là một công cụ đã được sử dụng rộng rãi trong lĩnh vực Truy hồi thông tin (Information Retrieval) để biểu diễn các tài liệu (document) trong máy tính. Trong mô hình này, mỗi tài liệu được biểu diễn dưới dạng một vectơ mà mỗi chiều của vectơ đó là tương ứng với một thuật ngữ xác định. Các thuật ngữ (term), tùy theo mục đích sử dụng, có thể là một từ, hoặc cũng có thể là cả một cụm từ. Trong phạm vi luận văn này, một thuật ngữ là tương ứng với một từ vựng.
Giả sử, với tập từ vựng , là một tập có thứ tự bao gồm từ vựng phân biệt nhau, được định nghĩa như sau: { } Mỗi tài liệu sẽ được biểu diễn bởi một vectơ chiều ⃗ như sau: ⃗ 〈 〉 Trong đó, mỗi giá trị là trọng số tương ứng của từ vựng đối với tài liệu. Trọng số này phụ thuộc vào tần suất xuất hiện của từ vựng trong tài liệu , và có nhiều phương pháp khác nhau cho việc tính toán giá trị cho nó. Một trong những phương pháp tính toán trọng số phổ biến nhất là -. Phương pháp này cho phép đánh giá được tầm quan trọng của một từ vựng đối với một tài liệu dựa trên cả yếu tố cục bộ và yếu tố toàn cục.
Yếu tố cục bộ ( ) là tần suất xuất hiện của từ vựng đó chỉ trong tài liệu đó, trong khi yếu tố toàn cục ( ) đánh giá dựa trên sự xuất hiện của từ vựng đó trong tất cả các tài liệu trong tập dữ liệu. Giá trị cho trọng số được chuẩn hóa tính theo phương pháp - được tính bởi công thức sau: ( ⁄ ) √∑ ( ) [ ( ⁄ )] 27 trong đó: = tần suất xuất hiện của từ vựng trong tài liệu = ( ) = nghịch đảo của tần suất các tài liệu có chứa từ vựng = số tài liệu trong tập dữ liệu có chứa từ vựng = số tài liệu trong tập dữ liệu Do mỗi tài liệu được biểu diễn bởi một vectơ, toàn bộ tập dữ liệu sẽ được biểu diễn trong Mô hình không gian vectơ bởi một ma trận, được gọi là ma trận thuật ngữ-theo-tài liệu (term-by-document matrix). Với cách biểu diễn này, mô hình không gian vectơ cho phép độ tương tự giữa hai tài liệu có thể được xác định bởi cosin của góc hợp bởi hai vectơ biểu diễn của hai tài liệu đó trong không gian vectơ như sau: ̂ ⃗ ⃗ ( ) (⃗ ⃗) ‖ ⃗ ‖‖ ⃗ ‖ 3.2 Phân tích ngữ nghĩa tiềm ẩn Là một nền tảng cơ bản nhất, mô hình không gian vectơ chỉ mới dừng lại ở việc cung cấp một cách biểu diễn tập các tài liệu, và một phương thức để so sánh tương tự hai tài liệu chỉ mới xét đến việc xuất hiện của các từ ngữ. Theo đó, hai tài liệu sẽ được coi là tương tự nhau nếu chúng có chứa những từ ngữ giống nhau, và những từ ngữ đó có tần suất xuất hiện tương tự nhau.
Tuy nhiên, có nhiều trường hợp mà trong đó hai tài liệu thỏa điều kiện này lại diễn đạt những nội dung hoàn toàn khác nhau. Đồng thời, cũng có những trường hợp tuy hai tài liệu không có chung bất kì từ khóa nào, nhưng lại có nội dung diễn đạt tương tự nhau. Trường hợp đầu tiên xảy ra là do vấn đề đa nghĩa của từ ngữ, nghĩa là cùng một từ nhưng tùy tình huống sử dụng có thể mang nhiều nghĩa khác nhau.