Chương 1 (chương hiện tại), tôi giới thiệu khái quát về đề tài luận văn, nêu rõ mục tiêu và phạm vi đề tài. Chương này giúp cho người đọc có cái nhìn toàn cảnh về luận văn. Ở những chương sau, tôi trình bày các kiến thức nền tảng, các công trình liên quan đến bài toán và chi tiết về mô hình xề xuất cũng như các thí nghiệm và kết quả đánh giá của mô hình. Cụ thể nội dung chính của mỗi chương như sau: Chương 2: Các công trình nghiên cứu liên quan Trong Chương 2, tôi trình bày khái quát về một số phương pháp tiếp cận giải quyết bài toán "Phân tích cảm xúc dựa trên khía cạnh" Chương 3: Kiến thức nền tảng Chương 3 trình bày ngắn gọn các kiến thức, công nghệ nền tảng, cùng một số thư viện và công cụ được sử dụng trong quá trình nghiên cứu và hiện thực mô hình.
Chương 4: Phương pháp đề xuất Trong Chương 4, tôi trình bày các yêu cầu của bài toán "Phân tích cảm xúc dựa trên khía cạnh", và đề xuất phương pháp giải quyết bài toán này. Chương 5: Hiện thực mô hình và kết quả thực nghiệm Chương này trình bày chi tiết về hiện thực của mô hình, các công cụ và thư viện sử dụng, các bước thực hiện, các phương pháp đánh giá và kết quả 3 thực nghiệm. Chương 6: Kết luận Trong chương cuối cùng, tôi tóm tắt kết quả đạt được trong quá trình làm luận văn, trình bày những đóng góp và hạn chế của luận văn, và đề xuất hướng phát triển tiếp theo. 4 Chương 2 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Các công trình nghiên cứu sớm nhất về Phân tích cảm xúc dựa trên khía cạnh chủ yếu dựa trên việc xây dựng các đặc trưng từ câu đầu vào kết hợp với một số thông tin về ngữ nghĩa, khái niệm và cấu trúc của các thành phần trong câu.
Sử dụng đặc trưng n-grams và từ điển cảm xúc Trong công trình nghiên cứu năm 2014 [3] Wagner và cộng sự đã trình bày phương pháp sử dụng đặc trưng n-grams (với n từ 1 đến 5) kết hợp với đặc trưng trích xuất từ điểm số chỉ định bởi một từ điển cảm xúc (sentiment lexicon) để xây dựng các đặc trưng cho câu đầu vào. Hệ thống phân loại sử dụng học máy có giám sát với SVM để phân loại một khía cạnh vào một trong bốn lớp. Đặc trưng xây dựng là "word n-grams" (với n từ 1 tới 5) xung quanh từ chỉ khía cạnh (aspect term) kết hợp với đặc trưng trích xuất từ điểm số được gán bởi một từ điển cảm xúc (sentiment lexicon). Có bốn từ điển cảm xúc được sử dụng, bao gồm: − MPQA [4] phân loại một từ hoặc một cụm vào các lớp tích cực, tiêu cực, cả hai hoặc trung tính với mức độ chủ quan mạnh hoặc yếu.
5 Dataset System Training Test Laptop Baseline - 51.1% Laptop All positive 41.1% Laptop Rule-based 65.3% Restaurant All positive 58.2% Restaurant Rule-based 69.1: Độ chính xác của hệ thống cơ sở, một hệ thống phân loại mọi mẫu vào lớp tích cực, hệ thống dựa trên các luật và hệ thống sử dụng SVM trên tập huấn luyện và tập đánh giá − SentiWordNet [5] đầu ra là nhãn tích cực hoặc tiêu cực cùng với điểm số chủ quan. − General Inquirer xác định một từ biểu diễn cảm xúc tích cực hay tiêu cực − Bing Liu’s Opinion Lexicon [6] xác định một từ biểu diễn cảm xúc tích cực hay tiêu cực Dựa trên kết hợp điểm số của của các từ điển cảm xúc, nhóm tác giả của công trình này trước hết đã xây dựng một hệ thống phân loại dựa trên các luật (rule-based) để phân loại thái cực cảm xúc của một từ khía cạnh. Từ đó khám phá thêm nhiều cách khác nhau để biến đổi hệ thống dựa trên các luật này thành các đặc trưng có thể kết hợp được với các đặc trưng bag-of-n-gram trong một hệ thống học máy có giám sát sử dụng SVM.1 thể hiện độ chính xác huấn luyện và đánh giá của hệ thống cơ sở, một hệ thống phân loại mọi mẫu là tích cực, hệ thống dựa trên các luật và hệ thống sử dụng SVM. Mở rộng mô hình RNN và AdaRNN cho bài toán Phân tích cảm xúc dựa trên khía cạnh Năm 2015, Thien Hai Nguyen cùng cộng sự đã đề xuất phương pháp ứng dụng mạng nơ-ron hồi quy (RNN) [7] để giải quyết bài toán phân tích cảm xúc dựa trên khía cạnh.
Phương pháp này đã đạt được độ chính xác cao hơn so với các phương pháp trước đó. Phương pháp mà nhóm tác giả đề xuất là một mô hình mở rộng của RNN và AdaRNN, ý tưởng cơ bản của mô hình này là làm cho biểu diễn khía cạnh phong phú hơn bằng cách sử dụng thông tin cú pháp từ cả cây phụ thuộc và cây cấu thành của câu. Trong RNN và AdaRNN, cho một câu chứa một khía cạnh, cây phụ thuộc nhị phân (binary dependency tree) được xây dựng từ cây phụ thuộc của câu. Về mặt trực quan, nó biểu thị các quan hệ cú pháp liên kết với khía cạnh.
Mỗi từ (lá) hay cụm từ (nút nội) trong cây phụ thuộc nhị phân được biểu diễn dưới dạng một véc tơ d chiều. Tư nút là đi lên nút gốc, biểu diễn của một nút cha v được tính toán bằng cách kết hợp các vectơ biểu diễn của nút con bên trái (vl ) và nút con bên phải (vl ) sử dụng một hàm toàn cục g trong RNN: vl g(vl , vr ) = W + b (2.1) vr trong đó W ∈ Rd×2d là ma trận hợp (composition matrix) và b ∈ Rd là độ lệch (bias). Cuối cùng v = f (g(vl ,Vr )) trong đó f là một hàm phi tuyến ví dụ như hàm tanh. Thay vì sử dụng một hàm toàn cục g duy nhất, AdaRNN sử dụng n 7 hàm tổng hợp G = {g1 , ., gn } và lựa chọn chúng dựa trên các thẻ ngôn ngữ (linguistic tags) và kết hợp các véc-tơ như sau: n v = f ( ∑ P(gi |vl , vr , e)gi (vl , vr )) (2.2) n=1 Trong mô hình PhraseRNN, biểu diễn của một khía cạnh sẽ thu được từ "cây phụ thuộc cụm từ nhị phân phụ thuộc mục tiêu" (target dependent binary phrase dependency tree) được xây dựng bằng cách kết hợp cây thành phần (constituent tree) và cây phụ thuộc (dependency tree).1: Cấu trúc phân cấp trong PhraseRNN: (a) Cây phụ thuộc, (b) Cây phụ thuộc cụm, (c) Cây phụ thuộc cụm từ nhị phân phụ thuộc mục tiêu Đầu tiên, các cụm cơ bản được trích xuất từ cây thành phần của câu.
Với một cây phụ thuộc và một danh sách các cụm, một cây phụ thuộc cụm (phrase dependency tree) được tao ra. Tiếp theo, cây phụ thuộc cụm này sẽ được biến đổi thành một cây phụ thuộc cụm từ nhị phân phụ thuộc mục tiêu. Mỗi nốt trong cây nhị phân này được biểu diễn dưới dạng một véc tơ d chiều. PhraseRNN sử dụng hai loại hàm tổng hợp khác nhau, kết hợp hai loại hàm này tạo ra bốn mô hình với kết quả đánh giá như trong bảng 2.2 8 Phương pháp Accuracy Precision Recall F-measure PhraseRNN-1 64.2: Kết quả đánh giá các phương pháp PhraseRNN 9 2.
Kết hợp cơ sở kiến thức chung vào LSTM Trong nghiên cứu năm 2018 [8], Yukun Ma và cộng sự đã kết hợp kiến thức chung hữu ích vào một mạng nơ-ron học sâu để cải thiện hơn nữa kết quả của mô hình Phân tích cảm xúc dựa trên khía cạnh. Phương pháp này học cùng lúc target-specific instance attention và global attention. Đóng góp của phương pháp được trình bày trong nghiên cứu này bao gồm 3 phần: 1. Đề xuất một mô hình chú ý phân cấp (hierarchical attention model), trước hết chú ý đến các mục tiêu và sau đó đến toàn bộ câu.
Mở rộng phần tử LSTM cổ điển với các thành phần chịu trách nhiệm cho sự tích hợp với kiến thức bên ngoài; 3. Kết hợp kiến thức thông thường vào một mạng nơ-ron học sâu. Kiến trúc nơ-ron của mô hình này bao gồm hai thành phần: bộ mã hoá chuỗi (sequence encoder) và một thành phần chú ý phân cấp (a hierarchical attention component).2 minh hoạ cách thức hoạt động của kiến trúc nơ-ron. Cho một câu s = {w1 , w2 , ., wL }, đầu tiên một tác vụ tìm kiếm sẽ được thực hiện để chuyển đổi các từ đầu vào thành các embeddings.
Bộ mã hoá chuỗi sử dụng trong mô hình này dựa trên một mô hình LSTM hai chiều, biến đổi embeddings của các từ thành một chuỗi các đầu ra ẩn (hidden output). Thành phần chú ý sẽ được đặt trên các hidden output. Thành phần chú ý mức mục tiêu (target-level attention) nhận đầu vào là các hidden output ở vị trí của các từ chỉ mục tiêu (màu nâu trong hình) và tính toán véc tơ self-attention cho các từ này. Đầu ra của thành phần target-level attention là một biểu diễn của mục 10 Hình 2.2: Tổng quan kiến trúc tiêu.
Sau cùng, biểu diễn mục tiêu cùng với các embeddings khía cạnh được sử dụng cho việc tính toán một sentence-level attention, biến đổi cả câu thành một véc tơ. Véc tơ này được đưa vào bộ phân loại nhiều nhãn để phân giải thái cực cảm xúc của cặp mục tiêu và khía cạnh trong câu. Để cải thiện độ chính xác của bộ phân loại cảm xúc, nghiên cứu này còn sử dụng thêm bộ dữ liệu về kiến thức chung để làm nguồn tri thức đưa vào bộ mã hoá chuỗi. Cụ thể, nghiên cứu này sử dụng SenticNet một cơ sở kiến thức chung chứa 50,000 khái niệm liên quan đến một tập hợp các thuộc tính cảm xúc phong phú.
Các thuộc tính cảm xúc này không chỉ cung cấp sự biểu diễn ở cấp độ khái niệm mà còn cung cấp các liên kết ngữ nghĩa với các khía cạnh và cảm xúc của chúng. Ví dụ, khái niệm ’rotten fish’ (cá ươn) có thuộc tính "KindOffood" (Loại thực phẩm) có liên hệ trực tiếp với các khía cạnh như ’restaurant’ (nhà hàng) hay ’food quality’ (chất lượng thực phẩm). Để tận dụng kiến thức chung về cảm xúc của SenticNet một cách hiệu quả, các tác giả của nghiên cứu này đã đề xuất một phần mở rộng liên quan đến cảm xúc của LSTM, được gọi là Sentic LSTM. Sentic LSTM hướng đến đưa ra các khái niệm với hai vai trò quan trọng: 1) hỗ trợ lọc thông tin từ bước này sang bước tiếp theo và 2) cung cấp thông tin bổ sung cho ô nhớ.
11 Chương 3 CƠ SỞ KIẾN THỨC 3. Word Embedding Word Embedding là một phương pháp hiệu quả trong việc biểu diễn từ. Nó đề xuất rằng một vector biểu diễn từ có thể hàm chứa ngữ nghĩa của các từ trong các vectơ số, từ đó có thể được xử lý một cách hiệu quả bằng máy tính.