Chương 1, bài toán Phân tích cảm xúc hay tên tiếng anh là Sentiment Analysis (SA) đang ngày càng thu hút đông đảo nhóm nghiên cứu bởi tính quan trọng và thiết yếu của mình. Bài toán này giúp xác định và phân loại một đoạn văn bản thành nhiều cảm xúc khác nhau (ví dụ như tiêu cực (negative), trung tinh (neutral) hay tích cực (positive)) dé qua đó xác định được cảm xúc của người bình luận đối với chủ thé nào đó. Trong nghiên cứu này, chủ thé hướng tới chính là món hàng, địch vụ trên các trang thương mại điện tử và chất lượng của cơ sở vật chất giảng dạy, chất lượng giảng dạy của giảng viên cũng như chương trình học tập của sinh viên. Biểu đồ c; ấp độ trong phân tích cảm xúc Nguồn: https://link.1007/s 10462-022-10144-1 Bài toán phân tích cảm xúc hiện nay được chia thành bén cấp độ chính là cấp độ khía cạnh (aspect-level), cụm từ (phrase-level), câu (sentence-level) và văn bản (document-level) được thể hiện ở hình 1.1 Trong nghiên cứu này, luận văn tập trung nghiên cứu bài toán ở cấp độ câu van (sentence-level).
Các công trình nghiên cứu liên quan Phân tích cảm xúc là một vấn đề cần thiết đối người người dùng cũng như trong lĩnh vực xử lý ngôn ngữ tự nhiên. Những năm gan đây, lĩnh vực nghiên cứu về phân tích cảm xúc, đặc biệt là phân tích cảm xúc cho tiếng Việt ngày càng được nhiều nhóm nghiên cứu, giảng viên, sinh viên quan tâm. Sau đây là một số công trình nghiên cứu trong nước và thế giới. Các công trình nghiên cứu ngoài nước Bài toán Phân tích cảm xúc khi mới xuất hiện và gây sự chú ý của công đồng nghiên cứu, các nhà khoa học ngay từ những năm dau của thé ky 21 trong công trình nghiên cứu của Pang và các cộng sự với tên gọi Sentiment Classification [2].
Bên cạnh đó, tên gọi Sentiment analysis được sử dụng lần đầu trong nghiên cứu của Nasukawa va Yi [3]. Ngoài ra, một tên gọi khác của bài toán là Opinion mining cũng được xuất hiện lần đầu trong công trình nghiên cứu của Dave, Lawrence and Pennock [4]. Ké từ đó, rất nhiều công trình nghiên cứu khác về Phân tích cảm xúc được tiến hành va phát triển, có thể ké đến như: - Công trình nghiên cứu của Tripathy và cộng sự [5] sử dụng học máy đề phân loại cảm xúc của hai nghìn câu bình luận phim. Cụ thể mô hình Naive Bayes (NB) và Support Vector Machine (SVM) được sử dụng kết hợp với các phương pháp trích xuất đặc trưng Count Vectorizer và TF-IDF.
- Công trình nghiên cứu của Hassonal va cộng sự [6] đề xuất sử dụng mô hình kết hợp giữa Support Vector Machine (SVM) với hai thuật toán trích chọn đặc trưng (feature selection) là Relief và Multi-Verse Optimizer (MVO). Hiệu năng của mô hình dé xuất đạt vượt trội trên bộ dữ liệu gồm 6900 câu tweet được lấy từ mạng xã hội Twitter. - Công trình nghiên cứu của Uysal va Murphey [7] sử dụng các mô hình như: CNN, LSTM và CNN-LSTM cho tác vụ phân tích cam xúc trên các bộ dữ liệu IMDb, Amazon, Sentiment 140 và Nine public sentiment review. - Công trình nghiên cứu của Basiri và cộng sự [8] dé xuất mô hình Attention- based Bidirectional CNN-RNN Deep Model (ABCDM).
Bằng cách tận dụng mô hình LSTM hai chiều (Bi-LSTM) và GRU, ABCDM học được ngữ cảnh ở cả hai chiều quá khứ và tương lai. Đồng thời sử dụng các lớp Convolution và Pooling để giảm số chiêu của đặc trưng. Theo nghiên cứu của Bo Pang và các cộng sự [9], nghiên cứu về tính hiệu quả của các phương pháp học máy đối với phân tích ý kiến phản hồi của người dùng về phim ảnh với hai trạng thái cảm xúc tiêu cực, tích cực. Tuy nhiên ba phương pháp mà tác giả đề xuất là (Naive bayes, maximum entropy classification và support vector machine) này không mang lại hiệu quả.
- Công trình nghiên cứu của Singh và công sự [10] sử dụng mô hình Bidirectional Encoder Representations from Transformers (BERT) cho tác vụ phân tích cảm xúc từ các câu tweet liên quan đến đại dịch COVID-19 được lấy từ nền tảng mang xã hội Twitter. Mô hình đạt kết quả rat tốt trên tap validation với độ chính xác xấp xi 94%. Cụ thé nghiên cứu này đánh giá bốn phương pháp tiếp cận bao gồm: LSTM, LSTM + ATT, MUTIHEAD ATT, FUSION. Sau khi so sánh các kết quả nghiên cứu, tác giả nhận thay rằng phương pháp FUSION đạt được kết quả tốt nhất so với 3 phương pháp còn lại.
- Công trình nghiên cứu của Alec Yenter và công sự [12] mô tả một cách tiếp cận mới thông qua viêc kết hợp mạng nơ ron (CNN) và mạng hồi quy Long Short Term Memory (LSTM) trong phân tích phản hồi về các bình luận phim trên Internet (IMDb). Khi tác giả kết hợp hai mô hình này tạo một mô hình có độ chính xác cao vượt trội hơn so với các mô hình đã đề xuất trước đó. - Công trình Vaswani và các cộng sự [13], đề xuất mô hình kiến trúc Transformer dựa trên cơ chế tự chú ý (Self attention). Kết quả thực nghiệm trên hai tác vụ dich máy cho thấy mô hình này hoạt động tốt hơn do quá trình xử lý song song và ít tốn thời gian hơn trong quá trình huấn luyện.
Hơn nữa, mô hình của tác giả cho kết quả tốt nhất trên tác vụ dịch từ tiếng Anh sang tiếng Đức. Các công trình nghiên cứu trong nước Ở trong nước, các nghiên cứu về bài toán Phân tích cảm xúc diễn ra rất sôi nồi. Dưới đây là một số công trình nghiên cứu: - Trần Khải Thiện, Phan Thị Tươi [14], nhóm tác giả đề xuất một mô hình đạt được kết quả tốt khi phân tích cảm xúc ở mức khía cạnh. Mô hình này kết hợp ontolog, bộ từ điển cảm xúc, luật rút trích sau đó mô hình xây dựng dựa trên nghĩa của các câu tiếng Việt cho trước.
Với cách tiếp cận này cho thấy mô hình của tác giả có kết quả tốt. Tuy nhiên, phương pháp này cần phải có một tập từ vựng đủ lớn cũng như luật rút trích. - Công trình nghiên cứu của Ngô Xuân Bách cùng cộng sự [15], với các mô hình học máy như Naive Bayes, MEM va SVM với bài toán phân tích cảm xúc tiếng, Việt. Bên cạnh đó, công trình còn cung cấp cho cộng đồng nghiên cứu một bộ dữ liệu về phản hồi của khách hàng trên nền tảng đặt phòng khách sạn trực tuyến Agoda.
Bộ đữ liệu có 3304 câu phản hồi, phản hồi tích cực là 3304 câu, phản hồi tiêu cực là 1980 câu còn lại 547 câu phản hồi trung tính. - Công trình nghiên cứu của Quan-Hoang Vo cùng cộng sự [16] dé xuất mô hình kết hợp giữa LSTM và CNN có tên là Multi-channel LSTM-CNN. Mô hình đề xuất đạt kết quả vượt trội so với nếu chỉ dùng đơn lẻ một mô hình LSTM hay CNN. Bộ dữ liệu về phản hồi của khách hàng trên các trang thương mại điện tử Việt Nam được nhóm tác giả gửi link trong bài báo đã công bố.
Bộ dữ liệu VS xây dựng từ các trang thương mại điện tử như Tiki.v, được nhóm tác giả xây dựng dựa trên 17500 câu phản hồi, đánh giá được gán nhãn thủ công. - Cũng bằng sự kết hợp giữa các mô hình, công trình nghiên cứu của Lac Si Le cùng cộng sự [17] để xuất sử dụng mô hình Multi-filter BiLSTM-CNN. Mô hình này có kết quả thử nghiệm cao với điểm số F1 trên bộ dữ liệu UIT-VSFC là 93.41% trên bộ dữ liệu VS. - Công trình nghiên cứu của Quoc Thai Nguyen và cộng sự [18] tập trung vào.
ứng dụng kiến trúc Transformer, cụ thể là BERT, cho bài toán phân tích cảm xúc các câu phản hồi tiếng Việt. Ngoài ra, nhóm tác giả còn tiền hành thử nghiệm, so sánh và đánh giá với các mô hình như SVM, LSTM, TextCNN, CRNN, FastText và GloVE. 7 - Một công trình khác cũng dựa trên kiến trúc Transformer đó là công trình của Trong-Loc Truong và cộng sự [19] Nghiên cứu đề xuất hiệu chỉnh mô hình PhoBERT cho bài toán phân tích cảm xúc tiếng Việt. Mô hình với sự kế hợp 4 đặc trưng ở lớp cao đã đem lại kết quả tốt trên trên bộ dir liệu UIT-VSFC với điểm số F1 là 93.92% và điểm số accuracy là 94.
Vong Anh Ho và cộng sự [20], với bài báo “Emotion Recognition for Vietnamese Social Media Text”, nghiên cứu trên bộ dữ liệu UIT-VSMEC. Nhóm tác giả đánh giá bốn phương pháp tiếp cận bao gồm: RandomForest, SVM, LSTM và CNN. Trong đó phương pháp CNN +word2Vec đạt được kết quả tốt nhất với chỉ số FI là 59,74%. Công trình nghiên cứu của nhóm TS.
Ngan Luu-Thuy Nguyen [21], nghiên cứu về học sâu so với công cụ phân loại truyền thống trên bộ dữ liệu UIT-VSFC. Cụ thể, nghiên cứu này đánh giá bốn phương pháp tiếp cận bao gồm: Naive Bayes, Maximum Entropy, Long Short-Term Memory and Bi-Directional Long Short-Term Memory. Sau khi so sánh các kết quả nghiên cứu, tác giả nhận thấy rằng phương pháp Bi-Directional Long Short-Term Memory cho hiệu suất cao nhất với với chỉ số F1 là 89,6%. Ngoài ra Dat Quoc Nguyen, Anh Tuan Nguyen [22], đã giới thiệu PhoBERT với hai phiên bản, PhoBERT-base và PhoBERT-large là một mô hình được học sẵn đơn ngôn ngữ đảo tạo ở cấp độ từ (word-level) quy mô lớn đầu tiên cho các tác vụ xử lý ngôn ngữ tự nhiên của tiếng Việt.
Khác với hướng tiếp cận so với phiên bản BERT gốc, PhoBERT tiếp cận theo hướng của mô hình RoBERTa [23] với ý tưởng chính là loại bỏ hàm mục tiêu dự đoán câu tiếp theo trong phần đào tạo sẵn (pretraining). Kết quả thử nghiệm cho thấy PhoBERT luôn vượt trội so với mô hình đa ngôn ngữ XLM- R (Conneau và cộng sự, 2020). Luan Thanh Nguyen và các cộng sự [24], mô tả một tiêu chuẩn đánh giá mới dé phân loại văn bản trên mạng xã hội với bốn nhiệm vụ nhận dạng cảm xúc, phát hiện giọng nói tích cực, phát hiện lời nói căm thù và phát hiện nhận xét khiếu nại. Cụ thể, nghiên cứu này thực hiện các cách tiếp cận khác nhau với các mô hình đơn ngôn ngữ (PhoBERT, viBERT, vELECTRA và viB ERT4news) và đa ngôn ngữ (mBERT, XLM-R và Distilm BERT) dựa trên BERT trên bộ dữ liệu iéng Viét.
Các mô hình đơn ngôn ngữ đạt được hiệu quả tốt nhất trên tất cả các nhiệm vụ phân loại văn bản. Dang Van Thin và các cộng sự [25], trình bày một kiến trúc đa tác vụ hiệu quả dựa trên mạng nơ ron cho các tác vụ phát hiện danh mục khía cạnh và danh mục khía cạnh. Nghiên cứu này, có thể dự đoán toàn bộ danh mục khía cạnh với các miền dữ liệu tương ứng.