MỞ ĐẦU 7 ° Chương] Mô hình phân tích cảm xúc người dùng. Đồng thời, trình bày cơ sở lý thuyết của các phương pháp được sử dụng để tiến hành thử nghiệm. Trong đó, bao gồm PhoBERT ase và các biến thể cho tiếng Việt. ° Chương]] Thử nghiệm và kết quả thử nghiệm.
Trình bày quá trình cài đặt thử nghiệm, các bảng thông số và phân tích kết quả giữa các thử nghiệm. e Chuong|6} Kết luận va hướng phát triển. Tổng kết các kết quả quan trọng đã đạt được trong nghiên cứu, những hạn chế chưa được giải quyết và hướng phát triển trong tương lai. Chương 2 TỔNG QUAN Trong chương này, tôi tiến hành trình bay tổng quát bài toán phân tích cảm xúc người dùng (sentiment analysis - SA) là một trong số hai bài toán con của phân tích khía cạnh cảm xúc (aspect-based sentiment analysis - ABSA).
Đối với bài toán SA thông thường, từ một câu bình luận của người dùng, kết quả trả về là các trang thái cảm xúc tương ứng đồi với câu đó. Và, đối với bài toán ABSA, phải tiến hành phân tích chỉ tiết các khía cạnh được đẻ cập đến trong câu bình luận và cả trạng thái cảm xúc tương ứng cho từng khía cạnh đó.1 Tổng quan về phân tích cảm xúc Trong những năm gần dây, Phân tích cảm xúc (SA) được cộng đồng nghiên cứu thuộc lĩnh vực NLP được đông đảo cộng đồng trong lẫn ngoài nước rất quan tâm. Đây là quá trình xác định và phân loại văn bản thành các cảm xúc khác nhau — ví dụ, cảm xúc tích cực, tiêu cực hoặc trung tính — hoặc cảm xúc — chẳng hạn như vui, buồn, tức giận hoặc ghê tém — để xác định thái độ của con người đối với chủ thể hoặc thực thể cụ thể. Phân tích cảm xúc cũng là một trong những công tác quan trọng trong lĩnh vực NLP.
Nó không chỉ có ý nghĩa quan trọng trong học thuật, nghiên cứu mà còn có ý nghĩa cực kì thiết yêu trong các ngành công nghiệp - dịch vụ, cụ thể là việc nhận biết hành vi và thái độ của khách hàng về sản phẩm và dich vụ mà họ sử dụng. Với ngành công nghiệp - dịch vụ nói chung, SA được sử dụng như một công cụ mạnh mẽ để tự động hóa quy trình phân tích và đánh giá ý kiến của người dùng. Đối với lĩnh vực nhà hàng - khách sạn nói riêng, các ý kiến người dùng đó Chương 2. TONG QUAN 9 thường được thu thập từ các trang mang xã hội, hoặc các trang thu thập nhận xét của khách hàng vẻ chất lượng cũng như mức độ hài lòng.
Hiện nay, bài toán phân tích cảm xúc có ba cấp độ chính đó là cấp độ câu văn (sentence-level), văn bản (document-level), và khía cạnh (aspect-level). Ở cấp độ câu văn, mục tiêu của bài toán là phân loại một câu văn thành các lớp tiêu cực (negative), tích cực (positive), hoặc trung tinh (neutral). Cấp độ văn bản được dùng để xác định mức độ cảm xúc của một đoạn văn (gồm hai hay nhiều câu văn) là tiêu cực, tích cực, hay trung tính. Và cấp độ khía cạnh được dùng để xác định mức độ cảm xúc cho mỗi khía cạnh của thực thể dé cập trong một văn ban.
Trong phạm vi của khóa luận, giới hạn nghiên cứu nhóm sẽ chỉ nằm ở mỗi khía cạnh cấp độ câu văn.1: Biểu đồ trình bày các cấp độ trong ngôn ngữ học gồm các cấp độ phổ biến: Ngữ âm học (Phonetics), Âm vị học (Phonology), Hinh thái hoc (Morphology), Cú pháp (Syntax), Ngữ nghĩa học (Se- mantics) và Ngữ dụng học (Pragmatics)|"] Đối với Bai toán phân tích cảm xúc, chúng sẽ thuộc cấp độ ngữ dung hoc (Pragmatics) và ngữ nghĩa học (Semantics). Chúng ta có thể thay rang vi trí của bài toán này nằmở vị trí nào trong lĩnh vực NLP - một nhánh của chuyên ngành khoa học máy tinh, đó là vị trí với vai trò là một ứng dụng trong lĩnh vực NLP. lGiới thiệu về ngôn ngữ - Lumen: https://courses.com/ boundless-psychology/chapter/introduction-to-language/ Chương 2. TỔNG QUAN 10 Quán này, sushi rất tươi va cung cach phục vụ cũng rất tốt f l Opinion Target: Opinion target: sushi service Aspect category: Aspect category: FOOD#QUALITY SERVICE#GENERAL * x Ỷ i xá .>|_ Polarity: Positive Positive HINH 2.2: Mô tả ba nhiệm vụ của ABSA: Mục dich của bài toán trích xuất mục tiêu ý kiến, trong trường hợp này là "sushi" và "phục vụ".
Đối với bài toán xác định thực thể khía cạnh (aspect category detection), đã được thiết đặt các danh mục xác định trước, nhiệm vu là xác định: thực thểkhía cạnh, khía cạnh của "sushi" là "Food" và thực thể biểu thị của khía cạnh là "Quality". Xác định cảm xúc của một khía cạnh mục tiêu (sentiment polarity) - tích cực hoặc tiêu cực.2 Tình hình nghiên cứu 2.1 Tình hình nghiên cứu trên thé giới ere Từ những năm 2000 cho đến nay, phân tích ý kiến cũng như phân tích ý kiến theo khía cạnh đã và đang thu hút được các nhà nghiên cứu quan tâm, phát triển và đưa vào ứng dụng thực tế. Khái niệm phân tích cảm xúc (sentiment analysis) xuất hiện lần đầu tiên trong công trình của Nasukawa và Yi [24]. Khai niém phan tích ý kiến (opinion mining) xuất hiện lần đầu tiên trong công trình của Dave, Lawrence and Pennock (8).
Tuy nhiên, nghiên cứu được xem là dau tiên đặt nền móng cho phân tích ý kiến là nghiên cứu của Pang và các cộng sự [32]. Kể từ đó các nghiên cứu trong bài toán này ngày càng được quan tâm và phát triển. s Công trình đã tiến hành nghiên cứu về phân tích ý kiến từ các phản hồi của người dùng đối với miền đữ liệu điện ảnh (movie domain) với hai phân lớp được quan tâm đến trong nghiên cứu là tích cực và tiêu cực. Ba phương pháp máy học (Naive bayes, maximum entropy classification và support vector machine) được sử dụng để giải quyết van dé phan loai cac y kiến trong nghiên cứu nay.
TỔNG QUAN 11 ® Nam 2010, Thet và các cộng sự tiến hành thực hiện nghiên cứu không chỉ quan tâm đến việc phân tích ý kiến mà còn phân tích chỉ tiết các định hướng cảm xúc và sức mạnh của cảm xúc của đánh giá đối với các khía cạnh khác nhau trong miễn dữ liệu điện ảnh. Phương pháp được đề xuất là sử dụng điểm số cảm xúc của bộ SentiWordNet để tiến hành tính toán cảm xúc cho các khía cạnh khác nhau. s Công trình của Kim Schouten va Flavius Frasincar giới thiệu tổng quan về bài toán phân tích ý kiến trên khía cạnh. Trong công trình này, tác giả đưa ra các bài toán con của bài toán phân tích ý kiến theo khía cạnh, cách phương pháp đánh giá và khảo sát các mô hình và kết quả thử nghiệm được đề xuất đưa vào nghiên cứu trước đó đối với các bài toán con khác nhau.
s® Haque và cộng sự đã sử dụng các bài đánh giá sản phẩm của Amazon trong ba lĩnh vực: điện thoại di động và phụ kiện, âm nhạc và thiết bị điện tử. Họ đã phân loại cảm xúc thông qua Linear SVM, Multinomial Naive Bayes, Stochastic Gradient Descent, Random Forest, Hỏi quy logistic và Cây quyết định. Va SVM thu được kết quả phân loại tốt nhất với độ chính xác 94,02% đối với các đánh giá ở lĩnh vực âm nhạc. ¢ Singla và cộng sự đã thực hiện phân tích tình cảm các đánh giá về điện thoại di động trên Amazon, họ đã phân loại văn bản thành các phân cực bao gồm tích cực và tiêu cực, và cảm xúc tức giận, mong đợi, sợ hãi, vui vẻ, buồn bã, ghê tởm, ngạc nhiên và tin tưởng.
Việc phân loại được thực hiện thông qua SVM với đến độ chính xác là 84,85%. Và, kết quả mang lại, thương hiệu Samsung nhận được nhiều phản hồi tích cực nhất từ khách hàng. Những kết quả này rất hữu ích cho các nhà sản xuất vì họ có thể làm việc trên các phan hồi để cải thiện chất lượng sản phẩm. Để đáp ứng cho công tác nghiên cứu đối với bài toán, nhiều bộ ngữ liệu ở các miễn đữ liệu khác nhau và trên các ngôn ngữ khác nhau đã được xây dựng: ¢ Bộ ngữ liệu của Marianna Apidianaki và các cộng sự xây dựng trên hai miễn dữ liệu nhà hang và viện bảo toàn trên ngôn ngữ tiếng Pháp.
Trong công trình này, bộ ngữ liệu được xây dựng ở cấp độ câu với 2365 câu đối với lĩnh vực nhà hàng và 655 câu đối với lĩnh vực viện bảo toàn. Đồng thời, Chương 2. TỔNG QUAN 12 ngữ liệu này được xây dung theo hai nhiệm vụ của hội thảo SemEval2016 là cấp độ câu đánh giá trong miễn đữ liệu (in-domain sentence-level ABSA) đối với mién dữ liệu nha hàng và ngoài miền di liệu (out-of-domain) đối với miền dữ liệu viện bảo toàn. e Trong hội thảo SemEval, nhiều bộ ngữ liệu đã được cung cấp ở nhiều ngôn ngữ khác nhau để phục vụ cho bài toán phân tích ý kiến.
Hội thảo Se- mEval2014 cung cấp một bộ ngữ liệu tiếng Anh đối với miền dữ liệu nhà hàng bao gồm 3841 câu với 2041 được trích xuất từ bộ ngữ liệu của Gayatree Ganu và các cộng sự và miễn dữ liệu máy tính xách tay (lap- top) với 3845 câu ngữ liệu. Hội thảo SemEval2015 cung cấp bộ ngữ liệu đối với ba miền dữ liệu là nhà hàng (2000 câu), khách sạn (266) và máy tính xách tay (2500 câu). Ngữ liệu cho miền dữ liệu khách sạn được cung cấp để giải quyết bài toán out-of-domain. Tại hội thảo SemEval2016 [35] đã cung cấp 19 bộ ngữ liệu huấn luyện (training datasets), 20 bộ ngữ liệu kiểm tra (testing datasets) cho 8 ngôn ngữ và 7 lĩnh vực khác nhau và trong đó, 24 bộ ngữ liệu phục vụ ở cấp độ câu và 14 bộ ngữ liệu phục vụ cho cấp độ văn bản.2 Tình hình nghiên cứu trong nước Bên cạnh những công trình nghiên cứu trên thế giới, bài toán phân tích cảm xúc người cũng thu hút được cộng đồng nghiên cứu trong nước trên đa dạng các miễn dit liệu khác nhau như nhà hàng, khách sạn, điện tử và giáo dục,.
Theo như tôi tìm hiểu, công trình nghiên cứu đầu tiên về phân tích ý kiến trên tiếng Việt được thực hiện bởi Kieu & Pham trên cấp độ câu văn và xây dựng một hệ thống dựa trên rule-based system, với nền tảng Gate, tiến hành thực nghiệm đánh giá trên bộ ngữ liệu về miền dữ liệu máy tính đạt được độ đo E1 là 62. Vu và cộng sự trình bày một nghiên cứu về việc khai thác ý kiến dựa trên khía cạnh đánh giá sản phẩm bằng cách trích xuất các ý kiến rõ ràng hoặc ngụ ý sử dụng quy tắc cú pháp tiếng Việt. Tiếp theo, Le và các cộng sự [14] đề xuất phương pháp học bán giám sát GK-LDA cho việc trích xuất và phân loại các thuật ngữ khía cạnh cho văn bản tiếng Việt.