Luận Văn Thạc Sĩ Về Phân Tích Cảm Xúc Hướng Khía Cạnh Trong Bình Luận Việt Ngữ

Luận văn thạc sĩ phân tích cảm xúc hướng khía cạnh cho bình luận tiếng Việt, cung cấp cái nhìn sâu sắc về xử lý ngôn ngữ tự nhiên.

• Tác giả: Phạm Phương Uyên
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phân Tích Cảm Xúc Hướng Khía Cạnh Cho Các Bình Luận Việt Ngữ
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG
• ABSTRACT
• LỜI CAM KẾT CỦA TÁC GIẢ
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Lý do chọn đề tài và ý nghĩa thực tiễn
• 1.2. Mô tả bài toán
• 1.2.1. Phát biểu bài toán
• 1.2.2. Những khó khăn và thách thức
• 1.2.3. Nhiệm vụ luận văn
• 1.2.4. Cấu trúc luận văn
• 2. CHƯƠNG 2: NHỮNG NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT
• 2.1. Tình hình nghiên cứu trên thế giới
• 2.2. Bài toán ABSA cho tiếng Việt Nam
• 2.3. Về bài toán phân lớp đa nhãn
• 2.3.1. Tổng quan về bài toán phân lớp đa nhãn
• 2.3.2. Sử dụng mạng thần kinh cho bài toán phân loại đa lớp
• 2.3.3. Một số vấn đề
• 2.3.4. Phương pháp học chuyển giao sử dụng mô hình tiền huấn luyện
• 2.3.5. Mô hình biến đổi chuỗi hiện đại Transformer
• 2.3.6. Mạng kết nối đầy đủ từng vị trí (Position-wise fully connected layers)
• 2.3.7. Lớp nhúng từ (Embedding) và Softmax
• 2.3.8. Những thành tựu nổi bật
• 2.3.9. Mô hình tiền huấn luyện BERT
• 2.3.9.1. Mô hình ngôn ngữ BERT
• 2.4. Thực nghiệm và các kết quả đáng chú ý
• 2.4.1. Một số biến thể của BERT
• 2.4.2. phoBERT - Mô hình tiền huấn luyện BERT cho tiếng Việt
• 2.4.3. Tổng kết chương
• 3. CHƯƠNG 3: DỮ LIỆU VÀ GIẢI PHÁP ĐỀ XUẤT
• 3.1. Thu thập dữ liệu
• 3.2. Mô hình cơ sở
• 3.3. Giải pháp đề xuất
• 3.3.1. Phát hiện khía cạnh
• 3.3.2. Phân loại cảm xúc theo khía cạnh
• 3.3.3. Phương pháp đánh giá
• 3.3.4. Cài đặt thí nghiệm
• 3.3.4.1. Tạo các bộ dữ liệu
• 3.3.4.2. Cài đặt huấn luyện cho bài toán con AR
• 3.3.4.3. Cài đặt huấn luyện cho bài toán con ATSC
• 3.3.5. Tổng kết chương
• 4. CHƯƠNG 4: KẾT QUẢ VÀ THẢO LUẬN
• 4.1. Kết quả thực nghiệm
• 4.1.1. Kết quả thực nghiệm cho bài toán AR trên mô hình tinh chỉnh BERT
• 4.2. Kết quả thực nghiệm cho bài toán ATSC trên mô hình tinh chỉnh BERT
• 4.2.1. Kết quả đạt được
• 4.2.2. Các hạn chế và vấn đề tồn đọng
• 4.2.3. Hướng phát triển
• 4.2.4. Tổng kết luận văn
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC
• 1. Danh mục nhãn khía cạnh
• 2. Tổng hợp và thống kê dữ liệu
• 2.1. Dữ liệu cho nhiệm vụ AR
• 2.2. Dữ liệu cho nhiệm vụ ATSC

Tóm tắt

I. Giới thiệu

Bài toán phân tích cảm xúc hướng khía cạnh (ABSA) đã trở thành một lĩnh vực nghiên cứu quan trọng trong ngành khoa học máy tính, đặc biệt trong việc phân tích dữ liệu từ mạng xã hội. Luận văn này tập trung vào việc áp dụng các phương pháp hiện đại để giải quyết bài toán này trong ngữ cảnh tiếng Việt, nơi mà các nghiên cứu vẫn còn hạn chế. Phân tích cảm xúc không chỉ giúp doanh nghiệp hiểu rõ hơn về khách hàng mà còn có thể cải thiện các sản phẩm và dịch vụ của họ. Một trong những thách thức lớn nhất là dữ liệu không hoàn chỉnh và độ nhiễu cao trong các bình luận trên mạng xã hội, điều này đòi hỏi các phương pháp xử lý ngôn ngữ tự nhiên (NLP) phải được cải tiến để đạt hiệu quả cao hơn.

1.1 Lý do chọn đề tài và ý nghĩa thực tiễn

Việc chọn đề tài phân tích cảm xúc hướng khía cạnh cho bình luận tiếng Việt không chỉ có giá trị học thuật mà còn mang lại nhiều lợi ích thực tiễn cho doanh nghiệp. Trong bối cảnh thương mại điện tử phát triển mạnh mẽ, việc nắm bắt ý kiến của khách hàng qua các bình luận trên mạng xã hội trở thành một yếu tố quan trọng trong việc xây dựng chiến lược kinh doanh. Phân tích cảm xúc giúp doanh nghiệp nhận diện được điểm mạnh và điểm yếu trong sản phẩm của mình, từ đó đưa ra các quyết định kịp thời để cải thiện dịch vụ. Hơn nữa, nghiên cứu này cũng giúp nâng cao khả năng ứng dụng của các mô hình học máy trong ngữ cảnh ngôn ngữ tiếng Việt, một lĩnh vực còn nhiều tiềm năng chưa được khai thác.

1.2 Mô tả bài toán

Bài toán phân tích cảm xúc hướng khía cạnh bao gồm nhiều nhiệm vụ con như nhận diện khía cạnh và phân loại cảm xúc liên quan. Mỗi nhiệm vụ đều có những thách thức riêng, đặc biệt là trong việc xử lý dữ liệu tiếng Việt. Các khía cạnh có thể xuất hiện với nhiều hình thức khác nhau trong câu bình luận, và việc xác định thái độ cảm xúc đối với từng khía cạnh là rất phức tạp. Đặc biệt, dữ liệu từ mạng xã hội thường chứa đựng nhiều yếu tố ngữ nghĩa không rõ ràng và có thể gây nhầm lẫn, đòi hỏi các phương pháp xử lý phải linh hoạt và hiệu quả để đạt được kết quả tốt nhất.

II. Những nghiên cứu liên quan và cơ sở lý thuyết

Trong lĩnh vực phân tích cảm xúc, nhiều nghiên cứu đã được thực hiện trên các ngôn ngữ khác nhau, nhưng với tiếng Việt, số lượng nghiên cứu vẫn còn hạn chế. Các mô hình học máy hiện đại như BERT đã được áp dụng thành công trong nhiều bài toán NLP, nhưng việc áp dụng chúng cho dữ liệu tiếng Việt vẫn cần được nghiên cứu sâu hơn. Việc sử dụng mô hình tiền huấn luyện như BERT cho phép tận dụng các đặc điểm ngữ nghĩa của ngôn ngữ, giúp cải thiện độ chính xác trong việc nhận diện khía cạnh và phân loại cảm xúc. Hơn nữa, việc áp dụng các phương pháp học chuyển giao cũng mở ra nhiều cơ hội cho việc nâng cao hiệu quả của các mô hình trong bối cảnh tiếng Việt.

2.1 Tình hình nghiên cứu trên thế giới

Nghiên cứu về phân tích cảm xúc đã phát triển mạnh mẽ trên thế giới, đặc biệt là với các ngôn ngữ như tiếng Anh. Tuy nhiên, với tiếng Việt, các nghiên cứu vẫn còn ở giai đoạn đầu. Một số mô hình đã được phát triển nhưng chưa đủ để đáp ứng nhu cầu thực tiễn. Việc áp dụng các kỹ thuật học sâu và học chuyển giao có thể giúp cải thiện đáng kể khả năng phân tích cảm xúc trên dữ liệu tiếng Việt, mở ra hướng đi mới cho các nghiên cứu trong tương lai.

2.2 Về bài toán phân lớp đa nhãn

Bài toán phân lớp đa nhãn trong phân tích cảm xúc hướng khía cạnh là một thách thức lớn. Các mô hình học máy cần phải được thiết kế để nhận diện và phân loại nhiều khía cạnh trong cùng một bình luận, điều này đòi hỏi sự linh hoạt và khả năng xử lý ngữ nghĩa cao. Việc áp dụng các mạng nơ-ron sâu và các phương pháp học chuyển giao có thể giúp nâng cao khả năng phân loại và nhận diện khía cạnh, từ đó cải thiện độ chính xác của các mô hình.

III. Dữ liệu và Giải pháp đề xuất

Trong phần này, luận văn sẽ trình bày về quy trình thu thập dữ liệu, mô hình cơ sở và giải pháp đề xuất cho bài toán phân tích cảm xúc hướng khía cạnh. Dữ liệu sẽ được thu thập từ các nguồn mạng xã hội, đảm bảo tính đại diện và phong phú. Mô hình cơ sở sẽ được xây dựng dựa trên BERT, với các bước tinh chỉnh để phù hợp với đặc điểm của dữ liệu tiếng Việt. Giải pháp đề xuất sẽ bao gồm các phương pháp phát hiện khía cạnh và phân loại cảm xúc, cùng với các phương pháp đánh giá hiệu quả của mô hình.

3.1 Thu thập dữ liệu

Quá trình thu thập dữ liệu sẽ được thực hiện từ các nền tảng mạng xã hội phổ biến như Facebook và Twitter. Dữ liệu sẽ được chọn lọc để đảm bảo tính chính xác và độ tin cậy. Việc thu thập dữ liệu không chỉ đơn thuần là lấy các bình luận mà còn cần phải chú trọng đến ngữ cảnh và nội dung của các bình luận đó. Điều này giúp tạo ra một tập dữ liệu phong phú và đa dạng, từ đó cung cấp nền tảng vững chắc cho việc phát triển các mô hình phân tích cảm xúc.

3.2 Mô hình cơ sở

Mô hình cơ sở sẽ được xây dựng dựa trên BERT, một trong những mô hình ngôn ngữ tiên tiến nhất hiện nay. Việc sử dụng BERT cho phép khai thác các đặc điểm ngữ nghĩa của ngôn ngữ tiếng Việt, giúp cải thiện khả năng nhận diện khía cạnh và phân loại cảm xúc. Mô hình sẽ được tinh chỉnh để phù hợp hơn với dữ liệu tiếng Việt, từ đó nâng cao hiệu quả của các nhiệm vụ con trong bài toán phân tích cảm xúc.

IV. Kết quả và Thảo luận

Kết quả thực nghiệm sẽ được trình bày để đánh giá hiệu quả của mô hình trong việc giải quyết bài toán phân tích cảm xúc hướng khía cạnh. Các chỉ số đánh giá như độ chính xác, độ nhạy và độ đặc hiệu sẽ được sử dụng để so sánh giữa các mô hình khác nhau. Thảo luận sẽ tập trung vào những hạn chế và vấn đề còn tồn đọng trong nghiên cứu, cùng với các hướng phát triển trong tương lai. Việc phân tích và thảo luận về kết quả không chỉ giúp hiểu rõ hơn về hiệu quả của mô hình mà còn mở ra hướng đi mới cho các nghiên cứu trong lĩnh vực này.

4.1 Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy mô hình đề xuất có khả năng nhận diện khía cạnh và phân loại cảm xúc một cách hiệu quả. Các chỉ số đánh giá cho thấy mô hình đạt được độ chính xác cao trong việc nhận diện các khía cạnh cũng như phân loại cảm xúc liên quan. Điều này chứng tỏ rằng việc áp dụng các mô hình học sâu như BERT có thể mang lại những kết quả khả quan trong bài toán phân tích cảm xúc hướng khía cạnh.

4.2 Các hạn chế và vấn đề tồn đọng

Mặc dù mô hình đã đạt được kết quả tốt, nhưng vẫn còn tồn tại một số hạn chế. Một trong những vấn đề lớn nhất là độ nhiễu trong dữ liệu mạng xã hội, điều này có thể ảnh hưởng đến độ chính xác của mô hình. Hơn nữa, việc xử lý ngôn ngữ tự nhiên trong tiếng Việt vẫn còn nhiều thách thức do sự đa dạng về ngữ nghĩa và cấu trúc câu. Những vấn đề này cần được nghiên cứu và giải quyết trong các nghiên cứu tiếp theo để nâng cao hiệu quả của bài toán phân tích cảm xúc.

Nội dung chính

Tổng quan nghiên cứu

Phân tích cảm xúc hướng khía cạnh (Aspect-Based Sentiment Analysis - ABSA) là một lĩnh vực nghiên cứu quan trọng trong xử lý ngôn ngữ tự nhiên (NLP), đặc biệt trong bối cảnh dữ liệu mạng xã hội ngày càng phát triển. Theo ước tính, dữ liệu bình luận trên mạng xã hội Việt Nam có độ nhiễu cao, tính dàn trải và mất cân bằng, gây khó khăn lớn cho việc trích xuất và phân loại cảm xúc theo từng khía cạnh cụ thể. Mục tiêu của luận văn là đề xuất, hiện thực và thử nghiệm một giải pháp khả dụng cho bài toán ABSA trên dữ liệu bình luận tiếng Việt, tập trung vào hai nhiệm vụ con chính: Nhận diện khía cạnh (Aspect Recognition - AR) và Phân loại cảm xúc theo khía cạnh (Aspect-Targeted Sentiment Classification - ATSC). Nghiên cứu được thực hiện trong phạm vi dữ liệu bình luận về sản phẩm sữa bột cho trẻ em thu thập từ mạng xã hội, với thời gian hoàn thành từ tháng 2 đến tháng 6 năm 2021 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP.HCM.

Ý nghĩa của nghiên cứu được thể hiện qua việc cung cấp công cụ phân tích cảm xúc chi tiết, giúp doanh nghiệp nắm bắt xu hướng thị trường, cải thiện chất lượng sản phẩm và dịch vụ, đồng thời nâng cao hiệu quả chăm sóc khách hàng. Việc ứng dụng mô hình tiền huấn luyện hiện đại như BERT cho tiếng Việt mở ra tiềm năng lớn trong xử lý ngôn ngữ tự nhiên, đặc biệt với các dữ liệu có tính phức tạp và đa chiều như bình luận mạng xã hội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính:

1. Phân tích cảm xúc hướng khía cạnh (ABSA): ABSA là bài toán đa nhiệm vụ, bao gồm các tác vụ như trích xuất cụm từ khía cạnh (Aspect Term Extraction - ATE), phát hiện loại khía cạnh (Aspect Category Detection - ACD), phân loại cảm xúc theo khía cạnh (Aspect Polarity Classification - APC). Các khái niệm chính gồm: khía cạnh (aspect), cảm xúc (sentiment polarity), và mối quan hệ giữa khía cạnh và cảm xúc trong câu bình luận.

2. Mô hình tiền huấn luyện BERT và biến thể PhoBERT: BERT (Bidirectional Encoder Representations from Transformers) là mô hình ngôn ngữ tiền huấn luyện dựa trên kiến trúc Transformer, có khả năng học biểu diễn ngữ cảnh hai chiều sâu sắc. PhoBERT là biến thể BERT được huấn luyện chuyên biệt cho tiếng Việt với dữ liệu hơn 20GB, bao gồm Wikipedia và tin tức tiếng Việt, sử dụng kỹ thuật RoBERTa để tối ưu hóa quá trình huấn luyện. Các khái niệm chính liên quan gồm: cơ chế chú-ý (attention), multi-head attention, token embedding, positional encoding, và fine-tuning mô hình cho các tác vụ cụ thể.

Ngoài ra, luận văn còn vận dụng kiến thức về phân loại đa nhãn (multi-label classification) để xử lý bài toán phân loại cảm xúc theo nhiều khía cạnh đồng thời, sử dụng các phương pháp biến đổi bài toán đa nhãn thành các bài toán phân loại đơn nhãn hoặc điều chỉnh thuật toán mạng thần kinh.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Dữ liệu được thu thập từ mạng xã hội Việt Nam, tập trung vào các bình luận về sản phẩm sữa bột cho trẻ em. Dữ liệu được gán nhãn thủ công bởi nhóm cộng tác viên và sau đó được tự động hiệu chỉnh bằng máy để đảm bảo chất lượng.

• Phương pháp phân tích: Luận văn sử dụng mô hình BERT tiền huấn luyện cho tiếng Việt (PhoBERT) để thực hiện hai nhiệm vụ con của ABSA: Nhận diện khía cạnh (AR) và Phân loại cảm xúc theo khía cạnh (ATSC). Phương pháp tinh chỉnh (fine-tuning) có giám sát được áp dụng trên các bộ dữ liệu huấn luyện, thẩm định và kiểm nghiệm.

• Timeline nghiên cứu: Nghiên cứu bắt đầu từ tháng 2/2021 với việc thu thập và xử lý dữ liệu, tiếp tục với việc xây dựng bộ dữ liệu và cài đặt mô hình trong các tháng tiếp theo, hoàn thành thử nghiệm và đánh giá vào tháng 6/2021.

• Cỡ mẫu và chọn mẫu: Bộ dữ liệu huấn luyện cho nhiệm vụ ATSC gồm khoảng vài nghìn mẫu, được chọn lọc kỹ càng để đảm bảo tính đại diện và cân bằng tương đối giữa các nhãn cảm xúc. Phương pháp chọn mẫu dựa trên các bình luận thực tế, có gán nhãn rõ ràng về khía cạnh và cảm xúc.

• Phương pháp đánh giá: Sử dụng các chỉ số đánh giá chuẩn trong phân loại đa nhãn như Accuracy, Precision, Recall, F1-score để đánh giá hiệu quả mô hình trên từng nhiệm vụ con.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả nhận diện khía cạnh (AR): Mô hình tinh chỉnh PhoBERT đạt độ chính xác trung bình trên tập kiểm nghiệm khoảng 85%, vượt trội so với mô hình cơ sở truyền thống (khoảng 70%). Kết quả này cho thấy khả năng trích xuất khía cạnh từ bình luận tiếng Việt của mô hình tiền huấn luyện là rất khả quan.

2. Hiệu quả phân loại cảm xúc theo khía cạnh (ATSC): Mô hình đạt F1-score trung bình khoảng 80% trên tập kiểm nghiệm, trong đó tỷ lệ chính xác phân loại cảm xúc tích cực và tiêu cực lần lượt là 82% và 78%. Đây là kết quả ấn tượng, đặc biệt với bài toán ATSC vốn phức tạp do tính đa chiều và mâu thuẫn cảm xúc trong cùng một câu.

3. So sánh với các phương pháp khác: So với các mô hình học sâu truyền thống như LSTM, CNN, hoặc các mô hình CRF kết hợp, giải pháp sử dụng PhoBERT cho thấy cải thiện từ 10-15% về các chỉ số đánh giá, đặc biệt trong việc xử lý ngữ cảnh phức tạp và các câu có nhiều khía cạnh.

4. Khó khăn và hạn chế: Mô hình vẫn gặp khó khăn với các câu có cấu trúc phức tạp, so sánh không tường minh hoặc các bình luận có nhiều nhiễu, dẫn đến một số trường hợp dự đoán sai hoặc nhầm lẫn cảm xúc. Tỷ lệ mẫu dữ liệu mất cân bằng cũng ảnh hưởng đến hiệu quả phân loại.

Thảo luận kết quả

Nguyên nhân của hiệu quả cao đến từ việc sử dụng mô hình tiền huấn luyện PhoBERT, vốn được đào tạo trên kho dữ liệu lớn tiếng Việt, giúp mô hình hiểu sâu sắc ngữ cảnh và cấu trúc ngôn ngữ đặc thù. Việc tinh chỉnh mô hình trên bộ dữ liệu chuyên biệt về bình luận sữa bột giúp mô hình thích nghi tốt với miền ứng dụng.

So với các nghiên cứu trước đây trên thế giới và trong nước, kết quả này khẳng định tiềm năng của học chuyển giao và mô hình Transformer trong xử lý ngôn ngữ tự nhiên tiếng Việt, đặc biệt với các bài toán phức tạp như ABSA. Các biểu đồ so sánh độ chính xác và F1-score giữa các mô hình được trình bày rõ ràng trong luận văn, minh họa sự vượt trội của PhoBERT.

Ý nghĩa của kết quả là mở ra hướng đi mới cho các ứng dụng thực tiễn trong thương mại điện tử, chăm sóc khách hàng và quản trị thương hiệu, giúp doanh nghiệp khai thác hiệu quả dữ liệu mạng xã hội tiếng Việt.

Đề xuất và khuyến nghị

1. Tăng cường thu thập và làm sạch dữ liệu: Động viên các tổ chức, doanh nghiệp xây dựng hệ thống thu thập dữ liệu mạng xã hội có kiểm soát, đồng thời áp dụng các kỹ thuật tiền xử lý nâng cao để giảm nhiễu, tăng chất lượng dữ liệu đầu vào. Chủ thể thực hiện: các nhóm nghiên cứu và doanh nghiệp; Thời gian: 6-12 tháng.

2. Phát triển mô hình đa nhiệm vụ tích hợp: Đề xuất xây dựng mô hình kết hợp đồng thời nhận diện khía cạnh và phân loại cảm xúc trong một mạng lưới duy nhất, tận dụng cơ chế attention để cải thiện hiệu quả và giảm chi phí tính toán. Chủ thể thực hiện: các nhà nghiên cứu NLP; Thời gian: 12-18 tháng.

3. Mở rộng ứng dụng sang các lĩnh vực khác: Khuyến nghị áp dụng giải pháp ABSA cho các ngành như du lịch, nhà hàng, dịch vụ y tế để khai thác dữ liệu phản hồi khách hàng đa dạng, từ đó nâng cao chất lượng dịch vụ. Chủ thể thực hiện: doanh nghiệp, tổ chức nghiên cứu; Thời gian: 12 tháng.

4. Xây dựng bộ dữ liệu chuẩn và công khai: Đề xuất xây dựng bộ dữ liệu chuẩn về bình luận tiếng Việt có gán nhãn khía cạnh và cảm xúc, phục vụ cộng đồng nghiên cứu và phát triển mô hình. Chủ thể thực hiện: các trường đại học, viện nghiên cứu; Thời gian: 18-24 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, NLP: Luận văn cung cấp kiến thức chuyên sâu về ABSA, mô hình BERT và ứng dụng trong tiếng Việt, hỗ trợ phát triển các đề tài nghiên cứu mới.

2. Doanh nghiệp thương mại điện tử và marketing: Các chuyên gia phân tích dữ liệu có thể áp dụng giải pháp để khai thác ý kiến khách hàng từ mạng xã hội, nâng cao chiến lược kinh doanh và chăm sóc khách hàng.

3. Nhà phát triển phần mềm và kỹ sư AI: Tham khảo để xây dựng các hệ thống phân tích cảm xúc tự động, tích hợp vào các sản phẩm phần mềm phục vụ doanh nghiệp và người dùng cuối.

4. Cơ quan quản lý và tổ chức nghiên cứu ngôn ngữ: Sử dụng kết quả để phát triển các công cụ hỗ trợ xử lý ngôn ngữ tiếng Việt, góp phần nâng cao năng lực công nghệ trong nước.

Câu hỏi thường gặp

1. Phân tích cảm xúc hướng khía cạnh là gì?
   Là kỹ thuật phân tích cảm xúc chi tiết theo từng khía cạnh cụ thể của một thực thể trong văn bản, giúp hiểu rõ hơn về thái độ người dùng đối với từng phần của sản phẩm hoặc dịch vụ.

2. Tại sao cần sử dụng mô hình tiền huấn luyện như BERT?
   BERT giúp mô hình học được biểu diễn ngữ cảnh hai chiều sâu sắc, cải thiện khả năng hiểu ngôn ngữ tự nhiên, đặc biệt với dữ liệu phức tạp và đa nghĩa như bình luận mạng xã hội.

3. Dữ liệu tiếng Việt có đặc thù gì khi áp dụng ABSA?
   Tiếng Việt có cấu trúc ngữ pháp phức tạp, nhiều từ đa âm tiết, dấu câu và chính tả không chuẩn trên mạng xã hội, gây khó khăn cho việc tách từ và trích xuất thông tin chính xác.

4. Giải pháp đề xuất có thể áp dụng cho các lĩnh vực nào?
   Ngoài sản phẩm sữa bột, giải pháp có thể mở rộng sang các lĩnh vực như du lịch, nhà hàng, dịch vụ y tế, thương mại điện tử để phân tích phản hồi khách hàng.

5. Làm thế nào để cải thiện hiệu quả mô hình trong tương lai?
   Có thể tăng cường dữ liệu huấn luyện, phát triển mô hình đa nhiệm vụ tích hợp, áp dụng kỹ thuật học sâu mới và xây dựng bộ dữ liệu chuẩn, đa dạng hơn.

Kết luận

• Luận văn đã đề xuất và triển khai thành công giải pháp phân tích cảm xúc hướng khía cạnh cho bình luận tiếng Việt trên mạng xã hội, tập trung vào sản phẩm sữa bột trẻ em.
• Sử dụng mô hình tiền huấn luyện PhoBERT cho hai nhiệm vụ chính AR và ATSC, đạt hiệu quả cao với độ chính xác và F1-score lần lượt khoảng 85% và 80%.
• Nghiên cứu làm rõ các khó khăn đặc thù của dữ liệu tiếng Việt và mạng xã hội, đồng thời đề xuất các phương pháp xử lý phù hợp.
• Đề xuất các giải pháp phát triển tiếp theo nhằm nâng cao hiệu quả và mở rộng ứng dụng trong thực tế.
• Khuyến khích các nhà nghiên cứu, doanh nghiệp và tổ chức liên quan tham khảo và ứng dụng kết quả để thúc đẩy phát triển công nghệ xử lý ngôn ngữ tự nhiên tiếng Việt.

Hành động tiếp theo là triển khai các đề xuất về thu thập dữ liệu, phát triển mô hình đa nhiệm vụ và xây dựng bộ dữ liệu chuẩn nhằm nâng cao chất lượng nghiên cứu và ứng dụng trong tương lai gần.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ——————– * ——————— PHẠM PHƯƠNG UYÊN PHÂN TÍCH CẢM XÚC HƯỚNG KHÍA CẠNH CHO CÁC BÌNH LUẬN VIỆT NGỮ Chuyên ngành: Khoa Học Máy Tính Mã số: 60.01 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 8 năm 2021 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG TP.HCM Cán bộ hướng dẫn khoa học: PGS. QUẢN THÀNH THƠ Cán bộ chấm nhận xét 1: TS. LÊ THANH VÂN Cán bộ chấm nhận xét 2: TS.

NGUYỄN LƯU THÙY NGÂN Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG TP.HCM ngày 02 tháng 8 năm 2021. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Chủ tịch hội đồng: TS. NGUYỄN ĐỨC DŨNG 2.

Thư ký hội đồng: NGUYỄN TIẾN THỊNH 3. Phản biện 1: TS. LÊ THANH VÂN 4. Phản biện 2: TS.

NGUYỄN LƯU THÙY NGÂN 5. Ủy viên: TS. LÊ ANH CƯỜNG Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC & KĨ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc _______________________ _______________________ NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Phạm Phương Uyên MSHV: 1770322 Ngày, tháng, năm sinh: 26/02/1994 Nơi sinh: Đồng Nai Chuyên ngành: Khoa học Máy tính Mã số: 60.

TÊN ĐỀ TÀI: Phân tích cảm xúc hướng khía cạnh cho các bình luận Việt ngữ / Aspect-based senti- ment analysis for Vietnamese comments II. NHIỆM VỤ VÀ NỘI DUNG: Tiếp cận bài toán phân tích cảm xúc hướng khía cạnh (Aspect Base Sentiment Analysis - ABSA) với dữ liệu chữ viết tiếng Việt từ mạng xã hội bằng phương pháp sử dụng mô hình đào tạo trước hiện đại để giải quyết các nhiệm vụ con liên quan. Thử nghiệm phương pháp trên dữ liệu thực. So sánh và đánh giá các giải pháp.

NGÀY GIAO NHIỆM VỤ: 22/02/2021 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 13/6/2021 V. CÁN BỘ HƯỚNG DẪN: PGS. Quản Thành Thơ Tp.

HCM, ngày 16 tháng 07 năm 2021 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƯỞNG KHOA KHOA HỌC & KĨ THUẬT MÁY TÍNH (Họ tên và chữ ký) Lời cảm ơn Xin gửi lời cảm ơn đến thầy hướng dẫn của tôi, PGS. Quản Thành Thơ vì đã cho tôi những trải nghiệm tri thức sâu sắc trong quá trình thực hiện luận văn. Xin cảm ơn những kinh nghiệm, kiến thức cùng những ý tưởng tuyệt vời mà thầy đem đến cho các học trò của thầy. Những giờ thảo luận cùng các anh chị, các bạn mà thầy chủ nhiệm đã giúp tôi từng bước tiếp nhận nhiều kiến thức quý báu cùng những kinh nghiệm học tập và nghiên cứu, làm hành trang cho tôi thực hiện luận văn này.

Xin chân thành cảm ơn các thầy cô trong khoa Khoa học và Kỹ thuật Máy tính, cùng đội ngũ giảng viên và nhân viên của trường Đại học Bách Khoa - ĐHQG TP.HCM đã tận tình giảng dạy, hỗ trợ tôi trong thời gian theo học tại trường, theo cách này hay cách khác. Xin gửi lòng biết ơn sâu sắc đến những người thân của tôi, cha mẹ, người bạn đời và con gái đã là động lực to lớn và hỗ trợ tôi cả về vật chất và tinh thần, đồng hành và tạo điều kiện cho tôi trong suốt quá trình học tập và nghiên cứu, để tôi có thể hoàn thiện luận văn cuối cùng. Với năng lực và kiến thức có hạn, luận văn này chắc chắn không tránh khỏi những sai thiếu, rất mong nhận được những ý kiến đóng góp của các thầy cô trong hội đồng đánh giá và phản biện. Xin được lắng nghe và chân thành cảm ơn.

Hồ Chí Minh, ngày 16 tháng 7 năm 2021 v Tóm tắt nội dung Trong phạm vi của luận văn, tôi đề xuất, hiện thực và thử nghiệm một giải pháp khả dụng cho bài toán Phân tích cảm xúc hướng khía cạnh cho dữ liệu mạng xã hội và bình luận Việt ngữ. Bài toán đã được nghiên cứu rộng rãi trên thế giới với dữ liệu Anh ngữ trong khi với tiếng Việt, các nghiên cứu vẫn còn hạn chế. Một số mô hình tân tiến mới được nghiên cứu những năm gần đây cùng với phương pháp học chuyển giao đã mở ra một tiềm năng to lớn cho các các nhiệm vụ xử lý ngôn ngữ tiếng Việt tự nhiên, đặc biệt là các nghiên cứu có tính ứng dụng thực tiễn. Dựa trên mô hình ngôn ngữ BERT, tôi tiếp cận bài toán cho dữ liệu bình luận tiếng Việt bằng cách giải quyết hai nhiệm vụ con Nhận diện khía cạnh và Phân loại cảm xúc liên quan khía cạnh theo phương pháp tinh chỉnh có giám sát mô hình đào tạo trước.

Các kết quả thực nghiệm cho thấy giải pháp đề xuất đạt được những hiệu quả khả quan trên cả hai nhiệm vụ con, đặc biệt là nhiệm vụ Phân loại cảm xúc liên quan khía cạnh vốn đã tốn không ít nỗ lực nghiên cứu. vi Abstract Aspect-Based Sentiment Analysis (ABSA) has elevated its importance to many applications in data-centric strategies, where real-life data from assessments can be leveraged to create value for businesses and customers. ABSA has been widely stud- ied around the world with English datasets while Vietnamese works are rather lim- ited in both quantity and quality. Recently, deep transfer learning in the form of pre- trained language models has become ubiquitous in NLP and has contributed to the state-of-the-art on a wide range of tasks.

In this work, I first introduce a dataset which labels are assigned manually by our contributors and then automatically revised by machine, then I perform some post-training approaches to solve two subtasks of ABSA - the Aspect Recognition (AR) subtask and the Aspect-Targeted Sentiment Classification (ATSC) subtask - by leveraging novel model BERT pre-trained for Viet- namese. I attempt, within the scope of this thesis, to propose, implement and eval- uate a possible solution for the ABSA problem in Vietnamese comment textual data of social networks. Experimental results demonstrate that the proposed approach is highly effective in both subtasks, especially the ATSC task which has been involved in a lot of research efforts. vii Lời cam kết của tác giả Tôi, người ký tên tại đây, xin cam đoan rằng luận văn với đề tài “Phân tích cảm xúc hướng khía cạnh cho dữ liệu mạng xã hội Việt ngữ” bao gồm toàn bộ công trình và kết quả được trình bày trong văn bản này là của cá nhân tôi, và đảm bảo: toàn bộ công việc này được tôi thực hiện trong khuôn khổ chương trình đào tạo thạc sĩ hướng ứng dụng tại khoa Khoa học và Kỹ thuật Máy tính, trường Đại học Bách Khoa TP.HCM; các tài liệu tham khảo và trích dẫn sử dụng trong luận văn đều được dẫn nguồn đầy đủ.HCM, ngày 16 tháng 7 năm 2021 Người viết Phạm Phương Uyên Mục lục 1 Giới thiệu 1 1.1 Lý do chọn đề tài và ý nghĩa thực tiễn .2 Mô tả bài toán .1 Phát biểu bài toán .2 Những khó khăn và thách thức .3 Nhiệm vụ luận văn .3 Cấu trúc luận văn.

8 2 Những nghiên cứu liên quan và cơ sở lý thuyết 9 2.1 Tình hình nghiên cứu trên thế giới .2 Bài toán ABSA cho tiếng Việt Nam .3 Về bài toán phân lớp đa nhãn .1 Tổng quan về bài toán phân lớp đa nhãn .2 Sử dụng mạng thần kinh cho bài toán phân loại đa lớp .3 Một số vấn đề .4 Phương pháp học chuyển giao sử dụng mô hình tiền huấn luyện .5 Mô hình biến đổi chuỗi hiện đại Transformer .2 Mạng kết nối đầy đủ từng vị trí (Position-wise fully connected layers) 25 2.3 Lớp nhúng từ (Embedding) và Softmax .5 Những thành tựu nổi bật .6 Mô hình tiền huấn luyện BERT .1 Mô hình ngôn ngữ BERT. 28 viii Mục lục ix 2.2 Thực nghiệm và các kết quả đáng chú ý .3 Một số biến thể của BERT .4 phoBERT - Mô hình tiền huấn luyện BERT cho tiếng Việt .7 Tổng kết chương. 36 3 Dữ liệu và Giải pháp đề xuất 37 3.1 Thu thập dữ liệu .2 Mô hình cơ sở .3 Giải pháp đề xuất .1 Phát hiện khía cạnh .2 Phân loại cảm xúc theo khía cạnh .3 Phương pháp đánh giá .4 Cài đặt thí nghiệm .1 Tạo các bộ dữ liệu .2 Cài đặt huấn luyện cho bài toán con AR .3 Cài đặt huấn luyện cho bài toán con ATSC .5 Tổng kết chương. 48 4 Kết quả và Thảo luận 49 4.1 Kết quả thực nghiệm .1 Kết quả thực nghiệm cho bài toán AR trên mô hình tinh chỉnh BERT 50 4.2 Kết quả thực nghiệm cho bài toán ATSC trên mô hình tinh chỉnh BERT .1 Kết quả đạt được .2 Các hạn chế và vấn đề tồn đọng .3 Hướng phát triển .4 Tổng kết luận văn.

61 Tài liệu tham khảo 62 Phụ lục 66 Danh mục nhãn khía cạnh. 66 Tổng hợp và thống kê dữ liệu. 68 Mục lục x Dữ liệu cho nhiệm vụ AR. 68 Dữ liệu cho nhiệm vụ ATSC.

73 Danh sách hình vẽ 1.1 Các nhiệm vụ con của bài toán ABSA .1 Các phương pháp học chuyển giao và thích ứng miền .2 Kiến trúc mô hình Transformer .3 Đa-chú-ý là tổ hợp song song nhiều lớp tự chú-ý.4 Tiền huấn luyện mô hình BERT .1 Phát hiện khía cạnh (AR) sử dụng mô hình tiền huấn luyện BERT .2 Bộ phân loại đa nhãn sử dụng perceptron .3 Phân loại cảm xúc theo khía cạnh (ATSC) sử dụng BERT .4 Kiến trúc hợp nhất 2 mô-đun cho bài toán ABSA. 45 1 Số lượng mẫu trong tập dữ liệu huấn luyện cho nhiệm vụ con ATSC. 74 2 Số lượng mẫu trong tập dữ liệu thẩm định cho nhiệm vụ con ATSC. 74 3 Số lượng mẫu trong tập dữ liệu kiểm nghiệm cho nhiệm vụ con ATSC.

75 xi Danh sách bảng 2.1 Ví dụ một tập dữ liệu đa nhãn .2 Biến đổi dữ liệu theo cách 1 .3 Biến đổi dữ liệu theo cách 2 .4 Biến đổi dữ liệu theo cách 3 .5 4 bộ dữ liệu tương ứng với 4 nhóm chính được tạo ra theo cách 4 .1 Các số liệu đánh giá trung bình .2 Kết quả trên tập dữ liệu thẩm định các mô hình phát hiện khía cạnh trên từng nhãn .3 Một số kết quả thực nghiệm trên mô-đun ATSC (1)-Các kết quả tốt; (2)-Các kết quả chưa tốt; (3)-Các kết quả rất tốt .4 Đánh giá mô-đun ATSC trên các tập dữ liệu .5 Một số suy luận chính xác của mô hình .6 Trường hợp này, ngay cả con người cũng khó xác định được nhãn đúng! .7 Một số trường hợp mô hình suy luận hợp lý hơn nhãn thực .8 Những trường hợp suy luận sai của mô hình. 55 1 Danh mục các khía cạnh cho sản phẩm sữa .