Luận Văn Thạc Sĩ Về Phân Tích Cảm Xúc Trong Khoa Học Máy Tính

• Tác giả: Vũ Duy Quang
• Người hướng dẫn: PGS.TS Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Phân Tích Cảm Xúc Dựa Trên Khía Cạnh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu bài toán
• 1.2. Mục tiêu và phạm vi đề tài
• 1.3. Cấu trúc luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Sử dụng đặc trưng n-grams và từ điển cảm xúc
• 2.2. Mở rộng mô hình RNN và AdaRNN cho bài toán Phân tích cảm xúc dựa trên khía cạnh
• 2.3. Kết hợp cơ sở kiến thức chung vào LSTM
• 3. CHƯƠNG 3: CƠ SỞ KIẾN THỨC
• 3.1. Word Embedding
• 3.2. Biểu diễn từ bằng vectơ one-hot
• 3.3. Kỹ thuật Word2vec
• Tài liệu tham khảo

I. Giới thiệu bài toán

Phân tích cảm xúc dựa trên khía cạnh (Aspect Based Sentiment Analysis - ABSA) là một vấn đề quan trọng trong khoa học máy tính, đặc biệt trong lĩnh vực xử lý ngôn ngữ tự nhiên. Với sự phát triển của công nghệ và Internet, việc phân tích các ý kiến từ văn bản về các sản phẩm, dịch vụ và các vấn đề xã hội đã trở nên cần thiết. Việc này không chỉ giúp người tiêu dùng đưa ra quyết định mua sắm mà còn cung cấp thông tin cho các nhà sản xuất về phản hồi từ khách hàng. Đề tài này tập trung vào việc nghiên cứu và xây dựng mô hình phân tích cảm xúc cho ngôn ngữ tiếng Việt, nhằm khai thác thông tin chi tiết từ văn bản. Theo nghiên cứu, việc phân loại các thái cực cảm xúc đối với một khía cạnh cụ thể trong câu có thể mang lại giá trị lớn cho nhiều lĩnh vực trong đời sống và nghiên cứu.

II. Nghiên cứu các công trình liên quan

Trong chương này, tác giả đã tổng hợp và phân tích các công trình nghiên cứu trước đây liên quan đến phân tích cảm xúc. Các nghiên cứu sớm chủ yếu dựa vào việc xây dựng đặc trưng từ câu đầu vào kết hợp với thông tin về ngữ nghĩa và cấu trúc câu. Một số phương pháp đáng chú ý bao gồm việc sử dụng đặc trưng n-grams và từ điển cảm xúc, kết hợp với các mô hình học máy như SVM. Nghiên cứu của Wagner và cộng sự vào năm 2014 đã trình bày phương pháp này, cho thấy độ chính xác cao trong việc phân loại cảm xúc. Hơn nữa, các mô hình như RNN và LSTM cũng đã được áp dụng để cải thiện độ chính xác của phân tích cảm xúc dựa trên khía cạnh. Những nghiên cứu này đã đặt nền móng cho việc phát triển các phương pháp mới trong lĩnh vực này.

III. Cơ sở kiến thức

Chương này trình bày các kiến thức nền tảng về machine learning và các mô hình ngôn ngữ. Một trong những kỹ thuật quan trọng là Word Embedding, cho phép biểu diễn từ dưới dạng các vectơ số, giúp máy tính hiểu được ngữ nghĩa của từ. Kỹ thuật Word2vec là một trong những phương pháp phổ biến nhất trong lĩnh vực này. Ngoài ra, mô hình BERT cũng được thảo luận, với khả năng nắm bắt ngữ cảnh trong câu, từ đó cải thiện độ chính xác của các hệ thống phân tích cảm xúc. Các công cụ và thư viện hỗ trợ cho việc nghiên cứu và xây dựng mô hình cũng được nêu rõ, tạo cơ sở cho việc thực hiện các thí nghiệm trong các chương tiếp theo.

IV. Phương pháp đề xuất

Tác giả đã đề xuất một phương pháp mới cho bài toán phân tích cảm xúc dựa trên khía cạnh, kết hợp giữa mô hình ngôn ngữ BERT và mạng nơ-ron. Phương pháp này được thiết kế để cải thiện khả năng phân loại cảm xúc trong các câu tiếng Việt. Các bước thực hiện bao gồm xây dựng câu phụ trợ, xử lý dữ liệu và huấn luyện mô hình. Đặc biệt, việc sử dụng các phương pháp học sâu giúp tối ưu hóa quá trình phân loại, từ đó nâng cao độ chính xác của mô hình. Các kết quả đạt được từ các thí nghiệm cũng được trình bày, cho thấy tính khả thi và hiệu quả của phương pháp đề xuất trong việc phân tích cảm xúc.

V. Kết quả thực nghiệm

Chương này tập trung vào việc trình bày kết quả thực nghiệm từ mô hình phân tích cảm xúc được xây dựng. Các kết quả cho thấy mô hình đã đạt được độ chính xác cao trong việc phân loại cảm xúc cho các câu tiếng Việt. Việc so sánh với các phương pháp trước đây cũng được thực hiện để đánh giá hiệu quả của mô hình. Đặc biệt, các chỉ số như Precision, Recall và F-measure được sử dụng để đo lường hiệu suất của mô hình. Kết quả này không chỉ khẳng định tính khả thi của phương pháp đề xuất mà còn mở ra hướng nghiên cứu mới cho việc ứng dụng phân tích cảm xúc trong các lĩnh vực khác nhau.

VI. Kết luận

Luận văn đã thành công trong việc nghiên cứu và xây dựng mô hình phân tích cảm xúc dựa trên khía cạnh cho ngôn ngữ tiếng Việt. Những đóng góp của nghiên cứu không chỉ nằm ở việc phát triển mô hình mà còn cung cấp thông tin hữu ích cho các hệ thống phân tích cảm xúc trong tương lai. Hạn chế của nghiên cứu cũng được chỉ ra, cùng với các hướng phát triển tiếp theo, nhằm cải thiện hơn nữa độ chính xác và khả năng ứng dụng của mô hình trong thực tế. Những kết quả đạt được từ nghiên cứu này có thể được áp dụng trong nhiều lĩnh vực, từ thương mại điện tử đến quản lý phản hồi từ khách hàng.

Tổng quan nghiên cứu

Phân tích cảm xúc dựa trên khía cạnh (Aspect Based Sentiment Analysis - ABSA) là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên, nhằm khai thác ý kiến và thái độ của người dùng về các khía cạnh cụ thể của sản phẩm hoặc dịch vụ. Với sự phát triển mạnh mẽ của Internet và mạng xã hội, nguồn dữ liệu đánh giá trực tuyến ngày càng phong phú, tạo điều kiện thuận lợi cho việc nghiên cứu và ứng dụng ABSA. Theo ước tính, tập dữ liệu UIT-ViSFD gồm hơn 11,000 đánh giá về điện thoại thông minh tại Việt Nam đã được sử dụng để đánh giá mô hình trong nghiên cứu này.

Mục tiêu chính của luận văn là xây dựng một mô hình phân tích cảm xúc dựa trên khía cạnh dành cho ngôn ngữ tiếng Việt, tận dụng mô hình ngôn ngữ BERT kết hợp với mạng nơ-ron truyền thẳng và các phương pháp xây dựng câu phụ trợ nhằm chuyển đổi bài toán thành phân loại cặp câu. Phạm vi nghiên cứu tập trung vào dữ liệu tiếng Việt thu thập từ các trang thương mại điện tử trong khoảng thời gian gần đây, với 10 khía cạnh và 3 nhãn cảm xúc chính: tích cực, trung tính và tiêu cực.

Nghiên cứu có ý nghĩa quan trọng trong việc cung cấp công cụ phân tích cảm xúc chính xác cho các doanh nghiệp và tổ chức, giúp họ hiểu rõ hơn về phản hồi khách hàng, từ đó cải thiện sản phẩm và dịch vụ. Đồng thời, kết quả nghiên cứu cũng góp phần phát triển các hệ thống xử lý ngôn ngữ tự nhiên dành riêng cho tiếng Việt, một ngôn ngữ còn nhiều thách thức về mặt kỹ thuật.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Mô hình BERT (Bidirectional Encoder Representations from Transformers): Đây là mô hình ngôn ngữ tiên tiến sử dụng kiến trúc Transformer với cơ chế attention hai chiều, cho phép học các mối quan hệ ngữ cảnh phức tạp giữa các từ trong câu. BERT được huấn luyện trước trên kho văn bản lớn và có khả năng tinh chỉnh cho các bài toán cụ thể như phân loại cảm xúc.

2. Mạng nơ-ron truyền thẳng (Feedforward Neural Network): Được sử dụng như lớp phân loại cuối cùng, nhận đầu ra từ token đặc biệt [CLS] của BERT để dự đoán nhãn cảm xúc.

Các khái niệm chính bao gồm:

• Phân tích cảm xúc dựa trên khía cạnh (ABSA): Xác định khía cạnh được đề cập trong câu và phân loại thái cực cảm xúc tương ứng.
• Câu phụ trợ (Auxiliary Sentence): Các câu được xây dựng dựa trên khía cạnh nhằm chuyển đổi bài toán thành phân loại cặp câu.
• Các nhãn cảm xúc: Tích cực (Positive), Trung tính (Neutral), Tiêu cực (Negative), và nhãn "không đề cập" cho các khía cạnh không xuất hiện trong câu.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập UIT-ViSFD gồm 11,122 đánh giá về điện thoại thông minh bằng tiếng Việt, với 10 khía cạnh và 3 nhãn cảm xúc. Dữ liệu được tiền xử lý qua bước phân tách từ (word segmentation) bằng công cụ Underthesea và token hóa phù hợp với mô hình BERT.

Phương pháp phân tích sử dụng mô hình PhoBERT (phiên bản base) được huấn luyện trước dành riêng cho tiếng Việt, kết hợp với mạng nơ-ron truyền thẳng để phân loại. Bốn phương pháp xây dựng câu phụ trợ được đề xuất nhằm biến đổi bài toán thành phân loại cặp câu:

• Câu cho QA-M (câu hỏi nhiều lớp)
• Câu cho NLI-M (câu giả nhiều lớp)
• Câu cho QA-B (câu hỏi nhị phân)
• Câu cho NLI-B (câu giả nhị phân)

Mỗi phương pháp tạo ra tập huấn luyện và đánh giá riêng biệt. Mô hình được huấn luyện với 5 epoch, learning rate 1e-6, batch size 3 và dropout 0.5. Đánh giá sử dụng chỉ số F1 cho việc xác định khía cạnh và độ chính xác (Accuracy) cho phân loại cảm xúc.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của phương pháp QA-M và NLI-M: Hai phương pháp này đạt F1 lần lượt là 89.09% và 88.82% trong việc xác định khía cạnh, đồng thời cho độ chính xác phân loại cảm xúc cao, thể hiện khả năng nhận diện và phân loại cảm xúc chính xác trên tập dữ liệu tiếng Việt.

2. Hiệu suất thấp hơn của QA-B và NLI-B: Mặc dù tạo ra tập dữ liệu lớn hơn và phức tạp hơn, hai phương pháp này chỉ đạt F1 khoảng 79.21% và 85.6%, cho thấy việc phân loại nhị phân với nhiều mẫu hơn không đảm bảo hiệu quả cao hơn.

3. Tác động của câu phụ trợ: Việc xây dựng câu phụ trợ phù hợp với ngôn ngữ tiếng Việt đóng vai trò quan trọng trong việc cải thiện hiệu quả mô hình, đặc biệt là các câu hỏi mang tính mô tả rõ ràng về khía cạnh và cảm xúc.

4. Tốc độ xử lý và tối ưu mã nguồn: Mô hình hiện tại chưa được tối ưu song song, dẫn đến tốc độ xử lý còn chậm, ảnh hưởng đến khả năng ứng dụng thực tế.

Thảo luận kết quả

Kết quả cho thấy mô hình kết hợp PhoBERT và mạng nơ-ron truyền thẳng cùng với phương pháp xây dựng câu phụ trợ QA-M và NLI-M là hướng đi khả thi cho bài toán ABSA tiếng Việt. So với các nghiên cứu trước đây sử dụng các phương pháp truyền thống như SVM hay RNN, mô hình này tận dụng được sức mạnh của BERT trong việc hiểu ngữ cảnh phức tạp.

Biểu đồ so sánh F1 và Accuracy giữa bốn phương pháp xây dựng câu phụ trợ sẽ minh họa rõ sự khác biệt hiệu quả. Nguyên nhân hiệu quả thấp hơn của QA-B và NLI-B có thể do sự phức tạp trong xử lý kết quả và kích thước tập dữ liệu lớn gây khó khăn cho việc học.

So sánh với các nghiên cứu quốc tế, kết quả này là bước tiến quan trọng trong việc phát triển các hệ thống phân tích cảm xúc dành riêng cho tiếng Việt, một ngôn ngữ có cấu trúc và đặc điểm riêng biệt.

Đề xuất và khuyến nghị

1. Tinh chỉnh mô hình học máy: Cần tiếp tục điều chỉnh các tham số huấn luyện, thử nghiệm các kiến trúc mạng nơ-ron sâu hơn hoặc kết hợp các kỹ thuật attention để nâng cao độ chính xác phân loại cảm xúc.

2. Tối ưu mã nguồn: Áp dụng kỹ thuật tối ưu song song và tăng tốc phần cứng để cải thiện tốc độ xử lý, giúp mô hình có thể ứng dụng trong môi trường thực tế với khối lượng dữ liệu lớn.

3. Đa dạng hóa tập dữ liệu: Thu thập và xây dựng thêm các tập dữ liệu đa dạng về lĩnh vực và ngôn ngữ tiếng Việt nhằm tăng tính tổng quát và khả năng áp dụng của mô hình.

4. Phát triển phương pháp xây dựng câu phụ trợ mới: Nghiên cứu và đề xuất các phương pháp kết hợp hoặc cải tiến câu phụ trợ phù hợp hơn với đặc thù ngôn ngữ tiếng Việt, nhằm nâng cao hiệu quả phân loại.

5. So sánh và đánh giá với các phương pháp khác: Thực hiện các thí nghiệm so sánh với các mô hình hiện đại khác như Transformer đa nhiệm hoặc mô hình học sâu kết hợp kiến thức ngữ nghĩa để đánh giá toàn diện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Xử lý ngôn ngữ tự nhiên: Luận văn cung cấp kiến thức nền tảng và phương pháp ứng dụng mô hình BERT cho bài toán phân tích cảm xúc tiếng Việt.

2. Doanh nghiệp phát triển sản phẩm và dịch vụ: Các công ty thương mại điện tử, dịch vụ khách hàng có thể áp dụng mô hình để phân tích phản hồi người dùng, cải thiện chất lượng sản phẩm.

3. Chuyên gia phân tích dữ liệu và trí tuệ nhân tạo: Tài liệu giúp hiểu rõ cách xây dựng và huấn luyện mô hình phân loại cảm xúc dựa trên khía cạnh, từ đó phát triển các ứng dụng AI phù hợp.

4. Cơ quan quản lý và nghiên cứu xã hội: Sử dụng kết quả phân tích cảm xúc để đánh giá thái độ người dân về các chính sách, sự kiện xã hội, hỗ trợ ra quyết định chính sách.

Câu hỏi thường gặp

1. Phân tích cảm xúc dựa trên khía cạnh là gì?
   Là kỹ thuật xác định cảm xúc (tích cực, tiêu cực, trung tính) liên quan đến từng khía cạnh cụ thể trong câu, giúp hiểu sâu sắc hơn về ý kiến người dùng.

2. Tại sao chọn mô hình BERT cho bài toán này?
   BERT có khả năng học ngữ cảnh hai chiều, giúp hiểu chính xác hơn các mối quan hệ phức tạp trong câu, nâng cao hiệu quả phân loại cảm xúc.

3. Câu phụ trợ có vai trò gì trong mô hình?
   Câu phụ trợ giúp chuyển đổi bài toán phân tích cảm xúc thành bài toán phân loại cặp câu, làm rõ khía cạnh và cảm xúc cần phân loại, tăng độ chính xác.

4. Tập dữ liệu UIT-ViSFD có đặc điểm gì?
   Gồm hơn 11,000 đánh giá tiếng Việt về điện thoại thông minh, với 10 khía cạnh và 3 nhãn cảm xúc, là nguồn dữ liệu thực tế và đa dạng để huấn luyện mô hình.

5. Làm thế nào để cải thiện tốc độ xử lý mô hình?
   Tối ưu mã nguồn, áp dụng kỹ thuật song song, sử dụng phần cứng mạnh hơn và giảm kích thước batch hợp lý sẽ giúp tăng tốc độ xử lý.

Kết luận

• Đã xây dựng thành công mô hình phân tích cảm xúc dựa trên khía cạnh cho tiếng Việt, kết hợp PhoBERT và mạng nơ-ron truyền thẳng.
• Phương pháp xây dựng câu phụ trợ QA-M và NLI-M cho kết quả khả quan với F1 trên 88%.
• Mô hình hiện tại còn hạn chế về tốc độ xử lý và độ chính xác so với mô hình tham khảo.
• Đề xuất các hướng phát triển như tinh chỉnh mô hình, tối ưu mã nguồn và đa dạng hóa dữ liệu.
• Khuyến khích các nhà nghiên cứu và doanh nghiệp ứng dụng mô hình để nâng cao chất lượng phân tích cảm xúc tiếng Việt.

Tiếp theo, việc mở rộng nghiên cứu và áp dụng mô hình trong các lĩnh vực thực tế sẽ góp phần nâng cao giá trị ứng dụng của đề tài. Độc giả quan tâm có thể tiếp cận mã nguồn và dữ liệu để phát triển thêm các giải pháp mới.