Nghiên Cứu Phân Tích Cảm Xúc Của Người Dùng

Khóa luận nghiên cứu phân tích cảm xúc người dùng trong ngành dịch vụ, ứng dụng kỹ thuật phần mềm để tối ưu hóa trải nghiệm khách hàng.

• Tác giả: Le Si Lac
• Người hướng dẫn: TS. Nguyễn Lưu Thùy Ngân
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành kỹ thuật phần mềm
• Đề tài: Nghiên Cứu Phân Tích Cảm Xúc Người Dùng
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Đặt vấn đề
• 1.2. Đối tượng và phạm vi nghiên cứu
• 1.2.1. Đối tượng nghiên cứu
• 1.2.2. Phạm vi nghiên cứu
• 1.3. Mục tiêu của nghiên cứu
• 1.4. Kết quả của nghiên cứu
• 1.5. Cấu trúc khóa luận
• 2. CHƯƠNG 2: TỔNG QUAN
• 3. CHƯƠNG 3: TỔNG QUAN VỀ CÁC BỘ NGỮ LIỆU PHÂN TÍCH CẢM XÚC
• 3.1. Giới thiệu về bộ dữ liệu
• 3.2. Hotel Sentiment Analysis (HSA). Vietnamese Students’ Feedback Corpus (UIT-VSEC). Vietnamese Sentiment Analysis (VS). Tiền xử lý dữ liệu
• 4. CHƯƠNG 4: LÝ THUYẾT
• 4.1. Mô hình BERT
• 4.2. Các biến thể của BERT dành cho tiếng Việt
• 4.3. Kỹ thuật làm giàu dữ liệu (Data augmentation). Contextual Word Embeddings Augmenter
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 5.1. Thực nghiệm trên bài toán SA
• 5.2. Quá trình huấn luyện mô hình ngôn ngữ (Language Model)
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Phân Tích Cảm Xúc Người Dùng

Nghiên cứu phân tích cảm xúc người dùng là một lĩnh vực quan trọng trong công nghệ phần mềm. Bài toán này không chỉ giúp hiểu rõ hơn về cảm xúc của người dùng mà còn hỗ trợ các doanh nghiệp trong việc cải thiện dịch vụ và sản phẩm. Khóa luận tốt nghiệp này sẽ đi sâu vào các phương pháp và kỹ thuật hiện đại trong việc phân tích cảm xúc, đặc biệt là ứng dụng của mô hình PhoBERT trong việc xử lý ngôn ngữ tự nhiên.

1.1. Định Nghĩa Phân Tích Cảm Xúc

Phân tích cảm xúc là quá trình xác định và phân loại cảm xúc từ văn bản. Các cảm xúc có thể được phân loại thành tích cực, tiêu cực hoặc trung tính. Việc này giúp các tổ chức hiểu rõ hơn về phản hồi của người dùng.

1.2. Tầm Quan Trọng Của Nghiên Cứu

Nghiên cứu này không chỉ giúp cải thiện trải nghiệm người dùng mà còn cung cấp thông tin quý giá cho các doanh nghiệp trong việc phát triển sản phẩm và dịch vụ. Thông qua việc phân tích cảm xúc, doanh nghiệp có thể điều chỉnh chiến lược marketing và cải thiện chất lượng dịch vụ.

II. Thách Thức Trong Phân Tích Cảm Xúc Người Dùng

Mặc dù phân tích cảm xúc mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Các vấn đề như ngữ nghĩa, ngữ cảnh và sự đa dạng trong cách diễn đạt cảm xúc là những yếu tố cần được xem xét. Khóa luận này sẽ phân tích các thách thức chính trong việc áp dụng các kỹ thuật phân tích cảm xúc.

2.1. Độ Chính Xác Của Dữ Liệu

Một trong những thách thức lớn nhất là đảm bảo độ chính xác của dữ liệu đầu vào. Dữ liệu không chính xác có thể dẫn đến kết quả phân tích sai lệch, ảnh hưởng đến quyết định của doanh nghiệp.

2.2. Ngữ Cảnh Và Ý Nghĩa

Ngữ cảnh của câu bình luận có thể thay đổi ý nghĩa của từ ngữ. Việc hiểu đúng ngữ cảnh là rất quan trọng để phân tích chính xác cảm xúc của người dùng.

III. Phương Pháp Phân Tích Cảm Xúc Người Dùng Hiệu Quả

Khóa luận sẽ trình bày các phương pháp chính trong phân tích cảm xúc. Các phương pháp này bao gồm việc sử dụng mô hình học sâu và các kỹ thuật làm giàu dữ liệu. Mô hình PhoBERT sẽ được áp dụng để cải thiện độ chính xác trong phân tích cảm xúc.

3.1. Mô Hình PhoBERT

PhoBERT là một mô hình ngôn ngữ mạnh mẽ được thiết kế cho tiếng Việt. Mô hình này giúp cải thiện khả năng phân tích cảm xúc thông qua việc hiểu sâu hơn về ngữ nghĩa và ngữ cảnh.

3.2. Kỹ Thuật Làm Giàu Dữ Liệu

Các kỹ thuật làm giàu dữ liệu như dịch ngược và thay thế từ đồng nghĩa sẽ được áp dụng để tăng cường chất lượng dữ liệu đầu vào, từ đó nâng cao độ chính xác của mô hình.

IV. Ứng Dụng Thực Tiễn Của Phân Tích Cảm Xúc

Phân tích cảm xúc có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau như thương mại điện tử, dịch vụ khách hàng và giáo dục. Khóa luận sẽ trình bày các ứng dụng cụ thể của phân tích cảm xúc trong các lĩnh vực này.

4.1. Trong Thương Mại Điện Tử

Phân tích cảm xúc giúp các doanh nghiệp thương mại điện tử hiểu rõ hơn về phản hồi của khách hàng, từ đó cải thiện trải nghiệm mua sắm và tăng cường lòng trung thành của khách hàng.

4.2. Trong Dịch Vụ Khách Hàng

Các tổ chức có thể sử dụng phân tích cảm xúc để theo dõi và cải thiện chất lượng dịch vụ, từ đó nâng cao sự hài lòng của khách hàng.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Khóa luận đã trình bày tổng quan về phân tích cảm xúc người dùng, các thách thức và phương pháp hiệu quả. Tương lai của nghiên cứu này sẽ tiếp tục mở rộng và cải thiện các kỹ thuật phân tích cảm xúc, đặc biệt là trong bối cảnh ngôn ngữ tiếng Việt.

5.1. Hướng Nghiên Cứu Tương Lai

Nghiên cứu có thể mở rộng sang các lĩnh vực khác như phân tích cảm xúc theo khía cạnh, giúp hiểu rõ hơn về từng yếu tố ảnh hưởng đến cảm xúc của người dùng.

5.2. Cải Tiến Công Nghệ

Công nghệ sẽ tiếp tục phát triển, mở ra nhiều cơ hội mới cho việc áp dụng phân tích cảm xúc trong các lĩnh vực khác nhau, từ giáo dục đến y tế.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên thương mại điện tử và dịch vụ trực tuyến phát triển mạnh mẽ, phản hồi của người dùng (user reviews/feedback) đóng vai trò quyết định đến hành vi mua sắm của khách hàng cũng như định hướng kinh doanh của doanh nghiệp. Bên cạnh lĩnh vực dịch vụ và bán lẻ, công tác phân tích phản hồi của sinh viên trong môi trường giáo dục đại học cũng là cơ sở thiết yếu để nâng cao chất lượng giảng dạy. Tuy nhiên, các hệ thống đánh giá truyền thống thường chỉ dựa vào thang điểm số sao (rating scale) vốn không thể hiện đầy đủ, khách quan sắc thái cảm xúc và các khía cạnh chi tiết được đề cập trong câu chữ.

Để giải quyết bài toán xử lý khối lượng lớn văn bản phản hồi tự nhiên, khóa luận tốt nghiệp kỹ sư ngành Kỹ thuật Phần mềm của tác giả Lê Sĩ Lạc (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP.HCM, thực hiện năm 2021 dưới sự hướng dẫn của TS. Nguyễn Lưu Thùy Ngân) tập trung nghiên cứu bài toán Phân tích cảm xúc người dùng (Sentiment Analysis - SA) cho tiếng Việt ở cấp độ câu văn (sentence-level).

Mục tiêu và nhiệm vụ nghiên cứu được văn bản xác định cụ thể gồm:

1. Nghiên cứu và thực nghiệm kiến trúc học sâu PhoBERT_base kết hợp các kỹ thuật làm giàu dữ liệu (Data Augmentation) ở nhiều cấp độ khác nhau như thay thế từ đồng nghĩa, Fill-Mask BERT và dịch ngược (Back Translation).
2. Phân tích và so sánh hiệu quả phân loại cảm xúc giữa mô hình học sâu có và không có áp dụng kỹ thuật làm giàu dữ liệu đối với các nghiên cứu công bố trước đó.
3. Đánh giá toàn diện mức độ cải thiện của kỹ thuật làm giàu dữ liệu trên cả mô hình học sâu PhoBERT_base lẫn mô hình máy học truyền thống Support Vector Machine (SVM).
4. Xây dựng một chương trình ứng dụng minh họa cho phép tự động thu thập bình luận khách hàng từ sàn thương mại điện tử Shopee và xuất báo cáo thống kê sắc thái thương hiệu.
5. Đánh giá mức độ hiệu quả khi mở rộng huấn luyện mô hình ngôn ngữ (Language Model) trên tập dữ liệu miền chuyên biệt gồm 5 triệu câu nhằm cải thiện chất lượng sinh dữ liệu của phương pháp Fill-Mask so với mô hình PhoBERT_base nguyên bản.

Đối tượng nghiên cứu của đề tài là các câu bình luận, nhận xét và phản hồi bằng tiếng Việt của người dùng trong các lĩnh vực: dịch vụ ăn uống (nhà hàng, quán ăn), lưu trú (khách sạn), mua sắm trực tuyến trên sàn thương mại điện tử và khảo sát đánh giá giảng dạy của sinh viên. Phạm vi nghiên cứu giới hạn ở bài toán phân loại cảm xúc đơn văn bản ở cấp độ câu (sentence-level) thành ba nhãn trạng thái: Tích cực (Positive), Tiêu cực (Negative) và Trung tính (Neutral).

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết xử lý ngôn ngữ tự nhiên (NLP), tập trung vào các mô hình ngôn ngữ dựa trên kiến trúc Transformer và kỹ thuật học bán giám sát thông qua tăng cường dữ liệu:

• Mô hình học máy và học sâu: Khóa luận sử dụng mô hình nền tảng PhoBERT_base (được huấn luyện trước trên 20GB dữ liệu tiếng Việt gồm Wikipedia và báo chí ở cấp độ từ), so sánh đối chuẩn với mô hình máy học truyền thống Support Vector Machine (SVM), mạng nơ-ron tích chập và hồi quy (CNN, LSTM, BiLSTM-CNN) cùng các biến thể ngôn ngữ khác như mBERT, XLM-R, viBERT và viBERT4News.
• Kỹ thuật làm giàu dữ liệu (Data Augmentation): Được phân chia và thử nghiệm có hệ thống theo 3 cấp độ:
  1. Cấp độ ký tự (Character Augmenter): Mô phỏng lỗi chính tả và gõ phím ngẫu nhiên qua 4 thao tác: chèn ký tự (insert), lặp ký tự (repeat), xóa ký tự (delete) và hoán vị ký tự (swap).
  2. Cấp độ từ (Word Augmenter): Thay thế từ đồng nghĩa dựa trên không gian nhúng từ Word2Vec kết hợp thuật toán K-Nearest Neighbors (KNN) và độ tương đồng Cosine (tỉ lệ thay thế 20% số từ trong câu).
  3. Cấp độ ngữ cảnh (Contextual Augmenter):
     • Dự đoán từ bị che (Masked Language Model / Fill-Mask) sử dụng PhoBERT_base để sinh từ mới phù hợp ngữ pháp và văn cảnh (tỉ lệ thay thế 20% số từ).
     • Dịch ngược (Back Translation) đơn và chuỗi (Chained Back Translation: Vi $\rightarrow$ En $\rightarrow$ Vi, Vi $\rightarrow$ Zh $\rightarrow$ Vi, Vi $\rightarrow$ En $\rightarrow$ Zh $\rightarrow$ Vi, Vi $\rightarrow$ Zh $\rightarrow$ En $\rightarrow$ Vi) thông qua Google Cloud Translation API.
• Quy trình tiền xử lý dữ liệu:
  • Loại bỏ các bình luận không phải tiếng Việt hoặc viết không dấu hoàn toàn.
  • Hiệu chỉnh và bổ sung dấu câu cho các đoạn bình luận mạng xã hội.
  • Sử dụng công cụ UETsegmenter để phân tách câu và phân đoạn từ tiếng Việt.
  • Loại bỏ triệt để các câu dữ liệu trùng lặp trong kho ngữ liệu.
• Nguồn dữ liệu thực nghiệm: Đề tài thực hiện đánh giá chéo trên 4 bộ ngữ liệu tiếng Việt thuộc các miền dữ liệu khác nhau:
  • VLSP (SA-VLSP2016): 12.190 câu bình luận công nghệ từ tinhte.net và Facebook.
  • HSA (Hotel Sentiment Analysis): 3.304 câu đánh giá phòng của 50 khách sạn tại Việt Nam thu thập từ nền tảng Agoda (|V| = 5.816 từ).
  • UIT-VSFC (Vietnamese Students' Feedback Corpus): 16.174 câu phản hồi của sinh viên Trường Đại học Công nghệ Thông tin qua các đợt khảo sát năm 2013 và 2016.
  • VS (Vietnamese Sentiment Analysis): 17.500 nhận xét đánh giá sản phẩm thương mại điện tử, được gán nhãn bởi 3 chuyên viên và đánh giá thông qua 5-fold cross-validation.
  • Tập dữ liệu huấn luyện Language Model: 5.000.000 câu văn thu thập từ các nền tảng Agoda, Booking, Mytour và Foody.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương này đặt vấn đề về sự gia tăng của văn bản phản hồi trực tuyến và nhu cầu tự động hóa phân tích dữ liệu văn bản thay vì chỉ dựa vào điểm số sao. Tác giả trình bày đối tượng, phạm vi nghiên cứu ở cấp độ câu, phát biểu bài toán phân loại 3 lớp cảm xúc (tích cực, tiêu cực, trung tính), đặt ra 5 mục tiêu cốt lõi của khóa luận và phác thảo cấu trúc tổng thể 6 chương.

Chương 2: Tổng quan

Chương 2 phân loại các cấp độ trong phân tích ngôn ngữ (ngữ âm, âm vị, hình thái, cú pháp, ngữ nghĩa, ngữ dụng), định vị bài toán phân tích cảm xúc (SA) và phân tích cảm xúc dựa trên khía cạnh (ABSA). Chương này khảo sát lịch sử nghiên cứu quốc tế từ các mốc SemEval (2014, 2015, 2016) cùng các thuật toán Naive Bayes, SVM, SentiWordNet, và điểm lại các công trình tại Việt Nam (hệ thống rule-based của Kieu & Pham, mô hình học bán giám sát GK-LDA của Lê et al., mạng lai LSTM-CNN của Quan et al., mô hình tinh chỉnh BERT của nhóm tác giả AIVIVN, và mạng BiLSTM-CNN của Lạc et al.). Tác giả chỉ ra hạn chế của các nghiên cứu trước là chưa thử nghiệm diện rộng trên nhiều bộ dữ liệu và chưa khai thác sâu kỹ thuật tăng cường dữ liệu kết hợp Transformer.

Chương 3: Tổng quan về các bộ ngữ liệu phân tích cảm xúc phản hồi

Chương 3 nhấn mạnh vai trò của dữ liệu khi dẫn chứng số liệu cho thấy 88% thời gian của dự án khoa học dữ liệu dành cho khâu thu thập, làm sạch và tổ chức dữ liệu. Tác giả mô tả chi tiết nguồn gốc, phân bố nhãn, độ dài câu và đặc trưng ngôn ngữ của 4 bộ ngữ liệu: VLSP (12.190 câu), HSA (3.304 câu), UIT-VSFC (16.174 câu) và VS (17.500 câu). Đồng thời, chương này thiết lập quy trình tiền xử lý chuẩn bằng UETsegmenter để chuẩn hóa dữ liệu đầu vào cho các mô hình học sâu.

| Tên bộ dữ liệu | Miền dữ liệu | Kích thước ($N$) | Số nhãn ($c$) | Độ dài câu TB ($\bar{l}{pre}$) | Độ dài câu max ($l{max}$) | Kích thước từ vựng ($|V|$) | Phương thức kiểm thử | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | HSA | Khách sạn (Agoda) | 3.304 | 3 | 13,88 | 712 | 5.816 | 5-Fold Cross-Validation | | UIT-VSFC | Giáo dục (Phản hồi sinh viên) | 16.174 | 3 | 14,12 | - | - | Train / Dev / Test Split | | VLSP | Đánh giá công nghệ (Tinhte, FB) | 12.190 | 3 | - | - | - | Train / Test Split | | VS | Thương mại điện tử | 17.500 | 3 | - | - | - | 5-Fold Cross-Validation |

Chương 4: Lý thuyết

Chương 4 trình bày cơ sở toán học và kiến trúc của mạng nơ-ron Transformer hai chiều BERT (Devlin et al., 2018), phân tích cơ chế biểu diễn từ theo ngữ cảnh so với các phương pháp tĩnh Word2Vec hay GloVe. Tác giả tổng hợp các biến thể BERT dành cho tiếng Việt (PhoBERT_base, viBERT4News, viBERT, mBERT, XLM-R). Tiếp đó, chương này chuẩn hóa lý thuyết 3 nhóm kỹ thuật làm giàu dữ liệu: Character Augmenter (thao tác lỗi gõ phím), Word Augmenter (thay thế từ đồng nghĩa theo cosine similarity trên Word2Vec), và Contextual Augmenter gồm kỹ thuật che từ Fill-Mask kết hợp dự đoán ngữ cảnh cùng kỹ thuật dịch ngược Back Translation đơn/chuỗi qua Google Cloud Translation API.

Chương 5: Thử nghiệm và kết quả thử nghiệm

Chương 5 mô tả chi tiết quá trình cài đặt thực nghiệm trên phần cứng máy chủ chuyên dụng (card đồ họa LEADTEK NVIDIA Quadro RTX 8000 48GB GDDR6). Tác giả thiết lập ma trận thử nghiệm PhoBERT_base với 4 mức sinh dữ liệu (10%, 20%, 30%, 40%) trên 4 bộ dữ liệu, đánh giá qua 5 thang đo: Accuracy, Balanced Accuracy, Weighted F1, Macro F1 và Micro F1. Tác giả chứng minh tác động của từng phương pháp làm giàu dữ liệu tùy theo đặc thù ngữ liệu, phân tích thực nghiệm mở rộng huấn luyện mô hình ngôn ngữ trên 5 triệu câu, kiểm chứng sự cải thiện trên mô hình SVM truyền thống và trình bày kết quả xây dựng ứng dụng demo thu thập dữ liệu Shopee.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được về mặt thực nghiệm học sâu, xác nhận vai trò của kỹ thuật tăng cường ngữ cảnh đối với bài toán phân tích cảm xúc tiếng Việt, đồng thời chỉ rõ các hạn chế về tài nguyên tính toán và vạch ra định hướng nghiên cứu sâu hơn về phân tích cảm xúc dựa trên khía cạnh (ABSA).

Thiết kế và triển khai

Khóa luận đã thiết kế và xây dựng hoàn chỉnh một chương trình ứng dụng web minh họa nhằm áp dụng mô hình phân loại cảm xúc vào thực tế quản trị thương hiệu:

• Chức năng thu thập dữ liệu tự động: Tích hợp module crawler cho phép người dùng tự động thu thập các dòng bình luận đánh giá trực tiếp từ trang bán hàng trên sàn thương mại điện tử Shopee thông qua đường dẫn URL cửa hàng/sản phẩm.
• Chức năng nhập dữ liệu linh hoạt: Cho phép người dùng tải lên các tập dữ liệu bình luận thu thập sẵn được lưu trữ dưới định dạng tệp tin pickle (.pkl).
• Hệ thống phân tích và sinh báo cáo Insights:
  • Chỉ số cảm xúc (Sentiment Index): Tự động phân loại và tính toán tỉ lệ phần trăm các sắc thái Tích cực / Tiêu cực / Trung tính, phác họa hình ảnh thương hiệu (Brand Image) trong mắt khách hàng.
  • Thống kê ngữ liệu: Phân tích phân bố độ dài ngắn của các câu đánh giá, quy mô đối tượng phản hồi (Audience Scale).
  • Khai phá từ khóa (Keyword Extraction): Trích xuất danh sách các từ khóa nổi bật được người tiêu dùng nhắc đến nhiều nhất khi đánh giá thương hiệu.
  • Bảng tra cứu chi tiết: Xuất giao diện bảng hiển thị chi tiết từng câu bình luận kèm nhãn cảm xúc đã được mô hình dự đoán.

Kết quả và đóng góp

Nghiên cứu mang lại các kết quả thực nghiệm định lượng chi tiết trên hệ thống máy chủ GPU NVIDIA Quadro RTX 8000:

• Hiệu quả của các kỹ thuật Data Augmentation trên PhoBERT_base:
  • Trên tập dữ liệu VS: Kỹ thuật Dịch ngược chuỗi (Vi_Zh_En và Vi_En_Zh) và Dịch ngược đơn mang lại mức cải thiện cao nhất, nâng chỉ số Macro F1 lên từ 3,0% đến hơn 3,7% so với mô hình gốc không tăng cường. Tỉ lệ sinh dữ liệu tối ưu nhất nằm trong khoảng 20% - 30%.
  • Trên tập dữ liệu UIT-VSFC: Kỹ thuật Contextual Word Embedding (Fill-Mask) và Dịch ngược đem lại hiệu quả vượt trội (Accuracy tăng từ 0,4% đến 1,2%; Balanced Accuracy tăng từ 2,5% đến hơn 5,0%; Macro F1 tăng từ 1,4% đến hơn 3,5%). Ngược lại, kỹ thuật mức ký tự làm suy giảm hiệu năng (giảm từ 0,13% đến 0,3% trên các thang đo) do tạo thêm nhiễu (noise) vào kho ngữ liệu vốn có tính chuẩn mực ngữ pháp cao của sinh viên.
  • Trên tập dữ liệu VLSP: Do dữ liệu gốc chứa nhiều câu ngắn, viết tắt và lỗi chính tả trên mạng xã hội, phương pháp Dịch ngược chuỗi đóng vai trò chuẩn hóa câu, cải thiện rõ rệt Balanced Accuracy (tăng từ 2,5% đến 4,3%) và Macro F1 (tăng từ 1,4% đến 3,5%).

Bộ dữ liệu	Phương pháp tăng cường tối ưu	Tỉ lệ tối ưu	Thang đo	Trước tăng cường (%)	Sau tăng cường (%)	Mức tăng ($\Delta$)
VS	Dịch ngược (Vi $\rightarrow$ Zh $\rightarrow$ En)	20%	Macro F1	~91,00	94,70	+3,70%
UIT-VSFC	Contextual Word Embedding	20%	Accuracy	92,71	94,71	+2,00%
UIT-VSFC	Dịch ngược chuỗi (Vi_En_Zh)	20%	Macro F1	91,20	94,70	+3,50%
VLSP	Dịch ngược chuỗi (Vi_En_Zh)	20%	Balance Acc	72,50	76,80	+4,30%

• Đóng góp của việc huấn luyện bổ sung Language Model (5 triệu câu):
  • Việc tiếp tục huấn luyện mô hình ngôn ngữ trên 5 triệu câu văn thuộc miền du lịch, khách sạn và ẩm thực (Agoda, Booking, Mytour, Foody) đã giúp kỹ thuật Fill-Mask sinh ra các từ thay thế sát với ngữ cảnh thực tế của bài đánh giá, khắc phục hiện tượng lệch miền từ vựng do PhoBERT_base chỉ được học trên tin tức và Wikipedia.
• Đóng góp trên mô hình truyền thống (SVM):
  • Thực nghiệm chứng minh các kỹ thuật tăng cường dữ liệu đạt kết quả cao ở mức ngữ cảnh cũng đồng thời giúp cải thiện hiệu suất phân loại của thuật toán học máy cổ điển SVM trên cả hai tập dữ liệu VS và UIT-VSFC.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế được ghi nhận trong nghiên cứu:
  • Do giới hạn về tài nguyên phần cứng và thời gian tính toán, nghiên cứu chưa thể mở rộng khảo nghiệm trên toàn bộ các mô hình Transformer tiếng Việt hiện có (như viBERT4News, viBERT_FPT, viELECTRA_FPT, XLM-R).
  • Kỹ thuật tăng cường ngữ cảnh bằng Masked Language Model phụ thuộc lớn vào miền dữ liệu huấn luyện của mô hình nền tảng; khi áp dụng sang các chủ đề đặc thù (như giáo dục), tập từ vựng dễ bị sai lệch nếu chưa được huấn luyện bổ sung.
  • Ứng dụng thu thập dữ liệu tự động mới chỉ hỗ trợ nền tảng thương mại điện tử Shopee và chỉ chấp nhận định dạng tệp tải lên là pickle.
• Hướng nghiên cứu tiếp theo:
  • Mở rộng bài toán từ phân tích cảm xúc cấp độ câu (SA) sang bài toán Phân tích cảm xúc dựa trên khía cạnh (Aspect-Based Sentiment Analysis - ABSA) đa nhiệm trên miền dữ liệu nhà hàng, khách sạn tiếng Việt.
  • Tối ưu hóa mô hình ngôn ngữ chuyên biệt trên quy mô ngữ liệu lớn hơn và mở rộng module crawler cho nhiều nền tảng thương mại điện tử khác như Tiki, Lazada.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị chuyên môn cao đối với:

• Sinh viên, học viên ngành Kỹ thuật Phần mềm, Khoa học Máy tính và Trí tuệ Nhân tạo: Cung cấp tài liệu tham khảo thực nghiệm chuẩn mực về quy trình tinh chỉnh (fine-tuning) các mô hình ngôn ngữ Transformer lớn (như PhoBERT) cho bài toán NLP tiếng Việt.
• Các nhà nghiên cứu về Xử lý Ngôn ngữ Tự nhiên: Cung cấp bức tranh so sánh toàn diện, có kiểm chứng số liệu về tính hai mặt của các kỹ thuật Data Augmentation (mức ký tự, mức từ, mức ngữ cảnh) trên từng dạng ngữ liệu có độ sạch khác nhau (chuẩn mực như UIT-VSFC vs. phi chuẩn như VLSP, VS).
• Kỹ sư phát triển phần mềm ứng dụng: Cung cấp giải pháp kiến trúc hoàn chỉnh từ khâu thu thập dữ liệu mạng xã hội, tiền xử lý bằng UETsegmenter, tích hợp mô hình suy luận đến khâu hiển thị báo cáo phân tích sắc thái kinh doanh.

Câu hỏi thường gặp

1. Khóa luận sử dụng các bộ dữ liệu nào để kiểm chứng mô hình và quy mô của chúng ra sao?
Tác giả thực nghiệm trên 4 bộ dữ liệu tiếng Việt đa dạng lĩnh vực: HSA (3.304 câu đánh giá khách sạn từ Agoda), UIT-VSFC (16.174 câu phản hồi sinh viên UIT), VLSP 2016 (12.190 câu bình luận công nghệ từ Tinhte và Facebook), và VS (17.500 câu đánh giá sản phẩm thương mại điện tử). Ngoài ra, tác giả còn sử dụng thêm tập ngữ liệu 5.000.000 câu từ Agoda, Booking, Mytour và Foody để huấn luyện bổ sung Language Model.

2. Kỹ thuật làm giàu dữ liệu nào mang lại hiệu quả cao nhất trong khóa luận?
Kỹ thuật Dịch ngược (Back Translation) đơn và chuỗi (đặc biệt là chuỗi tiếng Việt $\rightarrow$ tiếng Trung $\rightarrow$ tiếng Anh $\rightarrow$ tiếng Việt) và kỹ thuật Contextual Word Embedding (Fill-Mask) mang lại hiệu quả cải thiện cao nhất trên cả 5 thang đo (nâng Macro F1 tăng từ 1,4% đến 3,7% tùy bộ dữ liệu). Tỉ lệ tăng cường tối ưu đạt được là 20% - 30% lượng dữ liệu mới.

3. Tại sao kỹ thuật làm giàu dữ liệu ở mức độ ký tự lại làm giảm hiệu năng trên bộ dữ liệu UIT-VSFC?
Do ngữ liệu UIT-VSFC gồm các phản hồi học tập của sinh viên có cấu trúc câu và từ vựng rất chuẩn chỉnh về mặt ngữ nghĩa, ít sai chính tả. Việc cố tình thêm, xóa, lặp hoặc hoán vị ký tự ngẫu nhiên đã vô tình đưa vào các thành phần nhiễu (noise), làm suy giảm độ chính xác của mô hình (Accuracy và F1 giảm từ 0,13% đến 0,3%).

4. Mô hình ngôn ngữ bổ sung trên 5 triệu câu giải quyết bài toán gì cho PhoBERT_base?
PhoBERT_base nguyên bản được huấn luyện trước trên dữ liệu báo chí và Wikipedia, dẫn đến độ phủ từ vựng về các lĩnh vực đời sống, ẩm thực, dịch vụ du lịch bị hạn chế. Việc huấn luyện Language Model trên 5 triệu câu đánh giá thực tế giúp kỹ thuật Fill-Mask hiểu đúng ngữ cảnh chuyên ngành và sinh ra các từ thay thế tự nhiên, chính xác hơn.

5. Ứng dụng minh họa trong khóa luận hỗ trợ những tính năng cụ thể nào?
Ứng dụng minh họa cho phép tự động cào (crawl) dữ liệu đánh giá từ trang bán hàng Shopee hoặc nhận tải lên file .pkl, sau đó tự động phân tích và trực quan hóa các chỉ số: tỉ lệ sắc thái cảm xúc thương hiệu (tích cực/tiêu cực/trung tính), trích xuất từ khóa nổi bật, thống kê độ dài câu bình luận và hiển thị bảng chi tiết kết quả phân loại từng phản hồi.

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Sĩ Lạc đã thực hiện nghiên cứu thực nghiệm bài bản và toàn diện về bài toán phân tích cảm xúc tiếng Việt cấp độ câu sử dụng mô hình học sâu PhoBERT_base kết hợp các kỹ thuật tăng cường dữ liệu đa cấp độ. Công trình không chỉ cung cấp các phân tích định lượng sâu sắc về sự tương thích giữa từng phương pháp làm giàu dữ liệu với đặc thù ngữ liệu (giáo dục, khách sạn, thương mại điện tử) trên phần cứng chuyên dụng GPU Quadro RTX 8000, mà còn hiện thực hóa thành công mô hình ngôn ngữ miền chuyên biệt trên 5 triệu câu và xây dựng ứng dụng web phân tích sắc thái thương hiệu thực tế từ sàn Shopee. Đây là công trình có giá trị học thuật cao, đóng góp tài liệu đối chuẩn quan trọng cho cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên tiếng Việt.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 7 ° Chương] Mô hình phân tích cảm xúc người dùng. Đồng thời, trình bày cơ sở lý thuyết của các phương pháp được sử dụng để tiến hành thử nghiệm. Trong đó, bao gồm PhoBERT ase và các biến thể cho tiếng Việt. ° Chương]] Thử nghiệm và kết quả thử nghiệm.

Trình bày quá trình cài đặt thử nghiệm, các bảng thông số và phân tích kết quả giữa các thử nghiệm. e Chuong|6} Kết luận va hướng phát triển. Tổng kết các kết quả quan trọng đã đạt được trong nghiên cứu, những hạn chế chưa được giải quyết và hướng phát triển trong tương lai. Chương 2 TỔNG QUAN Trong chương này, tôi tiến hành trình bay tổng quát bài toán phân tích cảm xúc người dùng (sentiment analysis - SA) là một trong số hai bài toán con của phân tích khía cạnh cảm xúc (aspect-based sentiment analysis - ABSA).

Đối với bài toán SA thông thường, từ một câu bình luận của người dùng, kết quả trả về là các trang thái cảm xúc tương ứng đồi với câu đó. Và, đối với bài toán ABSA, phải tiến hành phân tích chỉ tiết các khía cạnh được đẻ cập đến trong câu bình luận và cả trạng thái cảm xúc tương ứng cho từng khía cạnh đó.1 Tổng quan về phân tích cảm xúc Trong những năm gần dây, Phân tích cảm xúc (SA) được cộng đồng nghiên cứu thuộc lĩnh vực NLP được đông đảo cộng đồng trong lẫn ngoài nước rất quan tâm. Đây là quá trình xác định và phân loại văn bản thành các cảm xúc khác nhau — ví dụ, cảm xúc tích cực, tiêu cực hoặc trung tính — hoặc cảm xúc — chẳng hạn như vui, buồn, tức giận hoặc ghê tém — để xác định thái độ của con người đối với chủ thể hoặc thực thể cụ thể. Phân tích cảm xúc cũng là một trong những công tác quan trọng trong lĩnh vực NLP.

Nó không chỉ có ý nghĩa quan trọng trong học thuật, nghiên cứu mà còn có ý nghĩa cực kì thiết yêu trong các ngành công nghiệp - dịch vụ, cụ thể là việc nhận biết hành vi và thái độ của khách hàng về sản phẩm và dich vụ mà họ sử dụng. Với ngành công nghiệp - dịch vụ nói chung, SA được sử dụng như một công cụ mạnh mẽ để tự động hóa quy trình phân tích và đánh giá ý kiến của người dùng. Đối với lĩnh vực nhà hàng - khách sạn nói riêng, các ý kiến người dùng đó Chương 2. TONG QUAN 9 thường được thu thập từ các trang mang xã hội, hoặc các trang thu thập nhận xét của khách hàng vẻ chất lượng cũng như mức độ hài lòng.

Hiện nay, bài toán phân tích cảm xúc có ba cấp độ chính đó là cấp độ câu văn (sentence-level), văn bản (document-level), và khía cạnh (aspect-level). Ở cấp độ câu văn, mục tiêu của bài toán là phân loại một câu văn thành các lớp tiêu cực (negative), tích cực (positive), hoặc trung tinh (neutral). Cấp độ văn bản được dùng để xác định mức độ cảm xúc của một đoạn văn (gồm hai hay nhiều câu văn) là tiêu cực, tích cực, hay trung tính. Và cấp độ khía cạnh được dùng để xác định mức độ cảm xúc cho mỗi khía cạnh của thực thể dé cập trong một văn ban.

Trong phạm vi của khóa luận, giới hạn nghiên cứu nhóm sẽ chỉ nằm ở mỗi khía cạnh cấp độ câu văn.1: Biểu đồ trình bày các cấp độ trong ngôn ngữ học gồm các cấp độ phổ biến: Ngữ âm học (Phonetics), Âm vị học (Phonology), Hinh thái hoc (Morphology), Cú pháp (Syntax), Ngữ nghĩa học (Se- mantics) và Ngữ dụng học (Pragmatics)|"] Đối với Bai toán phân tích cảm xúc, chúng sẽ thuộc cấp độ ngữ dung hoc (Pragmatics) và ngữ nghĩa học (Semantics).