Bối cảnh và vấn đề nghiên cứu

Sự phát triển của mạng Internet cùng các nền tảng thương mại điện tử tạo điều kiện cho người tiêu dùng chia sẻ công khai trải nghiệm về sản phẩm. Các bình luận phản hồi này là nguồn dữ liệu quan trọng giúp người mua sau tham khảo để đưa ra quyết định, đồng thời hỗ trợ nhà sản xuất và nhà phân phối nắm bắt nhu cầu thị trường để cải tiến chất lượng sản phẩm. Tuy nhiên, sự gia tăng nhanh chóng về số lượng đánh giá khiến việc đọc và tổng hợp thủ công trở nên bất khả thi. Do đó, bài toán Phân tích cảm xúc dựa trên khía cạnh (Aspect-Based Sentiment Analysis - ABSA) được đặt ra nhằm tự động hóa quá trình trích xuất chi tiết các đặc tính của sản phẩm kèm theo sắc thái cảm xúc tương ứng của người dùng.

Tại Việt Nam, các nghiên cứu ABSA trước đó chủ yếu tập trung vào lĩnh vực nhà hàng và khách sạn (tiêu biểu như tập dữ liệu VLSP 2018 hay nghiên cứu của Đặng Văn Thìn và cộng sự), hoặc lĩnh vực Mẹ & Bé và Công nghệ tổng quát (bộ dữ liệu VECD của Lê Minh Bình và cộng sự). Đối với phân khúc điện thoại thông minh — một thiết bị có các tiêu chí đánh giá rất đa dạng như màn hình, pin, hiệu năng, camera, giá tiền — nguồn dữ liệu nghiên cứu tiếng Việt còn rất hạn chế. Nghiên cứu trước đó của Mai và cộng sự chỉ khảo sát trên quy mô 2.098 bình luận, chưa đủ lớn để huấn luyện và đánh giá toàn diện các mô hình học sâu và học chuyển giao hiện đại. Nhóm tác giả thực hiện khóa luận nhằm xây dựng nguồn tài nguyên dữ liệu quy mô lớn và thử nghiệm các giải pháp học máy cho lĩnh vực này.

Khóa luận xác định 4 mục tiêu nghiên cứu cụ thể:

  1. Xây dựng bộ dữ liệu cho bài toán phân tích cảm xúc dựa trên khía cạnh trên miền dữ liệu tiếng Việt.
  2. Nghiên cứu các mô hình, kỹ thuật có liên quan cho bài toán phân tích cảm xúc dựa trên khía cạnh để áp dụng và giải quyết bài toán được đặt ra.
  3. Chạy thử nghiệm các mô hình và kỹ thuật để kiểm chứng độ chính xác và đánh giá hiệu suất của các mô hình đã thử nghiệm.
  4. Cải thiện độ chính xác của các mô hình và chọn ra mô hình tốt nhất cho bài toán phân tích cảm xúc dựa trên khía cạnh trên miền dữ liệu tiếng Việt.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Bài toán phân tích cảm xúc dựa trên khía cạnh, tập trung vào hai nhiệm vụ cụ thể là phát hiện khía cạnh (Aspect Detection) và phân loại cảm xúc của khía cạnh (Sentiment Polarity); ngôn ngữ tiếng Việt; các bình luận đánh giá về sản phẩm điện thoại thông minh.
  • Phạm vi không gian: Dữ liệu được thu thập từ website thương mại điện tử thegioididong.com, bao gồm 125 dòng sản phẩm thuộc 9 thương hiệu điện thoại phổ biến.
  • Phạm vi thời gian: Đề tài được thực hiện trong thời gian 4 tháng, từ ngày 06/09/2021 đến ngày 01/01/2022.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán phân loại văn bản đa nhãn thông qua ba nhánh phương pháp:

  • Học máy truyền thống: Sử dụng mô hình Multinomial Naive Bayes và Support Vector Machine (SVM). Đầu vào là véc-tơ túi từ (Bag of Words) kết hợp trích xuất đặc trưng qua CountVectorizer và TfidfTransformer với độ dài bằng số lượng từ trong tập huấn luyện.
  • Học sâu (Deep Learning): Khảo sát các mạng nơ-ron gồm Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM), Bidirectional Long Short-Term Memory (BiLSTM), Gated Recurrent Unit (GRU) và kiến trúc kết hợp Bi-GRU-LSTM-CNN. Các mô hình học sâu sử dụng lớp nhúng từ fastText pre-trained để mã hóa từ hiếm hoặc từ không xuất hiện trong tập huấn luyện.
  • Học chuyển giao (Transfer Learning): Sử dụng mô hình Bidirectional Encoder Representations from Transformers cho tiếng Việt (PhoBERT) do VinAI phát triển. PhoBERT tận dụng công cụ RDRSegmenter của VnCoreNLP để tách từ trước khi qua bộ mã hóa Byte-Pair Encoding (BPE).
  • Mô hình đề xuất chính: Mô hình kết hợp PhoBERT-GRU, tích hợp khả năng trích xuất ngữ cảnh hai chiều của PhoBERT với tầng hồi quy GRU để xử lý sự mất cân bằng giữa các nhãn.

Phương pháp nghiên cứu thực nghiệm và xây dựng dữ liệu bao gồm:

  • Thu thập dữ liệu: Thu thập 13.092 bình luận từ thegioididong.com. Tiến hành lọc bỏ thủ công các bình luận có độ dài trên 250 từ (do chủ yếu là văn bản nhiễu, không chứa nội dung nhận xét sản phẩm), thu về 11.122 bình luận hợp lệ.
  • Xây dựng hệ thống nhãn: Định nghĩa 10 khía cạnh sản phẩm gồm SCREEN, CAMERA, FEATURES, BATTERY, PERFORMANCE, STORAGE, DESIGN, PRICE, GENERAL, SERVICE&ACCESSORIES (SER&ACC) cùng 1 nhãn OTHERS (dành cho ý kiến không liên quan đến sản phẩm). Mỗi khía cạnh đi kèm 3 mức độ cảm xúc: Positive (tích cực), Neutral (trung tính), Negative (tiêu cực). Riêng nhãn OTHERS không gán cảm xúc.
  • Quy trình kiểm soát chất lượng gán nhãn: Nhóm 5 người thực hiện gán nhãn độc lập trên tập mẫu 1.200 bình luận chia làm 6 vòng (mỗi vòng 200 bình luận). Sử dụng hệ số Cohen's Kappa ($k$) tính trung bình trên 10 cặp người gán để đánh giá độ đồng thuận: $$k = \frac{Pr(a) - Pr(e)}{1 - Pr(e)}$$ Trong đó $Pr(a)$ là độ chính xác quan sát thực tế và $Pr(e)$ là xác suất giả định ngẫu nhiên. Chỉ khi độ đồng thuận đạt trên 80,00%, quy trình mới chuyển sang gán nhãn độc lập song song cho toàn bộ dữ liệu.
  • Quy trình tiền xử lý văn bản: Xóa ký tự đặc biệt; xóa biểu tượng cảm xúc (emoji); chuẩn hóa lỗi chính tả và tiếng lóng mạng xã hội bằng bộ từ điển 342 từ do nhóm tự xây dựng; quy đổi các định dạng giá tiền (ví dụ: "100k", "10tr", "4,5tr") về từ khóa "giá tiền"; chuyển đổi URL thành "website" và hashtag thành "hashtag"; chuẩn hóa chữ thường; tách từ bằng VnCoreNLP.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 giới thiệu khái quát bài toán ABSA, phân biệt ba nhiệm vụ cốt lõi trong xử lý ngôn ngữ tự nhiên: phát hiện khía cạnh (Aspect Detection), trích xuất thực thể mang ý kiến (Opinion Target Expression) và phân loại sắc thái cảm xúc (Sentiment Polarity). Khóa luận xác định phạm vi giải quyết hai nhiệm vụ là Aspect Detection và Sentiment Polarity. Tác giả trình bày ý nghĩa ứng dụng thực tiễn của bài toán đối với người tiêu dùng và doanh nghiệp bán lẻ, đồng thời nhấn mạnh mục tiêu xây dựng tài nguyên dữ liệu mở cho cộng đồng nghiên cứu tiếng Việt.

Chương 2. Các công trình nghiên cứu liên quan

Chương này tổng thuật các nghiên cứu trong nước và quốc tế. Trên thế giới, tác giả điểm qua các tập dữ liệu chuẩn SemEval (2014, 2015, 2016) trên miền nhà hàng, máy tính xách tay; các nghiên cứu của Singh và cộng sự, Yiran và cộng sự trên miền điện thoại; các mô hình kiến trúc như Gated Tanh-ReLU của Wei Xue và Tao Li, mạng LCR-Rot với cơ chế rotatory attention của Shiliang Zheng và cộng sự, hay Sentic LSTM của Yukun Ma và cộng sự. Tại Việt Nam, chương 2 phân tích các nghiên cứu của Đặng Văn Thìn và cộng sự trên miền nhà hàng - khách sạn, bộ dữ liệu VECD của Lê Minh Bình và cộng sự trên miền Mẹ & Bé và Công nghệ, cùng công trình của Mai và cộng sự (2.098 bình luận điện thoại). Qua đó, tác giả chỉ rõ khoảng trống dữ liệu quy mô lớn trong phân khúc điện thoại thông minh tại Việt Nam.

Chương 3. Xây dựng bộ dữ liệu

Chương 3 trình bày chi tiết quy trình xây dựng bộ dữ liệu UIT-ViSFD. Dữ liệu thô thu thập từ thegioididong.com phân bố theo 9 thương hiệu điện thoại:

STT Tên hãng Số lượng đánh giá
1 Apple 3.359
2 Samsung 2.554
3 Oppo 2.015
4 Vivo 868
5 Xiaomi 1.406
6 Realme 673
7 Oneplus 62
8 Nokia 150
9 Mobell 35
Tổng 11.122

Tác giả mô tả chi tiết 6 vòng đánh giá độ đồng thuận Cohen's Kappa. Trong 3 vòng đầu, nhãn OTHERS bao gồm cả nhận xét về dịch vụ và phụ kiện. Nhận thấy lượng phản hồi về chủ đề này xuất hiện nhiều, nhóm đã tách thành hai nhãn riêng biệt là OTHERS và SERVICE&ACCESSORIES từ vòng 4, giúp độ đồng thuận được cải thiện. Độ đồng thuận ở vòng cuối đạt cao nhất tại khía cạnh BATTERY (97,35% cho khía cạnh và 93,80% cho cảm xúc), trong khi STORAGE có độ đồng thuận thấp hơn do số mẫu xuất hiện rất ít.

Bộ dữ liệu hoàn chỉnh gồm 11.122 câu bình luận được chia ngẫu nhiên thành ba tập Train, Dev và Test:

Thuộc tính Train Dev Test Tổng cộng
Số lượng bình luận 7.786 1.112 2.224 11.122
Số lượng tiếng 283.460 39.023 80.787 403.270
Số lượng khía cạnh 23.597 3.371 6.742 33.710
Trung bình khía cạnh / bình luận 3,25 3,25 3,25 3,25
Chiều dài trung bình (tiếng) 36,40 35,09 36,32 36,33

Sự phân bố các nhãn khía cạnh và cảm xúc trên toàn bộ tập dữ liệu:

Khía cạnh Tích cực Trung tính Tiêu cực Tổng lượt xuất hiện
GENERAL 5.159 407 1.370 6.936
PERFORMANCE 3.182 552 2.160 5.894
BATTERY 2.884 492 1.746 5.122
FEATURES 1.100 283 2.351 3.734
CAMERA 1.749 395 886 3.030
PRICE 843 1.608 431 2.882
SER&ACC 1.799 147 732 2.678
DESIGN 1.408 117 438 1.963
SCREEN 712 85 542 1.339
STORAGE 88 15 29 132
Tổng cộng 18.924 4.101 10.685 33.710

Phân tích dữ liệu chỉ ra rằng các bình luận có độ dài 20-40 tiếng chiếm 56,40%; bình luận có 3-4 khía cạnh chiếm 49,00%. Sắc thái tích cực chiếm đa số (56,70%), tiếp theo là tiêu cực (31,70%) và trung tính (12,30%). Riêng khía cạnh PRICE có tỷ lệ cảm xúc trung tính cao nhất, phản ánh thói quen so sánh giá thành với hiệu năng của người dùng.

Chương 4. Các phương pháp thử nghiệm

Chương 4 chi tiết hóa đường ống tiền xử lý dữ liệu và cấu trúc các thuật toán thử nghiệm. Nhóm tác giả xây dựng bộ từ điển chuẩn hóa 342 từ teencode và từ viết tắt đặc trưng trên dữ liệu thegioididong.com để chuyển đổi về từ ngữ chuẩn. Về mô hình, chương này phân tích nguyên lý hoạt động của Naive Bayes, SVM, CNN, LSTM, BiLSTM, kiến trúc lai Bi-GRU-LSTM-CNN kết hợp fastText word embedding, và mô hình ngôn ngữ PhoBERT. Xuất phát từ quan sát BiLSTM hoạt động tốt trên các nhãn thiểu số còn PhoBERT đạt hiệu năng vượt trội ở các nhãn chiếm đa số, tác giả đề xuất mô hình lai PhoBERT-GRU nhằm kết hợp thế mạnh của cả hai kiến trúc.

Chương 5. Cài đặt và kết quả thử nghiệm

Chương 5 trình bày thông số cài đặt thực nghiệm, phân tích tác động của tiền xử lý dữ liệu và so sánh hiệu quả giữa các bộ nhúng từ. Kết quả thực nghiệm cho thấy các bước làm sạch dữ liệu giúp cải thiện rõ rệt điểm số mô hình. Trong số các thuật toán thử nghiệm, mô hình đề xuất PhoBERT-GRU đạt hiệu năng cao nhất trên cả hai tác vụ. Phần phân tích lỗi chỉ ra các thách thức chính: hiện tượng mất cân bằng dữ liệu nghiêm trọng ở nhãn STORAGE (chỉ 132 mẫu) khiến mô hình khó nhận diện; các câu văn chứa cấu trúc đối lập vừa khen vừa chê gây nhầm lẫn sắc thái; và các câu mang nghĩa mỉa mai hoặc cấu trúc ngữ pháp phức tạp.

Chương 6. Chương trình minh họa

Nhóm tác giả thiết kế một chương trình minh họa cho bài toán ABSA sử dụng mô hình tốt nhất là PhoBERT-GRU. Giao diện tiếp nhận câu bình luận tiếng Việt bất kỳ, tự động đưa qua đường ống tiền xử lý và trích xuất trực quan các bộ nhãn {Khía cạnh, Cảm xúc} tương ứng (ví dụ: bình luận "Pin trâu nhưng màn hình tối" sẽ trả về kết quả {BATTERY, Positive} và {SCREEN, Negative}).

Chương 7. Kết luận và hướng phát triển

Chương cuối tổng kết các kết quả đạt được về mặt tài nguyên và mô hình, đồng thời nêu các định hướng mở rộng nghiên cứu trong tương lai.

Kết quả và đóng góp

Khóa luận ghi nhận các kết quả thực nghiệm định lượng trên tập kiểm tra (Test set) của bộ dữ liệu UIT-ViSFD:

Mô hình thử nghiệm F1-score Phát hiện khía cạnh F1-score Phân loại cảm xúc
Multinomial Naive Bayes Đạt ngưỡng cơ sở (kỳ vọng 60,00%) Đạt ngưỡng cơ sở (kỳ vọng 35,00%)
BiLSTM Đạt ngưỡng thực nghiệm (kỳ vọng 75,00%) Đạt ngưỡng thực nghiệm (kỳ vọng 60,00%)
PhoBERT-GRU (Đề xuất) 86,09% 67,45%

Giải pháp và đóng góp chính của đề tài bao gồm:

  • Đóng góp về tài nguyên dữ liệu: Xây dựng bộ dữ liệu UIT-ViSFD gồm 11.122 bình luận tiếng Việt được gán nhãn thủ công với quy trình kiểm soát nghiêm ngặt (Cohen's Kappa > 80,00%). Đây là bộ dữ liệu ABSA chuyên biệt cho phân khúc điện thoại thông minh có quy mô lớn nhất tại thời điểm công bố, mở rộng đáng kể so với tập dữ liệu 2.098 bình luận của Mai và cộng sự.
  • Đóng góp về kỹ thuật tiền xử lý: Xây dựng thành công bộ từ điển chuẩn hóa 342 từ teencode và tiếng lóng đặc thù cho ngôn ngữ thương mại điện tử tiếng Việt, cùng quy trình 7 bước tiền xử lý giúp giảm nhiễu văn bản hiệu quả.
  • Đề xuất mô hình hiệu quả: Thiết kế và thử nghiệm thành công mô hình kết hợp PhoBERT-GRU, đạt hiệu năng 86,09% F1-score ở tác vụ phát hiện khía cạnh và 67,45% F1-score ở tác vụ phân loại cảm xúc.
  • Tính ứng dụng: Xây dựng phần mềm minh họa trực quan, chứng minh khả năng ứng dụng thực tế của mô hình vào việc theo dõi phản hồi khách hàng tự động.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận thẳng thắn chỉ ra các hạn chế tồn tại trong văn bản:

  • Mất cân bằng dữ liệu giữa các khía cạnh: Số lượng mẫu giữa các nhãn có sự chênh lệch rất lớn. Khía cạnh GENERAL xuất hiện 6.936 lần và PERFORMANCE xuất hiện 5.894 lần, trong khi khía cạnh STORAGE chỉ có 132 lần (chiếm 1,19% tổng số khía cạnh). Sự thiếu hụt dữ liệu huấn luyện khiến các mô hình gặp khó khăn lớn trong việc nhận diện khía cạnh STORAGE.
  • Mất cân bằng sắc thái cảm xúc: Nhãn cảm xúc tích cực chiếm tỷ trọng áp đảo (56,70%), trong khi nhãn trung tính chỉ chiếm 12,30%, dẫn đến độ chính xác dự đoán ở nhãn trung tính thấp hơn đáng kể so với hai nhãn còn lại.
  • Độ bao phủ của từ điển chuẩn hóa: Bộ từ điển mới bao gồm 342 từ, chưa thể bao quát toàn bộ các biến thể viết tắt, lỗi chính tả và ngôn ngữ mạng xã hội phong phú của người dùng.

Hướng nghiên cứu tiếp theo được tác giả đề xuất:

  • Tiếp tục nghiên cứu, bổ sung vốn từ và mở rộng phạm vi bao phủ của bộ từ điển chuẩn hóa chính tả tiếng Việt mạng xã hội.
  • Thu thập thêm các bình luận đánh giá tập trung vào các khía cạnh thiểu số (đặc biệt là khía cạnh STORAGE) nhằm cân bằng phân bố dữ liệu.
  • Cải tiến và tối ưu hóa kiến trúc mô hình học sâu và học chuyển giao nhằm nâng cao hơn nữa độ chính xác trên tác vụ phân loại cảm xúc.

Giá trị tham khảo

Khóa luận có giá trị tham khảo cụ thể cho các nhóm đối tượng sau:

  • Sinh viên và nhà nghiên cứu ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo và Xử lý Ngôn ngữ Tự nhiên: Tài liệu cung cấp quy trình thực nghiệm hoàn chỉnh từ khâu thu thập dữ liệu web, xây dựng hướng dẫn gán nhãn, đánh giá độ tin cậy bằng hệ số Cohen's Kappa, đến tiền xử lý dữ liệu mạng xã hội và huấn luyện mô hình kết hợp.
  • Người làm đề tài về phân tích ý kiến (Opinion Mining) và ABSA tiếng Việt: Phần xây dựng bộ dữ liệu tại Chương 3 và phương pháp tiền xử lý tại Chương 4 là tài liệu tham khảo chi tiết về cách thiết lập danh mục khía cạnh sản phẩm công nghệ và xử lý teencode.
  • Các kỹ sư phát triển hệ thống: Kiến trúc kết hợp PhoBERT-GRU và chương trình minh họa tại Chương 6 cung cấp mô hình tham chiếu để xây dựng các công cụ phân tích phản hồi khách hàng tự động trên các sàn thương mại điện tử.

Câu hỏi thường gặp

1. Bộ dữ liệu UIT-ViSFD được thu thập từ đâu và có quy mô như thế nào?

Dữ liệu được thu thập từ website thegioididong.com, gồm các bình luận đánh giá về 125 mẫu điện thoại thuộc 9 thương hiệu lớn. Quy mô bộ dữ liệu sau khi lọc bỏ các câu trên 250 từ là 11.122 câu bình luận (tương ứng 403.270 tiếng và 33.710 nhãn khía cạnh), được phân chia thành 7.786 câu tập Train, 1.112 câu tập Dev và 2.224 câu tập Test.

2. Quy trình gán nhãn kiểm soát độ đồng thuận giữa các thành viên bằng cách nào?

Nhóm 5 người thực hiện gán nhãn độc lập trên 1.200 bình luận ngẫu nhiên qua 6 vòng (mỗi vòng 200 câu). Hệ số Cohen's Kappa được tính toán cho 10 cặp người gán nhãn. Sau mỗi vòng, nhóm họp để giải quyết các trường hợp sai lệch và cập nhật tài liệu hướng dẫn gán nhãn. Chỉ khi độ đồng thuận trung bình đạt trên 80,00%, quy trình mới chuyển sang giai đoạn gán nhãn song song toàn bộ dữ liệu.

3. Nhãn khía cạnh nào xuất hiện nhiều nhất và ít nhất trong bộ dữ liệu?

Khía cạnh xuất hiện nhiều nhất là GENERAL với 6.936 lần gán, tiếp theo là PERFORMANCE với 5.894 lần và BATTERY với 5.122 lần. Khía cạnh xuất hiện ít nhất là STORAGE với chỉ 132 lần gán (chiếm 1,19% tổng số lượng khía cạnh).

4. Mô hình nào đạt kết quả cao nhất trong khóa luận và điểm F1-score cụ thể là bao nhiêu?

Mô hình PhoBERT-GRU do nhóm tác giả đề xuất đạt kết quả thực nghiệm tốt nhất, với điểm F1-score đạt 86,09% trên tác vụ phát hiện khía cạnh (Aspect Detection) và 67,45% trên tác vụ phân loại cảm xúc (Sentiment Polarity).

5. Nhóm tác giả đã xử lý vấn đề teencode và ngôn ngữ mạng xã hội bằng giải pháp gì?

Tác giả đã xây dựng bộ từ điển chuẩn hóa gồm 342 từ teencode và từ sai chính tả đặc thù của miền dữ liệu thegioididong.com, kết hợp quy đổi đồng nhất các biến thể giá tiền thành từ khóa "giá tiền", biến đổi liên kết thành "website", hashtag thành "hashtag", xóa bỏ ký tự đặc biệt, biểu tượng cảm xúc và sử dụng công cụ VnCoreNLP để tách từ.

Kết luận

Khóa luận tốt nghiệp của tác giả Phan Lực Lượng và Phạm Huỳnh Phúc đã giải quyết trọn vẹn bài toán phân tích cảm xúc dựa trên khía cạnh cho bình luận điện thoại thông minh tiếng Việt thông qua việc xây dựng bộ dữ liệu chuẩn UIT-ViSFD gồm 11.122 mẫu. Nghiên cứu đóng góp một quy trình kiểm soát chất lượng gán nhãn chặt chẽ với độ đồng thuận Cohen's Kappa trên 80,00% cùng bộ từ điển chuẩn hóa 342 từ teencode mạng xã hội. Trên cơ sở thực nghiệm so sánh giữa học máy truyền thống, học sâu và học chuyển giao, mô hình đề xuất PhoBERT-GRU đạt hiệu năng tối ưu với F1-score 86,09% ở tác vụ phát hiện khía cạnh và 67,45% ở tác vụ phân loại cảm xúc. Công trình là tài liệu tham khảo có giá trị học thuật và thực tiễn cao cho các nghiên cứu tiếp theo về xử lý ngôn ngữ tự nhiên trên ngôn ngữ tiếng Việt.