Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của mạng Internet và quá trình chuyển đổi số đã làm thay đổi căn bản phương thức vận hành của các ngành kinh tế, đặc biệt là lĩnh vực bán lẻ và thương mại điện tử. Theo các số liệu được tác giả trích dẫn, trong năm 2022 tại Việt Nam, doanh thu ngành thương mại điện tử đạt xấp xỉ 16,4 tỉ USD, chiếm 7,5% tổng doanh thu bán lẻ hàng hóa và dịch vụ tiêu dùng, với tốc độ tăng trưởng kinh tế số đạt 20% – thuộc nhóm dẫn đầu khu vực châu Á. Sự dịch chuyển từ mua sắm trực tiếp tại cửa hàng truyền thống sang các sàn thương mại điện tử kéo theo sự thay đổi trong hành vi của người tiêu dùng: thay vì tham khảo qua người quen hoặc tự trải nghiệm tại điểm bán, khách hàng chuyển sang tìm hiểu thông tin và trải nghiệm thực tế từ các bình luận, phản hồi của người mua trước.

Đối với doanh nghiệp, việc thấu hiểu thái độ, cảm xúc và phản hồi của người tiêu dùng thông qua hoạt động lắng nghe xã hội (social listening / buzz) là yếu tố mang tính quyết định đến hiệu quả kinh doanh và chiến dịch truyền thông. Tuy nhiên, khối lượng dữ liệu phản hồi trực tuyến được sản sinh liên tục với tốc độ rất lớn. Dẫn chứng từ nghiên cứu của Abu-Ghazaleh và cộng sự cho thấy, riêng trên nền tảng Facebook, mỗi phút có khoảng 511.914 bình luận và 293.000 cập nhật trạng thái mới được tạo ra. Khảo sát của tổ chức Social Intelligence Research (2020) trên 350 chuyên gia nghiên cứu thị trường toàn cầu chỉ ra rằng:

  • Khoảng 33,5% chuyên gia cho biết doanh nghiệp sẵn sàng chi trả trên 100.000 USD cho các chiến dịch nghiên cứu thị trường.
  • 50% số nhà nghiên cứu thị trường vẫn thường xuyên hoặc luôn luôn phải tiến hành phân tích, đánh giá dữ liệu theo phương thức thủ công, dù đã đầu tư chi phí cho các công nghệ hỗ trợ social listening.
  • 31% doanh nghiệp tư vấn tiếp thị (marketing agency) và 19% các thương hiệu (brand) đang đối mặt với bài toán chất lượng và độ chính xác của dữ liệu.

Tại Việt Nam, các quy trình lắng nghe xã hội (điển hình như quy trình 4 bước của BuzzMetrics: Thu thập dữ liệu $\rightarrow$ Đánh giá và phân loại dữ liệu $\rightarrow$ Phân tích dữ liệu $\rightarrow$ Trình bày báo cáo) vẫn gặp điểm nghẽn lớn ở bước thứ hai. Khâu kiểm định và phân loại dữ liệu hiện vẫn phụ thuộc nhiều vào nhân sự thủ công, dẫn đến tình trạng chi phí gia tăng, thời gian xử lý kéo dài và chiến dịch kinh doanh dễ bị chậm trễ so với biến động thực tế của thị trường.

Nhằm giải quyết khó khăn trên, khóa luận xác định 3 mục tiêu và nhiệm vụ nghiên cứu cụ thể:

  1. Áp dụng các kĩ thuật tiền xử lí dữ liệu để làm sạch, chuẩn hoá dữ liệu từ bộ dữ liệu có sẵn, phục vụ mục đích đưa vào quá trình streaming dữ liệu từ các nền tảng trực tuyến.
  2. Nghiên cứu các mô hình xử lý ngôn ngữ nổi bật gồm XLM-R, BiLSTM-CRF và PhoBERT đối với bài toán phân tích quan điểm dựa trên khía cạnh tiếng Việt.
  3. Tìm hiểu, phân tích các yếu tố chi phối đến kết quả của mô hình và phân loại các dạng lỗi dự đoán thực tế.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các phản hồi, bình luận bằng tiếng Việt của người tiêu dùng trên các nền tảng mua sắm trực tuyến; các giải pháp học máy và mô hình xử lý ngôn ngữ tự nhiên ứng dụng cho bài toán nhận dạng minh chứng phân tích quan điểm dựa trên khía cạnh (Aspect-Based Sentiment Analysis - ABSA).
  • Phạm vi nghiên cứu: Về mặt dữ liệu, nghiên cứu tiến hành thực nghiệm học thuật trên bộ dữ liệu UIT-ViSD4SA (kế thừa từ bộ dữ liệu UIT-ViSFD) trong phạm vi các bình luận đánh giá đối với thiết bị điện thoại di động thông minh, được thu thập từ các sàn thương mại điện tử và chuỗi bán lẻ tại Việt Nam gồm thegioididong, fptshop, shopee, tiki và lazada.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán phân tích quan điểm theo khía cạnh và nhận dạng minh chứng (span detection), xác định rõ hai thành phần mục tiêu: nhận dạng đoạn văn bản biểu thị khía cạnh sản phẩm (aspect) và xác định sắc thái cảm xúc (sentiment polarity) tương ứng của đoạn văn bản đó.

Các mô hình được lựa chọn phân chia thành hai nhóm chính:

  • Nhóm học máy truyền thống:
    • Naïve Bayes Classifier (NBC): Thuật toán phân loại dựa trên định lý xác suất Bayes, bao gồm ba dạng mở rộng: Multinomial Naive Bayes (dựa trên tần suất xuất hiện của từ), Bernoulli Naive Bayes (dựa trên biến nhị phân biểu thị sự hiện diện của từ) và Gaussian Naive Bayes (áp dụng giả định phân phối chuẩn cho các biến liên tục).
    • Support Vector Machine (SVM): Thuật toán phân loại tìm kiếm một siêu mặt phẳng (hyperplane) tối ưu trong không gian $n$ chiều nhằm phân chia các điểm dữ liệu thuộc các lớp khác nhau với khoảng cách biên lớn nhất.
    • Random Forest (RF): Thuật toán học có giám sát xây dựng trên kỹ thuật kết hợp (ensemble learning), tạo ra một tập hợp nhiều cây quyết định (decision tree) có tính ngẫu nhiên và đưa ra kết quả phân loại cuối cùng thông qua cơ chế bầu chọn đa số (majority voting).
  • Nhóm mô hình học sâu và học chuyển tiếp (Transfer Learning):
    • BiLSTM-CRF: Mô hình kết hợp mạng nơ-ron hồi quy hai chiều (Bidirectional Long Short Term Memory - BiLSTM) với tầng trường ngẫu nhiên có điều kiện (Conditional Random Field - CRF). BiLSTM chịu trách nhiệm thu nạp ngữ cảnh hai chiều trong quá khứ và tương lai từ vector nhúng từ PhoW2W (sử dụng kiến trúc Skip-gram của Word2Vec với các kích thước vector 100 và 300), sau đó tầng CRF giải quyết bài toán gán nhãn chuỗi tối ưu theo xác suất đồng thời.
    • XLM-R (XLM-RoBERTa): Mô hình ngôn ngữ đa ngữ dựa trên kiến trúc Transformer, được huấn luyện tự giám sát trên kho ngữ liệu CommonCrawl dung lượng 2,5TB bao phủ hơn 100 ngôn ngữ, trong đó có hơn 137GB dữ liệu tiếng Việt. Mô hình được tối ưu hóa qua tác vụ điền từ che giấu (Masked Language Model - MLM).
    • PhoBERT: Mô hình ngôn ngữ tiền huấn luyện chuyên biệt đầu tiên cho tiếng Việt do VinAI phát triển, dựa trên kiến trúc RoBERTa kết hợp công cụ tách từ VnCoreNLP. PhoBERT được huấn luyện trước trên 20GB ngữ liệu tiếng Việt bao gồm tập Vietnamese Wikipedia corpus (1GB) và tập tin tức báo chí Vietnamese news corpus (19GB).

Phương pháp nghiên cứu thực nghiệm được triển khai tuần tự:

  • Quy trình tiền xử lý và làm sạch dữ liệu: Ứng dụng thư viện Regular Expression (re) của ngôn ngữ Python để thiết lập 6 bước làm sạch có hệ thống: (1) Chuẩn hóa viết hoa thành viết thường; (2) Xóa khoảng trắng thừa; (3) Xóa các đường liên kết (URL); (4) Chuẩn hóa bảng mã ký tự về chuẩn Unicode UTF-8 dựng sẵn; (5) Xóa ký tự dư thừa lặp lại do lỗi gõ; (6) Chuẩn hóa dấu tiếng Việt theo quy tắc đặt dấu thanh ngữ âm học hiện đại.
  • Thiết lập thực nghiệm: Sử dụng bộ tối ưu hóa Adam, kích thước lô xử lý mini-batch size = 64, kích thước vector nhúng embedding size = 100, tốc độ học (learning rate) được thiết lập là 0.001 đối với BiLSTM-CRF và mức 2e-1 (được ghi nhận trong báo cáo thực nghiệm) đối với các biến thể XLM-R và PhoBERT.
  • Nguồn dữ liệu: Bộ dữ liệu chuẩn UIT-ViSD4SA gồm 35.396 nhãn đánh giá trích xuất từ 11.122 bình luận, chia thành 10 khía cạnh tiêu chí và 3 mức độ cảm xúc.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu khái quát bối cảnh phát triển của thị trường thương mại điện tử và nhu cầu cấp thiết của các doanh nghiệp đối với hoạt động lắng nghe xã hội (social listening). Tác giả phân tích những hạn chế hiện hữu tại thị trường Việt Nam khi khâu kiểm định, phân loại phản hồi khách hàng trong các hệ thống social listening đa phần vẫn vận hành thủ công, tốn kém chi phí và chậm trễ tiến độ. Chương này xác định tính ứng dụng của đề tài là xây dựng một nền tảng thực nghiệm chi phí thấp, tận dụng các mô hình học máy và học chuyển tiếp tiên tiến nhằm tự động hóa quy trình phân loại ý kiến người tiêu dùng, làm tiền đề tối ưu hóa quy trình phân tích hành vi khách hàng cho doanh nghiệp.

Chương 2: Giới thiệu các công trình nghiên cứu liên quan

Chương 2 tổng thuật các nghiên cứu trong và ngoài nước về dữ liệu và mô hình cho bài toán phân tích quan điểm. Về mặt dữ liệu, tác giả điểm qua các bộ dữ liệu tiếng Việt phục vụ các bài toán liên quan như ViHSD, HSD-VLSP, UIT-ViCTSD, ViHOS; đồng thời so sánh với các bộ dữ liệu ABSA tiếng Anh tiêu biểu (MAMS, SemEval-2014, Twitter). Với tiếng Việt, các tập dữ liệu ban đầu còn hạn chế về quy mô, chẳng hạn tập dữ liệu của Long Mai và Bắc Lê (2018) chỉ có 2.098 câu bình luận; tiếp sau đó là bộ dữ liệu UIT-ViSFD với 11.122 bình luận. Về mặt mô hình, chương tổng hợp lộ trình phát triển từ các phương pháp từ điển, học máy cổ điển (LR, SVM, RF), học sâu (RNN, CNN) đến bước chuyển dịch sang kiến trúc Transformer với các đại diện BERT, GPT, RoBERTa và PhoBERT.

Chương 3: Bộ dữ liệu UIT-ViSD4SA và các phương pháp đề xuất

Chương 3 trình bày chi tiết về cấu trúc và quy trình xây dựng bộ dữ liệu UIT-ViSD4SA, phát triển trên nền tảng bộ dữ liệu UIT-ViSFD gồm 11.122 bình luận với 5 trường thông tin (index, comment, n_star, date_time, label). Dữ liệu được phân chia theo tỉ lệ Train:Dev:Test tương ứng là 7:1:2.

Bộ dữ liệu định nghĩa 10 tiêu chí đánh giá khía cạnh và 3 nhãn quan điểm:

  • 10 tiêu chí khía cạnh: BATTERY (dung lượng, chất lượng pin), CAMERA (chất lượng ảnh, quay video, chống rung), DESIGN (thiết kế ngoại quan), FEATURES (tính năng: vân tay, wifi, nhận diện khuôn mặt), GENERAL (đánh giá tổng quan), PERFORMANCE (hiệu năng: chip, RAM, độ mượt), PRICE (giá thành), SCREEN (màn hình: tấm nền, độ phân giải), SER&ACC (dịch vụ bán hàng, phụ kiện đi kèm), STORAGE (dung lượng bộ nhớ trong và hỗ trợ thẻ nhớ ngoài).
  • 3 mức độ cảm xúc: POSITIVE (tích cực), NEGATIVE (tiêu cực) và NEUTRAL (trung tính).

Quy trình gán nhãn thực hiện qua 3 giai đoạn: Giai đoạn 1 (Hướng dẫn và thảo luận), Giai đoạn 2 (Thực nghiệm kiểm tra độ đồng thuận với F1-score trên từng bình luận), Giai đoạn 3 (Thảo luận biểu quyết các trường hợp bất đồng). Thành viên chỉ được tham gia gán nhãn độc lập sau 4 vòng đào tạo với điểm F1 đạt trên 80%.

Số liệu phân bố các nhãn khía cạnh theo từng tập dữ liệu trong văn bản được tổng hợp như sau:

Tiêu chí Tập Huấn luyện (Train) Tập Phát triển (Dev) Tập Kiểm thử (Test) Tổng cộng
Pos Neu Neg Pos Neu Neg Pos Neu Neg
BATTERY 2.027 349 1.228 303 51 150 554 92 368 5.122
CAMERA 1.231 288 627 172 36 88 346 71 171 3.030
DESIGN 999 77 302 135 12 40 274 28 96 1.963
FEATURES 785 198 1.659 115 33 233 200 52 459 3.734
GENERAL 3.627 290 949 528 34 127 1.004 83 294 6.936
PERFORMANCE 2.253 391 1.496 327 45 210 602 116 454 5.894
PRICE 609 391 316 72 144 36 162 328 79 2.882
SCREEN 514 56 379 62 12 47 136 17 116 1.339
SER&ACC 1.401 107 487 199 13 78 199 27 167 2.678
STORAGE 59 107 21 11 1 2 18 3 6 132
Tổng 13.505 2.903 7.064 1.924 381 1.011 3.495 817 2.210 35.396

Thống kê cho thấy phân bố dữ liệu mất cân bằng lớn: người dùng quan tâm nhiều nhất đến khía cạnh GENERAL (chiếm 22,76%), tiếp theo là PERFORMANCE và BATTERY. Nhãn POSITIVE chiếm tỷ trọng áp đảo trên toàn bộ các khía cạnh. Trung bình mỗi bình luận chứa khoảng 3,5 tiêu chí đánh giá. Chương này cũng giải trình chi tiết kỹ thuật học chuyển tiếp và quy trình tiền xử lý 6 bước loại bỏ nhiễu.

Chương 4: Cài đặt, thử nghiệm và đánh giá

Chương 4 mô tả quy trình thực nghiệm trên bộ dữ liệu UIT-ViSD4SA với 3 nhóm mô hình (học máy truyền thống, học chuyển tiếp, học kết hợp), sử dụng các bộ sinh số giả ngẫu nhiên (random seed) để tìm ra kết quả tối ưu. Hiệu năng được đo lường bằng ba chỉ số Precision, Recall và F1-score (tính toán theo thang Macro).

Kết quả thực nghiệm trên hai tác vụ Nhận diện chuỗi khía cạnh (Aspect) và Phân loại quan điểm (Sentiment) được ghi nhận tại Bảng 5 của khóa luận:

Mô hình Nhận diện chuỗi khía cạnh (Aspect) Phân loại quan điểm (Sentiment)
Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%)
Naive Bayes 70,43 58,26 64,12 48,96 30,02 37,41
SVM 37,23 51,15 43,66 14,88 26,55 20,04
Random Forest 43,87 51,22 48,84 16,22 24,24 21,71
BiLSTM-CRF 61,87 54,55 57,98 57,98 34,27 37,64
XLM-R base 61,23 61,19 60,93 45,57 44,21 44,54
XLM-R large 61,35 62,04 62,33 46,47 45,76 45,81
PhoBERT base 73,61 71,12 72,35 64,22 63,79 62,94
PhoBERT large 74,24 71,84 71,99 63,56 62,14 62,54

Mô hình PhoBERT base đạt hiệu năng cao nhất trên cả hai tác vụ với F1-score lần lượt là 72,35% (Aspect) và 62,94% (Sentiment). Mô hình PhoBERT large đạt kết quả bám sát với 71,99% (Aspect) và 62,54% (Sentiment). Nhóm mô hình học chuyển tiếp thể hiện sự vượt trội rõ rệt so với BiLSTM-CRF và các giải thuật học máy truyền thống nhờ khả năng nắm bắt đặc trưng ngữ nghĩa sâu sắc.

Phần phân tích lỗi trên mô hình PhoBERT chỉ ra 3 nhóm lỗi chính:

  1. Dự đoán sai chuỗi khía cạnh: Nhầm lẫn giữa các tiêu chí do câu chứa nhiều từ ngữ ngoại lai, tên thông số kỹ thuật (ví dụ nhầm chuỗi chứa "Camera sau 48megapixel... sony z 13megapixel" từ CAMERA#NEGATIVE thành SCREEN#NEGATIVE).
  2. Dự đoán sai nhãn quan điểm: Không nhận diện chính xác tính chất tích cực, tiêu cực hoặc trung tính.
  3. Dự đoán sai biên của chuỗi: Nhận diện thừa hoặc thiếu ký tự trong đoạn văn bản minh chứng do tính nhập nhằng trong cấu trúc câu tiếng Việt, khiến một chuỗi đánh giá phức hợp bị tách rời thành nhiều phân đoạn gán nhãn mâu thuẫn (ví dụ tách nhận định về chip và GPU thành hai chuỗi PERFORMANCE#NEUTRAL và PERFORMANCE#NEGATIVE).

Chương 5: Kết luận và hướng phát triển

Chương cuối tóm lược các kết quả đạt được, chỉ ra mô hình PhoBERT với F1-score 72,35% là giải pháp tối ưu cho bài toán. Tác giả thẳng thắn nhìn nhận các hạn chế về phạm vi dữ liệu học thuật đơn ngành và đề xuất các định hướng nghiên cứu tiếp theo nhằm đưa mô hình vào ứng dụng thực tế.

Kết quả và đóng góp

Nghiên cứu mang lại các kết quả định lượng cụ thể và những đóng góp học thuật thực tiễn:

  • Kết quả thực nghiệm định lượng: Khóa luận chứng minh tính hiệu quả vượt trội của mô hình học chuyển tiếp tiền huấn luyện cho tiếng Việt PhoBERT base, xác lập kết quả cao nhất với Precision đạt 73,61%, Recall đạt 71,12%, F1-score đạt 72,35% trên tác vụ nhận dạng chuỗi khía cạnh; và Precision đạt 64,22%, Recall đạt 63,79%, F1-score đạt 62,94% trên tác vụ phân loại sắc thái quan điểm.
  • Đánh giá so sánh hệ thống: Công trình cung cấp bức tranh so sánh đối sánh toàn diện giữa các lớp mô hình: học máy truyền thống (Naive Bayes đạt F1 64,12% và 37,41%; SVM đạt F1 43,66% và 20,04%; Random Forest đạt F1 48,84% và 21,71%), mô hình mạng nơ-ron chuỗi kết hợp (BiLSTM-CRF đạt F1 57,98% và 37,64%), mô hình đa ngữ (XLM-R large đạt F1 62,33% và 45,81%) và mô hình đơn ngữ chuyên sâu (PhoBERT).
  • Phân loại và định danh nguyên nhân lỗi: Tác giả hệ thống hóa 3 nhóm sai sót đặc trưng của mô hình khi xử lý tiếng Việt thực tế: sai chuỗi khía cạnh, sai nhãn cảm xúc và sai lệch biên phân đoạn. Hai nguyên nhân gốc rễ được chỉ ra gồm: sự hiện diện phổ biến của từ mượn tiếng nước ngoài/thuật ngữ kỹ thuật (ví dụ: megapixel, snap, gpu, helio) và tính đa nghĩa, nhập nhằng trong ngữ pháp tiếng Việt.
  • Giá trị đóng góp cho hệ thống social listening: Cung cấp nguồn tài liệu tham chiếu kiểm chứng khả năng tự động hóa công đoạn kiểm định và phân loại dữ liệu trong các hệ thống lắng nghe xã hội, giúp giảm thiểu chi phí vận hành và loại bỏ các thao tác thủ công dễ sai sót.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận tự xác định các hạn chế nội tại và đề xuất hướng mở rộng nghiên cứu:

  • Hạn chế:
    • Nghiên cứu mới dừng lại ở phạm vi thực nghiệm học thuật trên bộ dữ liệu chuẩn UIT-ViSD4SA, chưa kiểm thử diện rộng trên môi trường sản xuất thực tế với dữ liệu biến động tự do.
    • Phạm vi dữ liệu chỉ tập trung vào một phân khúc sản phẩm duy nhất là điện thoại thông minh, trong khi nhu cầu lắng nghe xã hội thực tế của doanh nghiệp đối với ngành hàng này không quá đột biến so với các ngành hàng tiêu dùng khác.
    • Tiếng Việt có tính đa tầng nghĩa, nhiều từ lóng, cấu trúc câu tự do và sử dụng nhiều từ mượn, tạo rào cản lớn đối với việc bao quát ngữ nghĩa hoàn chỉnh chỉ bằng một mô hình đơn lẻ.
  • Hướng nghiên cứu tiếp:
    • Mở rộng xây dựng và thu thập các bộ dữ liệu đa lĩnh vực, tập trung vào những nhóm ngành hàng có nhu cầu lắng nghe xã hội và lượng tương tác tiêu dùng lớn hơn như thời trang (quần áo, giày dép) và hàng tiêu dùng nhanh, nhu yếu phẩm.
    • Nghiên cứu và thử nghiệm triển khai thêm các kiến trúc mô hình học chuyển tiếp cải tiến, mô hình lai ghép (hybrid) nhằm nâng cao độ chính xác nhận diện biên chuỗi và phân loại quan điểm trong ngữ cảnh tiếng Việt phức tạp.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo có giá trị chuyên môn đối với các nhóm đối tượng:

  • Sinh viên và nhà nghiên cứu: Thuộc các ngành Khoa học Dữ liệu, Công nghệ Thông tin, Trí tuệ Nhân tạo và Ngôn ngữ học tính toán. Khóa luận cung cấp tài liệu chi tiết về phương pháp tiếp cận bài toán trích xuất minh chứng quan điểm (span-level ABSA) cho tiếng Việt – một bài toán chuyên sâu hơn so với phân tích cảm xúc mức độ câu/văn bản thông thường.
  • Kỹ sư NLP và doanh nghiệp phát triển công cụ Social Listening: Tài liệu tham khảo hữu ích cho việc thiết kế đường ống (pipeline) tiền xử lý dữ liệu bình luận mạng xã hội tiếng Việt bằng Regular Expression và căn chỉnh bảng mã Unicode dựng sẵn.
  • Phần nội dung đáng tham khảo nhất:
    • Quy trình tiền xử lý 6 bước tại Mục 3.2, có thể tái sử dụng trực tiếp cho các tác vụ xử lý văn bản tiếng Việt từ mạng xã hội.
    • Bộ thông số thiết lập thực nghiệm và bảng so sánh đối chuẩn hiệu năng giữa học máy truyền thống, BiLSTM-CRF, XLM-R và PhoBERT tại Chương 4.
    • Bảng phân loại và phân tích ví dụ lỗi sai thực tế tại Mục 4.3.3.

Câu hỏi thường gặp

1. Bộ dữ liệu UIT-ViSD4SA dùng trong khóa luận có quy mô và cấu trúc như thế nào?
Bộ dữ liệu gồm 35.396 nhãn đánh giá trích xuất từ 11.122 bình luận thực tế về điện thoại thông minh thu thập từ 5 sàn thương mại điện tử và đại lý bán lẻ (thegioididong, fptshop, shopee, tiki, lazada). Dữ liệu được chia theo tỉ lệ Train:Dev:Test là 7:1:2, phân loại theo 10 tiêu chí khía cạnh (BATTERY, CAMERA, DESIGN, FEATURES, GENERAL, PERFORMANCE, PRICE, SCREEN, SER&ACC, STORAGE) và 3 mức độ cảm xúc (POSITIVE, NEGATIVE, NEUTRAL).

2. Mô hình nào đạt hiệu năng cao nhất trong các thực nghiệm và kết quả cụ thể ra sao?
Mô hình PhoBERT base đạt hiệu năng cao nhất trên cả hai tác vụ: đạt Precision 73,61%, Recall 71,12% và F1-score 72,35% trên tác vụ nhận dạng chuỗi khía cạnh (Aspect); đạt Precision 64,22%, Recall 63,79% và F1-score 62,94% trên tác vụ phân loại quan điểm (Sentiment).

3. Vì sao các mô hình học máy truyền thống như SVM và Random Forest lại có kết quả F1 thấp hơn đáng kể so với PhoBERT?
Các mô hình học máy truyền thống (SVM đạt F1 43,66% cho Aspect và 20,04% cho Sentiment; Random Forest đạt F1 48,84% cho Aspect và 21,71% cho Sentiment) chủ yếu trích xuất đặc trưng bề mặt của từ ngữ, không thể nắm bắt được mối quan hệ ngữ cảnh phụ thuộc dài và sự phức tạp về mặt ngữ nghĩa trong các bình luận tiếng Việt tự do như kiến trúc Transformer tiền huấn luyện chuyên sâu của PhoBERT.

4. Ba nguyên nhân chính dẫn đến các dự đoán sai của mô hình PhoBERT trong khóa luận là gì?
Tác giả phân tích các mẫu dự đoán sai và kết luận ba nguyên nhân gồm: việc xuất hiện các từ mượn và thuật ngữ kỹ thuật nước ngoài chưa được xử lý triệt để (như thông số megapixel, mã chip xử lý), sự nhập nhằng trong ngữ nghĩa và cấu trúc câu phức của tiếng Việt khiến mô hình xác định sai biên đoạn chuỗi, và hiện tượng mất cân bằng nhãn trong tập dữ liệu huấn luyện.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Đình Quốc Bảo đã giải quyết bài toán nhận dạng minh chứng cho phân tích quan điểm dựa trên khía cạnh tiếng Việt thông qua việc đánh giá thực nghiệm có hệ thống từ học máy truyền thống đến các mô hình ngôn ngữ tiền huấn luyện. Kết quả nghiên cứu xác lập mô hình PhoBERT base đạt hiệu năng tối ưu với F1-score 72,35% trên tập dữ liệu chuẩn UIT-ViSD4SA, đồng thời chỉ rõ các đặc trưng lỗi liên quan đến tính nhập nhằng ngữ nghĩa và từ mượn trong tiếng Việt. Đây là tài liệu đối chuẩn thực nghiệm có giá trị tham khảo chuyên môn cao cho các nghiên cứu xử lý ngôn ngữ tự nhiên tiếng Việt và các bài toán tự động hóa trong hệ thống lắng nghe xã hội.