Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên số, các nền tảng mạng xã hội như Facebook, YouTube, TikTok và Twitter đã trở thành phương tiện phổ biến để người dùng chia sẻ thông tin, bày tỏ quan điểm và tương tác xã hội. Tuy nhiên, sự gia tăng nhanh chóng của lượng người dùng cũng kéo theo sự xuất hiện tràn lan của các bình luận tiêu cực, mang tính xúc phạm, thù địch, bạo lực và phân biệt đối xử (chủng tộc, giới tính, vùng miền). Theo các nghiên cứu thực nghiệm được trích dẫn, việc tiếp xúc thường xuyên với các phát ngôn độc hại gây suy giảm tâm lý, gia tăng căng thẳng, lo âu, làm tăng nguy cơ mắc các bệnh về sức khỏe tinh thần như trầm cảm và dẫn tới hiện tượng giảm mức độ tương tác hoặc rời bỏ nền tảng. Hiện tượng bắt nạt trên không gian mạng (cyber-bullying) cũng gây ra những tổn thương tâm lý lâu dài cho nạn nhân. Báo cáo năm 2022 của Microsoft xếp Việt Nam vào top 5 quốc gia có chỉ số văn minh trên Internet thấp nhất, phản ánh mức độ nghiêm trọng của vấn đề bình luận công kích tại Việt Nam.

Trước thực trạng phương thức kiểm duyệt thủ công bộc lộ nhiều hạn chế về mặt nhân lực, thời gian và gây ảnh hưởng tâm lý tiêu cực đến đội ngũ kiểm duyệt viên, việc tự động hóa quá trình phát hiện và phân loại bình luận độc hại bằng các kỹ thuật học sâu trở thành yêu cầu cấp thiết. Đề tài "Nghiên cứu và tối ưu mô hình học sâu trong bài toán phân loại bình luận tiêu cực trên mạng xã hội" được tác giả Võ Mạnh Thường thực hiện nhằm giải quyết các nhiệm vụ cụ thể:

  1. Nghiên cứu cơ sở lý thuyết và cấu trúc của các mô hình học sâu tiêu biểu trong xử lý ngôn ngữ tự nhiên (NLP) gồm Convolutional Neural Network (CNN), BERT, PhoBERT và mô hình kết hợp PhoBERT-CNN.
  2. Khảo sát đặc điểm ngôn ngữ của bình luận tiếng Việt trên mạng xã hội từ tập dữ liệu được gán nhãn, từ đó xác định và thử nghiệm quy trình tiền xử lý văn bản tối ưu.
  3. Nghiên cứu, áp dụng và so sánh các phương pháp tăng cường dữ liệu (Data Augmentation) truyền thống (Easy Data Augmentation - EDA) và hiện đại (dựa trên Masked Language Model của PhoBERT) nhằm xử lý hiện tượng mất cân bằng dữ liệu.
  4. Tối ưu hóa bộ siêu tham số cho từng kiến trúc mô hình bằng công cụ tìm kiếm lưới (Grid Search) và đánh giá hiệu năng phân loại thông qua các chỉ số đo lường học máy.

Đối tượng nghiên cứu của đồ án là các bình luận tiếng Việt thu thập từ môi trường mạng xã hội. Phạm vi dữ liệu được giới hạn trong tập dữ liệu ViHSD (Vietnamese Hate Speech Dataset) công bố năm 2021, gồm hơn 33.400 bình luận được gán nhãn bởi người thật.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình nghiên cứu

Nghiên cứu xây dựng trên nền tảng lý thuyết xử lý ngôn ngữ tự nhiên và học sâu, tập trung vào 4 kiến trúc mô hình phân loại văn bản:

  • Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Áp dụng cơ chế tích chập đa kích thước bộ lọc để trích xuất đặc trưng cục bộ (n-gram) từ ma trận nhúng từ (Word2Vec), kết hợp lớp Max-Pooling để cô đọng thông tin đại diện.
  • BERT (Bidirectional Encoder Representations from Transformers): Mô hình biểu diễn ngôn ngữ hai chiều dựa trên khối Encoder của kiến trúc Transformer kết hợp cơ chế Self-Attention và Multi-Head Attention, được tiền huấn luyện trên dữ liệu tiếng Anh thông qua hai nhiệm vụ Masked Language Model (MLM) và Next Sentence Prediction (NSP).
  • PhoBERT: Mô hình ngôn ngữ tiền huấn luyện được tối ưu riêng cho tiếng Việt phát triển bởi VinAI Research, huấn luyện trên 1GB dữ liệu Wikipedia tiếng Việt và 19GB dữ liệu tin tức báo chí tiếng Việt.
  • Mô hình kết hợp PhoBERT-CNN: Tận dụng tầng Encoder của PhoBERT để nắm bắt ngữ cảnh toàn cục và ngữ nghĩa sâu của câu tiếng Việt, sau đó đưa biểu diễn vector qua các khối tích chập CNN để trích xuất đặc trưng cục bộ thay thế cho lớp Fully Connected truyền thống.

Phương pháp nghiên cứu thực tế

  • Phương pháp thực nghiệm định lượng: Xây dựng, huấn luyện và đánh giá mô hình trên máy tính cá nhân sử dụng ngôn ngữ Python cùng các thư viện chuyên sâu (TensorFlow, Keras, Hugging Face Transformers).
  • Tiền xử lý dữ liệu chuyên biệt cho tiếng Việt: Khảo sát các thao tác làm sạch chuỗi, chuẩn hóa Unicode, chuẩn hóa kiểu gõ dấu, xử lý từ lặp ký tự, thay thế chuỗi đặc biệt (tiền tệ, liên kết, hashtag), loại bỏ ký tự biểu cảm (icon), loại bỏ dấu câu và tách từ tiếng Việt tự động bằng công cụ VnCoreNLP.
  • Tăng cường dữ liệu:
    • Phương pháp EDA (Easy Data Augmentation): Áp dụng 4 kỹ thuật cơ bản gồm thay thế từ đồng nghĩa (Synonym Replacement - SR) dựa trên từ điển Wordnet-Vi, chèn từ ngẫu nhiên (Random Insertion - RI), hoán đổi từ ngẫu nhiên (Random Swap - RS) và xóa từ ngẫu nhiên (Random Deletion - RD).
    • Phương pháp Fill-Mask với PhoBERT: Tận dụng cơ chế dự đoán từ bị che (Masked Language Model) của PhoBERT sau khi fine-tune trên dữ liệu ViHSD để sinh từ mới phù hợp với ngữ cảnh câu văn.
  • Phương pháp tối ưu siêu tham số: Sử dụng kỹ thuật tìm kiếm lưới (Grid Search) để tìm tổ hợp siêu tham số tối ưu (kích thước bộ lọc, số bộ lọc, learning rate, batch size) cho từng mô hình.
  • Phương pháp đánh giá: Sử dụng độ chính xác (Accuracy), điểm số F1-Score (Macro F1), hàm mất mát Categorical Cross-Entropy Loss và ma trận nhầm lẫn (Confusion Matrix) để phân tích chi tiết khả năng phân loại trên từng nhãn.

Nguồn dữ liệu

Tập dữ liệu sử dụng là ViHSD (Vietnamese Hate Speech Dataset) gồm 33.400 bình luận thu thập từ các trang Facebook và kênh YouTube có tương tác cao thuộc các chủ đề giải trí, người nổi tiếng, chính trị và xã hội. Dữ liệu đã được khử định danh tên riêng và gán nhãn theo 3 lớp:

  1. Clean: Bình luận mang tính trung lập, xây dựng, không chứa ngôn ngữ xúc phạm hoặc thù địch.
  2. Offensive: Bình luận có tính thô lỗ, xúc phạm, chửi thề bộc lộ cảm xúc nhưng không nhắm vào đối tượng cụ thể.
  3. Hate: Bình luận thù địch, cực đoan, kích động căm ghét hoặc phân biệt đối xử nhắm vào nhóm người, cá nhân, tổ chức.

Dữ liệu được chia theo tỷ lệ 7:1:2 (70% tập huấn luyện - Train, 10% tập phát triển - Dev/Validation, 20% tập kiểm tra - Test). Trong tập Train, sự phân bố số lượng mẫu giữa các nhãn có sự mất cân bằng rõ rệt: lớp Clean có 19.886 mẫu, lớp Offensive có 2.556 mẫu và lớp Hate có 1.606 mẫu.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập tính cấp thiết của đề tài thông qua phân tích tác động tiêu cực của vấn đề phát ngôn thù ghét trên mạng xã hội tại Việt Nam. Tác giả tổng quan các hướng tiếp cận trong phân loại văn bản, chỉ rõ sự chuyển dịch từ các phương pháp học máy truyền thống dùng đặc trưng thủ công (SVM, Naïve Bayes, Logistic Regression) sang các mô hình học sâu (CNN, Transformer, BERT, PhoBERT). Chương này xác định rõ mục tiêu nghiên cứu và nêu các giới hạn về dữ liệu (dùng dữ liệu công bố sẵn ViHSD 2021), giới hạn phần cứng (chỉ huấn luyện phiên bản Base trên máy tính cá nhân) và giới hạn triển khai ứng dụng thực tế.

Chương 2: Nghiên cứu tổng quan

Chương 2 trình bày chi tiết cơ sở toán học và cấu trúc của các mô hình NLP:

  • Phân tích nguyên lý trích xuất đặc trưng của mạng tích chập CNN thông qua Embedding Layer, Convolutional Layer, Max Pooling Layer và Fully Connected Layer.
  • Trình bày kiến trúc Transformer với cơ chế Self-Attention, cấu trúc ma trận Query (Q), Key (K), Value (V), công thức Positional Encoding, Multi-Head Attention, Add & Layer Normalization và Feed-Forward Network.
  • Phân tích cơ chế hoạt động của BERT và mô hình PhoBERT dành riêng cho tiếng Việt.
  • Mô tả cấu trúc tập dữ liệu ViHSD, quy trình đo lường độ đồng thuận người gán nhãn bằng chỉ số Cohen Kappa và phân tích nguyên nhân gây mất cân bằng dữ liệu.
  • Trình bày cơ sở lý thuyết của phương pháp tăng cường dữ liệu EDA và phương pháp Masked Language Model, đồng thời nêu các công thức tính toán chỉ số đo lường hiệu năng (Accuracy, Precision, Recall, F1-Score, Categorical Cross-Entropy Loss).

Chương 3: Phương pháp thực hiện phân tích thiết kế

Chương 3 mô tả chi tiết quy trình triển khai kỹ thuật và thiết kế kiến trúc thực nghiệm:

  • Quy trình tiền xử lý: Thiết lập chuỗi làm sạch gồm chuyển chữ thường (lowercase), chuẩn hóa chuỗi liên kết/tiền tệ/hashtag, xử lý từ lặp ký tự, xóa icon, chuẩn hóa dấu tiếng Việt, chuẩn hóa bảng mã Unicode, xóa dấu câu và tách từ bằng VnCoreNLP.
  • Thiết kế mô hình CNN: Sử dụng Keras API xây dựng mạng tích chập với Word2Vec embedding, 4 bộ lọc song song có kích thước [1, 2, 3, 5], mỗi kích thước gồm 32 filters, kết hợp Max-Pooling 2D và lớp Dropout trước tầng Softmax 3 lớp.
  • Cấu hình mô hình Pre-trained: Tải cấu hình PhoBERT-base và BERT-base (12 layers, 12 heads, hidden_size 768, 110 triệu tham số) từ Hugging Face.
  • Thiết kế mô hình PhoBERT-CNN: Kết hợp tầng trích xuất biểu diễn ngữ cảnh PhoBERT với khối CNN gồm các bộ lọc đa kích thước và lớp Pooling để gom đặc trưng trước khi đưa vào tầng phân loại.
  • Thiết lập tăng cường dữ liệu:
    • Thiết lập thuật toán EDA với $\alpha = 0.05$ và $n_{aug} = 8$ cho các nhãn Offensive và Hate, sử dụng từ điển Wordnet-Vi và bộ stop-words tiếng Việt.
    • Thiết lập thuật toán PhoBERT Fill-Mask qua 2 chiến lược: bộ dữ liệu PhoBERT-aug (tăng gấp đôi dữ liệu, mask 10% từ) và bộ dữ liệu PhoBERT-FI (tăng cường tập trung vào nhãn thiểu số Offensive và Hate với tỷ lệ mask từ 10% đến 40%).
  • Siêu tham số huấn luyện: CNN và PhoBERT-CNN được thiết lập batch size = 256, learning rate = $3 \times 10^{-5}$; BERT và PhoBERT được thiết lập batch size = 64, learning rate = $3 \times 10^{-5}$.

Chương 4: Kết quả và thảo luận

Chương 4 cung cấp dữ liệu thực nghiệm và các phân tích chuyên sâu:

  • Đánh giá vai trò của tiền xử lý dữ liệu đối với hiệu năng mô hình.
  • Phân tích các lỗi phát sinh từ phương pháp EDA khi áp dụng cho tiếng Việt do hạn chế của cơ sở dữ liệu Wordnet-Vi.
  • So sánh hiệu năng giữa hai phương pháp tăng cường dữ liệu EDA và PhoBERT Fill-Mask.
  • Đánh giá chi tiết ma trận nhầm lẫn (Confusion Matrix) của các mô hình trên các tập dữ liệu tăng cường khác nhau.
  • Phân tích nguyên nhân dẫn tới các trường hợp dự đoán sai của mô hình (câu có tính mỉa mai, từ ngữ đa nghĩa, nhầm lẫn ranh giới giữa nhãn Offensive và Hate).

Chương 5: Kết luận và hướng phát triển

Chương 5 đúc kết các phát hiện chính từ quá trình thực nghiệm, khẳng định mô hình PhoBERT-CNN kết hợp kỹ thuật tăng cường dữ liệu nhắm mục tiêu là cấu hình tối ưu nhất cho bài toán phân loại bình luận tiếng Việt. Đồng thời, tác giả đề xuất các hướng mở rộng nghiên cứu trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm chính

Thực nghiệm trên tập dữ liệu gốc ViHSD cho thấy quy trình tiền xử lý dữ liệu được đề xuất mang lại sự cải thiện rõ rệt trên tất cả các kiến trúc mô hình. F1-Score của các mô hình tăng từ 3,47% đến 6,79%.

Mô hình Không tiền xử lý (NO PP) - F1-Score (%) Có tiền xử lý (PP) - F1-Score (%)
CNN 58,31 Cải thiện (+3,47% đến +6,79%)
BERT Thấp hơn CNN Thấp hơn PhoBERT
PhoBERT Cao hơn BERT & CNN Cải thiện (+3,47% đến +6,79%)
PhoBERT-CNN Đạt kết quả cao nhất Đạt kết quả tối ưu nhất

Các kết quả định tính và định lượng nổi bật trong văn bản bao gồm:

  1. Ưu thế của mô hình tiếng Việt chuyên biệt: PhoBERT đạt hiệu năng vượt trội so với mô hình BERT gốc tiếng Anh, do được tiền huấn luyện trên khối dữ liệu tiếng Việt quy mô lớn.
  2. Hiệu quả của mô hình kết hợp PhoBERT-CNN: Mô hình PhoBERT-CNN đạt hiệu năng cao nhất nhờ kết hợp khả năng nắm bắt ngữ cảnh toàn cục của Transformer và khả năng trích xuất đặc trưng cục bộ (từ ngữ cảm xúc, từ chửi thề) của mạng tích chập CNN.
  3. Phát hiện về Stop-words tiếng Việt: Tác giả phát hiện việc loại bỏ stop-words theo cách truyền thống làm giảm từ 2% đến 3% hiệu suất phân loại trên tập dữ liệu ViHSD, do đó bước này được loại bỏ khỏi quy trình tiền xử lý chính thức.
  4. So sánh hai phương pháp tăng cường dữ liệu:
    • Phương pháp EDA gặp nhiều hạn chế do từ điển Wordnet-Vi chỉ bao phủ 43,09% từ vựng tiếng Việt, dẫn đến việc thay thế sai ngữ cảnh (ví dụ: "theo đạo" bị đổi thành "ăn cắp", "ngu" bị đổi thành "tối tăm") hoặc xóa nhầm các từ chửi thề mang tính quyết định nhãn.
    • Phương pháp tăng cường dữ liệu bằng PhoBERT Fill-Mask trên các nhãn mất cân bằng (PhoBERT-FI) giúp sinh từ phù hợp với ngữ cảnh, gia tăng số lượng mẫu thiểu số lên gần gấp 3 lần và cải thiện đáng kể khả năng phân biệt giữa hai nhãn Offensive và Hate trên Confusion Matrix.

Giải pháp và đóng góp của đề tài

  • Xây dựng một quy trình tiền xử lý văn bản hoàn chỉnh, phù hợp với đặc thù ngôn ngữ phi chuẩn mực, viết tắt và teencode của bình luận mạng xã hội tiếng Việt.
  • Đề xuất và chứng minh tính hiệu quả của phương pháp tăng cường dữ liệu dựa trên mô hình ngôn ngữ ngữ cảnh PhoBERT Fill-Mask, giải quyết bài toán mất cân bằng lớp mà không làm biến dạng ngữ nghĩa câu.
  • Cung cấp mô hình lai PhoBERT-CNN tối ưu hóa về mặt siêu tham số, đạt hiệu năng nhận diện tốt các bình luận công kích và thù ghét trên tập dữ liệu chuẩn ViHSD.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Dữ liệu: Nghiên cứu sử dụng tập dữ liệu ViHSD được công bố từ năm 2021, chưa thu thập thêm dữ liệu mới để phản ánh các xu hướng ngôn ngữ mạng xã hội và teencode mới xuất hiện.
  • Tài nguyên tính toán: Quá trình huấn luyện thực hiện trên phần cứng máy tính cá nhân nên chỉ thử nghiệm được phiên bản Base (110 triệu tham số) của BERT và PhoBERT, chưa đánh giá được hiệu năng của phiên bản Large (340 triệu tham số).
  • Cơ sở dữ liệu ngôn ngữ: Cơ sở dữ liệu từ đồng nghĩa tiếng Việt (Wordnet-Vi) còn thiếu hụt từ vựng và chưa được cập nhật các từ lóng, từ ngữ tiêu cực.
  • Triển khai ứng dụng: Đồ án mới dừng lại ở mức độ nghiên cứu và thực nghiệm mô hình, chưa tích hợp triển khai thành hệ thống phần mềm hoặc công cụ kiểm duyệt thời gian thực trên môi trường mạng xã hội.

Hướng phát triển

  • Mở rộng thu thập và gán nhãn các tập dữ liệu bình luận tiếng Việt mới, bổ sung các nhãn phụ chi tiết hơn về các dạng bạo lực mạng.
  • Thử nghiệm mô hình trên các tài nguyên phần cứng lớn hơn để huấn luyện các kiến trúc quy mô lớn (PhoBERT-Large, RoBERTa-Large).
  • Xây dựng hệ thống API và ứng dụng web/tiện ích mở rộng nhằm tự động kiểm duyệt hoặc cảnh báo bình luận tiêu cực theo thời gian thực trên các nền tảng mạng xã hội.

Giá trị tham khảo

Đồ án tốt nghiệp này là tài liệu tham khảo hữu ích cho:

  • Sinh viên và nghiên cứu sinh ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Khoa học Dữ liệu: Tham khảo chi tiết phương pháp xây dựng mô hình kết hợp (Hybrid Model) giữa Transformer và CNN trong xử lý ngôn ngữ tự nhiên.
  • Các nhà phát triển hệ thống NLP tiếng Việt: Ứng dụng quy trình tiền xử lý văn bản mạng xã hội, giải pháp tối ưu siêu tham số và kỹ thuật tăng cường dữ liệu bằng PhoBERT MLM để khắc phục tình trạng dữ liệu mất cân bằng trong các bài toán phân loại văn bản thực tế.

Câu hỏi thường gặp

1. Tại sao tác giả lại chọn mô hình kết hợp PhoBERT-CNN thay vì chỉ sử dụng mô hình đơn lẻ PhoBERT hay CNN?

Trong bài toán phân loại bình luận ngắn trên mạng xã hội, PhoBERT đóng vai trò là bộ mã hóa (Encoder) mạnh mẽ giúp biểu diễn ngữ cảnh hai chiều của toàn bộ câu tiếng Việt, trong khi mạng CNN với các bộ lọc kích thước khác nhau ([1, 2, 3, 5]) có khả năng trích xuất xuất sắc các đặc trưng cục bộ (tần suất xuất hiện của từ chửi thề, các tổ hợp từ khóa tiêu cực ngắn). Việc thay thế lớp Fully Connected mặc định của PhoBERT bằng kiến trúc CNN giúp mô hình kết hợp tận dụng được thế mạnh của cả hai kiến trúc, đem lại hiệu năng phân loại cao nhất.

2. Vì sao tác giả loại bỏ bước lọc stop-words trong quy trình tiền xử lý chính thức?

Thực nghiệm trong đồ án chỉ ra rằng việc xóa bỏ stop-words theo từ điển thông thường làm suy giảm từ 2% đến 3% hiệu suất phân loại của mô hình trên tập dữ liệu ViHSD. Đối với bình luận mạng xã hội, nhiều từ thường bị coi là stop-word (như các đại từ nhân xưng) lại đóng vai trò quan trọng trong việc phân biệt giữa nhãn Offensive (chửi thề tự phát, ám chỉ bản thân) và nhãn Hate (sử dụng đại từ nhằm công kích, thù ghét một cá nhân hoặc tổ chức cụ thể).

3. Phương pháp tăng cường dữ liệu EDA gặp phải những hạn chế cụ thể nào khi áp dụng cho tiếng Việt?

Phương pháp EDA phụ thuộc vào cơ sở dữ liệu Wordnet-Vi (vốn được dịch tự động từ tiếng Anh và chỉ đạt độ bao phủ 43,09% từ vựng tiếng Việt). Do đó, EDA thường xuyên thay thế các từ đồng nghĩa sai lệch ngữ cảnh (như đổi "theo đạo" thành "ăn cắp", "ngu" thành "tối tăm", "mẹ" thành "sinh vật mẹ") làm biến đổi hoàn toàn ý nghĩa nhãn của câu, hoặc kỹ thuật xóa ngẫu nhiên (RD) vô tình xóa mất các từ khóa chửi thề quyết định nhãn phân loại.

4. Hai chiến lược tăng cường dữ liệu bằng PhoBERT (PhoBERT-aug và PhoBERT-FI) khác nhau như thế nào?

Chiến lược PhoBERT-aug thực hiện tăng cường trên toàn bộ dữ liệu với tỷ lệ 1 câu gốc sinh 1 câu mới (che ngẫu nhiên 10% từ), làm tăng gấp đôi dung lượng dữ liệu nhưng vẫn giữ nguyên hiện tượng mất cân bằng giữa các lớp. Ngược lại, chiến lược PhoBERT-FI chỉ tập trung tăng cường vào hai nhãn thiểu số là Offensive và Hate với tỷ lệ che từ 10% đến 40%, giúp tăng số lượng mẫu của hai lớp này lên gần gấp 3 lần, làm phân phối dữ liệu đồng đều hơn và nâng cao rõ rệt khả năng nhận diện của mô hình trên các lớp khó.

Kết luận

Đồ án tốt nghiệp của tác giả Võ Mạnh Thường đã thực hiện nghiên cứu thực nghiệm toàn diện về bài toán phân loại bình luận tiêu cực tiếng Việt trên tập dữ liệu ViHSD. Nghiên cứu đã chứng minh tính hiệu quả của mô hình kết hợp PhoBERT-CNN cùng quy trình tiền xử lý văn bản tiếng Việt phù hợp và phương pháp tăng cường dữ liệu ngữ cảnh bằng PhoBERT Masked Language Model. Kết quả đạt được cung cấp cơ sở kỹ thuật thực tiễn cho việc phát triển các giải pháp tự động phát hiện phát ngôn độc hại, góp phần xây dựng môi trường mạng xã hội văn minh và an toàn hơn.