Bối cảnh và vấn đề nghiên cứu

Sự phát triển của cuộc Cách mạng công nghiệp lần thứ tư gắn liền với sự bùng nổ của các nền tảng mạng xã hội và phương tiện truyền thông trực tuyến. Bên cạnh những đóng góp tích cực vào đời sống kinh tế - xã hội, không gian mạng cũng phát sinh nhiều hệ lụy tiêu cực, đặc biệt là sự gia tăng của các phát ngôn mang tính thù địch, quấy rối, xúc phạm và tin giả. Các nội dung này tác động trực tiếp đến tâm lý người sử dụng, đặc biệt là nhóm đối tượng thanh thiếu niên và những người dễ bị tổn thương.

Khóa luận trích dẫn khảo sát của Tập đoàn Microsoft cho thấy thực trạng đáng báo động: trong 100 người dùng là thanh thiếu niên hoặc người trưởng thành tại Việt Nam tham gia khảo sát, có tới 70 người từng gặp phải hành vi ứng xử không đúng mực trong vòng một tháng gần nhất; 97 người thừa nhận bị tổn thương từ các hành vi đó và 83 người lo lắng sẽ tiếp tục gặp phải tình trạng tương tự. Kết quả khảo sát xếp Việt Nam vào nhóm các quốc gia có chỉ số văn minh không gian mạng thấp nhất trong số 25 quốc gia được đánh giá. Về mặt chính sách, vào tháng 6 năm 2021, Bộ Thông tin và Truyền thông đã ban hành Quyết định về Bộ quy tắc ứng xử trên mạng xã hội nhằm thiết lập các chuẩn mực văn hóa ứng xử trực tuyến.

Về quy mô dữ liệu, nghiên cứu của Suha Abu-Ghazale và các cộng sự (2018) chỉ ra rằng cứ mỗi 60 giây, trên nền tảng Facebook có khoảng 293.000 bài viết mới và hơn 510.000 lượt bình luận được tạo ra. Báo cáo từ Statista ghi nhận năm 2018, Facebook đã gỡ bỏ hơn 11,3 triệu nội dung thù địch, xúc phạm trên toàn cầu; đến năm 2020, con số này tăng lên hơn 81 triệu nội dung (tăng gấp 7 lần). Tương tự, YouTube đã loại bỏ hơn 1.800 triệu bình luận vi phạm tiêu chuẩn cộng đồng năm 2019 và tăng lên hơn 4.800 triệu bình luận vào năm 2020 (tăng gấp 2,7 lần). Dù các tập đoàn công nghệ duy trì đội ngũ kiểm duyệt thủ công lên tới hàng chục nghìn nhân sự với ngân sách hàng trăm triệu USD, phương thức kiểm duyệt bằng con người bộc lộ nhiều bất cập nghiêm trọng: nhân viên kiểm duyệt có nguy cơ cao mắc hội chứng rối loạn căng thẳng sau sang chấn (PTSD), trong khi nguồn nhân lực am hiểu sâu sắc về tiếng Việt và văn hóa bản địa vẫn còn thiếu hụt.

Về mặt học thuật, các nghiên cứu trước đây trên bộ dữ liệu tiếng Việt ViHSD (Luu và cộng sự) cho thấy độ chính xác (Accuracy) phân loại trên các lớp thiểu số còn rất khiêm tốn: lớp HATE chỉ đạt 49,27% và lớp OFFENSIVE chỉ đạt 36,04%. Các giải pháp hiện hữu thường gặp hạn chế do chưa có quy trình tiền xử lý văn bản tiếng Việt mạng xã hội toàn diện, chưa xử lý triệt để hiện tượng mất cân bằng dữ liệu, và mô hình huấn luyện chưa tối ưu hóa được việc kết hợp giữa biểu diễn ngữ cảnh và trích xuất đặc trưng cục bộ.

Nhóm tác giả xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

  1. Nghiên cứu và triển khai các kỹ thuật tiền xử lý dữ liệu văn bản mạng xã hội hai giai đoạn nghiêm ngặt nhằm làm sạch và nâng cao chất lượng dữ liệu đầu vào.
  2. Đề xuất mô hình kết hợp PhoBERT-CNN để cải thiện hiệu suất bài toán nhận diện nội dung xúc phạm, phản cảm trên dữ liệu tiếng Việt; so sánh đối sánh với các mô hình cơ sở thuộc bốn nhóm tiếp cận (học máy, học sâu, học chuyển tiếp, học kết hợp).
  3. Áp dụng kỹ thuật tăng cường dữ liệu EDA (Easy Data Augmentation) nhằm giải quyết thách thức mất cân bằng nhãn trên các bộ dữ liệu thực nghiệm ViHSD và HSD-VLSP.
  4. Xây dựng các ứng dụng thực nghiệm gồm hệ thống xử lý luồng dữ liệu bình luận từ YouTube theo thời gian thực và ứng dụng giả lập trang báo điện tử "NEWSPAPER" tích hợp qua giao diện lập trình ứng dụng (API).

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các phát ngôn, bình luận bằng chữ viết tiếng Việt thu thập từ các nền tảng mạng xã hội (Facebook, YouTube).
  • Phạm vi nghiên cứu: Tập trung vào bài toán phân loại văn bản ngắn thành ba nhãn cảm xúc và tính chất độc hại; thực nghiệm trên hai bộ ngữ liệu chuẩn tiếng Việt là ViHSD (33.345 bình luận) và HSD-VLSP; thời gian thực hiện nghiên cứu từ ngày 28/01/2022 đến ngày 01/07/2022 tại Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập định nghĩa bài toán nhận diện ngôn ngữ xúc phạm, thù địch tiếng Việt (Hate Speech Detection - HSD) với đầu vào là chuỗi văn bản bình luận và đầu ra là một trong ba nhãn phân loại:

  • Nhãn CLEAN (Nhãn 0): Bình luận thông thường, trò chuyện thường nhật, thể hiện cảm xúc bình thường, không chứa ngôn từ độc hại, căm thù hay xúc phạm.
  • Nhãn OFFENSIVE (Nhãn 1): Bình luận có nội dung quấy rối, chứa từ ngữ thô tục nhưng không nhắm vào đối tượng cụ thể nào.
  • Nhãn HATE (Nhãn 2): Bình luận mang tính lạm dụng, quấy rối, tấn công trực tiếp vào cá nhân, tổ chức dựa trên các đặc tính xã hội như quốc tịch, tôn giáo; có ý định kích động bạo lực hoặc thù hận.

Khung lý thuyết và mô hình sử dụng:

  • PhoBERT: Mô hình ngôn ngữ đơn ngữ tiếng Việt được tiền huấn luyện quy mô lớn dựa trên kiến trúc Transformer hai chiều (Bidirectional Transformer encoder), tối ưu hóa theo phương thức RoBERTa trên 20GB dữ liệu văn bản tiếng Việt (1GB văn bản Wikipedia và 19GB tin tức báo chí). PhoBERT được sử dụng như một tầng trích xuất biểu diễn từ (word embedding) với độ dài câu tối đa được thiết lập là 20 token, có sử dụng token mở đầu [CLS] và token ngăn cách [SEP].
  • Text-CNN: Mạng nơ-ron tích chập dành cho văn bản (Yoon Kim, 2014), sử dụng các bộ lọc một chiều (Conv1D) với kích thước kernel đa dạng để bắt trích các đặc trưng cụm từ và từ khóa chính của văn bản, kết hợp cùng lớp gộp cực đại (Max Pooling 1D) nhằm giảm số chiều ma trận đặc trưng.
  • Mô hình đề xuất PhoBERT-CNN: Sự kết hợp giữa biểu diễn ngữ cảnh câu của PhoBERT và cấu trúc trích xuất đặc trưng của Text-CNN. Ma trận đặc trưng từ các bộ lọc Conv1D được hợp nhất qua hàm torch.cat(), đưa qua lớp Dropout để hạn chế quá khớp, và kết nối với lớp Fully-Connected. Hàm tối ưu hóa là Adam và hàm mất mát là Cross-Entropy đa lớp:

$$L = -\sum_{c=1}^{M} y_{o,c} \log(p_{o,c})$$

Trong đó $M$ là số lượng nhãn phân loại ($M=3$), $y_{o,c}$ là chỉ báo nhị phân (giá trị 0 hoặc 1) thể hiện nhãn thực tế của quan sát $o$ tại lớp $c$, và $p_{o,c}$ là xác suất dự đoán quan sát $o$ thuộc về lớp $c$.

Phương pháp tiền xử lý dữ liệu hai giai đoạn:

  • Giai đoạn 1 (Xử lý cấp câu): Sử dụng biểu thức chính quy (Regular Expression) trong Python để thực hiện: chuẩn hóa văn bản viết thường; xóa khoảng trắng dư thừa; xóa các đường dẫn liên kết (URLs); chuẩn hóa bảng mã tiếng Việt sang chuẩn thống nhất UTF-8; loại bỏ ký tự lặp dư thừa; chuẩn hóa vị trí dấu thanh theo quy tắc ngữ pháp nguyên âm tiếng Việt.
  • Giai đoạn 2 (Xử lý cấp từ): Tách từ tiếng Việt bằng công cụ VnCoreNLP (RDRSegmenter) đối với mô hình PhoBERT và thư viện NLTK đối với các mô hình baseline; chuẩn hóa từ viết tắt và ngôn ngữ mạng (De-teencode) bằng cách đối chiếu và chuyển đổi về dạng từ ngữ chuẩn; loại bỏ các từ dừng (Stopwords) dựa trên bộ từ điển từ dừng tiếng Việt.

Phương pháp xử lý mất cân bằng dữ liệu: Nghiên cứu áp dụng kỹ thuật EDA (Easy Data Augmentation) gồm 4 thao tác biến đổi: thay thế từ đồng nghĩa (Synonym Replacement), chèn từ ngẫu nhiên (Random Insertion), hoán đổi từ ngẫu nhiên (Random Swap) và xóa từ ngẫu nhiên (Random Deletion). Nhóm tác giả áp dụng tỷ lệ phần trăm từ thay thế trong câu ($\alpha$) bằng 0,15 trên các nhãn thiểu số (OFFENSIVE và HATE) để tái phân phối dữ liệu huấn luyện.

Nguồn dữ liệu thực nghiệm:

  • Bộ dữ liệu ViHSD (Luu và cộng sự): Bao gồm 33.345 bình luận thu thập từ Facebook và YouTube, trong đó nhãn CLEAN chiếm tỷ lệ áp đảo với 19.713 bình luận.
  • Bộ dữ liệu HSD-VLSP (Vu và cộng sự, 2019): Dữ liệu chuẩn được công bố trong chiến dịch đánh giá VLSP 2019 shared-task về phân loại ngôn ngữ thù địch tiếng Việt.

Độ đo đánh giá hiệu suất: Sử dụng 4 độ đo cơ bản gồm Accuracy, Precision, Recall và Macro F1-score (trung bình điều hòa giữa Precision và Recall, độ đo trọng tâm cho bài toán dữ liệu mất cân bằng).

Thiết kế và triển khai

Khóa luận phát triển kiến trúc hệ thống hoàn chỉnh kết nối từ tầng mô hình phân loại đến các giao diện ứng dụng thực tế.

Kiến trúc hệ thống và công nghệ sử dụng:

  • Tầng mô hình và dữ liệu: Quy trình tiền xử lý hai giai đoạn nạp dữ liệu thô, vector hóa qua mô hình PhoBERT và phân lớp bằng Text-CNN được xây dựng trên ngôn ngữ lập trình Python và thư viện học sâu PyTorch.
  • Tầng dịch vụ giao diện lập trình ứng dụng (REST API): Hệ thống sử dụng FastAPI và Flask để đóng gói mô hình thành dịch vụ web. API tiếp nhận chuỗi bình luận tiếng Việt dưới dạng JSON request, kích hoạt module tiền xử lý dữ liệu hai bước tại chỗ, chuyển đổi đầu vào tương thích với mạng nơ-ron, nạp qua mô hình PhoBERT-CNN và trả về JSON respond chứa nhãn dự đoán (CLEAN, OFFENSIVE, hoặc HATE) cùng độ tin cậy tương ứng.
  • Tầng ứng dụng tương tác người dùng:
    1. Ứng dụng xử lý dữ liệu lớn theo thời gian thực (Streaming HSD Dashboard): Thu thập trực tiếp luồng bình luận từ nền tảng YouTube, sử dụng kỹ thuật xử lý luồng dữ liệu (streaming data pipeline) để phân loại liên tục và hiển thị trực quan tỷ lệ bình luận văn minh và bình luận vi phạm theo biểu đồ phân tích.
    2. Ứng dụng web giả lập trang báo điện tử ("NEWSPAPER"): Xây dựng kịch bản bài báo điện tử đưa tin về dịch bệnh Covid-19, cho phép người đọc ẩn danh gửi bình luận phản hồi. Khi người dùng gửi bình luận, ứng dụng gửi request đến API kiểm duyệt. Nếu kết quả trả về là CLEAN, bình luận được hiển thị bình thường; nếu kết quả là OFFENSIVE hoặc HATE, hệ thống kích hoạt cơ chế cảnh báo và cung cấp cho người quản trị tính năng "Ẩn/Hiện" bình luận để ngăn chặn nội dung phản cảm xuất hiện trên giao diện độc giả.

Nội dung chính theo từng chương

Chương 1. Giới thiệu khoá luận

Chương này thiết lập bối cảnh thực tiễn và tính cấp thiết của đề tài trong bối cảnh bùng nổ mạng xã hội tại Việt Nam. Tác giả trình bày các số liệu thống kê về tình trạng vi phạm ngôn từ trên Facebook, YouTube và các khảo sát của Microsoft. Chương 1 định nghĩa chi tiết bài toán phân loại ba nhãn (CLEAN, OFFENSIVE, HATE), đồng thời phân tích những khó khăn của phương thức kiểm duyệt thủ công và các hạn chế kỹ thuật của nghiên cứu đi trước (như độ chính xác thấp của mô hình phân loại trên tập dữ liệu ViHSD). Chương này cũng nêu bật tính ứng dụng của giải pháp trong các tổ chức, cơ quan truyền thông và môi trường giáo dục nhằm bảo vệ người dùng mạng.

Chương 2. Các công trình nghiên cứu liên quan

Chương 2 tổng hợp các nghiên cứu tiền đề trong và ngoài nước trên ba khía cạnh:

  • Tiền xử lý dữ liệu: Phân tích nghiên cứu của Khang và cộng sự (2020) chứng minh tiền xử lý giúp cải thiện 4,66% hiệu suất phân loại trên dữ liệu mạng xã hội tiếng Việt, chỉ ra khoảng trống nghiên cứu của ViHSD và HSD-VLSP khi các nghiên cứu trước chỉ xử lý cơ bản (xóa URL, xóa thông tin cá nhân).
  • Mô hình nhận diện ngôn ngữ xúc phạm: Khảo sát quá trình phát triển từ các mô hình học máy truyền thống (SVM, Random Forest), mô hình học sâu (Text-CNN, LSTM, Bi-LSTM, GRU), đến các mô hình ngôn ngữ lớn tiền huấn luyện đa ngữ (BERT, RoBERTa, XLM-R) và đơn ngữ tiếng Việt (PhoBERT). Đồng thời, chương 2 tổng thuật các kiến trúc lai như BERT-CNN, RoBERTa-CNN, XLMR-CNN trong phân loại văn bản ngắn.
  • Phát triển ứng dụng: Khảo sát các giải pháp phân luồng dữ liệu thời gian thực như Spark Streaming, hệ thống của Burnap và cộng sự (2015), ứng dụng báo cáo vi phạm YouTube của Anagnostou và cộng sự (2018).

Chương 3. Phương pháp đề xuất

Chương 3 trình bày chi tiết toàn bộ giải pháp kỹ thuật do nhóm tác giả xây dựng:

  • Quy trình tiền xử lý hai giai đoạn: Giai đoạn 1 gồm 6 bước xử lý cấp câu (viết thường, khoảng trắng, link URL, chuẩn hóa UTF-8, ký tự thừa, chuẩn hóa dấu thanh); Giai đoạn 2 gồm 3 bước xử lý cấp từ (tách từ bằng VnCoreNLP, De-teencode, xóa stopword tiếng Việt).
  • Kỹ thuật tăng cường dữ liệu EDA: Áp dụng 4 kỹ thuật hoán đổi, chèn, xóa và thay thế từ đồng nghĩa với tỷ lệ $\alpha = 0,15$ trên các nhãn HATE và OFFENSIVE để cân bằng phân phối dữ liệu.
  • Kiến trúc mạng kết hợp PhoBERT-CNN: Thiết lập PhoBERT làm tầng biểu diễn ngữ cảnh, truyền dữ liệu qua 4 tầng Conv1D của Text-CNN với các bộ lọc khác nhau, Max Pooling 1D, kết hợp ma trận qua torch.cat(), Dropout, và phân lớp qua lớp Fully-Connected bằng hàm tối ưu Adam và hàm lỗi Cross-Entropy.

Chương 4. Cài đặt, thử nghiệm và đánh giá

Chương 4 trình bày chi tiết quy trình thử nghiệm thực nghiệm và đánh giá định lượng:

  • Thiết lập thử nghiệm với 4 nhóm mô hình cơ sở: Machine Learning (Multinomial NB, Logistic Regression, SVM, Random Forest), Deep Learning (RNN, LSTM, Bi-LSTM, Text-CNN), Transfer Learning (BERT, RoBERTa, XLM-R, PhoBERT), và Combined Learning (BERT-CNN, RoBERTa-CNN, XLMR-CNN).
  • Đánh giá hiệu suất: Phân tích ma trận nhầm lẫn (Confusion Matrix) của mô hình PhoBERT-CNN; thực hiện phân tích lỗi phân loại trên các mẫu thực tế; kiểm tra hiệu quả của kỹ thuật tăng cường dữ liệu EDA; so sánh đối sánh kết quả với các công bố khoa học trước đó trên bộ dữ liệu ViHSD và HSD-VLSP.
  • Phân tích cắt bỏ (Ablation Analysis): Đánh giá định lượng vai trò đóng góp độc lập của từng module kỹ thuật: tiền xử lý đề xuất (OP), tăng cường dữ liệu (DA), PhoBERT (PB) và Text-CNN (TC).

Chương 5. Xây dựng ứng dụng hỗ trợ phát hiện bình luận xúc phạm tiếng Việt

Chương này mô tả chi tiết quá trình hiện thực hóa mô hình thành hệ thống phần mềm ứng dụng:

  • Xây dựng tầng dịch vụ REST API bằng FastAPI/Flask để tiếp nhận dữ liệu đầu vào và trả về nhãn phân loại tự động.
  • Triển khai ứng dụng Streaming HSD Dashboard kết nối nguồn dữ liệu bình luận từ YouTube để phân tích sắc thái văn bản theo thời gian thực.
  • Thiết kế giao diện và luồng xử lý của ứng dụng giả lập trang báo điện tử "NEWSPAPER" đưa tin về dịch bệnh Covid-19, tích hợp tính năng kiểm duyệt tự động và cơ chế "Ẩn/Hiện" bình luận vi phạm dành cho quản trị viên.

Chương 6. Kết luận và hướng phát triển

Chương cuối tóm tắt toàn bộ các kết quả đạt được về mặt phương pháp luận, hiệu suất thực nghiệm và sản phẩm ứng dụng. Đồng thời, chương 6 chỉ ra các định hướng hoàn thiện trong tương lai nhằm nâng cao độ chính xác và khả năng mở rộng của hệ thống.

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả thực nghiệm định lượng rõ ràng, chứng minh hiệu quả của mô hình kết hợp và quy trình tiền xử lý dữ liệu:

  • Mô hình đề xuất PhoBERT-CNN đạt độ chính xác F1-score là 67,46% và Accuracy là 87,76% trên tập dữ liệu kiểm thử.
  • Kết quả phân loại vượt trội hơn hẳn các mô hình cơ sở đơn lẻ cũng như các mô hình kết hợp đa ngôn ngữ như BERT-CNN, RoBERTa-CNN và XLMR-CNN.
  • Quy trình tiền xử lý hai giai đoạn kết hợp công cụ De-teencode và tách từ VnCoreNLP giúp làm sạch hiệu quả dữ liệu mạng xã hội, giải quyết hiện tượng đa dạng ký tự và viết tắt của người dùng.
  • Kỹ thuật tăng cường dữ liệu EDA cải thiện đáng kể độ phủ từ vựng và số lượng mẫu cho hai lớp thiểu số (HATE và OFFENSIVE), hỗ trợ mô hình giảm thiểu sai số dự đoán.

Bảng tổng hợp các nhóm mô hình và thành phần kỹ thuật được khảo sát trong nghiên cứu:

Nhóm phương pháp Mô hình / Kỹ thuật khảo sát Vai trò / Đặc điểm trong nghiên cứu
Học máy truyền thống (Machine Learning) Multinomial Naive Bayes, Logistic Regression, SVM, Random Forest Làm mô hình cơ sở (Baseline); tốc độ huấn luyện nhanh nhưng hạn chế trong việc hiểu ngữ cảnh phức tạp.
Học sâu (Deep Learning) RNN, LSTM, Bi-LSTM, Text-CNN Bắt trích các đặc trưng tuần tự và n-gram cục bộ; Text-CNN cho hiệu quả phân loại văn bản ngắn vượt trội hơn RNN/LSTM.
Học chuyển tiếp (Transfer Learning) mBERT, RoBERTa, XLM-R, PhoBERT Mô hình ngôn ngữ tiền huấn luyện; PhoBERT thể hiện sự vượt trội rõ rệt trên ngữ liệu tiếng Việt so với các mô hình đa ngữ.
Mô hình kết hợp (Combined Learning) BERT-CNN, RoBERTa-CNN, XLMR-CNN, PhoBERT-CNN Kết hợp tầng trích xuất ngữ cảnh Transformer và tầng trích xuất đặc trưng cụm từ Text-CNN; PhoBERT-CNN đạt kết quả cao nhất (F1: 67,46%, Acc: 87,76%).
Tiền xử lý & Cân bằng dữ liệu Regular Expression, VnCoreNLP, De-teencode, Stopwords removal, EDA ($\alpha=0,15$) Chuẩn hóa bảng mã UTF-8, cấu trúc câu, chuyển đổi teencode, và tái cân bằng phân phối nhãn dữ liệu ViHSD/HSD-VLSP.
Kiến trúc ứng dụng REST API (FastAPI/Flask), Streaming Dashboard, Web NEWSPAPER Đóng gói mô hình thành dịch vụ phân loại trực tuyến, hỗ trợ xử lý dữ liệu luồng YouTube và kiểm duyệt báo điện tử.

Về đóng góp học thuật và thực tiễn:

  • Đóng góp một quy trình tiền xử lý dữ liệu hai giai đoạn có tính hệ thống, giải quyết các thách thức đặc thù của tiếng Việt trên mạng xã hội (bảng mã không đồng nhất, teencode, tiếng lóng).
  • Đóng góp giải pháp kiến trúc kết hợp PhoBERT-CNN tối ưu hóa cho bài toán phân loại văn bản ngắn mang tính xúc phạm, thù địch bằng tiếng Việt.
  • Hiện thực hóa thành công mô hình học máy thành hệ sinh thái ứng dụng có khả năng tương tác trực tiếp với dữ liệu mạng xã hội và hệ thống quản lý nội dung web.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Ngôn ngữ mạng xã hội tại Việt Nam biến đổi liên tục với nhiều từ lóng, teencode mới phát sinh theo thời gian thực mà bộ từ điển De-teencode tĩnh chưa thể bao quát toàn bộ.
  • Mô hình vẫn gặp khó khăn trong việc phân biệt các câu bình luận mang tính mỉa mai, châm biếm sâu (sarcasm) hoặc các phát ngôn phụ thuộc chặt chẽ vào ngữ cảnh của hình ảnh, video đi kèm bài đăng.
  • Các ứng dụng thực tế (Streaming Dashboard và trang báo điện tử "NEWSPAPER") mới chỉ được triển khai và đánh giá ở quy mô thử nghiệm giả lập cục bộ, chưa đo lường hiệu năng chịu tải trên hạ tầng phân tán quy mô lớn.

Hướng nghiên cứu tiếp:

  • Tự động hóa và liên tục cập nhật kho từ vựng teencode, tiếng lóng tiếng Việt dựa trên cơ chế học chủ động (Active Learning).
  • Mở rộng bài toán phân loại chi tiết hơn theo các nhóm đối tượng bị tấn công cụ thể (giới tính, tôn giáo, vùng miền, sắc tộc).
  • Tối ưu hóa cấu trúc mô hình nhằm giảm độ trễ tính toán, tăng tốc độ xử lý khi phân luồng dữ liệu streaming quy mô hàng triệu bình luận.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho các đối tượng và định hướng nghiên cứu sau:

  • Sinh viên, học viên cao học và nghiên cứu viên thuộc các ngành Khoa học Dữ liệu, Công nghệ Thông tin, Trí tuệ Nhân tạo và Xử lý Ngôn ngữ Tự nhiên (NLP) đang tìm hiểu về bài toán phân loại văn bản tiếng Việt và phân tích cảm xúc mạng xã hội.
  • Kỹ sư phần mềm và chuyên viên phát triển hệ thống tại các cơ quan thông tin truyền thông, tòa soạn báo điện tử hoặc đơn vị quản trị diễn đàn mạng có nhu cầu tích hợp công cụ lọc bình luận tự động.
  • Phần giá trị nhất đáng tham khảo trong khóa luận gồm:
    • Bảng quy tắc tiền xử lý hai giai đoạn và phương pháp xử lý De-teencode bằng biểu thức chính quy.
    • Cách thức thiết kế tầng mạng lai giữa biểu diễn ngữ cảnh PhoBERT và trích xuất đặc trưng cục bộ Text-CNN trong môi trường PyTorch.
    • Quy trình phân tích cắt bỏ (Ablation Analysis) để đo lường định lượng vai trò của từng kỹ thuật can thiệp trên tập dữ liệu mất cân bằng.

Câu hỏi thường gặp

1. Ba nhãn dữ liệu CLEAN, OFFENSIVE và HATE trong khóa luận được định nghĩa và phân biệt như thế nào?

Nhãn CLEAN (0) là bình luận thông thường, trò chuyện thường nhật, không chứa nội dung độc hại. Nhãn OFFENSIVE (1) là bình luận có tính quấy rối, chứa ngôn từ tục tĩu nhưng không nhắm vào đối tượng cụ thể nào. Nhãn HATE (2) là bình luận mang tính quấy rối, lạm dụng, nhắm mục tiêu công kích trực tiếp vào cá nhân hoặc tổ chức dựa trên đặc tính như tôn giáo, quốc tịch, và thể hiện ý định kích động thù hận.

2. Quy trình tiền xử lý dữ liệu hai giai đoạn của khóa luận bao gồm các bước cụ thể nào?

Giai đoạn 1 thao tác trên toàn câu bằng Regular Expression gồm 6 bước: chuẩn hóa viết thường, xóa khoảng trắng thừa, xóa URLs, chuẩn hóa Unicode UTF-8, xóa ký tự lặp dư thừa, và chuẩn hóa dấu thanh tiếng Việt theo vị trí nguyên âm. Giai đoạn 2 thao tác ở cấp từ gồm 3 bước: tách từ tiếng Việt (sử dụng VnCoreNLP cho PhoBERT và NLTK cho mô hình baseline), chuẩn hóa ngôn ngữ mạng (De-teencode), và xóa từ dừng dựa trên từ điển stopword tiếng Việt.

3. Vì sao nhóm tác giả lại lựa chọn kết hợp PhoBERT với Text-CNN thay vì các kiến trúc tuần tự như LSTM hay GRU?

Text-CNN là kiến trúc rất hiệu quả trong việc trích xuất các từ khóa và đặc trưng n-gram cục bộ trong văn bản ngắn nhờ các phép tích chập và gộp cực đại, đồng thời có tốc độ huấn luyện nhanh hơn RNN/LSTM. Tuy nhiên, CNN hạn chế trong việc nắm bắt quan hệ ngữ cảnh cấp trình tự (sequence-level). Sự kết hợp với PhoBERT giải quyết triệt để điểm yếu này, vì PhoBERT đảm nhiệm vai trò biểu diễn ngữ cảnh toàn câu sâu sắc, làm đầu vào tối ưu cho Text-CNN phân loại.

4. Nhóm nghiên cứu đã xử lý tình trạng mất cân bằng dữ liệu giữa nhãn CLEAN và các nhãn tiêu cực bằng cách nào?

Do nhãn CLEAN chiếm số lượng áp đảo trong tập dữ liệu ViHSD (19.713 trên tổng số 33.345 bình luận), nhóm tác giả áp dụng kỹ thuật EDA (Easy Data Augmentation) gồm 4 phương thức: thay thế từ đồng nghĩa, chèn ngẫu nhiên, hoán đổi ngẫu nhiên và xóa ngẫu nhiên với tỷ lệ thay thế từ $\alpha = 0,15$. Kỹ thuật này chỉ áp dụng trên hai nhãn thiểu số là OFFENSIVE và HATE nhằm gia tăng kích thước từ vựng và cân bằng phân phối mẫu trước khi huấn luyện.

5. Hệ thống phần mềm thực tế được xây dựng để kiểm chứng mô hình gồm những thành phần nào?

Hệ thống gồm ba thành phần chính: tầng dịch vụ REST API xây dựng bằng FastAPI/Flask để tiếp nhận văn bản và trả về nhãn dự đoán; ứng dụng Streaming HSD Dashboard thu thập và xử lý liên tục luồng bình luận trực tiếp từ YouTube theo thời gian thực; và ứng dụng web giả lập trang báo điện tử "NEWSPAPER" đưa tin về Covid-19, cho phép độc giả bình luận và hỗ trợ quản trị viên cơ chế tự động cảnh báo, ẩn/hiện bình luận mang nội dung độc hại.

Kết luận

Khóa luận tốt nghiệp của tác giả Trần Quốc Khánh và Nguyễn Trọng Ân đã giải quyết bài toán nhận diện nội dung xúc phạm, phản cảm trên mạng xã hội tiếng Việt thông qua mô hình kết hợp PhoBERT-CNN, quy trình tiền xử lý hai giai đoạn và kỹ thuật tăng cường dữ liệu EDA. Nghiên cứu đạt kết quả thực nghiệm với F1-score 67,46% và Accuracy 87,76%, cải thiện hiệu suất phân loại so với các nghiên cứu tiền đề trên bộ dữ liệu chuẩn ViHSD và HSD-VLSP. Công trình không dừng lại ở nghiên cứu lý thuyết mà đã hoàn thiện việc đóng gói mô hình thành dịch vụ API kết nối với hệ thống xử lý dữ liệu luồng YouTube và ứng dụng báo điện tử demo, đóng góp tư liệu học thuật và giải pháp kỹ thuật hữu ích cho lĩnh vực xử lý ngôn ngữ tự nhiên tại Việt Nam.