## Tổng quan nghiên cứu

Theo thống kê năm 2019, hơn 90% người dùng tại Việt Nam sử dụng mạng xã hội Facebook và 89% sử dụng Youtube, với dự báo số lượng người dùng mạng xã hội sẽ đạt khoảng 52 triệu vào năm 2023. Người dùng Facebook trung bình dành khoảng 2.5 giờ mỗi ngày trên nền tảng này. Mặc dù mạng xã hội mang lại nhiều tiện ích trong kết nối và giao lưu, vấn đề bình luận xúc phạm trên các nền tảng này ngày càng trở nên nghiêm trọng. Bình luận xúc phạm là những lời lẽ công kích, gây rối, sử dụng ngôn từ thô tục nhằm vào cá nhân, tổ chức hoặc cộng đồng, gây tổn thương tâm lý, làm giảm uy tín và tạo ra sự thù địch xã hội. Với lượng bình luận khổng lồ, việc kiểm duyệt thủ công trở nên khó khăn, đòi hỏi phát triển công cụ tự động nhận diện bình luận xúc phạm. Mục tiêu nghiên cứu là xây dựng bộ dữ liệu bình luận xúc phạm tiếng Việt từ Facebook và Youtube, đồng thời thử nghiệm các mô hình máy học và học sâu để phát hiện tự động các bình luận này, góp phần làm sạch môi trường mạng xã hội.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

- **Định nghĩa bình luận xúc phạm**: Bình luận xúc phạm là lời lẽ có yếu tố công kích, hạ nhục, cổ xúy bạo lực hoặc thù ghét dựa trên đặc điểm cá nhân hoặc nhóm như ngoại hình, tôn giáo, giới tính. Bình luận có thể biểu hiện trực tiếp hoặc ẩn ý, thậm chí dưới dạng hài hước quá mức.
- **Quy trình xây dựng bộ dữ liệu MATTER cải tiến**: Bao gồm các bước mô tả bài toán, gán nhãn, huấn luyện mô hình, đánh giá và cải tiến. Quy trình này giúp đảm bảo chất lượng dữ liệu và độ đồng thuận giữa người gán nhãn.
- **Phân loại văn bản**: Bài toán phân loại văn bản được thực hiện dựa trên mô hình học máy có giám sát, sử dụng các vector biểu diễn từ (word embeddings) để mã hóa văn bản thành dạng số phục vụ huấn luyện mô hình.
- **Các mô hình máy học áp dụng**: Bao gồm mô hình học sâu như TextCNN, GRU và các mô hình học chuyển tiếp (transfer learning) như BERT, XLM-R, PhoBERT, DistilBERT. Các mô hình này được tinh chỉnh để phù hợp với bài toán nhận diện bình luận xúc phạm.
- **Độ đo đánh giá mô hình**: Sử dụng các chỉ số Precision, Recall, Accuracy và F1-score để đánh giá hiệu quả phân loại, đặc biệt chú trọng F1-score do dữ liệu mất cân bằng.

### Phương pháp nghiên cứu

- **Nguồn dữ liệu**: Thu thập 33,400 câu bình luận từ các fanpage Facebook và kênh Youtube có lượng tương tác lớn tại Việt Nam, loại bỏ thông tin cá nhân để bảo vệ quyền riêng tư.
- **Phương pháp gán nhãn**: Sử dụng Google Sheets làm công cụ gán nhãn, với 4 người gán nhãn độc lập. Áp dụng phương pháp major voting để xác định nhãn cuối cùng, đồng thời đánh giá độ đồng thuận bằng chỉ số Cohen’s Kappa, đạt mức vừa phải (~0.53).
- **Phân chia dữ liệu**: Bộ dữ liệu được chia thành tập huấn luyện (70%), tập phát triển (10%) và tập kiểm tra (20%) với phân bố nhãn đồng đều.
- **Phương pháp phân tích**: Áp dụng các mô hình học sâu và học chuyển tiếp, kết hợp kỹ thuật tăng cường dữ liệu EDA để khắc phục mất cân bằng dữ liệu, đồng thời thử nghiệm mô hình kết hợp (ensemble) để nâng cao hiệu quả.
- **Timeline nghiên cứu**: Quá trình thu thập, gán nhãn và xây dựng bộ dữ liệu diễn ra trong khoảng thời gian nhất định, tiếp theo là giai đoạn huấn luyện và đánh giá mô hình, cuối cùng là phát triển ứng dụng minh họa.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- Bộ dữ liệu gồm 33,400 câu bình luận, trong đó nhãn bình thường (clean) chiếm 27,624 câu (82.7%), nhãn tiêu cực (offensive) 2,262 câu (6.8%), và nhãn xúc phạm (hate) 3,514 câu (10.5%). Độ dài trung bình câu bình luận xúc phạm dài hơn (khoảng 44.91 từ) so với các nhãn khác.
- Độ đồng thuận giữa các người gán nhãn đạt mức vừa phải với chỉ số Cohen’s Kappa trung bình khoảng 0.53, cải thiện khi có ngữ cảnh bài viết đi kèm.
- Các mô hình học sâu như TextCNN và GRU đạt hiệu quả tốt hơn các mô hình truyền thống. Mô hình học chuyển tiếp đơn ngôn ngữ PhoBERT và BERT4news cho kết quả vượt trội so với mô hình đa ngôn ngữ m-BERT.
- Phương pháp tăng cường dữ liệu EDA giúp cân bằng số lượng dữ liệu giữa các nhãn, tăng số lượng câu nhãn tiêu cực và xúc phạm lên đáng kể, từ đó cải thiện hiệu năng mô hình.
- Mô hình kết hợp (ensemble) sử dụng kỹ thuật hard voting nâng cao độ chính xác và F1-score so với các mô hình đơn lẻ.

### Thảo luận kết quả

Nguyên nhân hiệu quả của mô hình học chuyển tiếp là do khả năng nắm bắt ngữ cảnh sâu sắc và biểu diễn ngôn ngữ tự nhiên tốt hơn. Việc tăng cường dữ liệu giúp giảm thiểu ảnh hưởng của mất cân bằng dữ liệu, vốn là thách thức lớn trong bài toán nhận diện bình luận xúc phạm. Độ đồng thuận vừa phải của người gán nhãn phản ánh tính phức tạp và đa dạng của ngôn ngữ mạng xã hội, đặc biệt với các bình luận ẩn ý hoặc sử dụng từ ngữ lóng, viết tắt. Kết quả này phù hợp với các nghiên cứu trước đó về nhận diện ngôn ngữ xúc phạm trên mạng xã hội. Dữ liệu có thể được trình bày qua biểu đồ phân bố nhãn, bảng ma trận nhầm lẫn và biểu đồ so sánh hiệu năng các mô hình trước và sau khi tăng cường dữ liệu.

## Đề xuất và khuyến nghị

- **Phát triển công cụ tự động**: Xây dựng hệ thống nhận diện bình luận xúc phạm tích hợp các mô hình học chuyển tiếp và kỹ thuật tăng cường dữ liệu, nhằm hỗ trợ quản trị viên fanpage lọc bình luận hiệu quả, giảm thiểu tác động tiêu cực trên mạng xã hội.
- **Đào tạo và cập nhật hướng dẫn gán nhãn**: Tăng cường huấn luyện người gán nhãn, cập nhật hướng dẫn gán nhãn để xử lý các trường hợp khó, đặc biệt là bình luận ẩn ý và sử dụng ngôn ngữ mạng xã hội đặc thù, nhằm nâng cao độ đồng thuận và chất lượng dữ liệu.
- **Mở rộng bộ dữ liệu**: Thu thập thêm dữ liệu từ các nền tảng mạng xã hội khác và các lĩnh vực khác nhau để tăng tính đa dạng và khả năng tổng quát của mô hình, dự kiến trong vòng 1-2 năm tới.
- **Nghiên cứu sâu về ngữ cảnh**: Tích hợp thông tin ngữ cảnh bài viết và lịch sử bình luận để cải thiện khả năng nhận diện bình luận xúc phạm ẩn ý, nâng cao độ chính xác của mô hình.
- **Khuyến khích hợp tác liên ngành**: Kết hợp chuyên gia ngôn ngữ, xã hội học và công nghệ thông tin để phát triển các giải pháp toàn diện, đảm bảo tính hiệu quả và phù hợp văn hóa trong nhận diện bình luận xúc phạm.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Xử lý Ngôn ngữ Tự nhiên**: Nắm bắt quy trình xây dựng bộ dữ liệu và ứng dụng các mô hình học sâu, học chuyển tiếp trong bài toán phân loại văn bản.
- **Quản trị viên mạng xã hội và các nền tảng trực tuyến**: Áp dụng công cụ tự động phát hiện bình luận xúc phạm để quản lý nội dung, bảo vệ môi trường mạng lành mạnh.
- **Chuyên gia pháp lý và chính sách công**: Hiểu rõ các đặc điểm và thách thức trong nhận diện ngôn ngữ xúc phạm trên mạng xã hội, hỗ trợ xây dựng chính sách kiểm duyệt phù hợp.
- **Doanh nghiệp phát triển phần mềm và AI**: Tham khảo mô hình và phương pháp để phát triển các sản phẩm công nghệ hỗ trợ kiểm duyệt nội dung trực tuyến, nâng cao trải nghiệm người dùng.

## Câu hỏi thường gặp

1. **Bình luận xúc phạm được định nghĩa như thế nào?**  
Bình luận xúc phạm là lời lẽ có yếu tố công kích, hạ nhục hoặc cổ xúy bạo lực dựa trên đặc điểm cá nhân hoặc nhóm, có thể biểu hiện trực tiếp hoặc ẩn ý.

2. **Bộ dữ liệu được xây dựng như thế nào?**  
Bộ dữ liệu gồm 33,400 câu bình luận thu thập từ Facebook và Youtube, được gán nhãn bởi nhóm người gán nhãn độc lập theo quy trình chuẩn, đảm bảo độ đồng thuận vừa phải.

3. **Các mô hình máy học nào được sử dụng?**  
Nghiên cứu sử dụng mô hình học sâu TextCNN, GRU và các mô hình học chuyển tiếp như BERT, PhoBERT, XLM-R, kết hợp kỹ thuật tăng cường dữ liệu và mô hình kết hợp để nâng cao hiệu quả.

4. **Làm thế nào để khắc phục mất cân bằng dữ liệu?**  
Sử dụng phương pháp tăng cường dữ liệu EDA để tạo thêm dữ liệu cho các nhãn ít, kết hợp mô hình ensemble để cải thiện khả năng phân loại.

5. **Ứng dụng thực tiễn của nghiên cứu này là gì?**  
Phát triển công cụ tự động nhận diện bình luận xúc phạm giúp quản trị viên mạng xã hội kiểm duyệt nội dung nhanh chóng, giữ môi trường mạng trong sạch và thân thiện.

## Kết luận

- Xây dựng thành công bộ dữ liệu lớn gồm 33,400 câu bình luận tiếng Việt với 3 nhãn phân loại rõ ràng: clean, offensive, hate.  
- Áp dụng hiệu quả các mô hình học sâu và học chuyển tiếp, trong đó PhoBERT và mô hình kết hợp cho kết quả tốt nhất.  
- Phương pháp tăng cường dữ liệu EDA giúp cân bằng dữ liệu, cải thiện đáng kể hiệu năng mô hình.  
- Độ đồng thuận gán nhãn đạt mức vừa phải, có cải thiện khi bổ sung ngữ cảnh bài viết.  
- Đề xuất phát triển công cụ tự động, mở rộng bộ dữ liệu và nghiên cứu sâu về ngữ cảnh để nâng cao chất lượng nhận diện bình luận xúc phạm.  

Tiếp theo, cần triển khai ứng dụng thực tế và tiếp tục nghiên cứu mở rộng để đáp ứng nhu cầu quản lý nội dung mạng xã hội ngày càng tăng. Mời các nhà nghiên cứu và doanh nghiệp quan tâm hợp tác phát triển giải pháp này.