chương 1 chúng tôi sẽ trình bay các công trình và nỗ lực trước đây về van dé phát hiện lời lẽ kích động, căm thù trong Tiếng Việt và các ngôn ngữ có tài nguyên thấp khác. Ở chương 2, chúng tôi sẽ giới thiệu tập dữ liệu mà chúng tôi xây dựng, bao gồm quá trình tạo dif liệu, hướng dẫn đánh giá dữ liệu và thông tin thống kê dữ liệu. Tiếp theo, chương 3 chúng tôi sẽ trình bày những phương pháp mà chúng tôi nghiên cứu được và đề xuất để xây dựng mô hình phân loại cho nhiệm vụ phát hiện ngôn ngữ kích động thù địch trên ngôn ngữ Tiếng Việt và các kỹ thuật xử lý bình luận thời gian thực. Sau đó, ở mục 4, chúng tôi sẽ trình bày kết quả thực nghiệm và phân tích lỗi để tìm ra ưu điểm và nhược điểm của mô hình hiện tại.
Cuối cùng, ở chương 5 chúng tôi sẽ nêu ra kết luận về công trình và dé xuất nghiên cứu tiếp theo. 11 Giới thiệu Nội dung độc hại hay các bình luận có nội dung căm thù, xúc phạm hiện nay rất phổ biến trên mạng xã hội. Theo thống kê từ nền tang datareportal ,vào tháng 1 năm 2023, Việt Nam có 70,00 triệu người dùng mạng xã hội, tương đương với 71,0% tổng dân số. Vào đầu năm 2023, các nền tảng lớn như là Facebook có 66,20 triệu người dùng, YouTube có 63,00 triệu người dùng và TikTok có 49,86 triệu người dùng từ 18 tuổi trở lên.
Qua đó, chúng ta có thể thấy số lượng người dùng các nền tảng mạng xã hội này ở Việt Nam là rất lớn. Vì vậy, việc các nội dung độc hại, mang tính xúc phạm, thù địch xuất hiện ngày càng nhiều và có xu hướng lan truyền rất nhanh nếu như không có các biện pháp phòng ngừa, ngăn chặn hiệu qua. Để giảm số lượng bình luận độc hại này lại, cần thiết có các hệ thống có khả năng giám sát và ngăn chặn trước khi các nội dung độc hại này xuất hiện. Theo [1], nhiệm vụ này có thể được gọi bằng nhiều thuật ngữ khác nhau, bao gồm hate speech, cyberbullying, toxic hay abusive language.
Trong bài nghiên cứu này, chúng tôi sử dụng thuật ngữ "hate speech detection" vì nhận thấy tâm lý căm ghét của một số cá nhân dành cho người khác trong các bình luận được nghiên cứu 1. GIGI THIỆU của chúng tôi. Hiện đã có nhiều nỗ lực để giải quyết bài toán hate speech detection trên các nền tảng mạng xã hội Việt Nam. Có thể kể đến cuộc thi VLSP-HSD Shared Task 2019 [2], hay các bộ dữ liệu gán nhãn như ViHSD [3] và VICTSD [4].
Những công trình này đã có đóng góp đáng kể bằng việc xây dựng và đánh giá các mô hình học máy để tự động nhận dạng các bình luận độc hại từ các nền tảng mạng xã hội. Ngoài ra, trong tài liệu [5] tác giả đã giới thiệu một giải pháp cho việc phát hiện nội dung độc hại và mang tính xúc phạm trên mạng xã hội thông qua phương pháp streaming, giúp hệ thống có thể xử lý các bình luận trong thời gian thực. Tuy nhiên, các nghiên cứu được thực hiện ở thời gian trước chỉ thường tập trung vào tác vụ phân loại, tức là xác định xem một bình luận có chứa lời nói căm thù hay không. Chúng thường không cung cấp thông tin rõ ràng về các đối tượng mà lời nói căm thù đang nhắm đến.
Trong thực tế, để xây dựng một hệ thống phân loại có tỉ lệ chính xác cao, chúng ta cần tìm hiểu cụ thể các mục tiêu mà các lời nói căm thù, xúc phạm hướng đến và mức độ dé cập của chúng trong nội dung. Vi vậy, trong nghiên cứu này, chúng tôi cung cấp tập dif liệu mới có tên VĩTHSD giúp xác định các đối tượng mà lời nói căm thù, xúc phạm hướng đến cũng như đánh giá mức độ dé cập của chúng. Kế thừa định nghĩa ngôn từ kích động thù địch từ [2], bao gồm hai thành phần chính: mục tiêu và nội dung kích động thù địch nhắm vào mục tiêu. Bộ dữ liệu mới của chúng tôi thay vì chỉ phân loại bình luận xúc phạm thì sẽ tập trung vào các mục tiêu trong mỗi bình luận và mỗi mục tiêu sẽ có một cấp độ để đo lường ý nghĩa thù địch.
Do đó, nhiệm vụ xác định mục tiêu trong văn bản có chứa ngôn từ kích động thù địch được ký hiệu như sau: ¢ Input: Một bình luận từ mang xã hội. * Output: Một danh sách chứa các cụm từ target#priority, trong đó target biểu thị mục tiêu được dé cập trong nhận xét và priority xác định mức độ thù địch. Từ định nghĩa trên, các mục tiêu được sử dụng trong bộ dữ liệu mới này sẽ bao 1. GIGI THIỆU gồm: cá nhân ( individuals), nhóm (groups), tôn giáo (religions) và chính trị (poli- tics).
Có ba cấp độ: sạch sẽ (clean) , xúc phạm (offensive) và ghét (hate). Y nghia và giải thích của các mục tiêu và cấp độ đó được hiển thi trong Phan 2. Chúng tôi gọi nhiệm vụ này là nhiệm vụ phát hiện lời nói căm thù được nhắm mục tiêu, tương tự như nhiệm vụ phân tích tình cảm dựa trên khía cạnh (ABSA). Để giải quyết nhiệm vụ này, trước tiên chúng tôi xây dựng một bộ dữ liệu mới để phát hiện ngôn từ kích động thù địch có chủ đích trên các văn bản tiếng Việt.
Dữ liệu mà chúng tôi sử dụng là các nhận xét, văn bản có sẵn từ bộ dữ liệu ViHSD [3], chúng tôi tiến hành chú thích các nhãn mới một cách thủ công với hướng dẫn chú thích chi tiết và quy trình chú thích nghiêm ngặt. Sau quá trình tao dif liệu, chúng tôi có một bộ dif liệu gồm 10K bình luận và 5 mục tiêu khác nhau với 3 cấp độ lời nói thù địch. Sau đó, chúng tôi đã sử dụng phương pháp phân loại văn bản đa nhãn để giải quyết nhiệm vụ. Để xây dựng mô hình nhằm nhận dạng mục tiêu và cấp độ lời nói căm thù, chúng tôi sử dụng mô hình Bi-GRU-LSTM-CNN [6], đã đạt kết quả cao nhất trước khi kết hợp với kiến trúc BERTology với 4 lớp được tiền huấn luyện cho nhiệm vụ ABSA [7].
Chúng tôi phân chia nhiệm vụ chính thành hai nhiệm vụ nhỏ để đánh giá hiệu suất mô hình đó là: chỉ phát hiện mục tiêu và phát hiện và đánh giá cấp độ mục tiêu với Precision, Recall và Fl-score [8]. Chúng tôi sử dụng mô hình XLM-R kết hợp với Bi-GRU-LSTM-CNN vì mô hình này cho ra kết quả cao nhất trên hai nhiệm vụ là nhiệm vụ phát hiện mục tiêu với F1-score là 72.01% và nhiệm vụ xác định mức độ cho lời nói thù địch với F1-score là 51. Bên cạnh đó, chúng tôi cũng đề xuất một hệ thống có khả năng phát hiện lời nói thù địch và xử lý các bình luận từ video trực tiếp trên các nền tang Youtube, Facebook va TikTok trong thời gian thực Tổng thể, đóng góp chính của chúng tôi trong nghiên cứu này là: « Đầu tiên, chúng tôi giới thiệu một bộ dữ liệu mới, được tạo ra để phát hiện ngôn từ kích động thù địch có chủ đích trên các văn bản mạng xã hội của Việt Nam. Bộ dữ liệu này bao gồm 10 nghìn nhận xét được con người chú thích để huấn luyện và đánh giá mô hình.
Quá trình chú thích được thực hiện thủ công với các nguyên tắc nghiêm ngặt và quy trình rõ ràng nhằm đảm bảo tính khách 3 1. CÁC CÔNG TRÌNH CÓ CÙNG CHỦ DE quan trong việc gán nhãn cho dữ liệu. » Thứ hai, chúng tôi đề xuất một mô hình cơ sở để phát hiện ngôn từ kích động thù địch có mục tiêu trên các văn bản truyền thông xã hội dựa trên nhiệm vụ phân loại văn bản có nhiều nhãn. Chúng tôi chọn phương pháp BERTology [9] vì chúng hoạt động tốt trên văn bản xã hội theo điểm chuẩn từ [10].
» Thứ ba, chúng tôi dé xuất giải pháp xử lý nhận xét theo thời gian thực từ các nền tang mạng xã hội. Chúng tôi cũng thử nghiệm hệ thống được dé xuất của mình trên các video phát trực tuyến theo thời gian thực để đánh giá hiệu quả của nó và hiển thị các ứng dụng tiềm năng để sử dụng trong tương lai.2 Các công trình có cùng chủ đề Các công trình nghiên cứu trên bộ dữ liệu tiếng Việt, có thể kể đến như: VLSP-HSD xuất phát từ VLSP2019 Shared Task là công việc sớm nhất cho Phát hiện ngôn từ kích động thù địch của người Việt. Mỗi nhận xét trong VLSP-HSD có một trong ba nhãn: CLEAN, OFEENSIVE, and HATE. Sau công trình này, Luu et al.
[3] tăng số lượng nhận xét để xây dựng tập dữ liệu quy mô lớn với 33.400 nhận xét, đồng thời cung cấp một sơ đồ chú thích nghiêm ngặt để đảm bảo chất lượng của dữ liệu được gan nhãn. Ngoài ra, ViHOS là một bộ dữ liệu mới có thể xác định vi trí của ngôn từ kích động thù địch trong nhận xét theo ký tự. Bộ dữ liệu này mở ra một nhiệm vụ mới là trích xuất các thuật ngữ thù địch từ nhận xét của người dùng thay vì chỉ phân loại chúng là ghét hay không. Nhìn chung, các bộ dữ liệu này chưa tập trung vào các mục tiêu mà các nội dung này nhắm đến.
Do đó, bộ dữ liệu mới của chúng tôi - VITHSD quan tâm đến những đối tượng nào được dé cập trong các bình luận và mức độ thù hận nhắm đến các đối tượng đó. So sánh các bộ dữ liệu cho nhiệm vụ Phát hiện nội dung căm thù, xúc phạm trên ngôn ngữ Tiếng Việt. Dataset Labels Total Size Target Labels? Rationales? VLSP-HSD (2019) Hate Speech, Offensive, Normal 20,345 No No ViHSD (2021) Hate Speech, Offensive, Normal 33,400 No No ViHOS (2023) Hate Speech, Offensive, Normal 11,065 No Yes ViTHSD (Ours) Labels for five different aspects 10,000 Yes No 1. CÁC CONG TRÌNH CÓ CÙNG CHỦ DE Bên cạnh các bộ dữ liệu được dé cập trong Bảng 1.1 thể hiện sự so sánh giữa các bộ dữ liệu cho nhiệm vụ Phát hiện nội dung căm thù, xúc phạm trên ngôn ngữ Tiếng Việt thì chúng tôi muốn giới thiệu các bộ dữ liệu có sẵn khác để phát hiện hành vi đe dọa trực tuyến và độc hại của lấy từ các nền tảng mạng xã hội bằng tiếng Việt.
Ví du: UIT-ViCTSD [4] là bộ dữ liệu quy mô lớn được sử dụng dé phát hiện lời nói mang tính độc hại trên các văn bản Tin tức tiếng Việt và UIT-ViOCD [11] bộ dữ liệu được sử dụng để phát hiện khiếu nại trên các trang web thương mại điện tử.