Đặt vấn đề Trong bối cảnh nội dung số phát triển như hiện nay, một trong những nhiệm vụ chính đó là việc nâng cao chất lượng của các cuộc hội thoại, thảo luận trực tuyến. Người dùng ngày càng dễ dàng hơn trong việc bày tỏ cảm xúc, suy nghĩ cũng như là ý kiến của mình đối với các nội dung, chủ đề mà họ quan tâm. Nhưng cũng chính vì lẽ đó, một số lượng lớn những bình luận xuất hiện hiện nay tràn lan và không được kiểm soát. Những bình luận chứa nội dung không liên quan, không hữu ích cho người đọc xuất hiện ở khắp mọi nơi trên các diễn đàn, hội nhóm.
Đặc biệt hơn, đôi lúc những bình luận này còn mang tính chất độc hai, thù han làm ảnh hưởng rat lớn đến tâm lý của người đọc cũng như những cá nhân hay tập thể mà nó hướng đến. Chính vì thế, việc chú trọng vào những bình luận của người dùng và tiến hành xử lý những bình luận có tính độc hại song song với việc quan tâm và thúc đây các bình luận có tính xây dựng trong các chủ đề sẽ góp phần nâng cao chất lượng các cuộc thảo luận trên không gian mạng, đem lại nhiều kiến thức và kinh nghiệm cho độc giả. Bài toán phân loại văn bản (text classification) là bài toán phổ biến trong lĩnh vực xử lý ngôn ngữ tự nhiên. Đây là một bài toán thuộc nhóm học có giám sắt trong học máy.
Đầu vảo của bài toán yêu cầu dữ liệu là dữ liệu có nhãn, từ đó mô hình sẽ tiến hành quá trình học từ các dữ liệu có nhãn đó. Mô hình sau khi được huấn luyện sẽ được dùng dé dự đoán các nhãn cho các dữ liệu mới mà mô hình chưa được học qua. Có nhiều dạng bài toán trong phân loại văn bản, chang hạn như bai toán phân loại cảm xúc, bài toán phân loại tích cực tiêu cực, bai toán phân loại thư điện tử,. Một trong những tính chất của bình luận đó tính là tính xây dựng hiện tại vẫn chưa có một bộ dữ liệu nào sẵn có cho tiếng Việt.
Chính vì thế chúng tôi quyết định thực hiện đề tài này để có những nghiên cứu sâu hơn về tính chất này, song song với đó cũng nghiên cứu về tính độc hại của bình luận. Bài toán nhận diện nhận diện tính xây dựng và tính độc hại của bình luận tổng quát như sau: e Đầu vào: Một văn ban được trích xuất từ bình luận của người dùng trên website VnExpress. e Đầu ra: Nhãn dự đoán bởi mô hình, tương ứng với hai nhiệm vụ là Có tính xây dựng - Không có tính xây dựng; Độc hại - Không độc hại. Bên dưới đây là các mẫu dữ liệu được trích từ bộ dit liệu mà chúng tôi xây dựng: *Một số trường hợp về các mẫu đữ liệu trong bộ dữ liệu được xây dựng Có tính xây dựng - Độc hại Tôi thấy có nhiều cha mẹ coi con như cục vàng nuông chiều quá nên dẫn tới sẵn sàng ăn hiếp bạn khác.
Nhưng Bình luận: khi động đến con họ thì họ sẽ làm 4m ï lên. Loại người như vậy sau này cũng chả làm được gì cho xã hội, có khi lớn lên lại thành dòng dõi đầu đường xó chợ. Tính xây dựng: | Có Tính độc hại: Có Có tính xây dựng - Không Độc hại Ca voi xanh (còn gọi là cá ông) được mệnh danh là những ca sĩ lang du khắp các đại dương. Vì cá voi xanh có thé phát ra âm thanh siêu trầm ở tần số 14 Hz.
Và đó cũng là Bình luận: thứ âm thanh lớn nhất trên thế giới, lớn hơn cả tiếng rít của máy bay phản lực, với cường độ 200 decibel. Nếu so sánh với tiếng hét của loài người ở 70 decibel, âm thanh cao hơn 120 decibel gây nguy hiểm cho tai người. Tính xây dụng: | Có Tính độc hại: Không Không có tính xây dựng - Độc hại Không biết làm sao như thế nào mà hệ thống thoát nước Bình luận: của bệnh viện lại tệ hại như thế này? Chắc là lại có thằng ngu nao vứt rác xuống chứ gì. Tính xây dựng: | Không Tính độc hại: Có Không có tính xây dựng - Không độc hại Bình luận: Cảm ơn các anh đã vì cuộc sống bình yên của nhân dân.
Tính xây dựng: | Không Tính độc hại: Không Mục tiêu khóa luận tốt nghiệp Mục tiêu của khóa luận tốt nghiệp là nghiên cứu về bài toán phân loại văn bản với các tính chất như là tính xây dựng và tính độc hại của bình luận người dùng. Tổng quan gôm bôn mục tiêu chính: e Dau tiên, chúng tôi xây dựng một bộ dữ liệu chat lượng, đủ lớn và bao quát trên nhiêu miên dữ liệu đê phục vụ cho các nghiên cứu về bai toán nhận diện tính xây dựng và tính độc hại của bình luận của người dùng trên các phương tiện truyền thông xã hội tiếng Việt. e Thứ hai, chúng tôi tiến hành các thử nghiệm ban đầu trên bộ dit liệu với các phương pháp trải dài từ truyền thống như máy học với Logistic Regression [2], SVM [3], Random Forest [4] cho đến các phương pháp hiện đại như học sâu bao gồm LSTM [5], Bi-GRU-LSTM-CNN [6] và học chuyển tiếp như PhoBERT [7] trên bộ đữ liệu được xây dựng. e Thứ ba, chúng tôi nghiên cứu thử nghiệm mo rộng với hàng loạt phương pháp học chuyền tiếp với các mô hình đơn ngôn ngữ và đa ngôn ngữ hỗ trợ tiếng Việt trên nhiệm vụ nhận diện tính xây dựng của bộ dữ liệu để đánh giá độ hiệu quả của các phương pháp này.
Ngoài ra, chúng tôi lựa chọn thêm những bộ dữ liệu khác có liên quan như UTT-VSMEC [13], UIT- ViHSD [14] và UIT-ViOCD [15] để thử nghiệm và đánh giá cùng các phương pháp này để xem các phương pháp này có thực sự hiệu quả trên những nhiệm vụ phân loại văn bản tiếng Việt nói chung hay không. e Cuối cùng, chúng tôi công bố dit liệu cho cộng đồng nghiên cứu trên nền tảng HuggingFace - nền tảng cộng đồng cung cấp dit liệu cũng như là các mô hình tiên tiến phổ biến của xử lý ngôn ngữ tự nhiên trên thế giới và GitHub’. Bên cạnh đó, chúng tôi có xây dựng một demo cho khóa luận tốt nghiệp này. Đối tượng và phạm vi nghiên cứu > Đối tượng: Bài toán nhận diện tính xây dựng và tính độc hại của bình luận tiếng Việt của người dùng trên các phương tiện truyền thông xã hội.
> Pham vi: Pham vi nghiên cứu của dé tài tap trung chủ yếu vào các bình luận của người dùng trên các phương tiện truyền thông xã hội và trải dài trên 10 miền dữ liệu khác nhau như là giải trí, giáo dục, khoa học, kinh doanh, ô tô - xe máy, pháp luật, sức khỏe, thế giới, thể thao và thời sự. Dé tai của chúng tôi chủ yêu tập trung vào các vân dé sau: > https://huggingface.co/datasets/tarudesu/UIT-ViCTSD * https://github.com/tarudesu/vietnamese-constructive-toxic-speech-detection-dataset/ - Xây dựng bộ dữ liệu đủ lớn và chất lượng phục vụ cho bài toán nhận diện tính xây dựng và tính độc hại của bình luận tiếng Việt. - Đánh giá hiệu suất của các phương pháp trải dài từ truyền thống cho đến hiện đại trên bộ đữ liệu được xây dựng. - Nghiên cứu thử nghiệm mở rộng với các phương pháp học chuyền tiếp bao gồm các mô hình đa và đơn ngôn ngữ trên nhiệm vụ nhận diện tính xây dựng dé đánh giá độ hiệu quả của các mô hình này.
Bên cạnh đó, chúng tôi đồng thời thử nghiệm các phương pháp này trên những bộ dữ liệu tiếng Việt khác có liên quan dé trả lời cho câu hỏi "Liệu rằng các phương pháp học chuyền tiếp có thực sự hiệu quả trên những bài toán phân loại văn bản tiếng Việt hay không?". Kết quả nghiên cứu Sau khi hoàn thành, nghiên cứu của chúng tôi đạt được những kết quả như sau: e Chúng tôi đóng góp một bộ dữ liệu chất lượng UIT-ViCTSD [1] cho công động với 10,000 bình luận trên 10 miền dit liệu. Bộ dit liệu được xây dựng với quy trình nghiêm ngặt và được gán nhãn thủ công băng đội ngũ những người gan nhãn được huấn luyện kỹ càng. Với bộ đữ liệu này, chúng tôi hy vọng sẽ phục vụ cho bài toán nhận diện tính xây dựng và tính độc hại của bình luận người dùng trên các phương tiện truyền thông xã hội tiếng Việt.
e Chúng tôi tiến hành những nghiên cứu thử nghiệm ban dau và đạt được kết quả cao nhất trên mô hình PhoBERT [7] với 78,59% và 59,40% lần lượt cho nhiệm vụ nhận diện tính xây dựng và tính độc hại của bình luận. Ngoài ra, chúng tôi cũng thử nghiệm với những phương pháp máy học như Logistic Regression [2], SVM [3], Random Forest [4] hay học sâu như LSTM [5], Bi- GRU-LSTM-CNN [6] dé có một cái nhìn khách quan về hiệu suất của các mô hình phân loại trên bộ đữ liệu được xây dựng. Những kết quả này cũng chính là tiền đề dé các nghiên cứu trong tương lai sử dụng dé so sánh hiệu suất của các mô hình trên các nhiệm vụ mà bộ dữ liệu hướng đên. e Chúng tôi thử nghiệm mở rộng trên nhiệm vụ nhận diện tính xây dựng bằng các phương pháp học chuyền giao hiện đại và đạt được các kết quả tương đối khả quan và cao nhất là mô hình viBERT4news [12] với 84,15% trên độ do F1.
Ngoài ra, chúng tôi đồng thời tiến hành các thử nghiệm với cùng các phương pháp này trên các bộ dữ liệu có liên quan và đạt kết quả lần lượt trên độ đo F1 với 65,44% cho nhiệm vu phân loại cảm xúc của bộ dữ liệu VSMEC [13] với mô hình PhoBERT [7]; 95,26% đối với nhiệm vụ phân loại bình luận phan nàn của ViOCD [15] bang sử dụng mô hình VELECTRA [11]; 66,43% cho tác vu phát hiện lời nói xúc phạm của bộ dữ liệu VIHSD [14] với mô hình viBERT4news [12]. e Xây dựng demo cho khóa luận tốt nghiệp này bang cách sử dụng các mô hình đạt hiệu suất tốt nhất trên từng nhiệm vụ của bộ dữ liệu để hỗ trợ cho việc trực quan hóa bài toán chúng tôi thực hiện. Demo được trình bay tại phần Phụ lục của báo cáo nảy. e Viết và gửi 02 bài báo khoa học đến các hội nghị uy tín trên thé giới.
Trong đó, một bài báo đã được chấp nhận và đăng tải tại proceedings [1] của hội nghị IEA/AIE 2021 (Rank B). Một bài báo còn lại đã được gửi đến hội nghị ICONIP 2021 (Rank B) va đang trong quá trình xét duyệt.