CHƯƠNG 1. TONG QUAN * ViSoBERT dat hiệu suất hàng đầu trên nhiều tác vu mang xã hội tiếng Việt, minh họa tính hiệu quả của mô hình ngôn ngữ của chúng tôi trên văn bản mạng xã hội tiếng Việt. « Để hiểu sâu hơn về mô hình ngôn ngữ của chúng tôi, chúng tôi phân tích kết quả thử nghiệm trên cách huấn luyện mô hình, xem xét các đặc điểm của mạng xã hội, bao gồm emoji, teenghiên cứuode và dấu câu, và triển khai trích xuất đặc trưng dựa trên tính năng cho các mô hình chuyên biệt theo tác vụ. * Chúng tôi đã giới thiệu mô hình ViSoGCN bang cách tích hợp mô hình ngôn ngữ ViSoBERT và mạng nơ-ron tích chập đồ thị GCN.
Mô hình ViSoGCN đạt kết quả tốt nhất trên nhiều tác vụ mạng xã hội Việt Nam. Các công trình nghiên cứu liên quan 2.1 Công trình nghiên cứu về các tác vụ xử lý dữ liệu truyền thông xã hội tiếng Việt Trong những năm gan đây, với sự phát triển mạnh mẽ của mang xã hội va các nền tang trực tuyến, nhu cau xử lý và phân tích dữ liệu ngôn ngữ tự nhiên trên các văn bản mạng xã hội tiếng Việt ngày càng trở nên quan trọng. Nhiều bộ dữ liệu đã được phát triển để hỗ trợ các nghiên cứu và ứng dụng trong lĩnh vực này. Dưới đây là một số bộ dữ liệu quan trọng và phổ biến: UIT-VSMEC: bộ dữ liệu này, được đề xuất bởi Ho và các cộng sự [17], là bộ dữ liệu đầu tiên dành cho việc nhận diện cảm xúc trên văn bản mạng xã hội tiếng Việt.927 câu được gán nhãn cảm xúc, bộ dữ liệu này cung cấp một cơ sở vững chắc cho các nghiên cứu về cảm xúc trong ngữ cảnh tiếng Việt.
Để đảm bảo tính nhất quán và chính xác cao, [17] đã xây dựng một hướng dẫn chú thích rất mạch lạc và kỹ lưỡng. Bộ dữ liệu này đã được công khai và sẵn có cho mục đích nghiên cứu. SA-VLSP2016: Phân tích cảm xúc là một nhiệm vụ trong xử lý ngôn ngữ tự nhiên (NLP) nhằm nhận diện hoặc trích xuất nội dung cảm xúc của một đơn vị văn bản. Nhiệm vụ nay đã trở thành một chủ dé nghiên cứu sôi động từ đầu những năm 2000.
Trong hai lần tổ chức gần đây của chuỗi hội thảo VLSP, nhiệm vụ chung về Phân tích Cảm xúc (SA) cho tiếng Việt đã được tổ chức nhằm cung cấp một thước đo đánh giá khách quan về hiệu suất của các công cụ phân tích cảm xúc, khuyến khích sự phát triển của các hệ thống phân tích cảm xúc tiếng Việt, cũng như cung cấp các bộ dif liệu chuẩn cho nhiệm vụ này [18]. UIT-HSD: Được phát triển để tự động phát hiện ngôn từ thù ghét trên mạng xã hội, bộ dữ liệu UIT-HSD [19] chứa hơn 30. Mỗi bình luận trong bộ dữ liệu có một trong ba nhãn: CLEAN, OFFENSIVE, hoặc HATE. Việc phân loại này giúp nhận diện và quản lý các ngôn từ tiêu cực trên các nền tang trực tuyến.
ViSpamReviews: Các bài đánh giá của khách hàng đóng một vai trò thiết yếu trong mua sắm trực tuyến. Dé đối phó với van đề đánh giá rác, Dinh và các cộng sự [20] đã đề xuất bộ dữ liệu ViSpamReviews. bộ dữ liệu này bao gồm hai tác vụ chính: phân loại nhị phân để phát hiện xem một đánh giá có phải là rác hay không 19 2. MÔ HÌNH NGON NGU CHO DU LIEU TIENG VIET va phân loại đa lớp để xác định loại đánh giá rác.
Việc này giúp ngăn chặn các đánh giá sai sự thật và bảo vệ người tiêu dùng trên các nền tảng thương mại điện tử. VIHOS: Sự gia tăng ngôn ngữ thù địch và xúc phạm trên mạng xã hội tạo ra nhiều thách thức cho các nhà quản lý và hệ thống phân loại tự động. Để giải quyết van dé này, Hoang và các cộng sự [21] đã trình bày bộ dif liệu ViHOS (Vietnamese Hate and Offensive Spans), kho ngữ liệu đầu tiên được gán nhãn bởi con người, chứa 26. bộ dữ liệu này hỗ trợ việc nghiên cứu và phát triển các hệ thống phát hiện và quản lý ngôn ngữ thù địch hiệu quả hơn.1 thống kế chi tiết theo từng bộ dữ liệu đã được giới thiệu ở trên.
Dataset Tran Dev Test Task Evaluation Metrics | Classes UIT-VSMEC 5,548 686 693 | Emotion Recognition (ER) 7 UIT-HSD 24,048 2,672 6,680 | Hate Speech Detection (HSD) 3 SA-VLSP2016 5,100 - 1,050 | Sentiment Analysis (SA) Acc, WF1, MFI (%) 3 ViSpamReviews | 14,306 1,590 3,974 | Spam Reviews Detection (SRD) 4 ViHOS 8,844 1,106 1,106 | Hate Speech Spans Detection (HSSD) 3 Bảng 2. Thống kê và mô tả các tác vụ xử ly dữ liệu mang xã hội tiếng Việt.2 Mô hình ngôn ngữ cho dữ liệu tiếng Việt Mô hình ngôn ngữ dựa trên kiến trúc transformers [1] đã trở thành một yếu tố quan trọng trong các tác vụ NLP tiên tiến, bao gồm phân loại văn bản và tạo ngôn ngữ tự nhiên. Kể từ đó, các mô hình ngôn ngữ dựa trên transformers liên quan đến nghiên cứu của chúng tôi đã được xem xét, bao gồm các mô hình ngôn ngữ cho văn bản mạng xã hội tiếng Việt. Một số mô hình ngôn ngữ đã được phát triển gần đây để xử lý văn bản tiếng Việt.
Các mô hình này có sự khác biệt về kiến trúc, dữ liệu huấn luyện và các độ đo đánh giá. PhoBERT, được phát triển bởi Nguyen và Tuan Nguyen [15], là mô hình ngôn ngữ được huấn luyện trên dif liệu văn bản đầu tiên dành cho tiếng Việt. Mô hình này sử dụng cùng kiến trúc tương tự với BERT [2] và cùng kỹ thuật huấn luyện của RoBERTa [3] để đảm bảo hiệu suất mạnh mẽ và đáng tin cậy. PhoBERT được huấn luyện trên bộ dữ liệu Wikipedia có dung lượng 20GB, mang lại hiệu suất hàng đầu trên một loạt các tác vụ như gán thẻ từ loại (POS tagging), phân tích phụ thuộc, nhận diện thực thể có tên (NER), và suy luận ngôn ngữ tự nhiên (NL]).
MHNN CHO DỮ LIỆU TRUYỀN THÔNG XÃ HỘI Tiếp nối thành công của PhoBERT, viBERT [14] và vELECTRA [14], cả hai đều là các mô hình ngôn ngữ được huấn luyện trước đơn ngữ dựa trên kiến trúc BERT và ELECTRA, đã được giới thiệu. Chúng được huấn luyện trên các bộ dif liệu lớn, với viBERT sử dụng bộ dữ liệu huấn luyện 10GB và vELECTRA sử dụng bộ dữ liệu lớn hơn với 60GB văn bản tiếng Việt. viBERT4news' được công bố bởi NIpHUST, một phiên bản tiếng Việt của BERT được huấn luyện trên hơn 20GB dữ liệu tin tức. Đối với tác vụ tóm tắt văn bản tiếng Việt, BARTpho [22] được giới thiệu như là mô hình seq2seq đơn ngữ quy mô lớn đầu tiên được huấn luyện cho tiếng Việt, dựa trên bộ mã tự động giảm nhiễu seq2seq BART.
Nhiều mô hình ngôn ngữ được thiết kế cho mục đích chung, trong khi sự sẵn có của các mô hình cơ sở mạnh cho các ứng dụng theo lĩnh vực cụ thể vẫn còn hạn chê. Để khắc phục hạn chế đó, Minh và các cộng sự [25] đã giới thiệu ViHealthBERT, mô hình ngôn ngữ theo lĩnh vực đầu tiên cho chăm sóc sức khỏe tiếng Việt. MHNN cho dữ liệu truyền thông xã hội Nhiều mô hình ngôn ngữ đã được giới thiệu cho mạng xã hội bao gồm cả đa ngôn ngữ và đơn ngữ. BERTweet [10] được trình bày là MHNN quy mô lớn đầu tiên công khai cho các tweet tiếng Anh.
BERTweet có cùng kiến trúc với BERT pase [2] và được huấn luyện sử dụng quy trình huấn luyện của RoBERTa [3]. Koto và các cộng sự [26] đã đề xuất IndoBERTweet, mô hình ngôn ngữ được huấn luyện với quy mô lớn đầu tiên cho mạng xã hội Twitter ngôn ngữ Indonesia. IndoBERTweet được huấn luyện bằng cách mở rộng BERT tiếng Indonesia được huấn luyện đơn ngữ với một từ vựng đặc thù theo lĩnh vực. ROBERTuito, được giới thiệu trong Pérez và các cộng sự [12], là một mô hình transformer mạnh mẽ được huấn luyện trên 500 triệu tweet tiếng Tây Ban Nha.
RoBERTuito xuất sắc trong nhiều ngữ cảnh ngôn ngữ khác nhau, bao gồm các tình huống đa ngôn ngữ và chuyển mã, như tiếng Tây Ban Nha và tiếng Anh. TWilBert [27] được dé xuất như là một mô hình chuyên biệt hóa của kiến trúc BERT cho cả ngôn ngữ tiếng Tây Ban Nha và lĩnh vực Twitter để giải ‘https: //github.com/bino282/bert4news 21 2. CÁC CÔNG TRÌNH NGHIÊN CỨU VỀ MẠNG NO-RON TÍCH CHAP DO THỊ quyết các tác vụ phân loại văn bản trên Twitter tiếng Tây Ban Nha. Bernice, được giới thiệu bởi DeLucia và các cộng sự [11], là bộ mã hóa được huấn luyện cho đa ngôn ngữ đầu tiên được thiết kế riêng cho dữ liệu Twitter.
Mô hình này sử dụng một bộ tokenizer tùy chỉnh được huấn luyện hoàn toàn trên dữ liệu Twitter và kết hợp một lượng dữ liệu Twitter lớn hơn (2.5 ty tweet) so với hầu hết các mô hình kiểu BERT. Zhang va các cộng sự [13] đã giới thiệu TvHIN-BERT, một mô hình đa ngôn ngữ được huấn luyện trên 7 tỷ tweet Twitter bằng hơn 100 ngôn ngữ khác nhau. Nó được thiết kế để xử lý hiệu quả văn bản ngắn, nhiễu, do người dùng tạo ra. Trước đó, Barbieri và các cộng sự [28] đã mở rộng việc huấn luyện của điểm kiểm tra XLM-R [4] sử dụng một bộ dữ liệu gồm 198 triệu tweet đa ngôn ngữ.
Kết quả là, XLM-T được điều chỉnh cho lĩnh vực Twitter nhưng không được huấn luyện độc quyền trên dữ liệu từ trong lĩnh vực đó.4 Các công trình nghiên cứu về Mạng Nơ-ron Tích chập Đồ thị Gần đây, sự quan tâm đến Mạng Nơ-ron Đồ thi (Graph Neural Networks - GNNs) đã tăng lên [29]. Các ví dụ tiêu biểu của GNNs được dé xuất hiện nay bao gồm Mang Convolutional Đồ thị (Graph Convolutional Networks - GCN) và các biến thể của nó, là một trong những mô hình học sâu trên đồ thị nổi bật nhất [30]. Kipf va Welling [31] đã trình bày một thuật toán với GCN cho phân loại nút bán giám sát và đạt được kết quả phân loại tiên tiến trên một số bộ dữ liệu mạng. Kể từ đó, GCN đã được sử dụng trong nhiều ứng dụng khác nhau, chẳng hạn như các nhiệm vụ dự đoán (32, 33, 34, 35, 36], nhiệm vụ gợi ý [37, 38], và nhiệm vụ phân loại [39, 40, 41, 42].
Đặc biệt trong lĩnh vực NLP, GCN đã thành công trong việc khám phá các nhiệm vụ NLP như gán nhãn vai trò ngữ nghĩa [43, 44], dịch máy [45, 46], trích xuất thông tin [47, 48], trích xuất quan hệ [49, 50, 51], và phân loại văn bản. Trong bối cảnh phân loại văn bản, một số mô hình GCN đã được đề xuất, chang hạn như: Mở rộng khung GCN sang môi trường cảm ứng gọi là GraphSAGE, cho phép nhúng hiệu quả cho các nút chưa thấy trong [52].