Chương 1 Kiến thức nên tảng Vấn đề tin giả đã xuất hiện từ rất lâu trong lịch sử của loài người. Với sự phát triển của các mạng xã hội, tình trạng lan truyền tin giả càng trở nên phổ biến. Trong chương nay, luận văn sẽ cung cấp về các khía cạnh của tin giả ở trên mạng xã hội và các hướng xử lý hiện nay.1 Bài toán phát hiện tin gia ở trên các mạng xã hội Tin gia (fake news) là thông tin không đúng sự thật hoặc bia đặt, xuyên tac. Tin gia thường được tuyên truyền nhằm mục đích lừa đối người khác.
Ví dụ: tin giả có thể là thông tin sai lệch về một sự kiện hoặc thông tin sai lệch về một sản phẩm. Trong thời đại Internet hiện nay, tin giả có thể lan truyền rất nhanh và rộng rãi, gây nhiều hiệu quả tiêu cực. Bài toán phát hiện tin giả ở trên các mạng xã hội là việc sử dụng các phương pháp nhằm xác định một mẩu thông tin được chia sẻ ở trên mạng xã hội có phải là tin giả hay không. Bài toán này đặc biệt quan trọng trong thời đại số hóa hiện nay nên việc phát hiện và ngăn chặn tin giả giúp bảo vệ người dùng khỏi những thông tin sai lệch và đảm bảo tính xác thực của thông tin ở trên mạng Internet.1 Pham vi của luận văn trong việc phát hiện tin gia Trong luận văn này, tác giả không sử dụng các thông tin dữ liệu bổ sung liên quan đến người dùng hoặc mạng xã hội để phân loại tin giả.
Thay vào đó, tác giả nghiên cứu phát triển các kỹ thuật để phát hiện tin giả dựa trên văn bản (bao gồm cả tiêu dé, nội dung, v.v), bỏ qua các thông tin đa phương tiện như ảnh, video, v. Về một mặt nào đó, bài toán phân loại tin giả trong luận văn này là một lớp bài toán con của bài toán phân loại văn bản. Tuy nhiên, bài toán phân loại tin giả cũng có thêm một số đặc trưng riêng so với các bài toán phân loại văn bản khác.2 Các mối quan tâm Khi giải quyết bài toán phát hiện tin giả trên các mạng xã hội, có một số mối quan tâm chính: * Độ chính xác: Việc xác định một tin tức là giả mạo hay không đòi hỏi độ chính xác cao, vì việc phân loại sai có thể dẫn đến việc lan truyền thông tin sai lệch hoặc hạn chế quyển tự do ngôn luận. « Độ phức tap của ngôn ngữ: Tin giả thường được viết một cách tinh vi và sử dụng ngôn ngữ phức tạp để tránh bị phát hiện.
Điều này đòi hỏi các phương pháp phân tích ngôn ngữ tự nhiên (Nature Language Processing - NLP) tiên tiến. * Sự thay đổi liên tục của thông tin: Tin giả thường được tao ra và lan truyền rất nhanh, đòi hỏi hệ thống phải có khả năng cập nhật và học hỏi từ dữ liệu mới một cách liên tục. * Vấn đề về quyền riêng tư: Khi thu thập và phân tích dữ liệu từ mạng xã hội, việc bảo vệ quyền riêng tư của người dùng là một mối quan tâm quan trọng. ¢ Tính da dạng của nền tảng: Mỗi nền tảng mạng xã hội có những đặc điểm riêng, đòi hỏi các phương pháp phát hiện tin giả phải linh hoạt và có thể tùy chỉnh cho từng nền tảng.3 Cac thuộc tinh của tin tức Nhiều nghiên cứu đã sử dụng phân loại dựa trên các thuộc tính để xác định rõ hơn các tin bài sai sự thật.
Sau đây là một vài thuộc tính [42]: « Các tính năng ngữ nghĩa: các tính năng ngữ nghĩa nắm bắt khía cạnh ngữ nghĩa (ý nghĩa) của văn bản. Các tính năng này được lấy từ một mẫu có ý nghĩa từ dữ liệu. * Các tinh năng từ vựng: các tính năng từ vựng chủ yếu được sử dụng trong véc-to hóa TF-IDF để tóm tắt tổng số từ và tần suất từ đó. Các tính năng từ vựng cũng bao gồm đại từ, động từ, dấu thăng (hash tag) và dấu chấm câu.
* Các tính năng ở cấp độ câu: các tính năng bao gdm cách tiếp cận túi từ (bag of word) và cách tiếp cận n-gram. Đặc trưng cấp câu là đặc trưng ngôn ngữ được sử dụng chủ yếu trong phân loại văn bản. * Các tính năng tâm lý ngôn ngữ: các tính năng và số lượng từ dựa trên phần mềm khai thác văn bản dựa trên từ điển.4 Các đặc điểm của tin giả Tin giả thường có những đặc điểm sau đây: * Dong tít khả nghỉ: Tin giả thường sử dụng lời lẽ gây sốc, in hoa cả tít và đưa thêm nhiều dau chấm cảm thán kiểu "!!!", "229" ¢ Dia chi trang web kỳ quac: Tin giả thường được đăng trên các trang web có địa chỉ kỳ quặc, vô nghĩa. Khi click vào trang này, bạn có thể gặp nhiều mẩu quảng cáo hoặc bị dẫn dắt sang các trang web khác với nội dung không trong sáng (khiêu dâm, game, bạo luc.) ¢ Không ghi ro nguon góc: Các câu chuyện giật gân giả mạo thường không ghi rõ nguồn gốc, trong trường hợp nếu có thì nên kiểm tra lại bằng các công cụ tìm kiếm (hoặc chắc chắn hơn là các trang báo chính thống) » Dinh dạng kỳ quac: Trang tin vặt thường có định dạng kém chuyên nghiệp, màu mè, sai nhiều lỗi chính tả và văn phong lủng củng » Hình ảnh không tự nhiên: Các tin giả có hình ảnh hoặc video thường bị can thiệp chỉnh sửa Ngoài ra, tin giả thường có khả năng thu hút cảm xúc của chúng ta.
Một nghiên cứu về các mạng trực tuyến cho thấy văn bản lan truyền mạnh mẽ hơn khi chứa mật độ cao tính "đạo đức mang cảm xúc” 20]. Các quyết định thường được thúc đẩy bởi những cảm xúc sâu sắc có thể khó xác định. Do đó để phòng chống tin giả, chúng ta cần kiểm tra nguồn gốc và cân nhắc kỹ trước khi chia sẻ.5 Cac hướng nghiên cứu xác định tin giả Để xác định tin giả, có nhiều phương pháp đa dạng đã được đưa ra dựa trên nội dung, hình ảnh, video, các trang chính thống, thông tin lan truyền, v. Ví dụ, mô hình SAMPLE được sử dụng để phân biệt tin giả và tin thật dựa trên nội dung và hình ảnh của bài đăng (61).
Mô hình này sử dung độ tương tự giữa nội dung van ban và hình ảnh để làm căn cứ phân loại. Một mô hình khác là GACL sử dụng đồ thị lan truyền để xác định tin đồn (là một dang tin giả) ở trên mạng xã hội [54]. Mô hình này sử dụng phương pháp học tập đối nghịch tương phản ở trên đồ thị. Tuy nhiên trong thực tế, không phải lúc nào các bài đăng cũng có hình anh va để hạn chế được tác động của tin giả thì can phải phát hiện sớm tin giả trước khi được lan truyền.
Do đó, các hướng nghiên cứu để xác định tin giả ở trên các mạng xã hội chỉ dựa trên nội dung văn bản là một hướng nghiên cứu quan trọng. Sau đây luận văn sẽ mô tả các cách tiếp cận để giải quyết bài toán phân loại tin giả dựa trên nội dung văn bản. A A ALS oan , Nn Z xe ° A « 1.2 Một so mô hình hiện có để xử lý tin gia dựa trên van bản Có rất nhiều kỹ thuật để phân loại tin giả dựa trên văn bản, bao gồm: SVM, cây quyết định, v. Và cũng có rất nhiều thuộc tính của tin tức được sử dụng để phân loại tin giả như số từ, túi từ (bag of words), số câu, tính chủ quan, TF-IDF, v.
Tuy nhiên các ky 10 thuật này thường yêu cầu việc trích xuất thủ công dựa trên kinh nghiệm của chuyên gia. Do đó, sự ra đời của các mạng nơ-ron sâu đã cho phép các mô hình có thể tự động học cách trích xuất các tính năng này dựa trên dữ liệu huấn luyện. Vì vậy, luận văn này chủ yếu dé cập đến các mạng nơ-ron áp dụng cho bài toán xử lý tin giả. Phần này của luận văn sẽ dé cập đến các mang Transformer làm nên tảng để phát triển mô hình dé xuất.
Mô hình BERT/RoBERTa cho thấy sức mạnh của việc tự chú ý day đủ (full self-attention), huấn luyện trước (pre-training) và tinh chỉnh (fine-tuning). Hai mô hình Longformer và BIGBIRD cung cấp các lý thuyết nền tảng của sự tự chú ý thưa (spare self-attention) cho thấy khả năng xấp xỉ của loại mô hình này với sự tự chú ý đầy đủ và giảm độ phức tạp khi áp dụng Transformer trên các văn bản dài. Ngoài ra, tác giả cũng cập nhật và mô tả thêm về các phương pháp mới xuất hiện gần đây sử dụng các mô hình ngôn ngữ lớn (Large Language Model - LLM) để phân loại tin giả. M6 hình Transfomer Trước khi xuất hiện các mô hình Transformer thì mạng nơ-ron hồi quy (Recurrent Neu- ral Network - RNN) va mang bộ nhớ ngắn dai hạn (long short-term memory - LSTM) thường được sử dung để xử ly van bản.
So với mang RNN, LSTM da có một số cải tiền nhưng vẫn không giải quyết được triệt để van đề biến mat đạo hàm. Hon nữa do LSTM có cấu trúc phức tạp nên thời gian huấn luyện của nó chậm hơn RNN, cộng với việc bản thân kiến trúc mạng hồi quy khó có thể chạy song song nên không tận dụng được sức mạnh của các phần cứng hiện đại như GPU/TPU. Không giống như LSTM, các mô hình Transformer không dựa trên kết nối hồi quy mà dựa trên các chú ý (attention) cho phép Transformer có thể tận dụng được khả năng tính toán song song để tăng tốc. Hơn nữa, sự chú ý cho phép Transformer tránh được các vấn dé bùng nổ/biến mat đạo hàm của các kiến trúc RNN/LSTM.
Sau đây luận văn sẽ trình bay sơ qua về kiên trúc của Transformer. Transformer tuân theo kiến trúc bộ mã hóa-bộ giải mã (encoder-decoder). O day, bộ mã hóa ánh xạ chuỗi đầu vào của các biểu diễn ky hiệu (x1,x2, .,x„) thành một chuỗi các biểu diễn liên tục z = (zI,za. Cho z, bộ giải mã sau đó tạo ra một chuỗi đầu ra (yI,y2,.,y„) gồm các ký hiệu, một phan tử tại một thời điểm.
Ở mỗi bước, mô hình sẽ tự động hồi quy, sử dung các ký hiệu trước đó làm đầu vào bổ sung khi tạo ký hiệu 11 Add & Norm Add & Norm Multi-Head Feed Attention Forward Nx Add & Norm Nx | (Gaga Norm] Add & Norm Masked Multi-Head Multi-Head Attention Attention tJ Positional Positional Encoding @ © © @ Encoding Input Output Embedding Embedding Inputs Outputs (shifted right) Hình 1.1: Kiến trúc Transformer tiếp theo. Kiến trúc của Transformer được thể hiện ở trong Hình [I.