MỞ ĐẦU Bài toán xác thực thông tin Sự phát triển của các mạng xã hội trong thời đại công nghiệp 4.0 đã góp phần vào sự bùng nổ thông tin trên Internet, và chúng cũng trở thành nguồn tin tức chính cho chúng ta cập nhật hàng ngày. Tuy nhiên, sử dụng mạng xã hội là một con dao hai lưỡi khi mà thông tin trên mạng rất khó kiểm chứng về độ xác thực, trong đó việc lan truyền tin giả (fake news) có thể gây ra sự nhận thức sai của người dân về tình hình trong nước và thế giới, đe dọa trật tự, an toàn xã hội và an ninh quốc gia. Tin giả có thể được hiểu là tin tức sai sự thật được tạo ra và lan truyền nhằm mục đích lừa đảo hoặc xuyên tạc tình hình thực tế. Ta có thể thấy rất nhiều trường hợp tin giả trong cuộc sống như tin tức về dịch bệnh Covid- 19, đời sống thường nhật, chính trị trong và ngoài nước, v.
từ các nguồn thông tin không chính thống. Tuy nhiên, các nền tảng mạng xã hội hiện nay (facebook, twitters, youtube, v. ) chưa tích hợp công nghệ phát hiện và chặn tin giả sớm, dẫn tới việc những quảng cáo sản phẩm không đúng công dụng thực tế (đặc biệt là thuốc và thực phẩm chức năng) hay tin tức bịa đặt về cuộc sống, xuyên tạc lịch sử được phát tán tràn lan trên các nền tảng này. Do đó, việc phát hiện và ngăn chặn kịp thời tin giả trước khi chúng lan truyền rộng là một nhiệm vụ hết sức cấp thiết.
Các phương pháp hiện có để giải quyết bài toán xác thực thông tin Các phương pháp xác thực thông tin hay nói cách khác là phương pháp phát hiện tin giả có thể được phân thành bốn nhóm [1]: phương pháp dựa trên nội dung (content-based), phương pháp dựa trên ngữ cảnh (context-based), phương pháp dựa trên lan truyền (propagation-based) và phương pháp dựa trên học đa nhãn (multilabel learning-based). Phương pháp dựa trên nội dung bao gồm phương pháp hai phương pháp con: dựa trên tri thức (knowledge-based) và dựa trên văn phong (style-based). Phương pháp dựa trên tri thức sẽ sử dụng từ một tập tri thức thật (true knowl- edge) để xác định một tin tức là thật hay giả [2]. Trong khi đó, phương pháp dựa trên văn phong xác định tin giả từ văn phong khác biệt của chúng nhằm thu hút sự quan tâm của độc giả và trở nên nổi bật hơn tin thông thường [3].
1 Phương pháp dựa trên ngữ cảnh xác định độ uy tín của nguồn phát tán thông tin, trong đó độ uy tín được xác định từ sự phản hồi của người dùng và độ tin cậy của bản thân tin tức [4]. Phương pháp dựa trên lan truyền phát hiện tin giả bằng cách trích xuất thông tin liên quan đến sự phát tán tin tức và người chia sẻ chúng [5]. Phương pháp dựa trên học đa nhãn cũng tương tự phương pháp dựa trên nội dung, nhưng một tin tức sẽ có nhiều nhãn {thật, giả} được gán cho các đặc trưng của tin tức thay vì chỉ một nhãn thật hoặc giả [6]. Điều này phù hợp với trên thực tế do tin giả có thể không hoàn toàn sai sự thật mà trong đó bao gồm cả thông tin thật và thông tin giả.
Ngoài ra, khi ta kết hợp hai phương pháp đã nêu, ví dụ như nội dung- ngữ cảnh hoặc lan truyền-nội dung, ta sẽ có phương pháp kết hợp (hybrid). Phương pháp này hiện nay được sử dụng nhiều do chúng có thể bắt được nhiều thông tin có ý nghĩa hơn liên quan tới tin giả, từ đó nâng cao hiệu quả của mô hình phát hiện tin giả. Trong các phương pháp trên, mô hình lõi được sử dụng phổ biến nhất là Mạng nơ-ron đồ thị (Graph Neural Network - GNN). GNN là một kĩ thuật áp dụng các thuật toán học sâu trên kiến trúc đồ thị [7] và là mô hình được sử dụng phổ biết nhất hiện nay trong phát hiện tin giả nhờ một số ưu điểm.
Thứ nhất, GNN có thể kết hợp các phương pháp dựa trên thông tin nội dung, lan truyền và ngữ cảnh tin tức [8]. Thứ hai, GNN có thể đạt được hiệu quả tương đương hoặc tốt hơn các mô hình truyền thống mà không cần đến thông tin về văn bản [9]. Thứ ba, GNN có tính linh hoạt trong việc định nghĩa propagation pattern nhờ các bước nhảy ngẫu nhiên (random walks) và bộ tổng hợp lặp (iterative aggregators) [10]. Bên cạnh phát hiện tin giả, GNN còn được áp dụng thành công trong nhiều bài toán khác nhau như phát hiện vật thể (object detection) [11], [12], phân tích cảm xúc (sentiment analysis) [13], [14] và dịch máy (machine transla- tion) [15], [16].
Sự phát triển nhanh chóng của các mô hình GNN cho phát hiện tin giả nhờ sự phổ biển rộng rãi của các mạng xã hội, cụ thể là sự tăng lên về số lượng người dùng, tin tức được đăng tải và tương tác giữa các người dùng. Kết quả là, các mạng xã hội đã trở thành các kiến trúc đồ thị phức tạp và gây khó khăn cho các thuật toán phát hiện tin giả. Phát hiện và ngăn chặn 2 tin giả trên mạng xã hội vẫn là một thách thức lớn cần được giải quyết. Các nguyên nhân trên đã thúc đẩy em nghiên cứu Một số mô hình ngôn ngữ và bài toán xác thực thông tin.
CƠ SỞ LÍ THUYẾT Phần này trình bày cơ sở lí thuyết liên quan tới đồ thị, GNN, các mô hình GNN cơ bản, các kĩ thuật và mô hình liên quan tới xử lí ngôn ngữ tự nhiên trong bài toán xác thực thông tin. Các kiến thức này là nền tảng để xây dựng các mô hình GNN sẽ được trình bày trong Chương 2.1 Đồ thị Trong bài toán xác thực thông tin hay phát hiện tin giả trên mạng xã hội, ta cần một công cụ để biểu diễn sự tương tác giữa các người dùng với nhau cũng như với các bài đăng. Những sự tương tác lẫn nhau này có thể được biểu diễn hiệu quả bằng kiến trúc đồ thị, trong đó các người dùng / bài đăng được biểu diễn bằng nút đồ thị và các tương tác qua lại được biểu diễn bằng cạnh đồ thị.1 sẽ trình bày các khái niệm liên quan tới đồ thị và giới thiệu một số dữ liệu dạng đồ thị cùng với các tác vụ liên quan tới đồ thị.1 Định nghĩa Một đồ thị (graph) G = {V, E} bao gồm tập các nút (node/vertex) V = {v1 ,. , vn } và tập các cạnh (edge) E = {e11 ,.
, enm }, trong đó eij = (vi , vj ) là cạnh nối hai nút liền kề vi và vj. Đồ thị được biểu diễn bằng một ma trận kề A ∈ {0, 1}n×n với: ⎧ ⎨1, eij ∈ E, Aij = (1. Đồ thị có thể được phân loại dựa theo các cạnh, bao gồm đồ thị vô hướng và đồ thị có hướng. Đồ thị vô hướng không phân biệt giữa nút nguồn và nút đích của một cạnh, do đó A là ma trận đối xứng.
Trong khi đó, các cạnh trong đồ thị có hướng xác định một nút nguồn và một nút đích, và ma trận A là không đối xứng.2 Các dữ liệu dạng đồ thị a, Phân tử Các phân tử là thứ tạo nên vật chất, và chúng được tạo nên từ các nguyên tử và electrons. Đồ thị là một công cụ hiệu quả để biểu diễn các phân tử, trong đó các nút là các nguyên tử và các cạnh là các liên kết giữa chúng [17].1 thể hiện hai ví dụ phân tử Citronellal và Caffeine được biểu diễn bằng đồ thị. (a) Phân tử Citronellal (b) Đồ thị phân tử Citronellal (c) Phân tử Caffeine (d) Đồ thị phân tử Caffeine Hình 1.1: Ví dụ biểu diễn phân tử bằng đồ thị [18]. b, Mạng xã hội Các mạng xã hội chứa rất nhiều thông tin về hành vi, thói quen, sở thích của cá nhân và tổ chức.
Ta có thể xây dựng một đồ thị biểu diễn các nhóm người bằng cách mô hình hóa các cá nhân là các nút và quan hệ giữa họ là các cạnh của đồ thị. c, Trích dẫn Các bài báo khoa học luôn có trích dẫn đến các bài báo khác. Các trích dẫn này có thể được biểu diễn bằng một đồ thị, trong đó mỗi bài báo là một nút và mỗi trích dẫn từ bài báo này đến bài báo khác là một cạnh có hướng. d, Các ví dụ khác Đồ thị còn được dùng trong bài toán gán nhãn vật thể, trong đó các vật thể là các nút và quan hệ giữa chúng là các cạnh.
Các mô hình học máy, mã nguồn lập trình [19] và phương trình toán học [20] cũng có thể được biểu diễn bằng đồ thị, trong đó các biến là các nút và các toán tử là các cạnh có nút nguồn và nút đích. Kiến trúc của các đồ thị thực tế có thể rất khác nhau tùy vào loại dữ liệu, có đồ thị có rất nhiều nút nhưng rất ít cạnh và ngược lại. Các tập dữ liệu đồ 5 thị có thể khác nhau về số lượng nút, cạnh và tính kết nối (connectivity).3 Các loại tác vụ với đồ thị Có ba loại tác vụ mà ta có thể thực hiện với đồ thị: cấp đồ thị, cấp nút, và cấp cạnh [18]. a, Tác vụ cấp đồ thị Trong tác vụ cấp đồ thị (graph-level), ta cần đưa ra dự đoán cho toàn bộ đồ thị.
Ví dụ, với một phân tử, ta muốn dự đoán mùi của phân tử đó, hoặc liệu nó có liên kết với một thụ thể gây bệnh hay không. Bài toán này tương tự với bài toán phân loại ảnh, trong đó ta muốn gán một nhãn cho toàn bộ bức ảnh, hay bài toán phân tích cảm xúc văn bản, trong đó ta muốn xác định cảm xúc của toàn bộ câu văn. b, Tác vụ cấp nút Trong tác vụ cấp nút (node-level), ta cần đưa ra dự đoán cho mỗi nút trong đồ thị. Ví dụ, ta muốn dự đoán mỗi người trong một mạng xã hội ủng hộ ai trong cuộc bầu cử tổng thống.
Bài toán này tương tự với bài toán phân vùng ảnh, trong đó ta muốn gán nhãn mỗi pixel trong một bức ảnh. Còn với văn bản, một bài toán tương tự là dự đoán từ loại trong câu (ví dụ danh từ, động từ, trạng từ,. c, Tác vụ cấp cạnh Trong tác vụ cấp cạnh (edge-level), ta cần dự đoán quan hệ giữa các nút trong đồ thị.2 là một ví dụ phân tích ngữ cảnh ảnh, trong đó bên cạnh xác định các vật thể trong ảnh, ta còn muốn dự đoán quan hệ giữa chúng.2 Mạng nơ-ron đồ thị Mô hình mạng nơ-ron chuyên biệt để học từ dữ liệu dạng đồ thị được gọi là mạng nơ-ron đồ thị.2 sẽ trình bày một số kiến trúc mạng nơ-ron đồ thị cơ bản được sử dụng phổ biến.