mở đầu của khóa luận. Ở chương này, chúng tôi giới thiệu tong quan về đề tài nghiên cứu. Chương này bao gồm bối cảnh nghiên cứu, tam quan trọng của việc xác minh thông tin, cùng với các bộ dữ liệu và phương pháp liên quan. Chúng tôi cũng nêu rõ lý do chọn dé tài và các thách thức gặp phải, đồng thời trình bày mục tiêu và phương pháp nghiên cứu của chủ đề xác minh thông tin.
Chương 2, trình bày cơ sở lý thuyết của đề tài nghiên cứu. Trong đó, chúng tôi mô tả bài toán, phạm vi, đối tượng nghiên cứu và khảo sát các công trình liên quan. Chương này sẽ so sánh các phương pháp đạt hiệu suất cao nhất trên các bộ dữ liệu có cấu trúc (TabFACT) và phi cau trúc (FEVER). Tiếp theo, chúng tôi giới thiệu các phương pháp dự kiến đề nâng cao khả năng trích xuất minh chứng và cải thiện hiệu suất của tác vụ xác minh thông tin trên bộ dữ liệu FEVEROUS.
Chương 3, trình bày chỉ tiết về bộ dữ liệu trích xuất và xác minh sự thật trên thông tin có cấu trúc và phi câu trúc FEVEROUS. Chúng tôi trình bày cấu trúc của bộ dữ liệu và kêt quả các thực nghiệm của nhóm tác giả trên bộ dữ liệu này. Chương 4, trình bay chỉ tiết cách cài đặt thử nghiệm của chúng tôi. Trong đó bao gồm các độ đo đánh giá, các bước tiền xử lý dữ liệu và thiết lập thông số đề huấn luyện mô hình.
Chương 5, trình bay chi tiết các kết qua thử nghiệm trên bộ dit liệu FEVEROUS. Chúng tôi sẽ trình bày các kết quả dựa trên hai tác vụ chính là: “Truy xuất minh chứng” và “Xác minh tuyên bố dựa trên minh chứng”. Ở tác vụ Xác minh 10 tuyên bố dựa trên minh chứng, ngoài sử dụng minh chứng vàng (Gold Evidence) thì chúng tôi còn thử nghiệm trên minh chứng được truy xuất từ tác vụ “Truy xuất minh chứng” (Predicted Evidence). Cuối cùng, chúng tôi kết hợp cả hai minh chứng này lại với nhau dé đánh giá sự ảnh hưởng của minh chứng được truy xuất từ hệ thống có ảnh hưởng như thế nào đến hiệu suất tông thể.
Chương 6, chúng tôi trình bày chương trình minh họa cho bài toán xác minh thông tin. Sau khi thử nghiệm và đánh giá kết quả, chúng tôi tiến hành xây dựng chương trình minh họa. Các nội dung trình bày bao gồm xây dựng chương trình minh họa và đánh giá chương trình minh họa. Chương 7, đây là chương cuối cùng của khóa luận, từ những kết quả nghiên cứu, chúng tôi sẽ đi đến kết luận đề tài bao gồm những kết quả đạt được cũng như là đề ra hướng phát triển trong tương lai.
Mô tả bài toán Nhu cầu xác minh thông tin ngày càng gia tăng khi số lượng tin tức sai lệch và giả mạo ngày càng nhiều. Việc xác minh thông tin dựa trên minh chứng văn bản từ bộ dit liệu FEVER đóng vai trò quan trọng trong việc phát triển các bài toán xác minh thông tin khác như: Xác minh thông tin trên bộ dữ liệu TabFACT, SEM-TAB- FACTS, và FEVEROUS. Trước đây, đã có nhiều công trình nghiên cứu đóng góp đáng kê vào lĩnh vực này. Theo Vlachos va Riedel (2014), việc phat triển các thành phần xác minh thông tin thường yêu cầu minh chứng cho mỗi kết luận, bao gồm các nguồn thông tin được sử dụng, điều mà thường không có sẵn trong các minh chứng do các nhà báo cung cấp.
Trong nghiên cứu của Kobayashi và cộng sự (2017), nhóm tác giả tập trung vào việc thu thập một tập dữ liệu gồm 412 câu tuyên bố từ các bài kiểm tra học sinh trung học, được xác minh dựa trên Wikipedia và sách giáo khoa lịch sử. Vì vậy, minh chứng là yếu tố quan trọng dé nâng cao hiệu suất của nhiệm vụ xác minh thông tin. Bài toán Truy xuất minh chứng và Xác thực thông tin dựa trên minh chứng là hai van dé quan trong trong lĩnh vực Xử lý ngôn ngữ tự nhiên và học máy. Mục tiêu của bài toán này là xác định tính chính xác của một tuyên bố hoặc khang định bằng cách trích xuất các minh chứng từ nguồn thông tin cấu trúc và không cấu trúc như văn bản và bảng.
Quá trình giải quyết bài toán này bao gồm hai bước chính: e Bước 1: Truy xuất Minh chứng: Một hệ thống trích xuất các minh chứng từ nguồn thông tin như văn ban và bang dé hỗ trợ việc xác định tính chính xác của tuyên bố. Các minh chứng này có thể là các câu trong văn bản hoặc các ô trong bảng chứa thông tin liên quan đến tuyên bó. e Bước 2: Xác thực tuyên bó: Dựa trên các minh chứng được truy xuất, hệ thống phải xác định xem tuyên bố đó có được hỗ trợ bởi các minh chứng, bị bác bỏ bởi chúng, hoặc không đủ thông tin dé đưa ra kết luận. 12 Để giải quyết bài toán xác minh thông tin, chúng tôi áp dụng các phương pháp học máy và xử lý ngôn ngữ tự nhiên.
Điều này bao gồm việc sử dụng các mô hình học sâu như ROBERTa và DeBERTaV3, kỹ thuật trích xuất thông tin từ văn bản và bảng, cũng như các phương pháp xử lý ngôn ngữ tự nhiên dé hiểu và xử lý thông tin từ các nguồn đữ liệu cấu trúc và phi cấu trúc. Bên cạnh việc tham khảo công trình sốc, chúng tôi cũng đã nghiên cứu các công trình liên quan khác và liệt kê chi tiết ở phần 2. Trong bài toán này, chúng tôi tiếp cận theo 2 tác vụ chính: Truy xuất minh chứng liên quan đến tuyên bé (Task 1) và xác thực tuyên bố dựa vào minh chứng (Task 2). Theo Rami Aly và cộng sự, Mô-đun cơ bản trong tác vụ truy xuất minh chứng là sự kết hợp giữa khớp thực thé và TF-IDF sử dụng DrQA để trích xuất các câu và bảng có liên quan nhất dé lấy minh chứng.
Kết hợp cả hai phương pháp này trước đây đã được chứng minh với hiệu suất tốt, đặc biệt là trong việc trích xuất bảng (Schlichtkrull và cộng sự, 2020). Sử dụng mô hình trích xuất ô đữ liệu từ bảng dé trả về các ô dữ liệu liên quan từ bảng bằng cách xử lý chúng như một nhiệm vụ gán nhãn chuỗi. Sau đó sử dung một bộ phân loại ROBERTa đã được huấn luyện trước trên nhiều tap đữ liệu NLI dé du đoán tính đúng/sai của tuyên bố bang cách sử dụng minh chứng đã được truy xuất trước đó và ngữ cảnh của nó. Ở tác vụ xác minh thông tin dựa trên minh chứng được truy xuất, nhóm tác giả sử dụng bộ mã hóa RoBERTa với 1 lớp tuyến tính ở trên.
Các 6 trong bảng được tuyến tính hóa dé sử dụng làm minh chứng. Kết quả ở bảng 2.1 cho thấy khi kết hợp các minh chứng câu và minh chứng bảng lại với nhau, hiệu suất tổng thể của tác vụ xác minh thông tin tăng lên so với khi chi sử dụng riêng lẻ từng loại bang chứng. Khi tiến hành thực nghiệm, chúng tôi cũng tiến hành kết hợp minh chứng câu và minh chứng bảng lai với nhau dé đảm bảo các minh chứng đều được sử dụng nhằm đem lại hiệu suất cao cho mô hình xác minh thông tin. Kết quả truy xuất bằng chứng trong baseline FEVEROUS Mô hình Dev Test 13 FEVEROUS Evidence |FEVEROUS Evidence Score (Recall) Score (Recall) Baseline chi dung cau 0,12 0,19 Baseline chi dung bang 0,05 0,07 Baseline dùng cả câu và 0,18 0,29 bảng Với những kết quả như trên thì có thể kết luận đây là một bài hay với nhiều thách thức.
Để nâng cao được hiệu xuất của tác vụ xác minh thông tin cần làm 2 nhiệm vụ chính: nâng cao hiệu suất truy xuất bằng chứng trên cả câu và bảng, tăng cường khả năng mã hóa câu và bảng ở tác vụ xác minh thông tin để các bằng chứng được truy xuất phát huy được hết hiệu quả. Trong dé tài này, chúng tôi tiến hành cải thiện khả năng truy xuất minh chứng dựa trên phương pháp Đồ thị minh chứng kết hợp (Mixed Evidence Graph). Ngoài ra, trong tac vụ xác minh thông tin, chúng tôi bổ sung thêm các mô hình mã hóa câu và bảng dé tiễn hành thực nghiệm sau đó so sánh hiệu suất với những mô hình trước đó. Khai niệm truy xuất minh chứng Truy xuất minh chứng (Evidence Retrieval) là quá trình tìm kiếm và thu thập thông tin cụ thể từ các nguồn dữ liệu như van ban, bảng biểu, hoặc cơ sở dữ liệu dé hỗ trợ hoặc phản bác một tuyên bố.
Quá trình này bao gồm việc xác định các mau thông tin liên quan và đánh giá mức độ liên quan của chúng với tuyên bô ban đâu. Trong bối cảnh hiện nay, với khối lượng thông tin khổng lồ được tạo ra mỗi ngày, truy xuất minh chứng đóng vai trò thiết yếu trong nhiều lĩnh vực như báo chí, pháp luật, và đặc biệt là trong các hệ thống trí tuệ nhân tạo và học máy. Việc truy xuât minh chứng chính xác và hiệu quả không chỉ giúp nâng cao độ tin cậy của các 14 hệ thống xác thực tuyên bố mà còn góp phần chống lại thông tin sai lệch và tăng cường độ chính xác của các quyết định dựa trên dữ liệu. Các phương pháp truy xuất minh chứng phổ biến gồm: TF-IDF (Term Frequency-Inverse Document Frequency): Phương pháp này dựa trên tần suất xuất hiện của từ trong tài liệu và mức độ phố biến của từ đó trong toàn tập dit liệu dé đánh giá mức độ quan trọng của từ trong tài liệu cụ thé.
BM25 (Best Matching 25): Là một phương pháp cải tiến của TF-IDE, BM25 xem xét các yếu tố như độ dài tài liệu và tần suất xuất hiện của từ dé xếp hạng các đoạn văn bản, nhằm nâng cao độ chính xác trong việc tìm kiếm thông tin. DrQA (Document Reader Question Answering): Được phát triển bởi Facebook AI Research, DrQA là một hệ thống hỏi đáp end-to-end, kết hợp giữa truy xuất tài liệu và trả lời câu hỏi. DrQA bao gồm hai thành phần chính: một retriever (trình truy xuất) dựa trên TF-IDF hoặc BM25 để tìm kiếm các đoạn văn bản liên quan, và một reader (trình đọc) sử dụng mô hình neural network để đọc và trích xuất câu trả lời từ các đoạn văn bản đó. DrQA đã chứng minh hiệu quả cao trong việc truy xuất minh chứng và tra lời câu hỏi từ các tài liệu văn bản lớn.
Khai niệm xác minh tuyên bố Xác minh tuyên bố (Claim Verification) là quá trình đánh giá và xác định tính chính xác của một tuyên bô băng cách so sánh nó với các minh chứng đã được truy xuất. Mục tiêu của quá trình này là phân loại tuyên bố thành các nhãn như “SUPPORTED”, “Refeted”, hoặc “Not Enough Information” dựa trên các minh chứng liên quan.