Khóa luận tốt nghiệp công nghệ thông tin tăng cường khả năng trích xuất minh chứng phục vụ cho bài toán xác thực thông tin

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp công nghệ thông tin tăng cường khả năng trích xuất minh chứng phục vụ cho bài toán xác, điều tra thực trạng, phân tích số liệu,

Chuyên ngành

Công Nghệ Thông Tin

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2024

86
2
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI

1.1. Tầm quan trọng của xác minh thông tin

1.2. Các bộ dữ liệu và phương pháp hiện tại

1.3. Đề tài nghiên cứu

1.4. Các kết quả dự kiến

1.5. Đóng góp của đề tài

1.6. Lý do chọn đề tài

1.7. Những thách thức của đề tài

2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1. Khái niệm truy xuất minh chứng

2.2. Khái niệm xác minh tuyên bố

2.3. Định nghĩa các nhiệm vụ cho bài toán

2.4. Khảo sát các công trình liên quan

2.5. Phương pháp sử dụng trong khóa luận

2.6. Tác vụ truy xuất minh chứng

2.7. Đồ thị minh chứng kết hợp và trích xuất minh chứng từ đồ thị kết hợp

2.8. Tác vụ xác minh thông tin dựa vào minh chứng

3. CHƯƠNG 3: BỘ DỮ LIỆU FEVEROUS

3.1. Tổng quan về bộ dữ liệu

3.2. Mô tả định dạng dữ liệu Train/Dev của bộ dữ liệu FEVEROUS

3.3. Phân tích định lượng

3.4. Kết luận về bộ dữ liệu

4. CHƯƠNG 4: CÀI ĐẶT THỬ NGHIỆM

4.1. Dữ liệu danh

4.2. Chuẩn bị dữ liệu và các mô hình

4.3. Tiền xử lý dữ liệu

4.4. Các kết quả thử nghiệm

4.4.1. Kết quả thử nghiệm

4.4.2. Tác vụ truy xuất minh chứng

4.4.3. Tác vụ xác minh tuyên bố dựa vào minh chứng

4.4.4. Phân tích lỗi

4.4.4.1. Phân tích lỗi mô hình TAPAS
4.4.4.2. Phân tích lỗi mô hình DeBERTaV3
4.4.4.3. Phân tích lỗi mô hình RoBERTa + TAPAS
4.4.4.4. Phân tích lỗi mô hình DeBERTaV3 + PASTA

5. CHƯƠNG 5: CHƯƠNG TRÌNH MINH HỌA

5.1. Xây dựng chương trình minh họa

5.2. Tính năng xác minh thông tin cơ bản

5.3. Tính năng xác minh thông tin nâng cao

5.4. Đánh giá chương trình minh họa

6. CHƯƠNG 6: NHỮNG KẾT QUẢ ĐẠT ĐƯỢC

6.1. Hạn chế và hướng phát triển

DANH MỤC HÌNH

DANH MỤC BẢNG

DANH MỤC TỪ VIẾT TẮT

TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Giới thiệu về Tăng Cường Khả Năng Trích Xuất Minh Chứng

Trong thời đại thông tin hiện nay, việc xác thực thông tin trở nên cấp thiết hơn bao giờ hết. Tăng cường khả năng trích xuất minh chứng cho xác thực thông tin không chỉ giúp nâng cao độ chính xác mà còn bảo vệ sự thật. Nghiên cứu này sẽ khám phá các phương pháp và công nghệ hiện đại nhằm cải thiện quy trình này.

1.1. Tầm quan trọng của việc xác thực thông tin

Xác thực thông tin đóng vai trò quan trọng trong việc bảo vệ sự thật và đảm bảo tính minh bạch. Nghiên cứu cho thấy rằng việc xác minh thông tin có thể giảm thiểu sự lan truyền của tin giả.

1.2. Bối cảnh nghiên cứu hiện tại

Sự gia tăng thông tin sai lệch và chưa được kiểm chứng đã tạo ra nhu cầu cấp bách cho việc phát triển các phương pháp xác minh thông tin hiệu quả. Các mô hình ngôn ngữ lớn đang trở thành công cụ quan trọng trong lĩnh vực này.

II. Những Thách Thức Trong Xác Thực Thông Tin

Việc xác thực thông tin đối mặt với nhiều thách thức, bao gồm sự đa dạng của dữ liệu và khối lượng thông tin khổng lồ. Các mô hình hiện tại cần phải xử lý cả dữ liệu có cấu trúc và phi cấu trúc một cách hiệu quả.

2.1. Xử lý dữ liệu đa dạng

Một trong những thách thức lớn nhất là khả năng xử lý các loại dữ liệu khác nhau, từ văn bản đến bảng. Điều này đòi hỏi các mô hình phải có khả năng phân tích và hiểu biết sâu sắc về ngữ cảnh.

2.2. Truy xuất và mã hóa minh chứng

Quá trình truy xuất minh chứng từ các nguồn dữ liệu lớn là một nhiệm vụ phức tạp. Các mô hình cần xác định minh chứng phù hợp và chính xác trong một kho dữ liệu rộng lớn.

III. Phương Pháp Tăng Cường Khả Năng Trích Xuất Minh Chứng

Để nâng cao khả năng trích xuất minh chứng, nghiên cứu này đề xuất sử dụng các mô hình học sâu hiện đại. Việc kết hợp các mô hình mã hóa câu và bảng sẽ giúp cải thiện độ chính xác trong xác thực thông tin.

3.1. Sử dụng mô hình RoBERTa và DeBERTaV3

Các mô hình như RoBERTa và DeBERTaV3 đã chứng minh hiệu quả cao trong việc mã hóa câu văn, giúp nâng cao khả năng xác thực thông tin.

3.2. Kết hợp mô hình TAPAS và TAPEX

Mô hình TAPAS và TAPEX được phát triển để mã hóa thông tin bảng, cung cấp một hướng đi mới cho việc xác minh thông tin từ dữ liệu có cấu trúc.

IV. Ứng Dụng Thực Tiễn Của Nghiên Cứu

Nghiên cứu này không chỉ có giá trị lý thuyết mà còn có ứng dụng thực tiễn trong nhiều lĩnh vực như báo chí, truyền thông và giáo dục. Việc áp dụng các phương pháp xác minh thông tin sẽ giúp nâng cao độ tin cậy của thông tin.

4.1. Ứng dụng trong báo chí

Các phương pháp xác minh thông tin có thể giúp các nhà báo kiểm tra tính chính xác của thông tin trước khi công bố, từ đó bảo vệ sự thật.

4.2. Ứng dụng trong giáo dục

Trong giáo dục, việc xác minh thông tin giúp học sinh và sinh viên phát triển kỹ năng tư duy phản biện và khả năng phân tích thông tin.

V. Kết Luận và Tương Lai Của Xác Thực Thông Tin

Nghiên cứu này mở ra hướng đi mới cho việc xác thực thông tin trong bối cảnh hiện đại. Tương lai của xác thực thông tin sẽ phụ thuộc vào sự phát triển của công nghệ và các phương pháp mới.

5.1. Hướng phát triển trong tương lai

Cần tiếp tục nghiên cứu và phát triển các mô hình mới để cải thiện khả năng xác thực thông tin, đặc biệt là trong bối cảnh thông tin ngày càng phong phú.

5.2. Tầm quan trọng của việc nâng cao nhận thức

Nâng cao nhận thức về tầm quan trọng của xác thực thông tin sẽ giúp cộng đồng hiểu rõ hơn về cách nhận diện thông tin đáng tin cậy.

10/07/2025
Khóa luận tốt nghiệp công nghệ thông tin tăng cường khả năng trích xuất minh chứng phục vụ cho bài toán xác thực thông tin

Trích đoạn nội dung tài liệu

mở đầu của khóa luận. Ở chương này, chúng tôi giới thiệu tong quan về đề tài nghiên cứu. Chương này bao gồm bối cảnh nghiên cứu, tam quan trọng của việc xác minh thông tin, cùng với các bộ dữ liệu và phương pháp liên quan. Chúng tôi cũng nêu rõ lý do chọn dé tài và các thách thức gặp phải, đồng thời trình bày mục tiêu và phương pháp nghiên cứu của chủ đề xác minh thông tin.

Chương 2, trình bày cơ sở lý thuyết của đề tài nghiên cứu. Trong đó, chúng tôi mô tả bài toán, phạm vi, đối tượng nghiên cứu và khảo sát các công trình liên quan. Chương này sẽ so sánh các phương pháp đạt hiệu suất cao nhất trên các bộ dữ liệu có cấu trúc (TabFACT) và phi cau trúc (FEVER). Tiếp theo, chúng tôi giới thiệu các phương pháp dự kiến đề nâng cao khả năng trích xuất minh chứng và cải thiện hiệu suất của tác vụ xác minh thông tin trên bộ dữ liệu FEVEROUS.

Chương 3, trình bày chỉ tiết về bộ dữ liệu trích xuất và xác minh sự thật trên thông tin có cấu trúc và phi câu trúc FEVEROUS. Chúng tôi trình bày cấu trúc của bộ dữ liệu và kêt quả các thực nghiệm của nhóm tác giả trên bộ dữ liệu này. Chương 4, trình bay chỉ tiết cách cài đặt thử nghiệm của chúng tôi. Trong đó bao gồm các độ đo đánh giá, các bước tiền xử lý dữ liệu và thiết lập thông số đề huấn luyện mô hình.

Chương 5, trình bay chi tiết các kết qua thử nghiệm trên bộ dit liệu FEVEROUS. Chúng tôi sẽ trình bày các kết quả dựa trên hai tác vụ chính là: “Truy xuất minh chứng” và “Xác minh tuyên bố dựa trên minh chứng”. Ở tác vụ Xác minh 10 tuyên bố dựa trên minh chứng, ngoài sử dụng minh chứng vàng (Gold Evidence) thì chúng tôi còn thử nghiệm trên minh chứng được truy xuất từ tác vụ “Truy xuất minh chứng” (Predicted Evidence). Cuối cùng, chúng tôi kết hợp cả hai minh chứng này lại với nhau dé đánh giá sự ảnh hưởng của minh chứng được truy xuất từ hệ thống có ảnh hưởng như thế nào đến hiệu suất tông thể.

Chương 6, chúng tôi trình bày chương trình minh họa cho bài toán xác minh thông tin. Sau khi thử nghiệm và đánh giá kết quả, chúng tôi tiến hành xây dựng chương trình minh họa. Các nội dung trình bày bao gồm xây dựng chương trình minh họa và đánh giá chương trình minh họa. Chương 7, đây là chương cuối cùng của khóa luận, từ những kết quả nghiên cứu, chúng tôi sẽ đi đến kết luận đề tài bao gồm những kết quả đạt được cũng như là đề ra hướng phát triển trong tương lai.

Mô tả bài toán Nhu cầu xác minh thông tin ngày càng gia tăng khi số lượng tin tức sai lệch và giả mạo ngày càng nhiều. Việc xác minh thông tin dựa trên minh chứng văn bản từ bộ dit liệu FEVER đóng vai trò quan trọng trong việc phát triển các bài toán xác minh thông tin khác như: Xác minh thông tin trên bộ dữ liệu TabFACT, SEM-TAB- FACTS, và FEVEROUS. Trước đây, đã có nhiều công trình nghiên cứu đóng góp đáng kê vào lĩnh vực này. Theo Vlachos va Riedel (2014), việc phat triển các thành phần xác minh thông tin thường yêu cầu minh chứng cho mỗi kết luận, bao gồm các nguồn thông tin được sử dụng, điều mà thường không có sẵn trong các minh chứng do các nhà báo cung cấp.

Trong nghiên cứu của Kobayashi và cộng sự (2017), nhóm tác giả tập trung vào việc thu thập một tập dữ liệu gồm 412 câu tuyên bố từ các bài kiểm tra học sinh trung học, được xác minh dựa trên Wikipedia và sách giáo khoa lịch sử. Vì vậy, minh chứng là yếu tố quan trọng dé nâng cao hiệu suất của nhiệm vụ xác minh thông tin. Bài toán Truy xuất minh chứng và Xác thực thông tin dựa trên minh chứng là hai van dé quan trong trong lĩnh vực Xử lý ngôn ngữ tự nhiên và học máy. Mục tiêu của bài toán này là xác định tính chính xác của một tuyên bố hoặc khang định bằng cách trích xuất các minh chứng từ nguồn thông tin cấu trúc và không cấu trúc như văn bản và bảng.

Quá trình giải quyết bài toán này bao gồm hai bước chính: e Bước 1: Truy xuất Minh chứng: Một hệ thống trích xuất các minh chứng từ nguồn thông tin như văn ban và bang dé hỗ trợ việc xác định tính chính xác của tuyên bố. Các minh chứng này có thể là các câu trong văn bản hoặc các ô trong bảng chứa thông tin liên quan đến tuyên bó. e Bước 2: Xác thực tuyên bó: Dựa trên các minh chứng được truy xuất, hệ thống phải xác định xem tuyên bố đó có được hỗ trợ bởi các minh chứng, bị bác bỏ bởi chúng, hoặc không đủ thông tin dé đưa ra kết luận. 12 Để giải quyết bài toán xác minh thông tin, chúng tôi áp dụng các phương pháp học máy và xử lý ngôn ngữ tự nhiên.

Điều này bao gồm việc sử dụng các mô hình học sâu như ROBERTa và DeBERTaV3, kỹ thuật trích xuất thông tin từ văn bản và bảng, cũng như các phương pháp xử lý ngôn ngữ tự nhiên dé hiểu và xử lý thông tin từ các nguồn đữ liệu cấu trúc và phi cấu trúc. Bên cạnh việc tham khảo công trình sốc, chúng tôi cũng đã nghiên cứu các công trình liên quan khác và liệt kê chi tiết ở phần 2. Trong bài toán này, chúng tôi tiếp cận theo 2 tác vụ chính: Truy xuất minh chứng liên quan đến tuyên bé (Task 1) và xác thực tuyên bố dựa vào minh chứng (Task 2). Theo Rami Aly và cộng sự, Mô-đun cơ bản trong tác vụ truy xuất minh chứng là sự kết hợp giữa khớp thực thé và TF-IDF sử dụng DrQA để trích xuất các câu và bảng có liên quan nhất dé lấy minh chứng.

Kết hợp cả hai phương pháp này trước đây đã được chứng minh với hiệu suất tốt, đặc biệt là trong việc trích xuất bảng (Schlichtkrull và cộng sự, 2020). Sử dụng mô hình trích xuất ô đữ liệu từ bảng dé trả về các ô dữ liệu liên quan từ bảng bằng cách xử lý chúng như một nhiệm vụ gán nhãn chuỗi. Sau đó sử dung một bộ phân loại ROBERTa đã được huấn luyện trước trên nhiều tap đữ liệu NLI dé du đoán tính đúng/sai của tuyên bố bang cách sử dụng minh chứng đã được truy xuất trước đó và ngữ cảnh của nó. Ở tác vụ xác minh thông tin dựa trên minh chứng được truy xuất, nhóm tác giả sử dụng bộ mã hóa RoBERTa với 1 lớp tuyến tính ở trên.

Các 6 trong bảng được tuyến tính hóa dé sử dụng làm minh chứng. Kết quả ở bảng 2.1 cho thấy khi kết hợp các minh chứng câu và minh chứng bảng lại với nhau, hiệu suất tổng thể của tác vụ xác minh thông tin tăng lên so với khi chi sử dụng riêng lẻ từng loại bang chứng. Khi tiến hành thực nghiệm, chúng tôi cũng tiến hành kết hợp minh chứng câu và minh chứng bảng lai với nhau dé đảm bảo các minh chứng đều được sử dụng nhằm đem lại hiệu suất cao cho mô hình xác minh thông tin. Kết quả truy xuất bằng chứng trong baseline FEVEROUS Mô hình Dev Test 13 FEVEROUS Evidence |FEVEROUS Evidence Score (Recall) Score (Recall) Baseline chi dung cau 0,12 0,19 Baseline chi dung bang 0,05 0,07 Baseline dùng cả câu và 0,18 0,29 bảng Với những kết quả như trên thì có thể kết luận đây là một bài hay với nhiều thách thức.

Để nâng cao được hiệu xuất của tác vụ xác minh thông tin cần làm 2 nhiệm vụ chính: nâng cao hiệu suất truy xuất bằng chứng trên cả câu và bảng, tăng cường khả năng mã hóa câu và bảng ở tác vụ xác minh thông tin để các bằng chứng được truy xuất phát huy được hết hiệu quả. Trong dé tài này, chúng tôi tiến hành cải thiện khả năng truy xuất minh chứng dựa trên phương pháp Đồ thị minh chứng kết hợp (Mixed Evidence Graph). Ngoài ra, trong tac vụ xác minh thông tin, chúng tôi bổ sung thêm các mô hình mã hóa câu và bảng dé tiễn hành thực nghiệm sau đó so sánh hiệu suất với những mô hình trước đó. Khai niệm truy xuất minh chứng Truy xuất minh chứng (Evidence Retrieval) là quá trình tìm kiếm và thu thập thông tin cụ thể từ các nguồn dữ liệu như van ban, bảng biểu, hoặc cơ sở dữ liệu dé hỗ trợ hoặc phản bác một tuyên bố.

Quá trình này bao gồm việc xác định các mau thông tin liên quan và đánh giá mức độ liên quan của chúng với tuyên bô ban đâu. Trong bối cảnh hiện nay, với khối lượng thông tin khổng lồ được tạo ra mỗi ngày, truy xuất minh chứng đóng vai trò thiết yếu trong nhiều lĩnh vực như báo chí, pháp luật, và đặc biệt là trong các hệ thống trí tuệ nhân tạo và học máy. Việc truy xuât minh chứng chính xác và hiệu quả không chỉ giúp nâng cao độ tin cậy của các 14 hệ thống xác thực tuyên bố mà còn góp phần chống lại thông tin sai lệch và tăng cường độ chính xác của các quyết định dựa trên dữ liệu. Các phương pháp truy xuất minh chứng phổ biến gồm: TF-IDF (Term Frequency-Inverse Document Frequency): Phương pháp này dựa trên tần suất xuất hiện của từ trong tài liệu và mức độ phố biến của từ đó trong toàn tập dit liệu dé đánh giá mức độ quan trọng của từ trong tài liệu cụ thé.

BM25 (Best Matching 25): Là một phương pháp cải tiến của TF-IDE, BM25 xem xét các yếu tố như độ dài tài liệu và tần suất xuất hiện của từ dé xếp hạng các đoạn văn bản, nhằm nâng cao độ chính xác trong việc tìm kiếm thông tin. DrQA (Document Reader Question Answering): Được phát triển bởi Facebook AI Research, DrQA là một hệ thống hỏi đáp end-to-end, kết hợp giữa truy xuất tài liệu và trả lời câu hỏi. DrQA bao gồm hai thành phần chính: một retriever (trình truy xuất) dựa trên TF-IDF hoặc BM25 để tìm kiếm các đoạn văn bản liên quan, và một reader (trình đọc) sử dụng mô hình neural network để đọc và trích xuất câu trả lời từ các đoạn văn bản đó. DrQA đã chứng minh hiệu quả cao trong việc truy xuất minh chứng và tra lời câu hỏi từ các tài liệu văn bản lớn.

Khai niệm xác minh tuyên bố Xác minh tuyên bố (Claim Verification) là quá trình đánh giá và xác định tính chính xác của một tuyên bô băng cách so sánh nó với các minh chứng đã được truy xuất. Mục tiêu của quá trình này là phân loại tuyên bố thành các nhãn như “SUPPORTED”, “Refeted”, hoặc “Not Enough Information” dựa trên các minh chứng liên quan.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ