Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ thông tin trên Internet kéo theo sự gia tăng của các luồng tin tức sai lệch, khiến nhu cầu kiểm tra và xác thực tính chính xác của dữ kiện (fact-checking) trở nên cấp thiết. Mặc dù các nghiên cứu về xác thực thông tin trên thế giới đã đạt được nhiều tiến bộ với các ngôn ngữ như tiếng Anh hoặc tiếng Trung, tài nguyên phục vụ bài toán này cho tiếng Việt vẫn còn rất hạn chế, đặc biệt là nguồn dữ liệu chuẩn hóa phục vụ các tác vụ suy luận đòi hỏi phân tích số liệu (numerical reasoning).

Để giải quyết khoảng trống học thuật này, đề tài tập trung vào bài toán: Cho một câu khẳng định tiếng Việt có chứa số liệu $A$ và một đoạn văn bản tiền đề tiếng Việt có chứa số liệu $B$, hệ thống cần xác định tính đúng đắn của câu $A$ dựa trên các bằng chứng được trích xuất từ văn bản $B$. Cụ thể, đầu ra của bài toán bao gồm:

  1. Nhãn phân loại $X$ thuộc tập ba nhãn: Hỗ trợ (Supported), Bác bỏ (Refuted), hoặc Không thể xác thực (NotenoughInfo).
  2. Danh sách các câu bằng chứng (Evidence) nằm trong đoạn văn $B$ dùng để chứng minh tính xác thực cho câu $A$.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định gồm bốn nội dung:

  1. Xây dựng bộ dữ liệu ngữ liệu tiếng Việt chất lượng cao mang tên ViFEVER phục vụ bài toán xác thực thông tin dựa trên suy luận số liệu, bao gồm hơn 10.000 cặp câu và bằng chứng tương ứng được tạo lập thủ công.
  2. Thiết lập quy trình kiểm định chất lượng gán nhãn nghiêm ngặt, đánh giá độ tin cậy của dữ liệu qua hệ số đồng thuận Kappa của Cohen và phương pháp kiểm tra chéo đa bên.
  3. Huấn luyện thực nghiệm và đánh giá hiệu suất của các mô hình học sâu và mô hình ngôn ngữ dựa trên kiến trúc Transformer tiền huấn luyện (BERT, RoBERTa và các biến thể đa ngôn ngữ cũng như đặc thù cho tiếng Việt) trên tập dữ liệu đã xây dựng.
  4. Triển khai các phương pháp truy xuất thông tin (BM25, TF-IDF, SBERT) để tìm kiếm câu bằng chứng tự động, đồng thời phân tích sự ảnh hưởng của các yếu tố ngôn ngữ (chiều dài văn bản, độ trùng lặp từ vựng, tỷ lệ từ mới) đến độ chính xác của các mô hình.

Đối tượng nghiên cứu là các câu khẳng định và đoạn văn bản có chứa số liệu trong tiếng Việt. Phạm vi nghiên cứu về mặt dữ liệu được trích xuất từ báo điện tử VnExpress trải dài trên 12 chủ đề khác nhau, và phạm vi thực nghiệm kỹ thuật tập trung vào các mô hình Transformer tiền huấn luyện phổ biến tính đến năm 2024.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của nghiên cứu dựa trên bài toán Suy luận ngôn ngữ tự nhiên (Natural Language Inference - NLI) và bài toán Trích xuất dữ kiện và Xác thực (Fact Extraction and VERification - FEVER). Bài toán phân loại được mô hình hóa theo không gian 3 nhãn:

  • Hỗ trợ (Supported): Nội dung và số liệu trong câu khẳng định hoàn toàn trùng khớp hoặc được chứng minh bởi bằng chứng trong đoạn văn bản gốc.
  • Bác bỏ (Refuted): Nội dung hoặc số liệu trong câu khẳng định mâu thuẫn, sai lệch trực tiếp với bằng chứng trong đoạn văn bản gốc.
  • Không đủ thông tin (NotenoughInfo): Đoạn văn bản gốc không cung cấp đầy đủ thông tin hoặc cơ sở dữ liệu số để khẳng định tính đúng hay sai của câu khẳng định.

Về phương diện các công trình tham chiếu, nghiên cứu kế thừa nguyên lý cấu trúc từ các tập dữ liệu chuẩn trên thế giới gồm FEVER (tiếng Anh, hơn 185.000 câu khẳng định từ Wikipedia), Liar, Liar Pants on Fire (12.800 tuyên bố chính trị), FEVEROUS (87.026 mẫu có cấu trúc bảng biểu và văn bản) và VITAMINC (400.000 cặp câu khẳng định - bằng chứng). Quy trình gán nhãn được tổng hợp và cải tiến từ quy trình xây dựng tập ngữ liệu ViNLI và FEVER.

Phương pháp nghiên cứu thực nghiệm được triển khai thông qua các giai đoạn:

  • Thu thập và tiền xử lý dữ liệu: Thu thập hơn 10.000 bài báo từ VnExpress, lọc trích các đoạn văn bản có số liệu. Sử dụng công cụ VnCoreNLP để thực hiện tách từ tiếng Việt, thư viện PhoNLP để phân loại từ loại (POS tagging), và thư viện NLTK để phân tách câu trong văn bản tiền đề.
  • Đánh giá đặc trưng ngôn ngữ học: Đo lường mức độ trùng lặp từ vựng không theo thứ tự bằng chỉ số Jaccard và mức độ tương đồng cấu trúc chuỗi con chung dài nhất bằng chỉ số LCS (Longest Common Subsequence).
  • Phân loại văn bản: Tinh chỉnh (fine-tuning) các mô hình Transformer đã tiền huấn luyện gồm: Bert-base-multilingual (mBERT), XLM-Roberta (phiên bản base và large), phoBERT (phiên bản base và large), Bartpho_word, cafeBERT, SBERT (base và large), và InfoXLM-large.
  • Truy xuất bằng chứng: Áp dụng phương pháp xếp hạng văn bản BM25, mô hình vector ngữ nghĩa SBERT, phương pháp thống kê TF-IDF, và giải pháp kết hợp SBERT + BM25 theo cơ chế Dynamic $k$ (chọn lọc từ 1 đến 4 câu có điểm tương đồng cao nhất).
  • Thiết lập môi trường thực nghiệm: Sử dụng thư viện Hugging Face Transformers trên nền tảng GPU Nvidia Tesla P100-PCIE-16GB (Google Colab). Các siêu tham số huấn luyện gồm: thuật toán tối ưu Adam, tốc độ học (learning rate) $1\times 10^{-5}$, kích thước lô (batch size) 16, độ dài chuỗi tối đa (sequence length) 256, số chu kỳ huấn luyện (epochs) là 7.
  • Thước đo đánh giá: Độ chính xác (Accuracy), Độ chuẩn xác (Precision), Độ thu hồi (Recall) và Macro F1-score.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu khái quát bài toán kiểm tra và xác thực thông tin, khẳng định vai trò của việc kiểm chứng số liệu trong bối cảnh các nguồn tin điện tử gia tăng nhanh chóng. Tác giả định nghĩa cấu trúc dữ liệu đầu vào và đầu ra của bài toán xác thực dữ kiện số tiếng Việt, đồng thời liệt kê các đóng góp chính của đề tài, bao gồm việc công bố bộ ngữ liệu ViFEVER hơn 10.000 mẫu, thực nghiệm diện rộng trên các mô hình ngôn ngữ họ BERT (BERTology), và phân tích các yếu tố ngữ pháp, độ dài tác động đến hiệu năng mô hình.

Chương 2: Các công trình liên quan

Chương này tổng thuật các bộ dữ liệu tiêu chuẩn phục vụ bài toán fact-checking trên thế giới (FEVER, Liar, Liar Pants on Fire, FEVEROUS, VITAMINC). Đồng thời, tác giả khảo sát các kiến trúc mô hình học máy cổ điển và học sâu đã từng được áp dụng cho bài toán như LSTM, Random Forest, SVM và Transformer (điển hình là BERT và GPT). Phần cuối chương tập trung phân tích quy trình tạo dữ liệu của ViNLI và FEVER, làm cơ sở lý luận để xây dựng quy trình gán nhãn cho ViFEVER.

Chương 3: Xây dựng bộ dữ liệu

Chương 3 trình bày chi tiết bốn giai đoạn hình thành bộ dữ liệu ViFEVER:

  1. Thu thập dữ liệu: Thu thập hơn 10.000 bài viết từ VnExpress thuộc 12 chuyên mục, sau đó lọc chọn các đoạn văn có chứa dữ liệu số.
  2. Tuyển chọn đội ngũ: Tuyển chọn người bản ngữ có kỹ năng ngôn ngữ, tổ chức kiểm tra viết 20 câu khẳng định; chỉ những người đạt hệ số tin cậy đồng thuận Cohen's Kappa trên 0,95 mới được tham gia chính thức.
  3. Tạo câu khẳng định và tìm bằng chứng: Người tạo câu viết ba câu khẳng định tương ứng với ba nhãn (Hỗ trợ, Bác bỏ, Không đủ thông tin) cho mỗi đoạn văn bản theo các quy tắc định sẵn. Đối với nhãn Hỗ trợ và Bác bỏ, người tạo câu phải trích xuất từ 1 đến 4 câu trong đoạn tiền đề làm bằng chứng chứng minh.
  4. Kiểm tra bộ dữ liệu: Bốn kiểm định viên độc lập tiến hành gán nhãn chéo các mẫu dữ liệu không trùng với tập mình đã viết. Mẫu dữ liệu chỉ được giữ lại khi có ít nhất 3 trong 5 lượt đánh giá thống nhất về nhãn. Kết quả đạt 85% mẫu có từ 4 nhãn đồng thuận trở lên và 94% mẫu có từ 3 nhãn đồng thuận trở lên.

Dữ liệu hoàn chỉnh được lưu trữ theo cấu trúc JSON bao gồm các trường: paragraph, evidence start, link, annotator_labels, label, evidence, context, sentenceID, topic, claim, id.

Chương 4: Phân tích bộ dữ liệu

Chương 4 cung cấp số liệu thống kê chi tiết của ViFEVER sau khi phân chia theo tỷ lệ 80% tập huấn luyện (Train), 10% tập phát triển (Dev) và 10% tập kiểm tra (Test):

  • Độ dài văn bản: Chiều dài trung bình đoạn tiền đề là 58,3 từ (dao động từ 19 đến 179 từ); chiều dài trung bình câu khẳng định là 20,5 từ (dao động từ 6 đến 68 từ, tập trung chủ yếu ở khoảng 10-20 từ).
  • Mức độ trùng lặp từ vựng: Nhãn Hỗ trợ có độ trùng lặp từ vựng cao nhất (Jaccard đạt 23,72%; LCS đạt 72,92%); nhãn Không đủ thông tin có độ trùng lặp thấp nhất (Jaccard 15,74%; LCS 67,41%) do xuất hiện các nội dung mới không có trong ngữ cảnh.
  • Tỷ lệ từ mới: Nhãn Không đủ thông tin có tỷ lệ từ mới cao nhất (54,27%), trong đó danh từ và động từ chiếm tỷ trọng chủ đạo (lần lượt là 31,11% và 26,31%). Nhãn Hỗ trợ có tỷ lệ từ mới là 35,58%, nhãn Bác bỏ là 43,99%.
  • Phân tích quy tắc tạo câu: Nhãn Hỗ trợ có 57% câu dùng 1 quy tắc, 41% câu dùng 2 quy tắc; quy tắc phổ biến nhất là "Thay thế bằng từ đồng nghĩa, tương tự" (38%). Nhãn Bác bỏ có 97% câu dùng 1 quy tắc, trong đó quy tắc "Tạo câu mang ý nghĩa trái ngược với đoạn tiền giả định" chiếm tỷ lệ cao nhất (38%).
  • Số lượng bằng chứng: 49% mẫu chỉ sử dụng 1 câu làm bằng chứng, 31% sử dụng 2 câu, số lượng sử dụng từ 3 câu trở lên chiếm tỷ lệ nhỏ.

Chương 5: Thực nghiệm và đánh giá

Chương này công bố kết quả thực nghiệm của 10 mô hình ngôn ngữ trên tác vụ phân loại nhãn và 4 phương pháp trên tác vụ truy xuất bằng chứng.

  • Về phân loại 3 nhãn: Mô hình cafeBERT đạt hiệu năng cao nhất trên tập Dev (Accuracy và F1-score đều đạt 90,89%), và đạt Accuracy/F1 là 89,35% trên tập Test. Mô hình XLM-Roberta-large đạt hiệu năng cao nhất trên tập Test với Accuracy 90,05% và F1-score 90,06% (trên tập Dev đạt 90,09%). Các mô hình phoBERT-large, Bartpho_word và InfoXLM-large đều duy trì hiệu năng trên 85%.
  • Về truy xuất bằng chứng: Với cơ chế Dynamic $k$ (1-4 câu), phương pháp BM25 đạt Precision 97,4%, Recall 90,47%, F1-score 93,8%. Phương pháp kết hợp SBERT + BM25 đạt Precision 97,4%, Recall 88,89%, F1-score 92,95%. Độ chính xác của các phương pháp có xu hướng tăng khi số lượng bằng chứng mở rộng từ 1 đến 4.

Chương 6: Phân tích kết quả

Chương 6 đi sâu vào các yếu tố chi phối hiệu năng mô hình:

  • Tác động của chiều dài: Khi chiều dài đoạn tiền đề tăng, hiệu năng của hầu hết các mô hình có sự dao động, trong đó XLM-Roberta-large và cafeBERT giữ được sự ổn định tốt nhất. Đối với chiều dài câu khẳng định, mô hình mBERT giảm dần độ chính xác trên tập Dev khi câu dài hơn, nhưng lại đạt kết quả cao trên tập Test ở các câu trên 50 từ.
  • Tác động của trùng lặp từ và từ mới: cafeBERT duy trì độ chính xác cao ngay cả khi chỉ số tương đồng LCS dưới 40% (đạt 93,75% trên tập Dev). Khi tỷ lệ từ mới trong câu khẳng định vượt quá 80%, hai mô hình XLM-Roberta-large và cafeBERT vẫn đạt độ chính xác dẫn đầu.
  • Phân tích lỗi qua ma trận nhầm lẫn: Kiểm tra các trường hợp nhầm lẫn giữa nhãn Supported và Refuted cho thấy nguyên nhân chủ yếu xuất phát từ các câu suy luận số phức tạp hoặc cấu trúc câu đảo chiều ngữ nghĩa khiến mô hình phán đoán sai thực thể hoặc quan hệ số học.

Chương 7: Kết luận và hướng phát triển

Chương 7 đúc kết các phát hiện chính của khóa luận, khẳng định tính khả thi của việc ứng dụng các mô hình Transformer tiền huấn luyện vào việc xác thực thông tin số liệu tiếng Việt, đồng thời vạch ra các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận cung cấp các bảng số liệu thực nghiệm đầy đủ về hiệu năng của các mô hình phân loại và phương pháp truy xuất bằng chứng.

Mô hình Dev Acc (%) Dev F1 (%) Test Acc (%) Test F1 (%)
Bert-base-multilingual 84,78 84,78 83,48 83,43
XLM-Roberta-base 84,88 84,85 84,68 84,67
XLM-Roberta-large 90,09 90,09 90,05 90,06
phoBERT-base 85,39 85,38 85,27 85,26
phoBERT-large 88,69 88,70 87,56 87,56
Bartpho_word 85,59 85,57 85,67 85,65
cafeBERT 90,89 90,89 89,35 89,35
SBERT-base 76,68 76,64 75,82 75,67
SBERT-large 78,98 78,99 77,41 77,40
InfoXLM-large 86,09 86,07 85,07 85,00

Đối với tác vụ truy xuất bằng chứng từ văn bản tiền đề, bảng số liệu dưới đây tổng hợp hiệu năng của các phương pháp trên tập Dev theo cơ chế Dynamic $k$:

Phương pháp Precision (%) Recall (%) F1-score (%)
SBERT + BM25 97,40 88,89 92,95
SBERT 92,20 78,78 84,96
BM25 97,40 90,47 93,80
TFIDF 94,27 77,86 85,28

Khi đánh giá độ chuẩn xác theo số lượng bằng chứng thực tế ($k$ từ 1 đến 4 câu), độ chuẩn xác (Precision@k) biến thiên như sau:

Phương pháp 1 bằng chứng ($k=1$) 2 bằng chứng ($k=2$) 3 bằng chứng ($k=3$) 4 bằng chứng ($k=4$)
SBERT + BM25 93,34% 94,07% 95,29% 95,88%
BM25 93,40% 94,08% 95,30% 95,88%
SBERT 79,86% 86,26% 89,47% 92,18%
TFIDF 68,32% 79,04% 84,62% 94,81%

Các đóng góp chính được nhóm tác giả tự nêu bao gồm:

  • Công bố bộ dữ liệu ViFEVER gồm hơn 10.000 cặp câu tiền đề, giả thuyết, bằng chứng và nhãn suy luận số liệu được xây dựng thủ công từ nguồn báo chí tiếng Việt uy tín.
  • Cung cấp điểm chuẩn thực nghiệm (benchmark) toàn diện trên các mô hình Transformer đa ngôn ngữ và đơn ngữ tiếng Việt cho bài toán fact-checking số liệu.
  • Phân tích định lượng tác động của các khía cạnh ngôn ngữ học (chiều dài, độ trùng lặp từ vựng, từ loại mới) giúp giải thích hành vi dự đoán của các mô hình tiền huấn luyện.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế và hướng mở rộng nghiên cứu sau:

  • Về hạn chế mô hình: Hiệu năng của các mô hình ngôn ngữ vẫn chịu tác động tiêu cực khi chiều dài văn bản tiền đề tăng lên hoặc khi câu khẳng định chứa tỷ lệ từ mới cao. Một số phương pháp truy xuất truyền thống như TF-IDF chỉ dựa vào tần suất xuất hiện của từ ngữ, không nắm bắt được ngữ cảnh và ngữ nghĩa, dẫn đến độ chuẩn xác ban đầu ở tập 1 bằng chứng đạt mức thấp (68,32%). Các mô hình ngôn ngữ vẫn xuất hiện sai số khi xử lý những cấu trúc câu chứa ngữ nghĩa mơ hồ hoặc quan hệ số liệu đa tầng.
  • Về hướng phát triển: Nhóm tác giả đề xuất tiếp tục nghiên cứu các phương pháp cải thiện khả năng suy luận số liệu cho các mô hình ngôn ngữ họ BERT; phát triển các kiến trúc mô hình mới có năng lực biểu diễn ngữ nghĩa tiếng Việt sâu hơn; đồng thời ứng dụng bộ ngữ liệu và mô hình tối ưu vào việc xây dựng các công cụ xác thực thông tin tự động trong môi trường truyền thông số.

Giá trị tham khảo

Công trình là tài liệu tham khảo phù hợp cho sinh viên, học viên cao học và các nghiên cứu viên thuộc chuyên ngành Khoa học máy tính, Công nghệ thông tin, Trí tuệ nhân tạo và Ngôn ngữ học tính toán. Các nội dung có giá trị tham khảo cụ thể gồm:

  • Quy trình xây dựng tập ngữ liệu học thuật: Quy trình tuyển chọn người gán nhãn, tiêu chuẩn hóa hệ số đồng thuận Kappa (>0,95) và phương thức kiểm tra chéo đa bên tại Chương 3 là quy trình mẫu cho các nghiên cứu tạo lập dữ liệu NLP tiếng Việt.
  • Bảng quy tắc tạo câu suy luận: 9 quy tắc tạo câu Hỗ trợ và 6 quy tắc tạo câu Bác bỏ cung cấp khung phân loại logic rõ ràng cho các tác vụ suy luận ngôn ngữ tự nhiên và kiểm chứng dữ kiện.
  • Phương pháp luận phân tích thực nghiệm: Cách tiếp cận bóc tách hiệu năng theo các chỉ số ngôn ngữ học (đoạn con chung dài nhất LCS, hệ số Jaccard, tỷ lệ phân bố từ loại mới qua POS tagging) tại Chương 6 giúp làm rõ tính giải thích được (interpretability) của các mô hình học sâu.

Câu hỏi thường gặp

1. Bộ dữ liệu ViFEVER sử dụng nguồn văn bản nào và phân bố trên những chủ đề gì?
Dữ liệu được thu thập từ hơn 10.000 bài báo trên báo điện tử VnExpress, trải dài trên 12 chủ đề: Số hóa, Du lịch, Giáo dục, Giải trí, Khoa học, Kinh doanh, Pháp luật, Sức khỏe, Thế giới, Thể thao, Thời sự, và Xe.

2. Tiêu chuẩn đánh giá và chấp thuận người tham gia tạo dữ liệu ViFEVER là gì?
Người tham gia phải là người Việt bản ngữ, được đào tạo quy tắc viết câu và thực hiện viết thử 20 câu khẳng định. Độ đồng thuận khi gán nhãn thử nghiệm phải đạt hệ số Cohen's Kappa trên 0,95 mới được chấp thuận tham gia xây dựng tập dữ liệu chính thức.

3. Mô hình phân loại nào đạt kết quả cao nhất trên tập kiểm tra (Test) của ViFEVER?
Mô hình XLM-Roberta-large đạt hiệu năng phân loại cao nhất trên tập Test với độ chính xác (Accuracy) đạt 90,05% và F1-score đạt 90,06%, theo sau sát sao là mô hình cafeBERT với Accuracy và F1-score đều đạt 89,35%.

4. Phương pháp truy xuất câu bằng chứng nào cho hiệu quả tốt nhất trong nghiên cứu?
Phương pháp BM25 đơn lẻ và giải pháp kết hợp SBERT + BM25 cho kết quả vượt trội nhất trên tập Dev, cùng đạt độ chuẩn xác (Precision) là 97,40%, với F1-score lần lượt đạt 93,80% (BM25) và 92,95% (SBERT + BM25).

5. Trong các câu Bác bỏ (Refuted), quy tắc tạo câu nào được người gán nhãn áp dụng nhiều nhất?
Quy tắc "Tạo câu mang ý nghĩa trái ngược với đoạn tiền giả định" được áp dụng nhiều nhất, chiếm tỷ lệ 38% trong số các quy tắc tạo câu của nhãn Bác bỏ, trong khi 97% câu Bác bỏ được tạo ra chỉ thông qua việc áp dụng duy nhất 1 quy tắc.

Kết luận

Khóa luận tốt nghiệp của Lương Ngọc Phương Nhi và Lê Thị Lan Anh đã xây dựng thành công ViFEVER, bộ dữ liệu chuẩn hóa phục vụ bài toán xác thực thông tin dựa trên suy luận số liệu đầu tiên cho tiếng Việt với hơn 10.000 mẫu gán nhãn thủ công nghiêm ngặt. Thông qua việc tinh chỉnh và đánh giá 10 mô hình học sâu thuộc họ Transformer cùng các phương pháp truy xuất thông tin, nghiên cứu chứng minh mô hình XLM-Roberta-large và cafeBERT đạt hiệu năng vượt trội với độ chính xác xấp xỉ 90% trên tập dữ liệu kiểm tra. Kết quả phân tích mối liên hệ giữa các đặc trưng ngôn ngữ học (chiều dài văn bản, độ trùng lặp từ vựng, từ loại mới) và hiệu suất mô hình đã cung cấp những luận cứ thực nghiệm có giá trị, đặt nền móng kỹ thuật vững chắc cho việc phát triển các hệ thống tự động kiểm chứng dữ kiện và phòng chống tin sai lệch trong môi trường số tại Việt Nam.