Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), bài toán Đọc hiểu tự động (Machine Reading Comprehension - MRC) giữ vai trò then chốt trong việc hỗ trợ máy tính đọc, phân tích và trích xuất câu trả lời từ các ngữ cảnh văn bản cho trước. Mặc dù các mô hình MRC dựa trên kiến trúc học sâu đã đạt được những kết quả đáng kể, hệ thống vẫn tồn tại hai hạn chế lớn: thiếu khả năng tự đánh giá, kiểm chứng tính đúng đắn của câu trả lời do chính mình tạo ra và dễ bị phân tán bởi các thông tin nhiễu không liên quan trong đoạn văn bản ngữ cảnh.

Đối với tiếng Việt, thách thức này càng rõ rệt do tính đa nghĩa, cấu trúc ngữ pháp và cú pháp phức tạp. Trong khi các giải pháp tích hợp Suy luận ngôn ngữ tự nhiên (Natural Language Inference - NLI) để tăng cường tính vững chắc cho hệ thống hỏi đáp (Question-Answering - QA) đã được nghiên cứu rộng rãi trên ngữ liệu tiếng Anh, hướng tiếp cận này còn rất hạn chế đối với dữ liệu tiếng Việt. Khóa luận tốt nghiệp của tác giả Trần Thanh Đăng và Nguyễn Văn Ánh (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh, 2024) tập trung giải quyết bài toán trên thông qua việc tích hợp kỹ thuật NLI vào hệ thống MRC tiếng Việt.

Hệ thống xử lý của nghiên cứu tiếp nhận đầu vào bao gồm:

  1. Câu hỏi (Question): Yêu cầu trích xuất thông tin do người dùng đưa vào.
  2. Văn bản ngữ cảnh (Context): Đoạn văn nguồn chứa thông tin thực tế.

Đầu ra của hệ thống bao gồm:

  1. Câu trả lời (Answer): Đoạn trích xuất thông tin được mô hình MRC đề xuất dựa trên ngữ cảnh.
  2. Kết quả xác minh NLI (Verify NLI): Nhãn suy luận (Answerable/Unanswerable) nhằm chứng thực mức độ hợp lệ của câu trả lời tương ứng với ngữ cảnh.

Nghiên cứu đặt ra bốn mục tiêu cụ thể:

  1. Đánh giá khả năng xác minh của mô hình NLI trong việc chứng thực tính chính xác của câu trả lời từ mô hình MRC, kết hợp kết quả của NLI và MRC để đo lường mức độ tin cậy.
  2. Tạo nguồn dữ liệu mới cho mô hình NLI từ dữ liệu MRC sẵn có, gia tăng số lượng mẫu mang đặc trưng của bài toán hỏi đáp.
  3. Nâng cao năng lực kiểm tra tính đúng đắn của thông tin sau khi huấn luyện mô hình NLI.
  4. Áp dụng NLI để sàng lọc thông tin nhiễu trong dữ liệu MRC, tinh gọn ngữ cảnh và hỗ trợ mô hình QA nâng cao độ chính xác khi trích xuất câu trả lời.

Đối tượng nghiên cứu là các mô hình MRC tiếng Việt và mô hình NLI tiếng Việt. Phạm vi nghiên cứu thực nghiệm giới hạn trên các bộ dữ liệu đọc hiểu và suy luận tiếng Việt sẵn có, bao gồm UIT-ViNewsQA, UIT-ViQuAD 1.0, UIT-ViQuAD 2.0 và ViNLI.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nghiên cứu dựa trên các khái niệm nền tảng của MRC và NLI. Bài toán NLI được định nghĩa là việc xác định mối quan hệ logic giữa hai câu văn: đoạn tiền đề (premise) và câu giả thuyết (hypothesis), với các nhãn quan hệ: Kéo theo (Entailment), Mâu thuẫn/Không kéo theo (Not Entailment/Contradiction) và Trung lập (Neutral).

Các hướng tiếp cận lý thuyết được tổng kết và vận dụng bao gồm:

  • Học chuyển tiếp (Transfer Learning): Tinh chỉnh các mô hình ngôn ngữ đã được tiền huấn luyện quy mô lớn trên tập dữ liệu chuyên biệt tiếng Việt.
  • Xử lý đa ngôn ngữ (Multilingual Processing): Khai thác các mô hình như multilingual BERT (mBERT) và XLM-RoBERTa (XLM-R) để tận dụng biểu diễn ngôn ngữ đa ngữ.
  • Mô hình hóa ngữ cảnh và biểu diễn từ: Chuyển dịch từ phương pháp thống kê truyền thống (TF-IDF, quy tắc mẫu) và nhúng từ tĩnh (Word2Vec, PhoW2V, GloVe) sang các biểu diễn từ theo ngữ cảnh (Contextualized word embedding) như BERT, RoBERTa, ALBERT và PhoBERT.
  • Kỹ thuật tăng cường tính vững chắc cho QA (Robust QA): Ứng dụng mô hình NLI vào vai trò xác minh câu trả lời (answer verification), kết hợp kỹ thuật rút gọn ngữ cảnh để loại trừ thông tin không liên quan.

Phương pháp nghiên cứu thực nghiệm sử dụng kết hợp các mô hình kiến trúc:

  • ViT5: Mô hình ngôn ngữ dạng sinh dựa trên kiến trúc T5 dành cho tiếng Việt, được sử dụng để chuyển đổi cặp câu hỏi - câu trả lời thành câu khẳng định (giả thuyết).
  • QANet: Kiến trúc kết hợp các khối tích chập có thể tách rời (separable convolution), cơ chế tự chú ý (self-attention) và chú ý ngữ cảnh - câu hỏi (context-query attention), dùng làm mô hình QA trích xuất cơ sở.
  • Vietnamese-SBERT: Mô hình nhúng câu tiếng Việt dùng để tính toán độ tương đồng cosine, phục vụ việc lọc và trích xuất đoạn tiền đề.
  • VinAI Translate: Mô hình dịch máy song ngữ Anh - Việt huấn luyện trên ngữ liệu PhoMT (3 triệu cặp câu), hỗ trợ chuyển đổi dữ liệu tiếng Anh sang tiếng Việt.

Thiết kế và triển khai quy trình kỹ thuật

Nghiên cứu xây dựng hai quy trình kỹ thuật chính:

Quy trình xác minh câu hỏi không trả lời được (Unanswerable QA)

Quy trình xác minh câu trả lời bao gồm ba giai đoạn liên hoàn:

  1. Tạo sinh câu giả thuyết: Mô hình QA (QANet) đưa ra câu trả lời dự đoán từ câu hỏi và ngữ cảnh. Cặp câu hỏi và câu trả lời dự đoán được đưa qua mô hình ViT5 (đã tinh chỉnh trên tập dữ liệu ViQA2D) để tổng hợp thành một câu tường thuật hoàn chỉnh đóng vai trò là giả thuyết (hypothesis).
  2. Tạo đoạn tiền đề: Toàn bộ đoạn ngữ cảnh được phân rã thành các câu đơn. Mô hình Vietnamese-SBERT tính toán độ tương đồng cosine giữa từng câu ngữ cảnh với câu giả thuyết vừa tạo. Hệ thống xếp hạng và giữ lại 70% số lượng câu có độ tương đồng cao nhất để ghép thành đoạn tiền đề (premise) cô đọng.
  3. Xác nhận mối quan hệ suy luận: Cặp tiền đề - giả thuyết được đưa vào mô hình phân loại NLI. Kết quả trả về nhãn Entailment tương ứng với câu hỏi có thể trả lời (Answerable); nhãn Not Entailment (hoặc Neutral/Contradiction) tương ứng với câu hỏi không thể trả lời (Unanswerable).

Quy trình rút gọn ngữ cảnh (Mini Context Transformation)

Để loại trừ các câu văn gây nhiễu trong tập dữ liệu UIT-ViQuAD 1.0, nghiên cứu ứng dụng mô hình NLI để rà soát toàn bộ các câu trong ngữ cảnh. Những câu không hỗ trợ việc chứng thực cho câu hỏi và câu trả lời sẽ bị loại bỏ, tạo thành một đoạn ngữ cảnh thu gọn (mini context). Dữ liệu sau tinh gọn tiếp tục được sử dụng để huấn luyện lại mô hình QA nhằm đánh giá biến thiên hiệu suất trích xuất.

Quy trình xử lý và chuẩn hóa dữ liệu

Trong quá trình dịch tập dữ liệu QA2D từ tiếng Anh sang tiếng Việt bằng VinAI Translate, tác giả phát hiện và xử lý hai dạng lỗi dịch thuật mang tính hệ thống:

  • Lỗi tên riêng: Danh từ riêng đứng độc lập trong câu trả lời bị dịch sai nghĩa sang tiếng Việt, gây lệch ngữ nghĩa với câu giả thuyết. Tác giả sử dụng mô hình gán nhãn từ loại QCRI/bert-base-multilingual-cased-pos-english để nhận diện nhãn danh từ riêng (NNP); nếu câu trả lời tiếng Anh và tiếng Việt sai lệch, giá trị gốc tiếng Anh sẽ được giữ nguyên cho phần tiếng Việt.
  • Lỗi đại từ xưng hô: Sự bất đối xứng giữa đại từ tiếng Anh ("he") và hệ thống đại từ tiếng Việt ("anh", "ông"). Tác giả đối chiếu vị trí đại từ trong câu giả thuyết để chuẩn hóa đồng nhất cách xưng hô trong câu trả lời tương ứng.

Nội dung chính theo từng chương

Chương 1. Bài toán đọc hiểu tự động tiếng Việt

Chương này giới thiệu tổng quan về bài toán MRC và các thách thức đặc thù trong tiếng Việt. Tác giả tổng thuật ba xu hướng cải thiện hiệu suất QA hiện đại: học chuyển tiếp, học tăng cường và xử lý đa ngôn ngữ. Phân tích trọng tâm đặt vào việc tăng cường QA thông qua kỹ thuật NLI, bao gồm chuyển đổi dữ liệu QA sang NLI để tăng cường tính suy luận logic, đồng thời sử dụng mô hình ngôn ngữ để rút gọn thông tin nhiễu trong ngữ cảnh. Chương khép lại bằng việc nêu rõ bốn đóng góp kỹ thuật chính của khóa luận.

Chương 2. Các công trình liên quan

Tác giả hệ thống hóa các nghiên cứu nền tảng trên thế giới và tại Việt Nam theo ba nhóm nội dung:

  • Các bộ dữ liệu MRC: Phân loại theo bốn định dạng (điền chỗ trống, trắc nghiệm, trích xuất đoạn văn, dạng tự do). Phân tích tập dữ liệu SQuAD 1.0, NewsQA cùng các bộ dữ liệu tiếng Việt gồm ViMMRC, UIT-ViQuAD 1.0 (23.000 cặp câu), UIT-ViQuAD 2.0 (bổ sung 12.000 câu unanswerable) và UIT-ViNewsQA (22.077 cặp câu từ 4.419 bài báo y tế).
  • Các bộ dữ liệu NLI: Khái quát tiến trình từ RTE, SNLI (570.000 mẫu tiếng Anh), MultiNLI đến các dữ liệu tiếng Việt như vnNLI, ViNLI (hơn 30.000 cặp câu phân loại 13 chủ đề), VnNewsNLI (42.239 cặp câu) và ViHealthNLI.
  • Mô hình và phương pháp: Đánh giá quá trình chuyển dịch kỹ thuật từ phương pháp thống kê, mạng BiDAF, BiDAF++ đến kiến trúc Transformer. Trình bày chi tiết cơ chế hoạt động của mBERT, PhoBERT, XLM-R, mô hình dịch VinAI Translate, kiến trúc 5 lớp của QANet và mô hình sinh văn bản ViT5.

Chương 3. Nghiên cứu phương pháp

Chương 3 trình bày chi tiết thiết kế giải pháp kỹ thuật tích hợp NLI vào QA tiếng Việt. Tác giả mô tả chi tiết sơ đồ luồng dữ liệu 3 bước trong xác minh câu hỏi unanswerable: tạo câu giả thuyết bằng ViT5, tạo đoạn tiền đề bằng việc lọc giữ 70% nội dung qua Vietnamese-SBERT, và phân loại nhãn NLI. Tiếp đó, chương trình bày phương pháp chuyển đổi ngữ cảnh rút gọn (mini context transform) trên UIT-ViQuAD 1.0 nhằm hạn chế phân tán chú ý của mô hình MRC.

Chương 4. Xây dựng dữ liệu

Chương này giải trình chi tiết các quy trình tạo lập ba nhóm dữ liệu phục vụ nghiên cứu:

  1. Bộ dữ liệu ViQA2D: Dịch từ bộ dữ liệu QA2D tiếng Anh bằng VinAI Translate, trải qua các bước kiểm tra chất lượng trên 200 mẫu ngẫu nhiên, áp dụng kỹ thuật tự động sửa lỗi tên riêng và lỗi đại từ xưng hô, thu được 20.684 mẫu hoàn chỉnh.
  2. Bộ dữ liệu QA_NLI:
    • Từ UIT-ViNewsQA: Dự đoán câu trả lời bằng QANet, sinh giả thuyết bằng ViT5, trích tiền đề qua Vietnamese-SBERT. Sau đó so khớp câu trả lời gốc và câu trả lời dự đoán bằng mô hình multi-qa_v1-mpnet-cls_dot; nếu độ tương đồng cosine $\ge 0.85$ thì gán nhãn Entailment, ngược lại gán nhãn Not Entailment.
    • Từ UIT-ViQuAD 2.0: Phân loại nhãn NLI trực tiếp dựa trên cờ thuộc tính is_impossible của dữ liệu gốc (false tương ứng Entailment, true tương ứng Not Entailment).
  3. Bộ dữ liệu rút gọn ngữ cảnh: Triển khai trên UIT-ViQuAD 1.0 nhằm tạo ngữ cảnh tinh gọn cho bước tái huấn luyện mô hình QA.

Chương 5. Thực nghiệm và đánh giá kết quả

Chương 5 trình bày toàn bộ quy trình thiết lập môi trường thực nghiệm, cấu hình các mô hình NLI và QA trên các biến thể dữ liệu. Tác giả sử dụng các độ đo đánh giá tiêu chuẩn: BLEU (đánh giá dịch thuật và tạo sinh câu giả thuyết), độ tương đồng Cosine, Accuracy (độ chính xác phân loại NLI), Exact Match (EM) và F1-score (đánh giá mô hình MRC). Nội dung chương tiến hành phân tích tác động của độ dài câu trả lời, độ dài ngữ cảnh đến hiệu suất mô hình, đồng thời cung cấp phân tích định tính về các lỗi còn tồn đọng trong quá trình tạo câu giả thuyết và phân loại nhãn.

Chương 6. Kết luận

Chương cuối tổng kết các kết quả đạt được về mặt phương pháp luận và dữ liệu thực nghiệm, chỉ ra các điểm còn hạn chế của hệ thống và định hướng các nghiên cứu tiếp theo.

Kết quả và đóng góp

Nghiên cứu mang lại các đóng góp cụ thể về mặt dữ liệu và phương pháp thực nghiệm cho bài toán xử lý ngôn ngữ tự nhiên tiếng Việt:

Đóng góp về tài nguyên dữ liệu

  • Xây dựng hoàn chỉnh bộ dữ liệu ViQA2D (Question Answer to Declarative Sentence tiếng Việt) với quy mô 20.684 cặp câu hỏi - câu trả lời - câu tường thuật, cung cấp tài nguyên cho các bài toán chuyển đổi câu và sinh giả thuyết NLI.
  • Tạo lập các tập dữ liệu NLI mang đặc tính hỏi đáp (QA_NLI) được chuyển đổi từ hai nguồn dữ liệu MRC thực tế (UIT-ViNewsQA và UIT-ViQuAD 2.0).
  • Xây dựng phiên bản rút gọn ngữ cảnh từ tập dữ liệu chuẩn UIT-ViQuAD 1.0 nhằm phục vụ việc nghiên cứu khử nhiễu văn bản.
Bộ dữ liệu Tập Train Tập Dev Tập Test Tổng số lượng
ViQA2D 14.892 1.655 4.137 20.684
UIT-ViNewsQA - - - 22.077
UIT-ViQuAD 1.0 - - - > 23.000
UIT-ViQuAD 2.0 - - - > 35.000 (gồm 12.000 unanswerable)
ViNLI - - - > 30.000

Đóng góp về mặt phương pháp và kỹ thuật

  • Thiết lập thành công chuỗi quy trình phối hợp giữa các mô hình học sâu chuyên biệt (QANet, ViT5, Vietnamese-SBERT và các mô hình phân loại NLI) để thực hiện xác minh tự động độ tin cậy của câu trả lời do hệ thống MRC đề xuất.
  • Chứng minh tính khả thi của việc ứng dụng mô hình suy luận NLI để sàng lọc các câu văn không hỗ trợ trong ngữ cảnh, giúp thu hẹp phạm vi tìm kiếm câu trả lời cho các hệ thống đọc hiểu tự động.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích thực nghiệm và phạm vi nghiên cứu được văn bản trình bày, đề tài còn tồn tại một số hạn chế:

  • Quá trình tự động xử lý lỗi dịch máy trên tập dữ liệu ViQA2D mới chỉ xử lý được các danh từ riêng đơn lẻ và đại từ xưng hô độc lập ("he"); các trường hợp xưng hô phức tạp hoặc biến thể ngữ cảnh khác chưa được giải quyết triệt để.
  • Tỷ lệ giữ lại các câu tiền đề trong phương pháp tạo ngữ cảnh được cố định ở mức 70% dựa trên xếp hạng độ tương đồng cosine của Vietnamese-SBERT, chưa có cơ chế thích ứng động theo từng độ dài văn bản cụ thể.
  • Hệ thống phụ thuộc vào chất lượng của các mô hình thành phần trong đường ống (pipeline), bao gồm độ chính xác của câu trả lời dự đoán từ QANet và độ chuẩn xác ngữ pháp của câu giả thuyết do ViT5 sinh ra.

Hướng nghiên cứu tiếp theo được đề xuất:

  • Cải thiện thuật toán hậu xử lý dữ liệu dịch thuật, hoàn thiện khả năng gán nhãn và xử lý các cấu trúc đại từ, thực thể phức tạp trong tiếng Việt.
  • Nghiên cứu các cơ chế động để tối ưu hóa tỷ lệ chọn lọc câu tiền đề từ đoạn ngữ cảnh.
  • Thử nghiệm tích hợp các mô hình ngôn ngữ lớn hơn và đánh giá trên các miền dữ liệu chuyên ngành sâu ngoài tin tức tổng hợp và y tế.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn phù hợp cho sinh viên, học viên cao học và các nghiên cứu viên thuộc chuyên ngành Khoa học máy tính, Công nghệ thông tin và Ngôn ngữ học tính toán đang thực hiện các đề tài liên quan đến NLP tiếng Việt.

Các nội dung có giá trị tham khảo kỹ thuật cao bao gồm:

  • Phương pháp luận chuyển đổi cấu trúc bài toán giữa Đọc hiểu tự động (QA/MRC) và Suy luận ngôn ngữ tự nhiên (NLI).
  • Quy trình chuẩn bị dữ liệu, làm sạch lỗi dịch máy song ngữ bằng các mô hình nhận diện từ loại và quy tắc ngôn ngữ.
  • Đường ống tích hợp nhiều mô hình (ViT5, QANet, Vietnamese-SBERT) để giải quyết bài toán xác minh câu hỏi không có câu trả lời (Unanswerable QA).

Câu hỏi thường gặp

Mô hình NLI phân biệt câu hỏi trả lời được và không trả lời được như thế nào?

Cặp câu hỏi và câu trả lời dự đoán từ mô hình QA được chuyển thành câu giả thuyết qua mô hình ViT5, sau đó ghép với đoạn tiền đề rút gọn từ ngữ cảnh qua Vietnamese-SBERT. Cặp tiền đề - giả thuyết này được đưa vào mô hình NLI để dự đoán nhãn: nếu mô hình xác định nhãn là Entailment thì câu hỏi được xác minh là có thể trả lời (Answerable); nếu kết quả là Not Entailment thì câu hỏi được xác minh là không thể trả lời (Unanswerable).

Tập dữ liệu ViQA2D được xây dựng từ nguồn nào và có quy mô bao nhiêu mẫu?

Tập dữ liệu ViQA2D được dịch từ tập dữ liệu QA2D tiếng Anh sang tiếng Việt bằng mô hình VinAI Translate. Tổng quy mô của bộ dữ liệu đạt 20.684 mẫu, bao gồm 14.892 mẫu cho tập huấn luyện (train), 1.655 mẫu cho tập phát triển (dev) và 4.137 mẫu cho tập kiểm thử (test).

Tác giả đã xử lý những lỗi dịch thuật cụ thể nào trong bộ dữ liệu ViQA2D?

Tác giả đã phát hiện và xử lý hai nhóm lỗi chính: lỗi dịch sai tên riêng đứng độc lập trong câu trả lời (sử dụng mô hình QCRI/bert-base-multilingual-cased-pos-english để nhận diện nhãn NNP và đồng nhất lại từ gốc tiếng Anh) và lỗi không nhất quán trong đại từ xưng hô tiếng Việt khi dịch từ đại từ "he" (đối chiếu ngữ cảnh trong câu giả thuyết để chuẩn hóa giữa "anh" hoặc "ông" cho câu trả lời).

Ngưỡng nào được sử dụng để gán nhãn Entailment khi tạo dữ liệu NLI từ UIT-ViNewsQA?

Tác giả sử dụng mô hình multi-qa_v1-mpnet-cls_dot để tính độ tương đồng cosine giữa câu trả lời gốc và câu trả lời do QANet dự đoán. Ngưỡng quyết định được thiết lập là 0.85: các mẫu có điểm cosine $\ge 0.85$ được gán nhãn Entailment, các mẫu có điểm dưới 0.85 được gán nhãn Not Entailment.

Đoạn tiền đề được tạo ra từ ngữ cảnh văn bản gốc theo tỷ lệ bao nhiêu?

Khi tạo đoạn tiền đề cho mô hình NLI, toàn bộ các câu trong đoạn ngữ cảnh được so sánh độ tương đồng với câu giả thuyết bằng mô hình Vietnamese-SBERT. Sau khi sắp xếp theo thứ tự giảm dần về độ tương đồng, hệ thống giữ lại 70% số lượng câu có điểm số cao nhất để tạo thành đoạn tiền đề.

Kết luận

Khóa luận tốt nghiệp của tác giả Trần Thanh Đăng và Nguyễn Văn Ánh đã giải quyết vấn đề xác minh câu trả lời và giảm nhiễu ngữ cảnh trong bài toán đọc hiểu tự động tiếng Việt thông qua việc tích hợp suy luận ngôn ngữ tự nhiên. Công trình đã xây dựng thành công bộ dữ liệu ViQA2D cùng các tập dữ liệu QA_NLI và mini context, đồng thời thiết lập chuỗi thực nghiệm kết hợp giữa các mô hình ViT5, QANet và Vietnamese-SBERT. Kết quả nghiên cứu cung cấp cơ sở dữ liệu và quy trình kỹ thuật rõ ràng, đóng góp thiết thực cho sự phát triển của các hệ thống hỏi đáp và truy vấn thông tin tiếng Việt.