Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), Đọc hiểu tự động (Machine Reading Comprehension - MRC) là một trong những bài toán quan trọng nhằm mục tiêu xây dựng các hệ thống có khả năng tiếp nhận văn bản, phân tích ngữ cảnh và trả lời các câu hỏi bằng ngôn ngữ tự nhiên. Phần lớn các công trình nghiên cứu MRC trước đây tập trung vào tiếng Anh và tiếng Trung với các bộ dữ liệu tiêu chuẩn như SQuAD hay NewsQA. Đối với tiếng Việt, nghiên cứu MRC mới bắt đầu phát triển trong những năm gần đây với sự ra đời của các bộ dữ liệu chuyên dụng như UIT-ViQuADv1.0, UIT-ViNewsQA và gần đây là UIT-ViQuAD2.0.

Các hệ thống MRC ban đầu chủ yếu hoạt động dựa trên giả thuyết rằng mọi câu hỏi đều có thể tìm thấy câu trả lời trong đoạn văn. Tuy nhiên, trong thực tế, văn bản có thể không chứa thông tin cần thiết. Sự phát triển gần đây của bài toán MRC đặt ra yêu cầu hệ thống phải phân biệt được các câu hỏi không thể trả lời được (câu hỏi có câu trả lời không được đề cập trong văn bản) nhằm tránh việc đưa ra các kết quả sai lệch hoặc không hợp lý. Đa số các nghiên cứu trước đây trên tiếng Việt chỉ dừng lại ở việc áp dụng trực tiếp các mô hình ngôn ngữ huấn luyện trước (Pre-trained Language Models - PrLM) và chưa tối ưu hóa cho tác vụ phân loại khả năng trả lời của câu hỏi. Kết quả thực nghiệm tại cuộc thi VLSP 2021 share-task MRC cho thấy các mô hình cơ sở gặp nhiều hạn chế khi phân loại câu hỏi không trả lời được, thường xuyên dự đoán các câu trả lời giống nhau cho các câu hỏi khác nhau về mặt ngữ nghĩa trong cùng một đoạn văn.

Xuất phát từ thực trạng trên, khóa luận tập trung nghiên cứu kiến trúc Trình đọc hồi tưởng (Retrospective Reader - Retro-Reader) kết hợp phương pháp Tích hợp thông tin ngữ nghĩa (SemBERT) từ bài toán Gán nhãn vai nghĩa (Semantic Role Labeling - SRL) nhằm nâng cao độ chính xác khi xác định khả năng trả lời và trích xuất câu trả lời trong bài toán Đọc hiểu tự động tiếng Việt.

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định cụ thể như sau:

  1. Nghiên cứu, đánh giá mô hình Trình đọc hồi tưởng (Retro-Reader) — mô hình đã đạt kết quả tương đương trạng thái nghệ thuật (state-of-the-art) trên tiếng Anh đối với nhiệm vụ Đọc hiểu tự động.
  2. Xây dựng lại mô hình Đọc hiểu tự động cơ sở (Baseline) và mô hình Đọc hiểu từng được nhóm tác giả sử dụng trong cuộc thi VLSP 2021 share-task: MRC; dựa trên hai mô hình này và Trình đọc hồi tưởng để tiến hành đánh giá, nhận xét khách quan về tầm quan trọng của tác vụ phân loại khả năng trả lời trong MRC.
  3. Thử nghiệm tích hợp phương pháp biểu diễn ngôn ngữ SemBERT (Semantic-Aware BERT) vào mô hình Trình đọc hồi tưởng nhằm tận dụng thông tin ngữ nghĩa phục vụ phân loại câu hỏi.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Mô hình Trình đọc hồi tưởng (Retro-Reader), phương pháp tích hợp thông tin ngữ nghĩa SemBERT, bài toán Gán nhãn vai nghĩa (SRL), và các mô hình biểu diễn ngôn ngữ được huấn luyện trước (mBERT, XLM-RoBERTa, PhoBERT).
  • Phạm vi nghiên cứu:
    • Không gian dữ liệu đọc hiểu: Bộ dữ liệu tiếng Việt UIT-ViQuAD2.0 thuộc khuôn khổ VLSP 2021 (được kế thừa và mở rộng từ bộ dữ liệu UIT-ViQuADv1.0), chứa các cặp đoạn văn - câu hỏi gồm cả câu hỏi trả lời được và câu hỏi không thể trả lời được.
    • Không gian dữ liệu gán nhãn vai nghĩa: Bộ dữ liệu LORELEI Vietnamese Representative Language Pack, sử dụng phần dữ liệu đã được gán nhãn vai nghĩa để huấn luyện mô hình SRL tự động phục vụ trích xuất vector nhúng ngữ nghĩa.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng giải pháp dựa trên nền tảng lý thuyết học sâu và các kiến trúc mô hình ngôn ngữ tiên tiến trong xử lý ngôn ngữ tự nhiên:

  1. Kiến trúc Mạng nơ-ron và Transformers:

    • Các mô hình mạng nơ-ron nhân tạo cơ bản (ANN), mạng nơ-ron hồi quy (RNN) và Nút hồi tiếp có cổng (Gated Recurrent Unit - GRU) với cơ chế cổng xóa (reset gate $r_t$) và cổng cập nhật (update gate $z_t$) nhằm kiểm soát trạng thái ẩn.
    • Kiến trúc Transformer dựa trên cơ chế tự chú ý (Self-Attention) và chú ý đa đầu (Multi-Head Attention), cho phép xử lý song song toàn bộ chuỗi ký tự mà không bị giới hạn bởi độ dài tuần tự như RNN.

  2. Mô hình BERT và các biến thể:

    • Mô hình BERT (Bidirectional Encoder Representations from Transformers) được tiền huấn luyện qua hai tác vụ không giám sát: Mô hình ngôn ngữ có mặt nạ (Masked Language Model - MLM, với tỷ lệ 15% token được chọn ngẫu nhiên để che: 80% thay bằng [MASK], 10% thay bằng từ ngẫu nhiên và 10% giữ nguyên) và Dự đoán câu tiếp theo (Next Sentence Prediction - NSP).
    • Các biến thể cải tiến: RoBERTa (loại bỏ NSP, sử dụng cơ chế tạo mặt nạ động dynamic masking và tăng kích thước lô/tập dữ liệu huấn luyện); XLM-RoBERTa (mô hình đa ngữ huấn luyện trên 100 ngôn ngữ, trong đó tiếng Việt chiếm nguồn dữ liệu lớn thứ tư với 20GB văn bản).

  3. Mô hình Trình đọc hồi tưởng (Retro-Reader):

    • Lấy cảm hứng từ quy trình đọc hiểu của con người, mô hình kết hợp hai giai đoạn:
      • Mô-đun đọc sơ lược / Mô-đun phân loại (Sketchy Reading / External Front Verification - E-FV): Đánh giá tổng quan tương tác giữa đoạn văn và câu hỏi thông qua trạng thái ẩn của token đầu tiên [CLS], tối ưu bằng hàm mất mát Cross-entropy nhị phân để đưa ra điểm số phân loại $score_{ext} = logit_{na} - logit_{ans}$.
      • Mô-đun đọc chuyên sâu (Intensive Reading): Thực hiện song song hai tác vụ: Dự đoán khoảng trả lời (Span Prediction) thông qua việc tính toán phân phối xác suất vị trí bắt đầu $s$ và kết thúc $e$ của câu trả lời, và Tiền xác minh nội bộ (Internal Front Verification - I-FV). Điểm phân loại nội bộ dựa trên ngưỡng $score_{diff} = score_{has} - score_{ans}$.
      • Cơ chế Xác minh cuối cùng (Final Verification): Kết hợp tuyến tính điểm số của hai mô-đun: $v = \beta_1 score_{ext} + \beta_2 score_{diff}$ và so sánh với ngưỡng quyết định $\delta$ để xác định câu hỏi có thể trả lời được hay trả về chuỗi rỗng.

  4. Mô hình Tích hợp thông tin ngữ nghĩa (SemBERT) và Gán nhãn vai nghĩa (SRL):

    • Phân tích ngữ nghĩa nông nhằm xác định cấu trúc vị ngữ - đối số (Predicate - Argument) theo các vai nghĩa: Agent (người thực hiện), Patient (người chịu tác động), Theme, Result, Content, Instrument, Beneficiary, Source, Goal...
    • Phương pháp gán nhãn chuỗi BIO (Begin - Inside - Outside) để xác định ranh giới và loại thực thể đối số.
    • Kiến trúc SemBERT thực hiện ánh xạ song song chuỗi văn bản thành hai luồng biểu diễn: Nhúng ngữ cảnh (Contextual Embedding) từ mô hình ngôn ngữ tiền huấn luyện và Nhúng ngữ nghĩa (Semantic Embedding) từ các nhãn SRL được trích xuất, sau đó tích hợp lại trước khi đưa vào các tầng phân loại.

Phương pháp nghiên cứu thực nghiệm được thực hiện trên hệ thống mã nguồn sâu, bao gồm việc xây dựng mô hình cơ sở, cài đặt phương pháp Heuristic dựa trên xác suất dự đoán, huấn luyện mô hình SRL trên tập LORELEI, và triển khai kiến trúc Retro-Reader kết hợp biểu diễn SemBERT.

Nội dung chính theo từng chương

Chương 1. Mở đầu

Chương này giới thiệu tổng quan về sự phát triển của trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên, khẳng định vai trò của bài toán Đọc hiểu tự động (MRC) trong các ứng dụng thực tiễn như hệ thống hỏi đáp (QA) và trợ lý ảo/hộp thoại tự động. Tác giả chỉ ra hạn chế của các mô hình đối sánh từ khóa truyền thống và sự cần thiết của việc xác định câu hỏi không thể trả lời được. Dựa trên phân tích lỗi từ cuộc thi VLSP 2021, chương 1 xác lập mục tiêu nghiên cứu, đối tượng, phạm vi khảo sát (UIT-ViQuAD2.0, LORELEI) và bố cục tổng thể của khóa luận.

Chương 2. Tổng quan

Chương 2 trình bày chi tiết về hai bài toán nghiên cứu chính:

  • Bài toán Đọc hiểu tự động: Nêu định nghĩa bài toán trích xuất câu trả lời kèm nhãn nhị phân is_impossible (True/False). Phân tích ba thách thức lớn trong MRC tiếng Việt gồm:
    1. Sự mơ hồ của ngôn ngữ: Hiện tượng một câu có nhiều cách hiểu tùy thuộc vào vai trò ngữ pháp và ngữ cảnh (ví dụ: "Cá đã sẵn sàng để ăn" hay "Tôi nhìn thấy một người đàn ông trên đồi với kính viễn vọng").
    2. Kỹ năng suy luận và nhận thức thông thường: Yêu cầu mô hình phải hiểu logic thời gian, không gian trong hội thoại mà không cần nêu tường minh.
    3. Những câu hỏi dễ gây nhầm lẫn: Các câu hỏi có cấu trúc từ ngữ tương đồng nhưng một câu trả lời được và một câu không trả lời được.
  • Bài toán Gán nhãn vai nghĩa: Giới thiệu lịch sử nghiên cứu từ FrameNet, PropBank; định nghĩa bài toán gán nhãn chuỗi theo định dạng BIO và bảng danh mục các vai nghĩa. Khảo cứu các công trình ứng dụng vai nghĩa trong QA cổ điển và mô hình SemBERT hiện đại trên tiếng Anh, cùng các nghiên cứu PropBank tiếng Việt.

Chương 3. Cơ sở lý thuyết

Chương này hệ thống hóa toàn bộ cơ sở toán học và kỹ thuật của các mô hình học máy:

  • Nguyên lý hoạt động của nơ-ron sinh học và mô hình toán học của mạng nơ-ron nhân tạo (ANN), hàm kích hoạt (activation function), giải thuật lan truyền ngược (backpropagation).
  • Cấu trúc mạng nơ-ron hồi quy RNN và cơ chế giải quyết vấn đề biến mất/bùng nổ đạo hàm thông qua các cổng Reset và Update của kiến trúc GRU.
  • Kiến trúc Transformer với hai khối Encoder - Decoder và cơ chế Multi-Head Attention.
  • Nguyên lý tiền huấn luyện của BERT (MLM và NSP), quy trình tinh chỉnh (fine-tuning) cho các tác vụ hạ lưu, cùng các kiến trúc mở rộng gồm RoBERTa và XLM-RoBERTa.

Chương 4. Mô hình cho bài toán Đọc hiểu tự động

Chương 4 mô tả chi tiết các kiến trúc mô hình được thiết kế và thử nghiệm trong khóa luận:

  • Mô hình cơ sở (Baseline): Sử dụng bộ mã hóa Transformer để tạo vector trạng thái ẩn $H$, tính xác suất bắt đầu/kết thúc câu trả lời bằng tích vô hướng với vector trọng số và hàm softmax. Điểm không có câu trả lời được biểu diễn tại vị trí token [CLS]. Đề xuất phương pháp hậu xử lý Heuristic: trong tập các câu hỏi có cùng câu trả lời dự đoán trong một đoạn văn, chỉ giữ lại câu có xác suất cao nhất, các câu còn lại được chuyển về câu trả lời rỗng.
  • Mô hình Trình đọc hồi tưởng (Retro-Reader):
    • Mô-đun phân loại (E-FV) sử dụng trạng thái ẩn của token đầu tiên $h_1$ đưa qua tầng kết nối đầy đủ để dự đoán xác suất trả lời được và tính $score_{ext}$.
    • Mô-đun đọc chuyên sâu tính toán hàm mất mát kết hợp $L = \alpha_1 L_{span} + \alpha_2 L_{av}$, đồng thời áp dụng phương pháp xác minh câu trả lời dựa trên ngưỡng (TAV) để tính $score_{diff}$.
    • Mô-đun xác minh cuối cùng tổng hợp điểm số $v = \beta_1 score_{ext} + \beta_2 score_{diff}$ để đưa ra nhãn và vị trí trích xuất.
  • Mô hình Tích hợp thông tin ngữ nghĩa (SemBERT): Trình bày quy trình ba bước gồm gán nhãn SRL tự động cho văn bản đầu vào bằng mô hình huấn luyện từ tập LORELEI, biểu diễn song song vector ngữ cảnh và vector ngữ nghĩa, và tích hợp chúng vào mô-đun phân loại của Retro-Reader.

Chương 5. Thí nghiệm và kết quả

Chương này mô tả chi tiết các thiết lập thực nghiệm:

  • Bộ dữ liệu thực nghiệm: UIT-ViQuAD2.0 dùng cho bài toán MRC và LORELEI dùng cho bài toán SRL.
  • Thang đo đánh giá: Độ chính xác tuyệt đối (Exact Match - EM) và điểm F1-score.
  • Báo cáo kết quả huấn luyện mô hình SRL trên dữ liệu LORELEI.
  • Báo cáo và so sánh kết quả thực nghiệm giữa mô hình cơ sở (Baseline), mô hình cơ sở kết hợp Heuristic, mô hình Trình đọc hồi tưởng (Retro-Reader), và mô hình Trình đọc hồi tưởng tích hợp ngữ nghĩa SemBERT trên các mô hình nền tảng khác nhau (mBERT, XLM-RoBERTa, PhoBERT).
  • Phân tích đối kháng (adversarial analysis) nhằm đánh giá khả năng chống nhầm lẫn của các mô hình trước các câu hỏi bẫy.

Chương 6. Kết luận và hướng phát triển

Tổng kết các kết quả đạt được về mặt lý thuyết và thực nghiệm, phân tích các hạn chế còn tồn tại về quy mô dữ liệu SRL tiếng Việt và tính phụ thuộc phân phối của phương pháp Heuristic, đồng thời đề xuất định hướng nghiên cứu mở rộng trong tương lai.

Chương 7. Công bố khoa học

Liệt kê các công trình, bài báo khoa học được công bố hoặc gửi đăng từ kết quả nghiên cứu của khóa luận.

Kết quả và đóng góp

Khóa luận đã tiến hành thực nghiệm và rút ra các kết quả nghiên cứu cụ thể:

Thành phần / Phương pháp Đặc điểm triển khai Đóng góp và vai trò trong nghiên cứu
Mô hình cơ sở (Baseline) Tinh chỉnh mô hình ngôn ngữ tiền huấn luyện (mBERT, XLM-RoBERTa, PhoBERT) Chứng minh rằng mô hình cơ sở hoạt động kém trong việc phân loại câu hỏi không trả lời được, dễ bị đánh lừa bởi đối sánh từ khóa.
Phương pháp Heuristic Giữ lại câu trả lời có xác suất cao nhất trong các câu trả lời trùng nhau trong cùng đoạn văn, gán rỗng các câu còn lại Tăng từ 3% đến 4% điểm đánh giá so với mô hình cơ sở ban đầu trong khuôn khổ thử nghiệm VLSP MRC.
Trình đọc hồi tưởng (Retro-Reader) Kết hợp hai giai đoạn: Mô-đun phân loại (E-FV) và Mô-đun đọc chuyên sâu (I-FV, Span Prediction, TAV) Giải quyết hiệu quả bài toán phân loại khả năng trả lời của câu hỏi, nâng cao độ chính xác tổng thể trên tập dữ liệu UIT-ViQuAD2.0.
Mô hình Gán nhãn vai nghĩa (SRL) Huấn luyện mô hình gán nhãn chuỗi BIO trên tập dữ liệu LORELEI tiếng Việt Cung cấp công cụ gán nhãn tự động các vai trò ngữ nghĩa (Agent, Patient, Goal...) phục vụ trích xuất vector nhúng ngữ nghĩa.
Retro-Reader + SemBERT Tích hợp vector nhúng ngữ nghĩa vào mô-đun phân loại của Trình đọc hồi tưởng Kết hợp thông tin ngữ nghĩa nông với ngữ cảnh sâu nhằm hỗ trợ mô hình phân biệt tốt hơn các câu hỏi dễ gây nhầm lẫn.

Các giải pháp và kiến nghị được tác giả rút ra từ nghiên cứu:

  • Việc phân loại câu hỏi có thể trả lời hay không đóng vai trò quyết định đến hiệu năng tổng thể của hệ thống MRC trích xuất. Không nên dựa hoàn toàn vào ngưỡng xác suất của token [CLS] trong mô hình cơ sở mà cần áp dụng cơ chế xác minh hai giai đoạn (sơ lược và chuyên sâu).
  • Tích hợp thông tin cấu trúc vị ngữ - đối số (SRL) là hướng tiếp cận giúp bổ sung tri thức ngữ nghĩa tường minh cho các mô hình ngôn ngữ tiền huấn luyện, giảm thiểu sự phụ thuộc vào đối sánh từ khóa bề mặt.

Đóng góp khoa học của đề tài:

  • Đây là một trong những nghiên cứu đầu tiên tiến hành cài đặt, đánh giá toàn diện mô hình Trình đọc hồi tưởng (Retro-Reader) trên bài toán Đọc hiểu tự động tiếng Việt với tập dữ liệu có chứa câu hỏi không thể trả lời được (UIT-ViQuAD2.0).
  • Xây dựng thành công mô hình SRL tiếng Việt trên bộ dữ liệu LORELEI và thử nghiệm kết hợp biểu diễn ngữ nghĩa SemBERT vào kiến trúc Retro-Reader cho tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận đã chỉ ra một số hạn chế trong quá trình thực hiện:

  • Hạn chế về tài nguyên ngữ nghĩa: Dữ liệu gán nhãn vai nghĩa (SRL) chuẩn cho tiếng Việt còn rất hạn chế về quy mô. Việc sử dụng bộ dữ liệu LORELEI chưa bao phủ hết các cấu trúc ngữ nghĩa đa dạng của tiếng Việt, dẫn đến chất lượng của bộ gán nhãn SRL tự động chưa đạt mức tối ưu tuyệt đối, từ đó ảnh hưởng đến biểu diễn Semantic Embedding trong SemBERT.
  • Tính tổng quát của phương pháp Heuristic: Phương pháp xử lý đầu ra Heuristic dựa trên việc loại bỏ câu trả lời trùng lặp chỉ phát huy hiệu quả trên các phân phối dữ liệu có đặc thù câu hỏi gây nhiễu cụ thể, không đảm bảo tính tổng quát cho mọi hệ thống MRC mở.
  • Phạm vi tích hợp ngữ nghĩa: Nghiên cứu mới chỉ thử nghiệm tích hợp SemBERT vào mô-đun phân loại (Mô-đun đọc sơ lược) của Retro-Reader mà chưa tích hợp sâu vào mô-đun đọc chuyên sâu (Dự đoán khoảng trả lời).

Hướng nghiên cứu tiếp theo được đề xuất:

  • Mở rộng và chuẩn hóa bộ ngữ liệu Gán nhãn vai nghĩa (PropBank/SRL) tiếng Việt với quy mô lớn hơn để nâng cao độ chính xác của bộ phân tích ngữ nghĩa.
  • Thử nghiệm tích hợp biểu diễn ngữ nghĩa SemBERT vào toàn bộ các thành phần của Trình đọc hồi tưởng, bao gồm cả mô-đun đọc chuyên sâu và cơ chế chú ý chéo.
  • Tự động hóa quá trình tối ưu hóa các siêu tham số trọng số ($\alpha_1, \alpha_2, \beta_1, \beta_2$) và ngưỡng phân loại $\delta$ trên nhiều tập dữ liệu đọc hiểu tiếng Việt khác nhau.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên khảo hữu ích cho:

  • Sinh viên, học viên cao học và nghiên cứu sinh ngành Công nghệ Thông tin, Khoa học Máy tính, Trí tuệ Nhân tạo: Cung cấp tài liệu tham khảo chi tiết về quy trình xây dựng hệ thống Đọc hiểu tự động (MRC) dạng trích xuất trên tiếng Việt.
  • Các nhà nghiên cứu về Xử lý ngôn ngữ tự nhiên tiếng Việt: Cung cấp phương pháp cài đặt chi tiết kiến trúc Trình đọc hồi tưởng (Retro-Reader), phương pháp gán nhãn vai nghĩa (SRL) trên ngữ liệu LORELEI, và cách tích hợp vector nhúng ngữ nghĩa SemBERT vào mô hình Transformer.
  • Các kỹ sư phát triển hệ thống Hỏi - Đáp (QA) và Trợ lý ảo: Tham khảo giải pháp xử lý câu hỏi không thể trả lời được (unanswerable questions) và phương pháp xác minh hai giai đoạn để giảm thiểu hiện tượng đưa ra câu trả lời sai lệch trong các hệ thống thực tế.

Câu hỏi thường gặp

1. Bài toán Đọc hiểu tự động trong khóa luận được định nghĩa với định dạng đầu vào và đầu ra như thế nào?
Đầu vào của hệ thống gồm một đoạn văn bản và một câu hỏi tương ứng. Đầu ra của hệ thống gồm nhãn nhị phân is_impossible (nhận giá trị False nếu câu hỏi trả lời được dựa trên đoạn văn, và True nếu không có câu trả lời) cùng với một khoảng văn bản trích xuất (span) xác định vị trí bắt đầu và kết thúc trong đoạn văn làm câu trả lời (nếu is_impossible là True, câu trả lời trả về là chuỗi rỗng []).

2. Phương pháp hậu xử lý Heuristic được nhóm tác giả đề xuất dựa trên nguyên lý nào và đạt hiệu quả ra sao?
Phương pháp Heuristic được đề xuất từ quan sát thực tế trong cuộc thi VLSP 2021: khi mô hình dự đoán cùng một câu trả lời cho nhiều câu hỏi khác nhau trong một đoạn văn, thông thường chỉ có 1-2 câu trả lời là chính xác. Phương pháp này giữ lại câu trả lời có xác suất dự đoán cao nhất và gán các câu còn lại thành chuỗi rỗng. Trong thực nghiệm ban đầu, phương pháp này đã giúp tăng từ 3% đến 4% điểm đánh giá so với mô hình ngôn ngữ cơ sở.

3. Cơ chế hoạt động của mô hình Trình đọc hồi tưởng (Retro-Reader) gồm những giai đoạn nào?
Mô hình hoạt động qua hai giai đoạn chính:

  • Đọc sơ lược (Mô-đun phân loại): Sử dụng Tiền xác minh bên ngoài (E-FV) để dự đoán sơ bộ khả năng trả lời và xuất ra điểm số $score_{ext}$.
  • Đọc chuyên sâu: Thực hiện dự đoán khoảng trả lời (Span Prediction) kết hợp Tiền xác minh nội bộ (I-FV) và cơ chế xác minh dựa trên ngưỡng (TAV) để xuất ra điểm $score_{diff}$. Kết quả cuối cùng được tổng hợp tuyến tính $v = \beta_1 score_{ext} + \beta_2 score_{diff}$ và so sánh với ngưỡng $\delta$ để ra quyết định.

4. Vì sao nhóm tác giả lại kết hợp mô hình SemBERT vào Trình đọc hồi tưởng và dữ liệu nào được sử dụng để huấn luyện SRL?
Các mô hình ngôn ngữ tiền huấn luyện thông thường chủ yếu học ngữ cảnh từ chuỗi từ/ký tự bề mặt mà thiếu biểu diễn cấu trúc ngữ nghĩa rõ ràng (ai làm gì, với ai, khi nào, ở đâu). Do đó, SemBERT được sử dụng để tích hợp các nhãn vai nghĩa vào vector biểu diễn. Do tiếng Việt chưa có sẵn công cụ SRL chuẩn quy mô lớn, nhóm tác giả đã sử dụng tập dữ liệu LORELEI Vietnamese Representative Language Pack để huấn luyện một mô hình SRL tự động theo định dạng BIO trước khi tích hợp vào Retro-Reader.

5. Khóa luận đã chỉ ra những thách thức ngữ nghĩa đặc thù nào trong bài toán Đọc hiểu tự động?
Khóa luận phân tích ba thách thức chính: sự mơ hồ của ngôn ngữ (một câu có nhiều nghĩa do vai trò chủ động/bị động hoặc quan hệ cú pháp), kỹ năng suy luận và nhận thức thông thường (suy luận logic ngữ cảnh ngầm hiểu trong hội thoại), và các câu hỏi dễ gây nhầm lẫn (hai câu hỏi gần như giống hệt nhau về từ vựng nhưng chỉ một câu có câu trả lời trong đoạn văn).

Kết luận

Khóa luận tốt nghiệp "Nghiên cứu phương pháp Trình đọc hồi tưởng cho bài toán Đọc hiểu tự động tiếng Việt" của nhóm tác giả Lê Thị Thu Hằng và Hồ Việt Đức đã giải quyết bài toán phân loại câu hỏi không thể trả lời được trong MRC tiếng Việt. Bằng việc xây dựng thành công kiến trúc Trình đọc hồi tưởng (Retro-Reader) kết hợp phương pháp biểu diễn ngữ nghĩa SemBERT từ mô hình gán nhãn vai nghĩa LORELEI, nghiên cứu đã khắc phục được nhược điểm của các mô hình cơ sở trên bộ dữ liệu UIT-ViQuAD2.0. Công trình cung cấp cơ sở lý thuyết, mô hình thực nghiệm và quy trình triển khai có giá trị tham khảo học thuật cao cho việc phát triển các hệ thống đọc hiểu tự động và xử lý ngôn ngữ tự nhiên tiếng Việt.