Tổng quan luận án

Bài toán đọc hiểu tự động (Machine Reading Comprehension - MRC) là một phân ngành trọng tâm trong lĩnh vực hiểu ngôn ngữ tự nhiên (Natural Language Understanding - NLU) thuộc trí tuệ nhân tạo. Nhiệm vụ của đọc hiểu tự động là huấn luyện máy tính tiếp nhận một văn bản ngữ cảnh và trả lời các câu hỏi liên quan hoàn toàn bằng ngôn ngữ tự nhiên. Văn bản luận án chỉ ra rằng tiếng Việt là ngôn ngữ ít tài nguyên (low-resource language), còn thiếu hụt các bộ ngữ liệu quy mô lớn, được gán nhãn chuẩn mực và công bố rộng rãi phục vụ nghiên cứu học máy. Phần lớn các công trình nghiên cứu trước đây tập trung chủ yếu vào các ngôn ngữ giàu tài nguyên như tiếng Anh và tiếng Trung. Sự thiếu vắng này tạo ra khoảng trống nghiên cứu đáng kể trong việc phát triển, đánh giá các thuật toán học sâu và mô hình ngôn ngữ cho tiếng Việt.

Luận án xác định ba mục tiêu nghiên cứu cụ thể gắn liền với các nội dung thực hiện:

  • Mục tiêu 1: Nghiên cứu, thiết kế và xây dựng các bộ ngữ liệu đọc hiểu và hỏi đáp tự động cho văn bản tiếng Việt trên cả miền mở (Wikipedia tiếng Việt) và miền đóng (tin tức về sức khỏe).
  • Mục tiêu 2: Nghiên cứu và đề xuất các phương pháp, mô hình đọc hiểu tự động đạt độ chính xác cao cho văn bản tiếng Việt dựa trên mô hình ngôn ngữ và kỹ thuật truy xuất minh chứng.
  • Mục tiêu 3: Áp dụng mô hình đọc hiểu tự động làm thành phần cốt lõi để xây dựng và nâng cao hiệu quả của các mô hình hỏi đáp tự động (Question Answering - QA) cho văn bản tiếng Việt theo kiến trúc truy xuất - đọc hiểu (Retriever - Reader).

Đối tượng nghiên cứu của luận án là bài toán đọc hiểu tự động cho văn bản tiếng Việt và mô hình hỏi đáp tự động tích hợp đọc hiểu. Phạm vi nghiên cứu được giới hạn ở dạng bài toán đọc hiểu có câu trả lời được rút trích trực tiếp từ văn bản (Span-based MRC) và đọc hiểu cấp độ câu, thực hiện trên hai nguồn dữ liệu: miền mở gồm các bài viết trên Wikipedia tiếng Việt và miền đóng gồm các tin tức thuộc lĩnh vực sức khỏe. Luận án do nghiên cứu sinh Nguyễn Văn Kiệt thực hiện dưới sự hướng dẫn của PGS.TS. Nguyễn Lưu Thùy Ngân và TS. Nguyễn Gia Tuấn Anh, bảo vệ năm 2024 tại Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh, thuộc ngành Khoa học Máy tính (mã số: 9480101).

Tổng quan tài liệu và vị trí của luận án

Lịch sử phát triển của đọc hiểu tự động trải dài qua gần năm thập kỷ, được luận án phân chia thành các giai đoạn và hướng tiếp cận chính:

  • Giai đoạn quy tắc thủ công (1970 - 2000): Charniak và cộng sự (1972) đề xuất mô hình cơ bản trả lời câu hỏi về mẩu chuyện trẻ em. Lehnert (1977) định nghĩa bài toán đọc hiểu tự động với mô hình QUALM gồm bốn giai đoạn (phân loại khái niệm, phân tích suy luận, đặc tả nội dung và truy xuất heuristics). Đến cuối thập niên 1990, Hirschman và cộng sự (1999) tái khởi động nghiên cứu với mô hình DEEP READ trên 60 mẩu chuyện phát triển và 60 mẩu chuyện kiểm tra (từ lớp 3 đến lớp 6). Riloff và Thelen (2000) xây dựng mô hình QUARC dựa trên quy tắc tương đồng từ vựng và ngữ nghĩa. Charniak và cộng sự (2000) kết hợp DEEP READ và QUARC thành mô hình DEEP READ++ đạt độ chính xác khoảng 41%.
  • Giai đoạn học máy giám sát và mạng nơ-ron (2013 - 2017): Richardson và cộng sự (2013) thiết lập bài toán đọc hiểu thành nhiệm vụ học có giám sát với bộ ngữ liệu trắc nghiệm MCTest (660 mẩu chuyện) sử dụng giải thuật Sliding Window và nhận diện kế thừa văn bản (RTE). Hermann và cộng sự (2015) giới thiệu mô hình Attentive Reader dựa trên LSTM và cơ chế attention trên ngữ liệu CNN và Daily Mail. Chen và cộng sự (2016) phát triển Stanford Attentive Reader đạt độ chính xác 72,4% trên CNN và 75,8% trên Daily Mail. Rajpurkar và cộng sự (2016) công bố bộ ngữ liệu SQuAD 1.0 với 107.785 câu hỏi trên 536 bài báo Wikipedia, mở ra hướng tiếp cận rút trích chuỗi (Span-based). Tiếp đó, hàng loạt mô hình học sâu ra đời như Match-LSTM (Wang và Jiang, 2016), BiDAF (Seo và cộng sự, 2016), DrQA Reader (Chen và cộng sự, 2017), R-NET (Wang và cộng sự, 2017) và QANet (Yu và cộng sự, 2018).
  • Giai đoạn mô hình ngôn ngữ Transformer (2018 đến nay): Devlin và cộng sự (2018, 2019) giới thiệu BERT; Conneau và cộng sự (2020) công bố XLM-RoBERTa (XLM-R) huấn luyện trên 2,5 TB văn bản từ 100 ngôn ngữ; Reimers và Gurevych (2019) đề xuất Sentence-BERT (SBERT). Trong tiếng Việt, các mô hình ngôn ngữ tiêu biểu gồm PhoBERT (Nguyen và Nguyen, 2020), WikiBERT, viBERT4news, VELECTRA.
  • Các bộ ngữ liệu quốc tế tương ứng: NewsQA (Trischler và cộng sự, 2017 - tiếng Anh), SQuAD 2.0 (Rajpurkar và cộng sự, 2018 - bổ sung câu hỏi không thể trả lời), CMRC (Cui và cộng sự, 2019 - tiếng Trung), KorQuAD (Lim và cộng sự, 2019 - tiếng Hàn), SberQuAD (Efimov và cộng sự, 2019 - tiếng Nga), FQuAD (d'Hoffschmidt và cộng sự, 2020 - tiếng Pháp), JaQuAD (So và cộng sự, 2022 - tiếng Nhật).
  • Hệ thống hỏi đáp tích hợp đọc hiểu: Harabagiu và cộng sự (2003) tại hội thảo TREC; IBM Watson/DeepQA (Ferrucci và cộng sự, 2010); DrQA (Chen và cộng sự, 2017); BERTserini (Yang và cộng sự, 2019); ORQA (Lee và cộng sự, 2019).

Khoảng trống nghiên cứu được luận án lựa chọn giải quyết là sự thiếu hụt hoàn toàn các bộ ngữ liệu đọc hiểu trích xuất quy mô lớn cho tiếng Việt và sự hạn chế của các mô hình hỏi đáp tiếng Việt khi chưa tích hợp cơ chế trích xuất minh chứng (Evidence Extraction) để xử lý văn bản dài và giảm thiểu độ nhiễu ngữ cảnh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Về mặt lý thuyết, luận án mô hình hóa bài toán đọc hiểu tự động dưới dạng học máy có giám sát: cho tập hợp $N$ mẫu ngữ liệu ${(D_i, Q_i, A_i)}_{i=1}^N$, mục tiêu là xây dựng hàm dự đoán $f(D_i, Q_i) \rightarrow A_i$, trong đó $D_i$ là văn bản đầu vào, $Q_i$ là câu hỏi và $A_i$ là câu trả lời cần rút trích dưới dạng một chuỗi từ liên tục trong $D_i$. Luận án phân định bốn dạng bài toán đọc hiểu:

  1. Đọc hiểu điền vào chỗ trống (Cloze-based MRC) như CNN/Daily Mail.
  2. Đọc hiểu trắc nghiệm nhiều lựa chọn (Multiple-choice MRC) như MCTest, RACE.
  3. Đọc hiểu rút trích câu trả lời trực tiếp (Span-based MRC) như SQuAD, NewsQA.
  4. Đọc hiểu câu trả lời tự do (Free form-based MRC) như NarrativeQA, MS MARCO.

Khung kiến trúc lý thuyết mà luận án sử dụng là học chuyển tiếp (Transfer Learning) dựa trên các mô hình ngôn ngữ cấu trúc Transformer. Đối với bài toán đo độ tương đồng ngữ nghĩa câu, tác giả ứng dụng Sentence-BERT (SBERT) với hai hướng tiếp cận hàm mục tiêu: phân lớp nhị phân (tương đồng / không tương đồng) và hàm hồi quy sử dụng khoảng cách Cosine kết hợp hàm mất mát sai số toàn phương trung bình (Mean Squared Error - MSE):

$$\cos(u, v) = \frac{u \cdot v}{|u|2 |v|2} = \frac{\sum{i=1}^n u_i v_i}{\sqrt{\sum{i=1}^n u_i^2} \sqrt{\sum_{i=1}^n v_i^2}}$$

Đối với hệ thống hỏi đáp tự động, luận án chuẩn hóa mô hình hai giai đoạn Retriever - Reader:

$$A = \text{Reader}(Q, \text{Retriever}(Q, \mathcal{D}, K))$$

Phương pháp thực nghiệm của luận án bao gồm phương pháp định lượng và xử lý dữ liệu:

  • Phương pháp xây dựng ngữ liệu: Áp dụng quy trình gia công dữ liệu (Crowd-sourcing) với hệ thống hướng dẫn, giao diện công cụ chuyên biệt và quy trình lọc duyệt nhiều bước; xây dựng thuật toán tự động chuyển đổi định dạng câu trả lời từ cấp độ chuỗi sang cấp độ câu; kỹ thuật chuyển đổi câu hỏi trả lời được thành câu hỏi không trả lời được (dành cho bộ ngữ liệu mở rộng).
  • Phương pháp mô hình hóa: Xây dựng mô hình ViReader gồm hai khối: Khối truy xuất minh chứng (Evidence Extractor - EE) để trích xuất $K$ câu liên quan nhất và Khối rút trích câu trả lời có giám sát (Supervised Answer Extractor - SAE) dựa trên mô hình ngôn ngữ XLM-R; xây dựng hệ thống hỏi đáp ViQAS với mô hình truy xuất văn bản ViDR (gồm tiền truy xuất, truy xuất minh chứng, tái xếp hạng văn bản) kết hợp bộ xếp hạng câu trả lời (Answer Re-ranker).
  • Nguồn dữ liệu: Dữ liệu bài viết Wikipedia tiếng Việt và tin tức chuyên đề sức khỏe tiếng Việt; mở rộng đánh giá đối sánh trên ngữ liệu tiếng Anh (SQuAD) và tiếng Trung (CMRC).
  • Thông số đánh giá:
    • Độ chính xác tuyệt đối (Exact Match - EM): $$\text{EM} = \frac{1}{N} \sum_{i=1}^N \mathbb{I}(X_i = Y_i)$$
    • Độ đo $F_1$-score tính trên trung bình điều hòa của Precision và Recall ở cấp độ token: $$\text{Precision} = \frac{\text{Số lượng token dự đoán chính xác}}{\text{Tổng số lượng token dự đoán}}$$ $$\text{Recall} = \frac{\text{Số lượng token dự đoán chính xác}}{\text{Tổng số lượng token mong đợi}}$$ $$F_1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$
    • Độ chính xác truy xuất minh chứng Top-$K$ (Acc@K).
Tiêu chí Tiếp cận định tính / Quy trình Tiếp cận định lượng / Thuật toán
Xây dựng ngữ liệu Thu thập bài đọc Wikipedia và tin tức sức khỏe; hướng dẫn người gán nhãn crowd-sourcing Thống kê phân bố độ dài từ, phân loại từ hỏi (Ai, Cái gì, Ở đâu, Khi nào, Tại sao, Như thế nào), tỷ lệ câu hỏi unanswerable
Mô hình hóa đọc hiểu Phân tích lỗi ngữ nghĩa, phân loại suy luận (so khớp từ, diễn giải, suy luận nhiều câu) Tinh chỉnh mô hình ngôn ngữ Transformer (BERT, XLM-R, PhoBERT); hồi quy MSE cho SBERT
Hệ thống hỏi đáp Thiết lập quy tắc tiền xử lý câu hỏi; phân loại câu hỏi thách thức Thuật toán xếp hạng ViDR, tối ưu hóa siêu tham số cân bằng $(\alpha, \beta)$, đánh giá EM và $F_1$

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập nền tảng và định hướng nghiên cứu của toàn bộ luận án. Tác giả trình bày động lực nghiên cứu bắt nguồn từ vai trò của hiểu ngôn ngữ tự nhiên (NLU) trong trí tuệ nhân tạo và thực trạng tiếng Việt là ngôn ngữ ít tài nguyên trong NLP. Luận án nêu rõ ba mục tiêu nghiên cứu, xác định đối tượng là đọc hiểu tự động văn bản tiếng Việt và phạm vi trên văn bản miền mở (Wikipedia) cùng miền đóng (tin tức sức khỏe). Chương này tóm tắt ba nội dung đóng góp khoa học chính, nêu rõ ý nghĩa lý luận, ý nghĩa thực tiễn, và khái quát cấu trúc 6 chương của công trình.

Chương 2: Cơ sở lý thuyết và các công trình nghiên cứu liên quan

Chương 2 cung cấp bức tranh toàn cảnh về lý thuyết và lịch sử 5 thập kỷ của đọc hiểu tự động (1977 - 2024). Tác giả tổng hợp các mốc phát triển từ hệ thống QUALM, DEEP READ, QUARC đến các bộ chuẩn SQuAD, NewsQA, CMRC, KorQuAD, JaQuAD, FQuAD, SberQuAD. Chương phân tích chi tiết bốn nhóm phương pháp: mô hình dựa trên quy tắc (Sliding Window), học máy dựa trên đặc trưng thủ công (Logistic Regression, Boosting), mạng nơ-ron học sâu (Match-LSTM, BiDAF, R-Net, DrQA) và mô hình ngôn ngữ học chuyển tiếp (BERT, XLM-R, SBERT, PhoBERT). Bên cạnh đó, chương trình bày chi tiết kiến trúc hỏi đáp hai khối Retriever - Reader, các công thức toán học tính độ tương đồng câu và định nghĩa hai độ đo đánh giá cốt lõi là EM và $F_1$.

Chương 3: Xây dựng ngữ liệu và đánh giá đọc hiểu tự động trên văn bản tiếng Việt

Chương 3 trình bày quy trình xây dựng, phân tích đặc trưng và thử nghiệm ban đầu trên các bộ ngữ liệu đọc hiểu tiếng Việt do tác giả đề xuất:

  • UIT-ViQuAD (phiên bản 1.0 và 2.0): Bộ ngữ liệu đọc hiểu trích xuất trên văn bản Wikipedia tiếng Việt. Phiên bản 2.0 được mở rộng bằng cách bổ sung tập các câu hỏi không thể trả lời được (unanswerable questions) thông qua các phương pháp biến đổi ngữ nghĩa có kiểm soát.
  • UIT-ViNewsQA: Bộ ngữ liệu đọc hiểu trên văn bản tin tức chuyên ngành sức khỏe tiếng Việt (miền đóng), thể hiện các đặc trưng từ vựng và câu hỏi y tế.
  • UIT-ViWikiQA: Bộ ngữ liệu đọc hiểu cấp độ câu trên văn bản Wikipedia tiếng Việt, chuyển đổi từ câu trả lời cấp độ chuỗi sang câu chứa câu trả lời.
  • Chương trình bày chi tiết phân bố độ dài câu hỏi, độ dài câu trả lời, độ dài đoạn văn và các phân loại câu hỏi (Ai, Cái gì, Khi nào, Ở đâu, Tại sao, Như thế nào). Tác giả thiết lập các thử nghiệm cơ sở ban đầu (baselines) với nhiều mô hình học máy, đồng thời công bố kết quả đánh giá nhiệm vụ đọc hiểu tiếng Việt tại Hội thảo quốc tế VLSP 2021.

Chương 4: Mô hình đọc hiểu tự động tích hợp truy xuất minh chứng trên văn bản tiếng Việt

Chương 4 tập trung thiết kế và đánh giá mô hình đọc hiểu ViReader. Kiến trúc mô hình gồm hai thành phần:

  • Bộ truy xuất minh chứng (Evidence Extractor - EE): Dựa trên Sentence-BERT để đánh giá mức độ tương đồng ngữ nghĩa giữa câu hỏi $Q$ và từng câu trong văn bản $D$, từ đó trích xuất ra $K$ câu minh chứng có liên quan nhất ($K=1, 2, 3...$).
  • Bộ rút trích câu trả lời có giám sát (Supervised Answer Extractor - SAE): Sử dụng mô hình ngôn ngữ XLM-R nhận đầu vào là câu hỏi kết hợp với $K$ câu minh chứng đã chọn để xác định vị trí bắt đầu và kết thúc của câu trả lời.
  • Các thử nghiệm thực nghiệm phân tích hiệu năng Acc@K của bộ truy xuất minh chứng, độ đo EM và $F_1$ của ViReader so với các mô hình cơ sở, đánh giá tác động của các khía cạnh ngôn ngữ tiếng Việt, thời gian xử lý thực thi, và thử nghiệm mở rộng ViReader trên ngữ liệu tiếng Anh (SQuAD) và tiếng Trung (CMRC). Phiên bản mở rộng ViReader+ với kỹ thuật học minh chứng có giám sát cũng được khảo sát.

Chương 5: Mô hình hỏi đáp tiếng Việt tích hợp đọc hiểu tự động

Chương 5 hiện thực hóa mục tiêu ứng dụng mô hình đọc hiểu vào hệ thống hỏi đáp tự động hoàn chỉnh, đề xuất hai hệ thống XLMRQA và ViQAS. Trong đó, hệ thống ViQAS gồm ba thành phần chính:

  • Mô hình truy xuất văn bản (ViDR): Gồm bộ tiền truy xuất văn bản, mô hình truy xuất minh chứng dựa trên Sentence Transformer và bộ tái xếp hạng văn bản.
  • Mô hình đọc hiểu văn bản: Tiếp nhận câu hỏi đã xử lý qua quy tắc tiền xử lý và các đoạn văn bản liên quan được rút gọn bởi bộ truy xuất minh chứng để dự đoán câu trả lời.
  • Bộ xếp hạng câu trả lời ứng cử (Answer Re-ranker): Tổng hợp và tính toán lại điểm số tin cậy cho các câu trả lời ứng cử.
  • Chương 5 tiến hành phân tích thực nghiệm sâu: đánh giá ảnh hưởng của các hệ số điều chỉnh $\alpha$ (truy vấn văn bản) và $\beta$ (chọn câu trả lời); tác động của số lượng văn bản truy xuất; tác động của từ ngữ tiếng nước ngoài / từ mượn; ảnh hưởng của độ dài bài đọc; phân tích lược bỏ thành phần (Ablation Study) của ViDR và khối đọc hiểu; và phân loại các dạng câu hỏi phức tạp gây thách thức cho hệ thống.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết toàn bộ các kết quả đạt được tương ứng với ba đóng góp lớn của luận án: xây dựng ngữ liệu chuẩn, đề xuất mô hình đọc hiểu ViReader và phát triển hệ thống hỏi đáp ViQAS/XLMRQA. Tác giả thảo luận các hạn chế còn tồn tại về quy mô dữ liệu chuyên ngành sâu, độ phức tạp khi xử lý suy luận đa bước (multi-hop reasoning) và ảnh hưởng của từ mượn nước ngoài. Đồng thời, chương vạch ra ba hướng phát triển tiếp theo: mở rộng ngữ liệu sang các lĩnh vực mới, tối ưu hóa kiến trúc mô hình đọc hiểu/hỏi đáp tự động, và ứng dụng mô hình vào các hệ thống thực tế như trợ lý ảo và chatbot chuyên sâu (y tế, pháp luật).

Chương Tên chương trong văn bản Trọng tâm kỹ thuật và đóng góp chính
Chương 1 Tổng quan Xác lập động lực, 3 mục tiêu nghiên cứu, đối tượng, phạm vi và bố cục 6 chương
Chương 2 Cơ sở lý thuyết và các công trình nghiên cứu liên quan Tổng quan 5 thập kỷ MRC (1977-2024), phân loại 4 dạng MRC, lý thuyết Transformer, SBERT, công thức EM, $F_1$
Chương 3 Xây dựng ngữ liệu và đánh giá đọc hiểu tự động trên văn bản tiếng Việt Quy trình tạo UIT-ViQuAD (1.0 & 2.0), UIT-ViNewsQA, UIT-ViWikiQA; phân tích ngôn ngữ; đánh giá tại VLSP 2021
Chương 4 Mô hình đọc hiểu tự động tích hợp truy xuất minh chứng trên văn bản tiếng Việt Đề xuất ViReader (EE + SAE), thuật toán trích xuất $K$ câu minh chứng, tinh chỉnh XLM-R, thử nghiệm đa ngữ
Chương 5 Mô hình hỏi đáp tiếng Việt tích hợp đọc hiểu tự động Đề xuất ViQAS và XLMRQA; bộ truy xuất ViDR, Answer Re-ranker; phân tích siêu tham số $\alpha, \beta$, ablation study
Chương 6 Kết luận và hướng phát triển Tổng kết 3 đóng góp khoa học, chỉ ra hạn chế dữ liệu/suy luận đa bước, đề xuất hướng ứng dụng trợ lý ảo

Kết quả và những đóng góp mới

Luận án tự tổng kết ba nhóm đóng góp khoa học và thực tiễn chính:

  1. Xây dựng hệ thống ngữ liệu đọc hiểu tiếng Việt chuẩn hóa:
    • Nghiên cứu, thiết kế và xây dựng thành công các bộ ngữ liệu đọc hiểu tự động tiếng Việt đầu tiên có quy mô lớn: UIT-ViQuAD phiên bản 1.0 và phiên bản 2.0 (bổ sung câu hỏi không thể trả lời được trên Wikipedia), UIT-ViNewsQA (tin tức sức khỏe) và UIT-ViWikiQA (đọc hiểu cấp độ câu).
    • Thiết lập các tập chuẩn dữ liệu (benchmark) thúc đẩy cộng đồng nghiên cứu NLP trong nước thông qua việc chia sẻ dữ liệu và tổ chức đánh giá tại Hội thảo quốc tế VLSP 2021.
  2. Đề xuất mô hình đọc hiểu tích hợp truy xuất minh chứng (ViReader và ViReader+):
    • Thiết kế mô hình ViReader kết hợp giữa mô hình ngôn ngữ dựa trên Transformer (XLM-R) và bộ truy xuất minh chứng ngữ nghĩa (Sentence-BERT). Mô hình giải quyết hiệu quả hiện tượng nhiễu thông tin trong văn bản dài bằng cách lọc $K$ câu chứa minh chứng trước khi trích xuất chuỗi câu trả lời.
    • Chứng minh hiệu quả của mô hình ViReader không chỉ trên văn bản tiếng Việt mà còn trên các tập dữ liệu tiếng Anh và tiếng Trung; mở rộng thành mô hình ViReader+ với cơ chế học minh chứng có giám sát.
  3. Đề xuất mô hình hỏi đáp tự động tích hợp đọc hiểu (XLMRQA và ViQAS):
    • Xây dựng mô hình hỏi đáp hoàn chỉnh Retriever - Reader cho tiếng Việt gồm XLMRQA và ViQAS. Hệ thống ViQAS tích hợp bộ truy xuất văn bản ViDR (gồm tiền truy xuất, truy xuất minh chứng, tái xếp hạng), mô hình đọc hiểu văn bản và bộ xếp hạng câu trả lời (Answer Re-ranker).
    • Xác lập các cơ chế tối ưu hóa tham số $(\alpha, \beta)$ và quy tắc tiền xử lý câu hỏi giúp cải thiện độ chính xác của hệ thống hỏi đáp toàn diện.

Về mặt giải pháp và ứng dụng, luận án đề xuất khả năng tích hợp mô hình đọc hiểu và hỏi đáp tự động vào các hệ thống công cụ tìm kiếm thông minh, trợ lý ảo và chatbot trả lời tự động trong các miền ứng dụng thực tế như y tế và văn bản quy phạm pháp luật.

Hạn chế và hướng nghiên cứu tiếp

Văn bản luận án nêu rõ các hạn chế kỹ thuật và phạm vi hiện tại:

  • Về mặt ngữ liệu: Các bộ ngữ liệu được xây dựng chủ yếu tập trung trên hai nguồn chính là bài viết Wikipedia (miền mở) và tin tức sức khỏe (miền đóng), chưa bao phủ hết các lĩnh vực chuyên sâu khác như pháp luật, tài chính, giáo dục.
  • Về dạng bài toán và khả năng suy luận: Luận án tập trung vào dạng đọc hiểu trích xuất trực tiếp chuỗi câu trả lời liên tục (Span-based) và cấp độ câu trong một văn bản đơn lẻ, chưa giải quyết dạng câu hỏi yêu cầu suy luận phức tạp qua nhiều tài liệu phân tán (Multi-hop Reasoning) hoặc dạng câu trả lời tự do (Free-form Generation).
  • Về mô hình: Hiệu năng của mô hình đọc hiểu và truy xuất văn bản vẫn chịu ảnh hưởng tiêu cực khi văn bản chứa nhiều từ tiếng nước ngoài, từ mượn chưa được chuẩn hóa, hoặc khi độ dài văn bản ngữ cảnh quá lớn vượt quá giới hạn xử lý tối ưu của mô hình ngôn ngữ.

Các hướng phát triển tiếp theo được tác giả đề xuất:

  • Mở rộng quy mô, độ đa dạng và xây dựng thêm các bộ ngữ liệu đọc hiểu cho các miền tri thức chuyên ngành mới.
  • Nghiên cứu cải tiến các mô hình đọc hiểu và hỏi đáp có khả năng suy luận đa văn bản, xử lý tốt hơn các câu hỏi phức tạp và văn bản có độ dài lớn.
  • Phát triển và triển khai ứng dụng thực tế của mô hình đọc hiểu tiếng Việt vào các hệ thống trợ lý ảo, chatbot hỗ trợ tra cứu thông tin y tế và văn bản pháp luật.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên khảo hữu ích cho các nhóm đối tượng học thuật và ứng dụng:

  • Nghiên cứu sinh, học viên cao học và nhà nghiên cứu ngành Khoa học Máy tính, Trí tuệ Nhân tạo và NLP: Tham khảo phương pháp luận khoa học trong quy trình thiết kế, gán nhãn crowd-sourcing, kiểm định chất lượng ngữ liệu đọc hiểu; kỹ thuật tinh chỉnh các mô hình ngôn ngữ Transformer (BERT, XLM-R, PhoBERT) cho ngôn ngữ ít tài nguyên; và phương pháp tích hợp Sentence-BERT làm bộ trích xuất minh chứng.
  • Giảng viên và người làm công tác đào tạo: Sử dụng Chương 2 làm tài liệu tổng quan lịch sử phát triển bài toán MRC và QA, Chương 3 làm tài liệu tham khảo về phân tích đặc trưng ngôn ngữ học thực nghiệm trong tiếng Việt.
  • Kỹ sư phát triển hệ thống và doanh nghiệp công nghệ: Tham khảo kiến trúc hệ thống hỏi đáp ViQAS, mô hình truy xuất văn bản ViDR và cơ chế xếp hạng câu trả lời tại Chương 5 để triển khai các sản phẩm tìm kiếm ngữ nghĩa, trợ lý ảo và tổng đài hỏi đáp tự động cho tiếng Việt.

Câu hỏi thường gặp

1. Luận án đã xây dựng những bộ ngữ liệu đọc hiểu tự động nào cho tiếng Việt và nguồn ngữ liệu được thu thập từ đâu?
Luận án đã thiết kế và xây dựng ba bộ ngữ liệu chính: UIT-ViQuAD (phiên bản 1.0 và phiên bản 2.0 có thêm câu hỏi không thể trả lời được) thu thập từ Wikipedia tiếng Việt; UIT-ViNewsQA thu thập từ các bài báo tin tức chuyên ngành sức khỏe tiếng Việt; và UIT-ViWikiQA phục vụ bài toán đọc hiểu cấp độ câu trên văn bản Wikipedia tiếng Việt.

2. Kiến trúc mô hình đọc hiểu ViReader do tác giả đề xuất gồm những thành phần nào và nguyên lý hoạt động ra sao?
ViReader gồm hai khối chính: Khối truy xuất minh chứng (Evidence Extractor - EE) và Khối rút trích câu trả lời có giám sát (Supervised Answer Extractor - SAE). Khối EE sử dụng Sentence-BERT để đo độ tương đồng ngữ nghĩa giữa câu hỏi và từng câu trong văn bản nhằm chọn ra $K$ câu minh chứng liên quan nhất. Khối SAE tiếp nhận câu hỏi cùng $K$ câu minh chứng này, sử dụng mô hình ngôn ngữ XLM-R để xác định chính xác vị trí bắt đầu và kết thúc của câu trả lời.

3. Hệ thống hỏi đáp ViQAS trong Chương 5 gồm những thành phần cấu tạo nào?
Hệ thống hỏi đáp ViQAS được xây dựng theo kiến trúc Retriever - Reader gồm ba thành phần: (1) Mô hình truy xuất văn bản ViDR (kết hợp bộ tiền truy xuất, mô hình truy xuất minh chứng và bộ tái xếp hạng văn bản); (2) Mô hình đọc hiểu văn bản (tận dụng kiến trúc ViReader/ViReader+); và (3) Bộ xếp hạng các câu trả lời ứng cử (Answer Re-ranker).

4. Hai độ đo chính nào được sử dụng xuyên suốt để đánh giá hiệu năng các mô hình đọc hiểu trong luận án?
Hai thông số đánh giá tiêu chuẩn được sử dụng là độ chính xác tuyệt đối Exact Match (EM - đạt 1 nếu chuỗi dự đoán khớp hoàn toàn với nhãn, ngược lại bằng 0) và điểm số $F_1$-score (trung bình điều hòa giữa Precision và Recall tính trên mức độ trùng lặp token giữa câu trả lời dự đoán và câu trả lời mong đợi).

5. Luận án phân loại bài toán đọc hiểu tự động (MRC) thành những dạng nào dựa trên loại câu trả lời?
Dựa trên hình thức câu trả lời, luận án phân chia thành bốn dạng: Đọc hiểu điền vào chỗ trống (Cloze-based MRC), Đọc hiểu trắc nghiệm nhiều lựa chọn (Multiple-choice MRC), Đọc hiểu với câu trả lời rút trích trực tiếp từ văn bản (Span-based MRC), và Đọc hiểu với câu trả lời tự do (Free form-based MRC).

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Văn Kiệt đã giải quyết bài toán đọc hiểu và hỏi đáp tự động cho văn bản tiếng Việt thông qua quy trình nghiên cứu có hệ thống từ khâu tạo lập ngữ liệu đến đề xuất mô hình. Các đóng góp chính bao gồm hệ thống ngữ liệu chuẩn UIT-ViQuAD (1.0 và 2.0), UIT-ViNewsQA, UIT-ViWikiQA; mô hình đọc hiểu ViReader tích hợp trích xuất minh chứng; và hệ thống hỏi đáp toàn diện ViQAS. Công trình đã cung cấp nguồn tài nguyên học thuật chuẩn mực cùng các giải pháp kỹ thuật có tính ứng dụng thực tế cao cho lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt.