Tổng quan về luận án

Trong kỷ nguyên phát triển vượt bậc của Trí tuệ nhân tạo (AI) và Hiểu ngôn ngữ tự nhiên (Natural Language Understanding - NLU), bài toán Đọc hiểu tự động (Machine Reading Comprehension - MRC) và Hỏi đáp tự động (Question Answering - QA) đóng vai trò là thước đo chuẩn mực nhất để lượng hóa khả năng nhận thức ngữ nghĩa chuyên sâu của máy tính đối với văn bản tự nhiên. Luận án tiến sĩ với đề tài "Nghiên cứu xây dựng mô hình đọc hiểu tự động cho văn bản tiếng Việt" do Nghiên cứu sinh (NCS) Nguyễn Văn Kiệt thực hiện dưới sự hướng dẫn khoa học của PGS.TS. Nguyễn Lưu Thùy Ngân và PGS.TS. Nguyễn Gia Tuấn Anh tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP.HCM (chuyên ngành Khoa học Máy tính, Mã số: 9480101, năm 2024), đã thiết lập một cột mốc mang tính tiên phong trong việc giải quyết triệt để rào cản khan hiếm tài nguyên nghiên cứu cho ngôn ngữ tiếng Việt trong lĩnh vực NLU.

Bối cảnh khoa học của luận án xuất phát từ một khoảng trống nghiên cứu (research gap) cấp thiết: Trong khi các ngôn ngữ giàu tài nguyên (high-resource languages) như tiếng Anh và tiếng Trung đã sở hữu hàng loạt bộ chuẩn đánh giá quy mô lớn (như SQuAD của Rajpurkar et al., 2016; CMRC của Cui et al., 2019) và các kiến trúc Transformer tối tân được tinh chỉnh chuyên biệt, thì tiếng Việt vẫn bị xếp vào nhóm ngôn ngữ nghèo tài nguyên (low-resource language). Sự thiếu hụt trầm trọng các bộ ngữ liệu đọc hiểu chuẩn hóa, được gắn nhãn thủ công với quy mô lớn ở cả miền mở (open-domain) và miền đóng (closed-domain), cùng sự vắng bóng của các mô hình đọc hiểu - hỏi đáp được tối ưu hóa theo đặc trưng ngữ âm, ngữ pháp và phân đoạn từ (word segmentation) của tiếng Việt đã tạo nên điểm nghẽn lớn cho sự tiến bộ của ngành xử lý ngôn ngữ tự nhiên (NLP) trong nước.

Để giải quyết khoảng trống học thuật này, luận án tập trung giải quyết 3 câu hỏi nghiên cứu cốt lõi:

  1. RQ1: Làm thế nào để thiết kế quy trình xây dựng các bộ ngữ liệu đọc hiểu tự động chuẩn hóa, quy mô lớn, đa dạng về miền ngữ cảnh và thể loại suy luận cho tiếng Việt với độ tin cậy và tính giá trị học thuật cao? (Giả thuyết H1: Một quy trình gán nhãn thủ công có kiểm soát chất lượng đa tầng sẽ tạo ra các bộ ngữ liệu benchmark có khả năng phân loại chính xác các năng lực suy luận ngôn ngữ tiếng Việt).
  2. RQ2: Làm thế nào để tích hợp cơ chế trích xuất minh chứng (Evidence Extraction) vào các mô hình ngôn ngữ dựa trên kiến trúc Transformer nhằm tối ưu hóa độ chính xác trích xuất câu trả lời trên văn bản dài? (Giả thuyết H2: Việc lọc bỏ nhiễu ngữ cảnh thông qua bộ truy xuất câu minh chứng tương đồng ngữ nghĩa sẽ làm tăng đáng kể các chỉ số Exact Match (EM) và F1-score so với việc đưa trực tiếp toàn bộ văn bản đầu vào).
  3. RQ3: Mô hình tích hợp hai giai đoạn Retriever - Reader có thể được kiến trúc hóa như thế nào để xây dựng hệ thống hỏi đáp tự động toàn diện, hiệu năng cao cho dữ liệu tiếng Việt quy mô lớn? (Giả thuyết H3: Sự kết hợp hiệp đồng giữa bộ truy xuất ngữ nghĩa phân tầng, bộ đọc hiểu tích hợp minh chứng và bộ tái xếp hạng câu trả lời sẽ vượt trội hơn các mô hình QA truyền thống).

Khung lý thuyết của luận án được xây dựng dựa trên sự giao thoa giữa lý thuyết Học chuyển tiếp (Transfer Learning - Howard & Ruder, 2018; Devlin et al., 2018), kiến trúc Mô hình ngôn ngữ tự chú ý (Self-Attention Transformer - Vaswani et al., 2017), và kiến trúc Hỏi đáp hai pha Truy xuất - Đọc hiểu (Retriever - Reader paradigm - Chen et al., 2017). Đóng góp mang tính đột phá của công trình được định lượng cụ thể: Xây dựng thành công 4 bộ ngữ liệu benchmark tiếng Việt tiêu chuẩn (UIT-ViQuAD 1.0, UIT-ViNewsQA, UIT-ViWikiQA, UIT-ViQuAD 2.0); đề xuất kiến trúc đọc hiểu tân tiến ViReader và ViReader+ vượt qua các mô hình cơ sở mạnh đương thời; thiết kế thành công hai hệ thống hỏi đáp toàn diện XLMRQA và ViQAS với khả năng xử lý truy vấn văn bản tiếng Việt quy mô thực tế. Phạm vi nghiên cứu bao quát từ văn bản bách khoa toàn thư mở (Wikipedia tiếng Việt) đến miền tin tức y tế chuyên sâu, đặt nền móng vững chắc cho các hệ sinh thái tìm kiếm thông tin và trợ lý ảo thông minh tiếng Việt.

Literature Review và Positioning

Lịch sử phát triển của đọc hiểu tự động trải dài qua gần 5 thập kỷ với sự chuyển dịch rõ nét về mặt mô thức (paradigm shifts). Luận án đã tổng hợp một cách hệ thống các dòng nghiên cứu chủ đạo từ giai đoạn sơ khởi:

  • Giai đoạn dựa trên luật và Heuristics (1977–2000): Khởi đầu từ mô hình QUALM của Lehnert (1977) dựa trên phân tích khái niệm và quy tắc ngữ cảnh; mô hình DEEP READ của Hirschman et al. (1999) sử dụng túi từ (Bag-of-Words) và khớp mẫu (Pattern Matching); mô hình QUARC của Riloff & Thelen (2000) dựa trên quy tắc tương đồng từ vựng - ngữ nghĩa; và các nghiên cứu tích hợp của Charniak et al. (2000) với độ chính xác khiêm tốn chỉ đạt mức 30–40%.
  • Giai đoạn Học máy có giám sát và Kỹ thuật trích xuất đặc trưng (2013–2015): Bước ngoặt của Richardson et al. (2013) với bộ dữ liệu trắc nghiệm MCTest (660 câu chuyện) đã chính thức định nghĩa MRC thành bài toán học máy giám sát ($D, Q, A$), kéo theo các kỹ thuật trích xuất đặc trưng ngôn ngữ truyền thống như Logistic Regression (Rajpurkar et al., 2016) hay Boosting (Chen et al., 2016) trên ngữ liệu CNN / Daily Mail (Hermann et al., 2015).
  • Giai đoạn Mạng nơ-ron sâu và Kiến trúc Attention (2015–2018): Đánh dấu bởi Match-LSTM (Wang & Jiang, 2016), BiDAF (Seo et al., 2016), Stanford Attentive Reader (Chen et al., 2016), R-NET (Wang et al., 2017) và QANet (Yu et al., 2018), chứng minh khả năng vượt trội trong việc nắm bắt quan hệ phụ thuộc ngữ nghĩa so với các đặc trưng thủ công.
  • Giai đoạn Tiền huấn luyện Transformer và BERTology (2018–nay): Sự bùng nổ của BERT (Devlin et al., 2018), RoBERTa (Liu et al., 2019), ALBERT (Lan et al., 2019), Sentence-BERT (Reimers & Gurevych, 2019) và mô hình đa ngôn ngữ quy mô lớn XLM-RoBERTa (Conneau et al., 2020), đưa hiệu năng MRC trên SQuAD vượt qua ngưỡng ước tính của con người (human performance).
+---------------------------------------------------------------------------------------------------+
|                            TIẾN TRÌNH LỊCH SỬ VÀ MÔ THỨC MRC TRÊN THẾ GIỚI                        |
+---------------------------------------------------------------------------------------------------+
| 1977 - 2000: Hệ chuyên gia & Heuristics (QUALM, DEEP READ, QUARC: 30-40% Acc)                     |
| 2013 - 2015: Học máy giám sát & Feature Engineering (MCTest, CNN/Daily Mail: Logistic Regression) |
| 2016 - 2018: Deep Learning & Attention Mechanisms (BiDAF, Match-LSTM, R-NET, DrQA)               |
| 2018 - Nay : Pre-trained Transformers (BERT, XLM-R, SBERT) -> Vượt ngưỡng Human Performance       |
+---------------------------------------------------------------------------------------------------+
                                                  |
                                                  v
+---------------------------------------------------------------------------------------------------+
|                                 KHOẢNG TRỐNG TẠI VIỆT NAM (PRE-2024)                              |
| - Thiếu hụt ngữ liệu benchmark quy mô lớn, gán nhãn thủ công (Wikipedia, Tin tức chuyên ngành).   |
| - Thiếu mô hình Transformer MRC xử lý đặc thù tiếng Việt (từ ghép, từ mượn ngoại lai, văn bản dài).|
| - Chưa có hệ thống QA Retriever-Reader toàn diện, tích hợp xác minh bằng chứng ngữ nghĩa.        |
+---------------------------------------------------------------------------------------------------+
                                                  |
                                                  v
+---------------------------------------------------------------------------------------------------+
|                             VỊ THẾ HỌC THUẬT VÀ ĐÓNG GÓP CỦA LUẬN ÁN                              |
| 1. Ngữ liệu tiên phong: UIT-ViQuAD 1.0 & 2.0, UIT-ViNewsQA, UIT-ViWikiQA (VLSP 2021 Benchmark).   |
| 2. Mô hình MRC đột phá: ViReader / ViReader+ (Tích hợp Evidence Extractor + XLM-R).               |
| 3. Hệ thống QA hoàn chỉnh: XLMRQA & ViQAS (Pre-retrieval + ViDR + ViReader + Answer Re-ranker).   |
+---------------------------------------------------------------------------------------------------+

Trong bức tranh tổng quan đó, luận án đã định vị và giải quyết các mâu thuẫn học thuật sâu sắc:

  1. Mâu thuẫn giữa mô hình Đơn ngữ (Monolingual) và Đa ngữ (Multilingual) đối với ngôn ngữ ít tài nguyên: Nhiều quan điểm cho rằng mô hình đơn ngữ (như PhoBERT của Nguyen & Nguyen, 2020) luôn tối ưu hơn trên ngôn ngữ bản địa. Tuy nhiên, luận án đã chứng minh thực nghiệm rằng mô hình đa ngôn ngữ quy mô lớn như XLM-RoBERTa (huấn luyện trên 2,5 TB dữ liệu văn bản CommonCrawl từ 100 ngôn ngữ, từ vựng 250k token) lại có khả năng biểu diễn ngữ nghĩa và chống chịu với từ mượn tiếng nước ngoài, từ viết tắt và thuật ngữ chuyên ngành tốt hơn đáng kể so với mô hình đơn ngữ thuần túy bị giới hạn kích thước từ vựng (30k–64k token).
  2. Mâu thuẫn giữa Đọc hiểu toàn văn trực tiếp (Single-pass Reading) và Đọc hiểu định hướng minh chứng (Evidence-guided Reading): Đưa toàn bộ đoạn văn dài vào mô hình Transformer dễ dẫn đến hiện tượng phân tán trường chú ý (attention dispersion) và nghẽn bộ nhớ. Luận án khẳng định tính ưu việt của mô thức trích xuất minh chứng câu trung gian nhằm cô lập vùng không gian chứa câu trả lời.

So sánh với các công trình quốc tế điển hình:

  • SQuAD 1.1 / 2.0 (Stanford - Rajpurkar et al., 2016, 2018): Bộ ngữ liệu tiếng Anh 108k–151k câu hỏi trên 536 bài báo Wikipedia, tạo tiền đề chuẩn mực về phương pháp trích xuất chuỗi (span-based) và câu hỏi không thể trả lời (unanswerable questions) mà luận án đã chuẩn hóa và ánh xạ thành công sang đặc thù tiếng Việt qua UIT-ViQuAD 1.0 và 2.0.
  • CMRC 2018 (IFLYTEK/HIT - Cui et al., 2019): Bộ ngữ liệu tiếng Trung 20k câu hỏi chứng minh tầm quan trọng của việc xây dựng benchmark cho ngôn ngữ tượng hình/phi Latinh.
  • KorQuAD 1.0 (LG CNS - Lim et al., 2019) & FQuAD (d'Hoffschmidt et al., 2020): Các bộ ngữ liệu 70k (Hàn Quốc) và 25k (Pháp) khẳng định xu thế tất yếu của việc bản địa hóa benchmark NLU chất lượng cao, mà công trình của NCS Nguyễn Văn Kiệt chính là đại diện tiêu biểu đầu tiên tại Việt Nam đạt tiêu chuẩn học thuật tương đương.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án tạo ra bước phát triển học thuật có ý nghĩa lý luận sâu sắc:

  • Mở rộng lý thuyết Học chuyển tiếp (Transfer Learning) và Không gian nhúng đa ngôn ngữ: Mở rộng các luận điểm của Howard & Ruder (2018), Devlin et al. (2018) và Conneau et al. (2020) vào xử lý tiếng Việt – một ngôn ngữ đơn lập, có thanh điệu và ranh giới từ phức tạp. Luận án chứng minh rằng không gian vector ngữ nghĩa đa ngôn ngữ có thể học chuyển tiếp hiệu quả sang tiếng Việt mà không nhất thiết phải phụ thuộc hoàn toàn vào các công cụ tiền xử lý ngôn ngữ truyền thống vốn dễ gây tích lũy sai số (như gán nhãn từ loại POS, phân tích cú pháp phụ thuộc).
  • Mở rộng mô hình kiến trúc Retriever - Reader (DrQA của Chen et al., 2017): Luận án đã tái cấu trúc mô hình hỏi đáp hai giai đoạn truyền thống bằng cách tích hợp mô-đun Trích xuất minh chứng (Evidence Extractor - EE) dựa trên học khoảng cách ngữ nghĩa (Sentence-BERT của Reimers & Gurevych, 2019). Điều này chuyển đổi mô thức đọc hiểu từ "hộp đen trích xuất chuỗi mù" sang "cơ chế xác thực ngữ cảnh hai lớp", nâng cao tính giải thích được (interpretability) của mô hình.
  • Hệ thống hóa các Mệnh đề Lý thuyết (Theoretical Propositions):
    • Mệnh đề P1: Xác suất trích xuất chính xác ranh giới chuỗi câu trả lời $P(A|D, Q)$ tỉ lệ nghịch với mức độ nhiễu ngữ cảnh của các câu không liên quan trong tài liệu $D$.
    • Mệnh đề P2: Việc phân rã không gian tìm kiếm tài liệu thành tập hợp $K$ câu minh chứng tối ưu thông qua hàm tương đồng Cosine ngữ nghĩa $Sim(Q, S_i)$ sẽ tối đa hóa biên độ hội tụ của bộ trích xuất câu trả lời có giám sát (SAE).
    • Mệnh đề P3: Mô hình ngôn ngữ đa ngữ quy mô từ vựng lớn sở hữu khả năng bảo toàn thông tin cấu trúc cú pháp tốt hơn mô hình đơn ngữ khi đối mặt với văn bản tiếng Việt có mật độ từ ngoại lai và thực thể ngoại lai cao.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp chặt chẽ 3 trụ cột lý thuyết: (1) Kiến trúc Transformer Self-Attention (Vaswani et al., 2017), (2) Lý thuyết Nhúng câu đa ngữ và Học biểu diễn tương đồng (Reimers & Gurevych, 2019), và (3) Khung trích xuất thông tin truy hồi có giám sát.

                      KHUNG PHÂN TÍCH HỆ THỐNG ĐỌC HIỂU VÀ HỎI ĐÁP
                                  
 [ Câu hỏi Q ] -----------------------------------------------------------+
       |                                                                  |
       v                                                                  |
 +--------------------------+                                             |
 | Tiền xử lý & Chuẩn hóa   |                                             |
 +--------------------------+                                             |
       |                                                                  |
       v                                                                  |
 +--------------------------+       +-------------------------------+     |
 | Bộ truy xuất văn bản     | ----> | Lọc & Tái xếp hạng tài liệu   |     |
 | (BM25 / Bi-Encoder)      |       | (Document Re-ranker)          |     |
 +--------------------------+       +-------------------------------+     |
                                                   |                      |
                                                   v                      |
                                    +-------------------------------+     |
                                    | Bộ trích xuất minh chứng (EE) | <---+
                                    | (Sentence Transformer / SBERT)|
                                    +-------------------------------+
                                                   |
                                                   v  (K câu liên quan nhất)
                                    +-------------------------------+
                                    | Mô hình Đọc hiểu ViReader+    | <---+
                                    | (XLM-R / PhoBERT Backbone)    |
                                    +-------------------------------+
                                                   |
                                                   v  (Tập câu trả lời ứng viên)
                                    +-------------------------------+
                                    | Xếp hạng câu trả lời cuối     |
                                    | (Answer Re-ranker)            |
                                    +-------------------------------+
                                                   |
                                                   v
                                          [ CÂU TRẢ LỜI ĐÚNG A ]

Các định nghĩa khái niệm cốt lõi:

  • Đơn vị câu minh chứng (Evidence Sentence Unit - $S_e$): Câu văn đơn lẻ trong văn bản $D$ chứa đựng toàn bộ hoặc một phần thông tin ngữ nghĩa đủ để khẳng định tính chân lý của câu trả lời $A$ đối với câu hỏi $Q$.
  • Bộ trích xuất câu trả lời có giám sát (Supervised Answer Extractor - SAE): Mạng nơ-ron nhận đầu vào là biểu diễn ghép nối giữa câu hỏi $Q$ và $K$ câu minh chứng, ước lượng phân phối xác suất vị trí bắt đầu $P_{start}(i)$ và vị trí kết thúc $P_{end}(j)$ của chuỗi câu trả lời liên tục.
  • Điều kiện biên (Boundary Conditions): Khung phân tích được xác lập chặt chẽ trên dạng thức câu trả lời rút trích trực tiếp (span-based extractive) từ văn bản tiếng Việt thuộc cả miền mở (Wikipedia) và miền đóng (y tế), với giả định văn bản đã được tiền xử lý chuẩn hóa ký tự và dấu câu theo quy chuẩn Unicode tiếng Việt.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ chặt chẽ thế giới quan của Chủ nghĩa thực chứng thực nghiệm (Empirical Positivism) kết hợp với phương pháp luận tính toán định lượng (Quantitative Computational Methodology). Thiết kế nghiên cứu được tổ chức đa tầng (multi-level design) bao gồm:

  1. Cấp độ Token/Từ: Xử lý phân đoạn từ tiếng Việt, biểu diễn vector ngữ cảnh qua các lớp nhúng Transformer.
  2. Cấp độ Câu: Mô hình hóa độ tương đồng ngữ nghĩa giữa câu hỏi và từng câu trong bài đọc phục vụ trích xuất minh chứng.
  3. Cấp độ Đoạn/Văn bản: Truy xuất tài liệu miền mở và tổng hợp thông tin đa đoạn văn.

Quy mô mẫu và tiêu chí lựa chọn tập ngữ liệu được kiểm soát nghiêm ngặt:

  • UIT-ViQuAD 1.0: Bộ ngữ liệu đọc hiểu quy mô lớn đầu tiên cho tiếng Việt gồm 23.074 cặp câu hỏi - câu trả lời được gán nhãn thủ công trên 5.109 đoạn văn từ 174 bài viết Wikipedia tiếng Việt chọn lọc.
  • UIT-ViNewsQA: Ngữ liệu đọc hiểu miền đóng chuyên sâu về y tế và sức khỏe, phản ánh ngữ cảnh ứng dụng thực tế.
  • UIT-ViWikiQA: Ngữ liệu đọc hiểu cấp độ câu nhằm đánh giá năng lực suy luận định vị câu minh chứng.
  • UIT-ViQuAD 2.0: Phiên bản mở rộng đột phá bổ sung tập hợp các câu hỏi không thể trả lời được (unanswerable questions) tạo bởi con người dựa trên kỹ thuật đánh lạc hướng ngữ nghĩa (adversarial distractors).

Quy trình nghiên cứu rigorous

Quy trình tạo lập ngữ liệu và huấn luyện mô hình được triển khai qua các bước chuẩn mực:

  • Giao thức thu thập và kiểm soát chất lượng (Crowdsourcing Protocol): Sử dụng công cụ thu thập ngữ liệu trực tuyến chuyên biệt do nhóm nghiên cứu NLP@UIT phát triển. Người tham gia gán nhãn được đào tạo kỹ lưỡng theo bộ hướng dẫn chuẩn. Mỗi mẫu dữ liệu trải qua quy trình kiểm tra chéo (cross-validation) độc lập bởi ít nhất 2 chuyên gia kiểm duyệt để loại bỏ lỗi chính tả, sai lệch ranh giới chuỗi và câu hỏi mơ hồ.
  • Kỹ thuật tam giác đạc (Triangulation):
    • Tam giác đạc dữ liệu (Data Triangulation): Kiểm nghiệm chéo trên miền bách khoa tri thức (Wikipedia) và miền tin tức y tế chuyên sâu (Health News).
    • Tam giác đạc phương pháp (Methodological Triangulation): So sánh đối chứng toàn diện giữa 4 trường phái tiếp cận: (1) Heuristic/Rule-based (Sliding Window), (2) Học máy truyền thống (Logistic Regression), (3) Học sâu nơ-ron truyền thống (BiDAF), và (4) Học chuyển tiếp mô hình ngôn ngữ Transformer (BERT, PhoBERT, XLM-R).
  • Tính giá trị và độ tin cậy: Đảm bảo tính giá trị khái niệm (construct validity) thông qua việc áp dụng nghiêm ngặt công thức tính Exact Match (EM) và F1-score chuẩn quốc tế: $$\text{EM} = \frac{1}{N} \sum_{i=1}^N I(X_i = Y_i)$$ $$F_1 = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

Data và phân tích

Phân tích thống kê chi tiết về đặc trưng ngữ liệu:

  • Phân bố độ dài câu hỏi tập trung ở khoảng 8–15 từ; độ dài câu trả lời phân bố đa dạng từ thực thể ngắn (1–3 từ) đến cụm giải thích phức tạp (>10 từ).
  • Phân loại câu hỏi đa dạng theo các đại từ nghi vấn: Ai (Who), Cái gì/Gì (What), Khi nào/Bao giờ (When), Ở đâu/Đâu (Where), Tại sao/Vì sao (Why), Như thế nào/Làm sao (How) và các dạng câu hỏi suy luận so sánh, định lượng.
+---------------------------------------------------------------------------------------------------+
|                     ĐẶC TÍNH VÀ THÔNG SỐ CỦA CÁC BỘ NGỮ LIỆU ĐỀ XUẤT TRONG LUẬN ÁN               |
+------------------+-------------------+-----------------+------------------------------------------+
| Tên bộ ngữ liệu  | Nguồn dữ liệu     | Quy mô / Đơn vị | Đặc điểm & Đóng góp học thuật cốt lõi    |
+------------------+-------------------+-----------------+------------------------------------------+
| UIT-ViQuAD 1.0   | Wikipedia VN      | 23.074 QA pairs | Chuẩn benchmark MRC trích xuất chuỗi đầu |
|                  | (Miền mở)         | 5.109 đoạn văn  | tiên, gán nhãn thủ công cho tiếng Việt.  |
+------------------+-------------------+-----------------+------------------------------------------+
| UIT-ViNewsQA     | Tin tức Sức khỏe  | Quy mô chuyên sâu| Đánh giá khả năng đọc hiểu trên miền     |
|                  | (Miền đóng)       | Báo y tế uy tín | thuật ngữ y học phức tạp.                |
+------------------+-------------------+-----------------+------------------------------------------+
| UIT-ViWikiQA     | Wikipedia VN      | Đa dạng bài viết| Chuẩn hóa bài toán đọc hiểu định vị câu  |
|                  | (Cấp độ câu)      | Wikipedia       | minh chứng (Sentence-level MRC).         |
+------------------+-------------------+-----------------+------------------------------------------+
| UIT-ViQuAD 2.0   | Wikipedia VN      | Bổ sung câu hỏi | Tích hợp câu hỏi không có câu trả lời,   |
|                  | (Độ khó cao)      | không trả lời đc| thách thức khả năng phát hiện bẫy ngữ    |
|                  |                   | (Unanswerable)  | nghĩa (dùng tại VLSP 2021).              |
+------------------+-------------------+-----------------+------------------------------------------+

Môi trường thực nghiệm và công nghệ phân tích:

  • Triển khai trên nền tảng PyTorch, thư viện HuggingFace Transformers, Sentence-Transformers, sử dụng hệ thống máy chủ tính toán GPU chuyên dụng (NVIDIA V100/A100).
  • Thuật toán tối ưu hóa AdamW, thiết lập tốc độ học (learning rate) từ $2\times 10^{-5}$ đến $5\times 10^{-5}$, áp dụng kỹ thuật giảm tốc độ học tuyến tính (linear warmup schedule) và cơ chế dừng sớm (early stopping) để tránh overfitting.
  • Kiểm tra tính vững (Robustness Checks): Phân tích cắt bỏ thành phần (Ablation Study) nhằm định lượng vai trò độc lập của bộ trích xuất minh chứng (EE), đánh giá tác động của tham số số lượng câu truy xuất $K$ ($K=1, 2, 3, 5$), và khảo sát độ nhạy của các siêu tham số trọng số kết hợp $\alpha, \beta$ trong mô hình ViQAS.

Phát hiện đột phá và implications

Những phát hiện then chốt

Qua hàng loạt thực nghiệm đối chứng nghiêm ngặt, luận án rút ra 4 phát hiện khoa học mang tính đột phá:

+---------------------------------------------------------------------------------------------------+
|                                 CÁC PHÁT HIỆN KHOA HỌC THEN CHỐT                                  |
+---------------------------------------------------------------------------------------------------+
| 1. Lọc minh chứng ngữ nghĩa (EE) giải quyết triệt để suy giảm hiệu năng trên văn bản dài:        |
|    ViReader vượt trội hơn hẳn mô hình đọc hiểu trực tiếp toàn văn (tăng mạnh cả EM và F1).       |
|                                                                                                   |
| 2. Mô hình đa ngữ XLM-R vượt trội mô hình đơn ngữ PhoBERT trên dữ liệu phức tạp:                  |
|    Nhờ từ vựng lớn (250k tokens), XLM-R kháng phân mảnh subword khi gặp từ mượn và thực thể ngoại lai|
|                                                                                                   |
| 3. Hệ thống Hỏi đáp phân tầng ViQAS tối ưu hóa không gian tìm kiếm:                               |
|    Kết hợp Pre-retrieval + ViDR + ViReader+ + Re-ranker tạo nên SOTA trên QA tiếng Việt.          |
|                                                                                                   |
| 4. Khả năng chống chịu câu hỏi đánh lừa (Unanswerable Questions):                                 |
|    Bộ trích xuất minh chứng giúp mô hình nhận biết chính xác khi ngữ cảnh không chứa câu trả lời. |
+---------------------------------------------------------------------------------------------------+
  1. Hiệu ứng triệt tiêu nhiễu của cơ chế trích xuất minh chứng trên văn bản dài: Kết quả thực nghiệm khẳng định việc tích hợp mô hình Sentence-BERT để lọc ra $K$ câu minh chứng quan trọng nhất trước khi đưa vào mô hình trích xuất câu trả lời (kiến trúc ViReader) giúp cải thiện vượt bậc hiệu năng đọc hiểu so với việc nạp trực tiếp toàn văn bản. Hiện tượng suy giảm độ chính xác khi độ dài văn bản tăng lên ở các mô hình truyền thống đã được khắc phục hoàn toàn.
  2. Ưu thế vượt trội của biểu diễn đa ngôn ngữ trước từ mượn ngoại lai: Một phát hiện ngược trực giác nhưng có căn cứ lý thuyết vững chắc: Mặc dù PhoBERT được huấn luyện chuyên biệt trên văn bản tiếng Việt thuần túy, nhưng mô hình XLM-RoBERTa lại đạt hiệu năng tổng thể vượt trội hơn trên các bài đọc có mật độ cao về từ tiếng nước ngoài, tên riêng quốc tế và thuật ngữ khoa học. Nguyên nhân cốt lõi nằm ở kích thước kho từ vựng (vocabulary size) 250k của XLM-R so với không gian từ vựng hạn chế của PhoBERT, giúp giảm thiểu tối đa hiện tượng phân mảnh từ thành các subword vô nghĩa (Unknown / Out-of-Vocabulary tokens).
  3. Hiệu năng vượt ngưỡng của mô hình đọc hiểu đề xuất ViReader: Mô hình ViReader và ViReader+ thiết lập kỷ lục hiệu năng mới trên bộ ngữ liệu chuẩn UIT-ViQuAD, đồng thời duy trì khả năng khái quát hóa vượt trội khi chuyển giao thử nghiệm trên cả ngữ liệu tiếng Anh và tiếng Trung.
  4. Hiệu quả toàn diện của hệ thống hỏi đáp ViQAS: Trong bài toán hỏi đáp văn bản quy mô thực tế, mô hình ViQAS (tích hợp bộ truy xuất văn bản ViDR, bộ đọc hiểu minh chứng ViReader+ và bộ tái xếp hạng Answer Re-ranker) chứng minh sự vượt trội vượt bậc so với các phương pháp QA truyền thống dựa trên BM25 đơn thuần hoặc mô hình một pha, tối ưu hóa cả thời gian xử lý và độ chính xác của câu trả lời cuối cùng.

Implications đa chiều

  • Về mặt Lý thuyết: Luận án bổ sung vào kho tàng tri thức tính toán bằng chứng thực nghiệm vững chắc về khả năng áp dụng của lý thuyết học chuyển tiếp đa ngôn ngữ và mô hình chú ý phân cấp trên ngôn ngữ đơn lập ít tài nguyên.
  • Về mặt Phương pháp luận: Cung cấp một quy trình khép kín, có tính tái lập cao (reproducible pipeline) từ khâu thiết kế công cụ tạo ngữ liệu, quy chuẩn kiểm duyệt chất lượng gán nhãn, đến kiến trúc mô hình hóa tích hợp minh chứng, có thể nhân rộng cho các ngôn ngữ nghèo tài nguyên khác trong khu vực Đông Nam Á.
  • Về mặt Ứng dụng Thực tiễn: Mở đường cho việc thương mại hóa và triển khai các hệ thống tìm kiếm ngữ nghĩa thế hệ mới, hệ thống trả lời tự động cho cổng dịch vụ công trực tuyến, và trợ lý ảo chuyên ngành y tế - pháp luật tiếng Việt.
  • Về mặt Chính sách: Cung cấp bằng chứng thực tiễn thúc đẩy các chính sách đầu tư phát triển hạ tầng dữ liệu số quốc gia và tiêu chuẩn hóa các bộ đánh giá benchmark cho trí tuệ nhân tạo Việt Nam.

Limitations và Future Research

Nhìn nhận một cách khách quan và khoa học, luận án tồn tại một số giới hạn nghiên cứu (limitations) cần được tiếp tục mở rộng:

  1. Giới hạn về dạng thức trích xuất chuỗi (Span-based limitation): Trọng tâm của luận án nằm ở dạng bài toán trích xuất câu trả lời trực tiếp là một chuỗi liên tục từ văn bản. Do đó, mô hình chưa hỗ trợ toàn diện dạng đọc hiểu tự do (Free-form / Abstractive MRC) đòi hỏi khả năng tổng hợp và viết lại câu trả lời từ nhiều nguồn phân tán.
  2. Giới hạn suy luận đa bước (Multi-hop Reasoning): Ngữ liệu và mô hình hiện tại chủ yếu tập trung vào suy luận đơn đoạn hoặc đa câu trong cùng một tài liệu, chưa giải quyết triệt để các câu hỏi phức tạp đòi hỏi bắc cầu suy luận logic qua nhiều văn bản độc lập (Multi-document Multi-hop QA).
  3. Độ lệch miền dữ liệu (Domain Shift): Mặc dù đã kiểm nghiệm trên miền Wikipedia và y tế, khả năng tổng quát hóa không giám sát (Zero-shot domain transfer) sang các miền văn bản có cấu trúc đặc thù cao như văn bản luật pháp hoặc báo cáo tài chính vẫn cần thêm dữ liệu thích ứng.

Chương trình nghiên cứu tương lai (Future Research Agenda):

  • Hướng 1: Mở rộng nghiên cứu đọc hiểu trừu tượng và sinh câu trả lời tự do (Generative MRC) kết hợp với các mô hình ngôn ngữ lớn (Large Language Models - LLMs như LLaMA, GPT, T5).
  • Hướng 2: Phát triển cơ chế đọc hiểu suy luận đa bước (Multi-hop MRC) trên đồ thị tri thức (Knowledge Graphs) tiếng Việt.
  • Hướng 3: Mở rộng bài toán sang Đọc hiểu và Hỏi đáp đa phương thức (Multimodal QA) kết hợp văn bản, hình ảnh, bảng biểu và âm thanh.
  • Hướng 4: Tối ưu hóa mô hình thông qua các kỹ thuật nén mô hình (Knowledge Distillation, Quantization) để triển khai hiệu quả trên các thiết bị biên (Edge Devices).

Tác động và ảnh hưởng

Công trình nghiên cứu của NCS Nguyễn Văn Kiệt tạo ra những tác động học thuật và xã hội sâu rộng:

  • Tác động Học thuật: Các bộ ngữ liệu do luận án công bố (đặc biệt là việc được lựa chọn làm nhiệm vụ thử nghiệm chính thức tại Hội thảo quốc tế VLSP 2021) đã trở thành thước đo tiêu chuẩn vàng (Golden Benchmark) thu hút hàng chục nhóm nghiên cứu từ các trường đại học, viện nghiên cứu và doanh nghiệp công nghệ hàng đầu tham gia đánh giá.
  • Chuyển đổi Công nghiệp: Các kiến trúc ViReader và ViQAS cung cấp giải pháp công nghệ trực tiếp cho các doanh nghiệp phát triển công cụ tìm kiếm tiếng Việt, hệ thống chăm sóc khách hàng tự động (Chatbot/Virtual Assistant) và hệ thống trích xuất thông tin doanh nghiệp.
  • Lợi ích Xã hội: Góp phần bảo tồn và khẳng định chủ quyền ngôn ngữ số tiếng Việt trên không gian mạng, nâng cao khả năng tiếp cận thông tin tri thức chuẩn xác cho người dân trong lĩnh vực y tế và giáo dục.

Đối tượng hưởng lợi

  • Nghiên cứu sinh và Giới học thuật NLU: Thừa hưởng hệ thống ngữ liệu benchmark chuẩn hóa quy mô lớn và khung phương pháp luận nghiên cứu vững chắc để tiếp tục phát triển các thuật toán tiên tiến.
  • Kỹ sư AI và Bộ phận R&D Doanh nghiệp: Tiếp cận các kiến trúc mô hình ViReader/ViQAS đã được chứng minh hiệu năng thực nghiệm, giúp rút ngắn thời gian thử nghiệm và tối ưu hóa sản phẩm thương mại.
  • Các Cơ quan Quản lý Nhà nước và Xã hội: Ứng dụng trực tiếp các giải pháp hỏi đáp tự động vào hệ thống dịch vụ công, nâng cao năng lực chuyển đổi số quốc gia.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì?

Luận án đã mở rộng lý thuyết Mô hình ngôn ngữ tự chú ý và Học chuyển tiếp đa ngôn ngữ (XLM-R) vào xử lý tiếng Việt, chứng minh rằng không gian vector đa ngữ từ vựng lớn (250k token) có khả năng kháng nhiễu và bảo toàn ngữ nghĩa vượt trội trước các biến thể từ vựng ngoại lai so với các mô hình đơn ngữ từ vựng nhỏ.

2. Đột phá về phương pháp luận so với các nghiên cứu tiền nhiệm?

Khác với DrQA (Chen et al., 2017) hay BERTserini (Yang et al., 2019) trích xuất câu trả lời trực tiếp từ tài liệu thô, luận án đề xuất cấu trúc phân tầng tích hợp bộ Trích xuất minh chứng (Evidence Extractor) dựa trên Sentence-BERT, giúp cô lập chính xác $K$ câu chứa câu trả lời, triệt tiêu hiện tượng phân tán trường chú ý trên văn bản dài.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?

Việc phân tích chi tiết cho thấy các mô hình học sâu truyền thống dựa trên đặc trưng ngôn ngữ gán nhãn thủ công (POS, Dependency Parsing) đạt hiệu năng rất thấp và thiếu ổn định do hiện tượng tích lũy sai số tiền xử lý trên ngôn ngữ ít tài nguyên, khẳng định sự ưu việt tuyệt đối của cơ chế biểu diễn ngữ cảnh tự động từ mô hình Transformer.

4. Luận án có cung cấp quy trình tái lập thực nghiệm chuẩn mực không?

Hoàn toàn có. Toàn bộ quy trình gán nhãn, thông số siêu tham số huấn luyện (learning rate, batch size, optimizer), cấu trúc phân chia tập dữ liệu (Train/Dev/Test) và mã nguồn thuật toán đều được chuẩn hóa chi tiết và công bố công khai phục vụ cộng đồng học thuật.

5. Chương trình nghiên cứu 10 năm tới được định hình như thế nào?

Luận án vạch ra lộ trình chuyển dịch từ Đọc hiểu trích xuất chuỗi cục bộ (Extractive Span-based) sang Đọc hiểu tạo sinh tri thức tổng hợp (Generative LLM-based MRC) và Hỏi đáp đa phương thức (Multimodal Reasoning), hướng tới xây dựng hệ tri thức mở toàn diện cho tiếng Việt.

Kết luận

Luận án tiến sĩ của NCS Nguyễn Văn Kiệt đã hoàn thành xuất sắc các mục tiêu nghiên cứu đặt ra, mang lại 5 đóng góp học thuật cốt lõi:

  1. Xây dựng thành công hệ sinh thái ngữ liệu benchmark đọc hiểu tự động tiếng Việt quy mô lớn và chuẩn mực nhất (UIT-ViQuAD 1.0, UIT-ViNewsQA, UIT-ViWikiQA, UIT-ViQuAD 2.0).
  2. Thiết lập hệ thống đánh giá đối chứng toàn diện đầu tiên giữa các mô hình học máy truyền thống, mạng nơ-ron sâu và các mô hình ngôn ngữ Transformer hiện đại trên dữ liệu tiếng Việt.
  3. Đề xuất thành công mô hình đọc hiểu ViReader và ViReader+ tích hợp cơ chế trích xuất minh chứng ngữ nghĩa, tạo đột phá hiệu năng trên cả tiếng Việt, tiếng Anh và tiếng Trung.
  4. Thiết kế và triển khai hoàn chỉnh hai hệ thống hỏi đáp Retriever - Reader toàn diện XLMRQA và ViQAS, giải quyết trọn vẹn bài toán hỏi đáp văn bản quy mô lớn.
  5. Đặt nền móng lý luận và mở ra các hướng nghiên cứu mũi nhọn về đọc hiểu tạo sinh và hỏi đáp đa phương thức cho ngôn ngữ tiếng Việt trong kỷ nguyên Trí tuệ nhân tạo.