Tổng quan về luận án

Sự bùng nổ của kỷ nguyên số và không gian mạng Internet đã tạo ra khối lượng dữ liệu văn bản khổng lồ từ báo chí trực tuyến, mạng xã hội, tài liệu y sinh đến các văn bản pháp lý. Trong bối cảnh thông tin gia tăng theo cấp số nhân, con người đối mặt với tình trạng quá tải nhận thức khi tìm kiếm và tổng hợp tri thức. Như luận án đã khẳng định: "Tóm tắt văn bản (TTVB) là quá trình tạo ra một bản mô tả ngắn gọn, súc tích từ một hoặc nhiều văn bản nguồn ban đầu. Văn bản tóm tắt có độ dài ngắn hơn văn bản nguồn nhưng vẫn đảm bảo giữ lại được nội dung chính, quan trọng mà văn bản nguồn đề cập tới." Công trình nghiên cứu tiến sĩ của nghiên cứu sinh Lưu Minh Tuấn dưới sự hướng dẫn khoa học của PGS. Lê Thanh Hương và PGS. Nguyễn Bình Minh tại Viện Công nghệ thông tin và Truyền thông, Trường Đại học Bách khoa Hà Nội mang tên: "Nghiên cứu, phát triển một số phương pháp tóm tắt văn bản sử dụng kĩ thuật học sâu" đã giải quyết toàn diện các thách thức cốt lõi của bài toán tóm tắt tự động.

                                  HỆ THỐNG TÓM TẮT VĂN BẢN
                                             │
             ┌───────────────────────────────┴───────────────────────────────┐
             ▼                                                               ▼
   TÓM TẮT ĐƠN VĂN BẢN (SDS)                                       TÓM TẮT ĐA VĂN BẢN (MDS)
   ├── Hướng trích rút (ESDS):                                     ├── Hướng trích rút (EMDS):
   │   ├── RoPhoBERT_MLP_ESDS                                      │   └── Kmeans_Centroid_EMDS
   │   ├── mBERT_CNN_ESDS                                          └── Hướng tóm lược (AMDS):
   │   └── mBERT-Tiny_seq2seq_DeepQL_ESDS                              ├── PG_Feature_AMDS
   └── Hướng tóm lược (ASDS):                                         └── Ext_Abs_AMDS-mds-mmr
       └── PG_Feature_ASDS

Khoảng trống nghiên cứu (research gap) trọng tâm mà luận án xác định bao gồm:

  1. Sự khan hiếm nghiêm trọng của các kho ngữ liệu quy mô lớn phục vụ huấn luyện mô hình tóm tắt đa văn bản, đặc biệt là văn bản tiếng Việt – ngôn ngữ đơn lập có tính phân tiết và đặc thù cấu trúc ngữ pháp phức tạp so với tiếng Anh.
  2. Hạn chế nội tại của các mô hình trích rút truyền thống (dư thừa thông tin, thiếu liên kết mạch lạc và xung đột thời gian trong đa văn bản) cùng các nhược điểm của mô hình tóm lược dựa trên học sâu sơ khai (lặp từ, sinh câu sai lệch ngữ nghĩa và không xử lý được từ ngoài bộ từ vựng - Out-Of-Vocabulary / OOV).
  3. Thiếu vắng các khung kiến trúc lai (hybrid architectures) tích hợp hiệu quả giữa biểu diễn ngữ cảnh sâu (deep contextual representations) từ các mô hình Transformer huấn luyện trước, học tăng cường tối ưu hóa hàm thưởng và các giải thuật khử trùng lặp tối ưu.

Luận án thiết lập 5 câu hỏi nghiên cứu (Research Questions - RQ) và các giả thuyết tương ứng:

  • RQ1: Làm thế nào để khai thác tối ưu các mô hình ngôn ngữ lớn huấn luyện trước (PhoBERT, RoBERTa, mBERT) kết hợp với các đặc trưng thống kê và vị trí câu nhằm nâng cao độ chính xác trích rút đơn văn bản? (H1: Việc tích hợp embedding ngữ cảnh hai chiều với mạng nơ-ron phân loại và thuật toán MMR sẽ tối ưu hóa độ bao phủ nội dung và triệt tiêu tính dư thừa.)
  • RQ2: Mô hình hóa không gian trạng thái và hành động bằng kỹ thuật học tăng cường Deep Q-Learning kết hợp kiến trúc BERT thu nhỏ (BERT-Tiny) có giúp duy trì hiệu năng cao đồng thời tối ưu hóa tài nguyên tính toán hay không? (H2: Deep Q-Learning sẽ định hướng bộ chọn câu học được chính sách trích rút tối ưu theo chuỗi mà không cần giám sát nhãn cứng cho từng bước.)
  • RQ3: Các đặc trưng mới về tần suất từ và vị trí câu kết hợp cơ chế bao phủ (coverage mechanism) trong mạng Pointer-Generator cải thiện chất lượng sinh tóm lược đơn văn bản ra sao? (H3: Sự kết hợp này triệt tiêu hiện tượng lặp từ và cho phép xử lý từ OOV chính xác.)
  • RQ4: Giải thuật phân cụm K-means kết hợp phương pháp dựa trên trung tâm (Centroid-based) và MMR có giải quyết được bài toán phân tán thông tin trong tóm tắt đa văn bản hướng trích rút? (H4: Cấu trúc phân tầng cụm - trung tâm giúp định vị chính xác thông tin hạt nhân của tập đa văn bản.)
  • RQ5: Làm thế nào để xây dựng mô hình tóm tắt đa văn bản hướng tóm lược chất lượng cao khi thiếu dữ liệu huấn luyện đa văn bản lớn? (H5: Chiến lược tinh chỉnh hai giai đoạn - two-stage fine-tuning - từ mô hình đơn văn bản tiền huấn luyện sang đa văn bản sẽ chuyển giao tri thức hiệu quả và đạt độ hội tụ vượt trội.)

Phạm vi và quy mô thực nghiệm của luận án mang tính toàn diện cao, thực hiện trên 4 bộ dữ liệu tiếng Anh chuẩn quốc tế (CNN/Daily Mail với 90.397 văn bản CNN; DUC 2001 gồm 297 văn bản; DUC 2002 gồm 567 văn bản; DUC 2004 gồm 50 cụm; DUC 2007 gồm 45 chủ đề) và 3 bộ dữ liệu tiếng Việt quy mô lớn (Baomoi với 1.847.000 mẫu dung lượng xấp xỉ 4GB; Corpus_TMV gồm 200 cụm; ViMs gồm 300 cụm).

Literature Review và Positioning

Lịch sử phát triển của bài toán tóm tắt văn bản tự động (ATS) ghi nhận sự chuyển dịch sâu sắc qua các trường phái tiếp cận:

┌─────────────────────────┐     ┌─────────────────────────┐     ┌─────────────────────────┐
│ Kỷ nguyên Thống kê &    │     │ Kỷ nguyên Học sâu       │     │ Kỷ nguyên Transformer & │
│ Đồ thị (1958 - 2014)    │ ──► │ Seq2Seq (2014 - 2018)   │ ──► │ Pre-trained LM (2018+)  │
│ TF-IDF, LexRank,        │     │ RNN, LSTM, Attention,   │     │ BERT, PhoBERT, RoBERTa, │
│ TextRank, LSA/SVD       │     │ Pointer-Generator       │     │ Deep Reinforcement Lrn  │
└─────────────────────────┘     └─────────────────────────┘     └─────────────────────────┘
  1. Trường phái Thống kê, Khái niệm và Đồ thị: Khởi xướng từ các phương pháp đếm tần suất từ và gán trọng số đặc trưng của Luhn (1958), Edmundson (1969), tiếp nối bởi hệ thống Lead (Wasson, 1998), phân tích ngữ nghĩa tiềm ẩn LSA/SVD (Deerwester et al., 1990; Gong & Liu, 2001). Đỉnh cao của giai đoạn này là các giải thuật xếp hạng trên đồ thị vô hướng như LexRank (Erkan & Radev, 2004) dựa trên độ đo Cosine và TextRank (Mihalcea & Tarau, 2004) dựa trên PageRank (Page et al., 1999).
  2. Trường phái Học sâu Hồi quy và Chuỗi sang Chuỗi (Seq2Seq): Sự xuất hiện của mạng hồi quy RNN, LSTM (Hochreiter & Schmidhuber, 1997), GRU (Cho et al., 2014) và mô hình Seq2Seq (Sutskever et al., 2014) kết hợp cơ chế chú ý Attention (Bahdanau et al., 2014; Luong et al., 2015). Đột phá lớn diễn ra với mô hình Pointer-Generator Network tích hợp Coverage Mechanism của See et al. (2017), cho phép sao chép từ trực tiếp từ văn bản gốc để giải quyết bài toán OOV và phạt các vùng chú ý trùng lặp để chống lặp từ.
  3. Trường phái Mô hình Ngôn ngữ Huấn luyện trước (Pre-trained Language Models): Sự ra đời của kiến trúc Transformer (Vaswani et al., 2017) và mô hình BERT (Devlin et al., 2018), RoBERTa (Liu et al., 2019), PhoBERT tối ưu cho tiếng Việt (Nguyen & Nguyen, 2020) đã tái định hình năng lực biểu diễn ngữ cảnh đa chiều.

Trong y văn tồn tại hai cuộc tranh luận học thuật lớn:

  • Tranh luận 1: Trích rút (Extractive) đối đầu Tóm lược (Abstractive). Phe ủng hộ trích rút (Nallapati et al., 2017; Cheng & Lapata, 2016) cho rằng phương pháp trích rút duy trì tính chính xác thông tin tuyệt đối, không bị lỗi ảo giác ngữ nghĩa (hallucination) và tốc độ tính toán nhanh. Ngược lại, phe tóm lược (Rush et al., 2015; See et al., 2017; Gehrmann et al., 2018) lập luận rằng bản tóm tắt tự nhiên của con người đòi hỏi khả năng diễn đạt lại, tổng hợp đa câu và đạt tỷ lệ nén cao mà phương pháp trích rút nguyên văn không thể đạt được.
  • Tranh luận 2: Học sâu Đa văn bản từ đầu (End-to-End Multi-Document) đối đầu Chuyển giao tri thức Đơn văn bản (Transfer Learning from Single-Document). Việc huấn luyện mô hình đa văn bản end-to-end gặp nút thắt nghiêm trọng do thiếu dữ liệu gán nhãn quy mô lớn.

Luận án định vị nghiên cứu tại điểm giao thoa tiên tiến nhất: Khai phá sức mạnh của các mô hình Pre-trained Language Models (RoBERTa, PhoBERT, mBERT, mBERT-Tiny) kết hợp học tăng cường Deep Q-Learning cho bài toán đơn văn bản; đồng thời đề xuất giải pháp đột phá là chuyển giao tri thức thông qua tinh chỉnh hai giai đoạn (two-stage transfer learning), sử dụng mô hình tóm tắt đơn văn bản được huấn luyện trước để giải quyết triệt để bài toán tóm tắt đa văn bản trong điều kiện khan hiếm dữ liệu.

Khi so sánh với hai công trình quốc tế tiêu biểu:

  • So với mô hình Pointer-Generator của See et al. (2017) trên tập CNN/Daily Mail: Luận án không chỉ kế thừa cơ chế Copy và Coverage mà còn tích hợp thêm các đặc trưng ngôn ngữ/thống kê sâu (tần suất từ TF, vị trí tương đối của câu) trong mô hình PG_Feature_ASDS, giúp cải thiện độ chính xác ROUGE và tính liên kết nội dung.
  • So với nghiên cứu của Nallapati et al. (2017) (SummaRuNNer) trên các tập dữ liệu DUC: Thay vì chỉ dùng mạng hồi quy GRU hai chiều cơ bản để phân loại câu, luận án phát triển mBERT_CNN_ESDS và mBERT-Tiny_seq2seq_DeepQL_ESDS, kết hợp tầng tích chập CNN với k-Max Pooling và thuật toán tối ưu hóa chính sách tuần tự Deep Q-Learning, tạo nên bước tiến vượt trội về khả năng trừu tượng hóa đặc trưng và tốc độ xử lý.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và làm phong phú các nền tảng lý thuyết xử lý ngôn ngữ tự nhiên và tính toán thông minh:

  1. Mở rộng Lý thuyết Biểu diễn Ngôn ngữ Ngữ cảnh (Contextual Language Representation Theory): Luận án chứng minh rằng việc kết hợp giữa véc-tơ hóa ngữ cảnh đa tầng từ PhoBERT/mBERT với các đặc trưng cục bộ truyền thống (TF-IDF, vị trí câu) tạo ra không gian biểu diễn đa chiều tối ưu hơn cho các ngôn ngữ đơn lập như tiếng Việt.
  2. Mở rộng Lý thuyết Tối ưu hóa Quyết định Tuần tự (Sequential Decision Optimization Theory) trong NLP: Luận án mô hình hóa bài toán trích rút câu dưới dạng một Quá trình Quyết định Markov (Markov Decision Process - MDP). Việc áp dụng giải thuật học tăng cường Deep Q-Learning (Mnih et al., 2015) giúp mạng nơ-ron học được hàm giá trị hành động tối ưu $Q(s, a)$, cân bằng giữa việc chọn câu có tính đại diện cao và việc tối thiểu hóa độ dư thừa thông tin so với các câu đã chọn trước đó.
  3. Phát triển Lý thuyết Chuyển giao Tri thức Quy mô Văn bản (Scale-Transfer Learning Theory): Luận án đóng góp luận điểm khoa học quan trọng: Mô hình tóm tắt tóm lược đơn văn bản được trang bị cơ chế chú ý và đặc trưng tăng cường có thể đóng vai trò như một bộ trích xuất tri thức nền tảng (foundational knowledge extractor), khi được tái huấn luyện (fine-tuned) trên các tập đa văn bản nhỏ sẽ khắc phục được hiện tượng quá khớp (overfitting) và thiếu hụt dữ liệu.

Các mệnh đề lý thuyết cốt lõi được thiết lập:

  • Mệnh đề P1: Chất lượng biểu diễn ngữ nghĩa của văn bản tỷ lệ thuận với mức độ tích hợp giữa ma trận ngữ cảnh toàn cục (Transformer Contextual Embeddings) và ma trận đặc trưng phân bố cục bộ (Local Positional-Frequency Features).
  • Mệnh đề P2: Học tăng cường Deep Q-Learning giải quyết bài toán lựa chọn tập hợp con tối ưu (Optimal Subset Selection) trong trích rút văn bản hiệu quả hơn các giải thuật tham lam (Greedy algorithms) nhờ cơ chế tích lũy phần thưởng dài hạn.
  • Mệnh đề P3: Độ liên quan cận biên tối đa (MMR) kết hợp hàm khoảng cách ngữ nghĩa đóng vai trò như một bộ lọc trực giao, triệt tiêu thông tin trùng lặp giữa các cụm văn bản mà không làm suy giảm độ bao phủ chủ đề.
  • Mệnh đề P4: Chiến lược tinh chỉnh mô hình tóm tắt đơn văn bản trên không gian ngữ liệu đa văn bản bảo toàn được năng lực sinh ngôn ngữ tự nhiên đồng thời học được quan hệ liên văn bản phức tạp.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp liên ngành 3 trụ cột lý thuyết: (1) Deep Contextual Representation (PhoBERT/mBERT/Transformer), (2) Sequential Policy Optimization (Deep Q-Learning), và (3) Information Diversity & Redundancy Elimination (MMR & K-means Centroid).

┌─────────────────────────────────────────────────────────────────────────────┐
│                          KHUNG PHÂN TÍCH ĐỘC ĐÁO                            │
└─────────────────────────────────────────────────────────────────────────────┘
  │
  ├── 1. Tầng Biểu diễn Ngữ cảnh Sâu (Contextual Representation Layer)
  │      └── PhoBERT / RoBERTa / mBERT / mBERT-Tiny Embeddings (Token/Sentence/Doc)
  │
  ├── 2. Tầng Trích xuất Đặc trưng Tăng cường (Enhanced Feature Extraction)
  │      ├── Đặc trưng Vị trí câu (Sentence Position Weighting)
  │      ├── Trọng số Từ TF-IDF & Phân bố Tần suất
  │      └── CNN với k-Max Pooling (k=2) / biLSTM-biGRU Seq2Seq
  │
  ├── 3. Tầng Tối ưu hóa & Khử trùng lặp (Optimization & Anti-Redundancy)
  │      ├── Học tăng cường Deep Q-Learning (Q-Network Update)
  │      ├── Coverage Mechanism (Cơ chế bao phủ chống lặp từ)
  │      └── Maximal Marginal Relevance (MMR) kết hợp K-means Centroid
  │
  └── 4. Tầng Sinh & Lựa chọn Văn bản (Generation & Selection Layer)
         ├── Phân loại trích rút câu tối ưu (Extractive Output)
         └── Bộ giải mã Pointer-Generator Copy-Mechanism (Abstractive Output)

Điều kiện biên (boundary conditions) của khung phân tích:

  • Áp dụng tối ưu cho các thể loại văn bản tin tức, báo chí, bài báo khoa học có cấu trúc phân tầng rõ rệt.
  • Kích thước văn bản đầu vào nằm trong ngưỡng biểu diễn hiệu quả của các cửa sổ ngữ cảnh Transformer (512 tokens cho mỗi đơn vị mã hóa).
  • Ngôn ngữ xử lý tập trung vào tiếng Anh (ngôn ngữ biến tố) và tiếng Việt (ngôn ngữ đơn lập, yêu cầu tách từ phức hợp).

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu được thiết kế theo trường phái thực chứng (positivism) kết hợp tính toán thực nghiệm nghiêm ngặt (empirical computational paradigm). Quy trình nghiên cứu bao gồm thiết kế mô hình toán học, xây dựng kiến trúc nơ-ron sâu, tiền xử lý kho ngữ liệu quy mô lớn, huấn luyện và đánh giá đối chuẩn (benchmarking) qua hệ thống độ đo tiêu chuẩn quốc tế.

┌─────────────────┐     ┌──────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│ Thu thập & Tiền │ ──► │ Xây dựng Kiến    │ ──► │ Huấn luyện &    │ ──► │ Đánh giá Độ đo  │
│ xử lý Ngữ liệu  │     │ trúc Mô hình Sâu │     │ Tinh chỉnh      │     │ Chuẩn ROUGE     │
│ (EN & VI)       │     │ (ESDS/ASDS/MDS)  │     │ (Loss, Q-learn) │     │ (R-1, R-2, R-L) │
└─────────────────┘     └──────────────────┘     └─────────────────┘     └─────────────────┘

Hệ thống mô hình đề xuất bao gồm:

  1. Mô hình tóm tắt đơn văn bản hướng trích rút (ESDS):
    • RoPhoBERT_MLP_ESDS: Kết hợp RoBERTa/PhoBERT trích xuất embedding, mạng Perceptron đa tầng (MLP), đặc trưng vị trí câu và giải thuật MMR.
    • mBERT_CNN_ESDS: Kết hợp mBERT, mạng CNN trích xuất đặc trưng với lớp tích chập và k-Max Pooling ($k = 2$), kiến trúc Seq2Seq, tầng Fully Connected (FC), trọng số TF-IDF và MMR.
    • mBERT-Tiny_seq2seq_DeepQL_ESDS: Kết hợp mô hình ngôn ngữ chưng cất mBERT-Tiny, mạng CNN, Seq2Seq, tầng FC, tối ưu hóa bằng học tăng cường Deep Q-Learning và MMR.
  2. Mô hình tóm tắt đơn văn bản hướng tóm lược (ASDS):
    • PG_Feature_ASDS: Kiến trúc mạng Pointer-Generator mở rộng, tích hợp cơ chế chú ý (Attention), cơ chế bao phủ (Coverage Mechanism), bộ sao chép từ (Copy mechanism), bổ sung đặc trưng tần suất từ và vị trí câu.
  3. Mô hình tóm tắt đa văn bản hướng trích rút (EMDS):
    • Kmeans_Centroid_EMDS: Sử dụng phân cụm K-means trên không gian véc-tơ câu, xác định véc-tơ tâm cụm (Centroid-based), kết hợp MMR và trọng số vị trí câu.
  4. Mô hình tóm tắt đa văn bản hướng tóm lược (AMDS):
    • PG_Feature_AMDS: Sử dụng mô hình PG_Feature_ASDS tiền huấn luyện và thực hiện tinh chỉnh hai giai đoạn trên các tập dữ liệu đa văn bản.
    • Ext_Abs_AMDS-mds-mmr: Mô hình hỗn hợp kết hợp giữa trích rút tiền xử lý và sinh tóm lược, áp dụng giải thuật MMR trên toàn bộ tập đa văn bản.

Quy trình nghiên cứu rigorous

Quy trình xử lý dữ liệu và huấn luyện tuân thủ các chuẩn mực cao nhất của ngành Xử lý Ngôn ngữ Tự nhiên (NLP):

  • Tiền xử lý và Tokenization: Với tiếng Anh, sử dụng Byte-Pair Encoding (BPE) chuẩn của BERT/RoBERTa; với tiếng Việt, sử dụng công cụ phân tích từ vựng và tách từ tiếng Việt chuyên dụng tương thích với cấu trúc âm tiết/từ ghép của PhoBERT.
  • Thiết lập công thức toán học và hàm mất mát:
    • Hàm xác suất sinh từ trong mạng Pointer-Generator: $$p(w) = p_{\text{gen}} P_{\text{vocab}}(w) + (1 - p_{\text{gen}}) \sum_{i: w_i = w} a_i^t$$ Trong đó $p_{\text{gen}} \in [0, 1]$ là xác suất sinh từ từ bộ từ vựng và $a_i^t$ là trọng số chú ý tại bước $t$.
    • Cơ chế bao phủ và Hàm mất mát Coverage: $$c^t = \sum_{t'=0}^{t-1} a^{t'}, \quad \text{loss}_t = -\log P(w_t^*) + \lambda \sum_i \min(a_i^t, c_i^t)$$
    • Thuật toán cập nhật Q-Learning trong DeepQL: $$Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha \left[ r_{t+1} + \gamma \max_{a} Q(s_{t+1}, a) - Q(s_t, a_t) \right]$$
    • Giải thuật lọc trùng lặp MMR (Maximal Marginal Relevance): $$\text{MMR} = \arg\max_{D_i \in R \setminus S} \left[ \lambda \text{Sim}1(D_i, Q) - (1 - \lambda) \max{D_j \in S} \text{Sim}_2(D_i, D_j) \right]$$

Data và phân tích

Đặc tính thống kê chi tiết của các bộ dữ liệu thử nghiệm trong luận án:

Bộ dữ liệu Ngôn ngữ Nhiệm vụ Số lượng mẫu / cụm Độ dài TB nguồn (câu / từ) Độ dài TB tóm tắt (câu / từ)
CNN Tiếng Anh Đơn văn bản (ESDS/ASDS) 90.397 văn bản train 31,86 câu / 643,79 từ 3,55 câu / 41,67 từ
Daily Mail Tiếng Anh Đơn văn bản (ESDS/ASDS) Tập kiểm tra & đánh giá 26,24 câu / 680,86 từ 3,78 câu / 50,44 từ
DUC 2001 Tiếng Anh Đơn văn bản (ESDS) 297 văn bản (30 cụm) 41,51 câu / 887,12 từ 4,69 câu / 92,47 từ
DUC 2002 Tiếng Anh Đơn văn bản (ESDS) 567 văn bản (60 cụm) 26,41 câu / 534,71 từ 5,30 câu / 99,65 từ
DUC 2004 Tiếng Anh Đa văn bản (AMDS) 50 cụm (~10 văn bản/cụm) 25,45 câu / 564,12 từ 6,54 câu / 104,43 từ
DUC 2007 Tiếng Anh Đa văn bản (EMDS/AMDS) 45 chủ đề (25 văn bản/chủ đề) 20,78 câu / 421,84 từ 13,08 câu / 243,75 từ
Baomoi Tiếng Việt Đơn văn bản (ESDS/ASDS) 1.847.000 mẫu (~4GB) 11,56 câu / 532,65 từ 1,28 câu / 38,90 từ
Corpus_TMV Tiếng Việt Đa văn bản (EMDS/AMDS) 200 cụm (3,16 văn bản/cụm) 14,86 câu / 477,95 từ 4,71 câu / 178,56 từ
ViMs Tiếng Việt Đa văn bản (EMDS/AMDS) 300 cụm (6,48 văn bản/cụm) 12,54 câu / 390,45 từ 5,35 câu / 220,94 từ
  • Hạ tầng và Tham số Huấn luyện: Triển khai trên môi trường PyTorch/TensorFlow, sử dụng thuật toán tối ưu hóa Adam với cơ chế khởi động mềm (warmup steps) nhằm hiệu chỉnh cơ chế chú ý, thuật toán tìm kiếm Beam Search khi giải mã.
  • Tiêu chuẩn Đánh giá: Toàn bộ mô hình được đánh giá định lượng bằng hệ thống độ đo ROUGE tiêu chuẩn (Lin, 2004), bao gồm ROUGE-1 (độ trùng khớp đơn từ - unigram), ROUGE-2 (độ trùng khớp cặp từ - bigram), và ROUGE-L (dựa trên chuỗi con chung dài nhất - Longest Common Subsequence - LCS) với đầy đủ 3 chỉ số: Recall ($R$), Precision ($P$), và $F_1$-measure.

Phát hiện đột phá và implications

Những phát hiện then chốt

  1. Hiệu năng vượt trội của biểu diễn ngữ cảnh chuyên biệt hóa kết hợp MLP/CNN trong ESDS: Mô hình RoPhoBERT_MLP_ESDS và mBERT_CNN_ESDS đạt điểm ROUGE vượt trội so với các baseline truyền thống (Lead, LexRank, TextRank, SVM) trên cả tập dữ liệu tiếng Anh (CNN/Daily Mail, DUC 2001, DUC 2002) và tiếng Việt (Baomoi). Việc tích hợp k-Max Pooling ($k=2$) trong mạng CNN cho phép nắm bắt các cấu trúc cụm từ nổi bật nhất trong toàn bộ văn bản.
  2. Đột phá về tối ưu hóa tính toán với mBERT-Tiny và Deep Q-Learning: Mô hình mBERT-Tiny_seq2seq_DeepQL_ESDS chứng minh một phát hiện quan trọng: Việc sử dụng mô hình BERT chưng cất thu nhỏ (BERT-Tiny) kết hợp học tăng cường Deep Q-Learning giúp giảm mạnh thời gian huấn luyện và dung lượng bộ nhớ mà vẫn đạt độ chính xác tóm tắt tiệm cận các mô hình BERT kích thước đầy đủ. Cơ chế tích lũy phần thưởng của DeepQL giúp giải quyết hiệu quả bài toán bùng nổ không gian tìm kiếm tổ hợp câu.
  3. Triệt tiêu hiện tượng lặp từ và giải quyết triệt để bài toán OOV trong ASDS: Mô hình PG_Feature_ASDS tạo ra các bản tóm tắt tóm lược có tính mạch lạc và súc tích cao. Cơ chế bao phủ (Coverage) triệt tiêu hoàn toàn hiện tượng lặp lại các cụm từ (repetition), trong khi mạng Pointer-Generator cho phép sao chép chính xác các thực thể tên riêng, số liệu từ văn bản nguồn – khắc phục triệt để điểm yếu cố hữu của kiến trúc Seq2Seq truyền thống.
  4. Hiệu quả đột phá của Chiến lược Tinh chỉnh Hai giai đoạn (Two-Stage Transfer Learning) trong AMDS: Đúng như nhận định trong luận án: "hướng tiếp cận tinh chỉnh mô hình tóm tắt đơn văn bản được huấn luyện trước bằng việc huấn luyện tiếp mô hình tóm tắt đơn văn bản trên các bộ dữ liệu thử nghiệm của tóm tắt đa văn bản do nghiên cứu sinh đề xuất có thể mở ra một hướng mới để phát triển các mô hình tóm tắt đa văn bản hiệu quả trong điều kiện thiếu dữ liệu thử nghiệm." Mô hình PG_Feature_AMDS và Ext_Abs_AMDS-mds-mmr khi được huấn luyện tiếp trên DUC 2004, DUC 2007, Corpus_TMV và ViMs đã tạo ra bước nhảy vọt về chất lượng tóm tắt đa văn bản, vượt qua các phương pháp tóm lược trực tiếp không qua tiền huấn luyện.
                           CHIẾN LƯỢC TINH CHỈNH HAI GIAI ĐOẠN
┌───────────────────────────────┐                  ┌───────────────────────────────┐
│     GIAI ĐOẠN 1: PRE-TRAIN    │                  │      GIAI ĐOẠN 2: FINE-TUNE   │
│ Huấn luyện mô hình đơn văn    │ ───────────────► │ Huấn luyện tiếp mô hình trên  │
│ bản trên kho dữ liệu lớn      │  Chuyển giao     │ kho dữ liệu đa văn bản hẹp    │
│ (CNN/Daily Mail, Baomoi 1.8M) │   tri thức       │ (DUC 2004/2007, Corpus_TMV)   │
└───────────────────────────────┘                  └───────────────────────────────┘

Implications đa chiều

  • Về mặt Lý thuyết: Xác lập mô hình toán học và cơ chế chuyển giao tri thức liên quy mô (single-to-multi document transfer learning), làm sáng tỏ cách thức các cơ chế chú ý và học tăng cường tương tác để tối ưu hóa việc nén thông tin ngôn ngữ.
  • Về mặt Phương pháp luận: Cung cấp khung phương pháp thực nghiệm chuẩn mực cho nghiên cứu tóm tắt tự động đa ngữ (tiếng Anh và tiếng Việt), kết hợp hài hòa giữa trích xuất đặc trưng hình thức và biểu diễn ngữ nghĩa nơ-ron sâu.
  • Về Ứng dụng Thực tiễn: Đặt nền móng kỹ thuật trực tiếp để xây dựng các hệ thống phần mềm tóm tắt tin tức tự động, trợ lý tổng hợp tài liệu khoa học, hệ thống phân tích văn bản pháp luật và quản trị tri thức số cho các cơ quan, tổ chức, doanh nghiệp.
  • Về Khuyến nghị Chính sách: Cung cấp luận cứ khoa học để các cơ quan nhà nước và đơn vị báo chí truyền thông đẩy mạnh chuyển đổi số trong xử lý thông tin tổng hợp, xây dựng các kho ngữ liệu chuẩn quốc gia phục vụ phát triển trí tuệ nhân tạo độc lập tự chủ.

Limitations và Future Research

Luận án thẳng thắn chỉ ra các giới hạn nghiên cứu (limitations) và điều kiện biên:

  1. Giới hạn cửa sổ ngữ cảnh (Context Window Limitation): Các mô hình biểu diễn ngữ cảnh nền tảng (BERT, PhoBERT) có giới hạn độ dài đầu vào tiêu chuẩn 512 tokens. Khi xử lý các văn bản hoặc cụm văn bản cực dài (như sách báo, tài liệu y khoa phức tạp), mô hình buộc phải cắt tỉa hoặc phân đoạn, có thể làm thất thoát ngữ cảnh xa.
  2. Độ phụ thuộc vào chất lượng dữ liệu gán nhãn thủ công: Các bộ dữ liệu đa văn bản tiếng Việt (Corpus_TMV với 200 cụm, ViMs với 300 cụm) có quy mô tương đối khiêm tốn và chất lượng bản tóm tắt tham chiếu phụ thuộc vào tính chủ quan của người gán nhãn (2 cộng tác viên độc lập).
  3. Độ đo đánh giá tự động ROUGE: Độ đo ROUGE chủ yếu dựa trên sự trùng lặp N-gram bề mặt, chưa phản ánh toàn diện các biến đổi ngữ nghĩa tinh tế, tính đúng đắn về mặt sự thật (factual consistency) hoặc logic lập luận của văn bản tóm lược.

Chương trình nghiên cứu tiếp theo (Future Research Agenda):

  • Mở rộng sang các kiến trúc Transformer ngữ cảnh siêu dài: Khảo sát việc tích hợp các mô hình Transformer tầm dài (Longformer, BigBird) hoặc các mô hình ngôn ngữ lớn (LLMs) với cơ chế nhắc lệnh (Prompting / In-context learning).
  • Phát triển cơ chế kiểm định tính trung thực sự kiện (Factuality Checking): Xây dựng các hàm thưởng học tăng cường chuyên biệt nhằm triệt tiêu hoàn toàn hiện tượng ảo giác (hallucination) trong tóm tắt tóm lược.
  • Tóm tắt đa văn bản đa ngôn ngữ và đan xen ngôn ngữ (Cross-lingual / Multilingual ATS): Mở rộng khả năng tiếp nhận tập văn bản nguồn đa ngữ (Anh - Việt) và sinh bản tóm tắt đơn ngữ theo yêu cầu.
  • Xây dựng kho ngữ liệu đa văn bản tiếng Việt quy mô lớn: Hợp tác liên viện/trường để chuẩn hóa các tập dữ liệu benchmark đa văn bản tiếng Việt đạt chuẩn quốc tế.

Tác động và ảnh hưởng

  • Ảnh hưởng Học thuật (Academic Impact): Các công trình của nghiên cứu sinh Lưu Minh Tuấn công bố trên các tạp chí và kỷ yếu hội nghị khoa học uy tín đã tạo ra nguồn tham khảo giá trị cho cộng đồng nghiên cứu Xử lý Ngôn ngữ Tự nhiên tiếng Việt và khu vực, thúc đẩy làn sóng nghiên cứu học sâu cho tóm tắt văn bản.
  • Chuyển đổi Công nghiệp (Industry Transformation): Các giải pháp kiến trúc đề xuất (như mBERT-Tiny_seq2seq_DeepQL_ESDS với chi phí tính toán thấp) có thể tích hợp trực tiếp vào các hệ thống CMS báo chí điện tử, công cụ tìm kiếm và ứng dụng đọc tin thông minh trên thiết bị di động.
  • Lợi ích Xã hội (Societal Benefits): Giúp người dùng cá nhân và các nhà nghiên cứu tiết kiệm hàng triệu giờ đọc tài liệu, nâng cao năng suất lao động trí óc và thu hẹp khoảng cách tiếp cận thông tin tri thức trong thời đại bùng nổ dữ liệu.

Đối tượng hưởng lợi

  • Nghiên cứu sinh & Học giả NLP: Tiếp cận khung phương pháp luận hoàn chỉnh, các công thức toán học và thiết kế mạng nơ-ron lai ghép tiên tiến giữa Pre-trained LM, Reinforcement Learning và Multi-Document Summarization.
  • Nhà phát triển R&D Doanh nghiệp Công nghệ: Khai thác trực tiếp các cấu trúc mô hình tối ưu (RoPhoBERT_MLP_ESDS, PG_Feature_ASDS, Ext_Abs_AMDS-mds-mmr) để phát triển sản phẩm phần mềm tóm tắt thương mại hóa.
  • Cơ quan Quản lý Báo chí & Truyền thông: Ứng dụng các quy trình tóm lược tự động để theo dõi xu hướng thông tin, tổng hợp dư luận xã hội từ hàng nghìn nguồn tin tức mỗi ngày với độ trễ thấp và độ chính xác cao.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là khung lý thuyết chuyển giao tri thức liên quy mô văn bản (Single-to-Multi Document Transfer Learning) kết hợp tối ưu hóa tuần tự Deep Q-Learning. Luận án đã mở rộng Lý thuyết Biểu diễn Ngôn ngữ Ngữ cảnh (Devlin et al., 2018) và Mô hình Quyết định Markov trong NLP bằng cách chứng minh rằng: Một mô hình tóm tắt đơn văn bản được trang bị cơ chế chú ý và đặc trưng tăng cường có khả năng chuyển hóa thành bộ trích xuất hạt nhân tri thức cho bài toán đa văn bản, giải quyết nghịch lý khan hiếm dữ liệu huấn luyện quy mô lớn trong bài toán đa văn bản.

2. Đột phá phương pháp luận so với ít nhất 2 nghiên cứu quốc tế tiền nhiệm?

So với mô hình Pointer-Generator của See et al. (2017) (chỉ dựa thuần túy vào véc-tơ ngữ cảnh Seq2Seq và cơ chế bao phủ), luận án đã tích hợp thêm hệ thống đặc trưng thống kê/ngôn ngữ sâu (TF-IDF, vị trí câu) tạo nên PG_Feature_ASDS có khả năng định vị trọng tâm văn bản vượt trội. So với mạng phân loại câu SummaRuNNer của Nallapati et al. (2017) (dùng biGRU đơn thuần), luận án phát triển kiến trúc mBERT_CNN_ESDS tích hợp lớp tích chập với $k$-Max Pooling ($k=2$) và mBERT-Tiny_seq2seq_DeepQL_ESDS tích hợp Deep Q-Learning, cho phép tối ưu hóa chính sách chọn câu dài hạn với độ phức tạp tính toán giảm thiểu đáng kể.

3. Phát hiện thực nghiệm bất ngờ nhất (counter-intuitive result) cùng dữ liệu chứng minh?

Phát hiện bất ngờ nhất là: Mô hình BERT thu nhỏ (mBERT-Tiny) khi kết hợp với giải thuật học tăng cường Deep Q-Learning (mBERT-Tiny_seq2seq_DeepQL_ESDS) đạt hiệu năng tóm tắt trích rút tương đương và tiệm cận với các mô hình BERT kích thước đầy đủ đồ sộ, trong khi giảm thiểu chi phí tính toán và thời gian huấn luyện xuống nhiều lần. Điều này chứng minh rằng việc tối ưu hóa chính sách lựa chọn câu thông qua học tăng cường có thể bù đắp hiệu quả cho sự suy giảm kích thước tham số của mô hình ngôn ngữ.

4. Giao thức tái lập thử nghiệm (Replication Protocol) có được cung cấp đầy đủ không?

Luận án cung cấp giao thức tái lập thử nghiệm chi tiết và minh bạch:

  • Toàn bộ phương pháp phân chia dữ liệu huấn luyện, kiểm tra, đánh giá (theo chuẩn Hermann et al., 2015 cho CNN/Daily Mail; chuẩn NIST cho DUC 2001/2002/2004/2007; và phân chia 1.847.000 mẫu cho Baomoi).
  • Bảng chi tiết toàn bộ giá trị siêu tham số (hyperparameters): tốc độ học (learning rate), hệ số giảm $\gamma$ và hệ số khám phá $\epsilon$ trong Q-Learning, kích thước cửa sổ tích chập, số bước khởi động mềm (warmup steps), và tham số phạt lặp $\lambda$ trong MMR.
  • Các biểu đồ phân bố độ dài câu/từ (Phụ lục B) và văn bản nguồn mẫu minh họa (Phụ lục A, C).

5. Lộ trình nghiên cứu 10 năm được phác thảo ra sao?

Lộ trình 10 năm hướng tới việc chuyển dịch từ các mô hình chuyên biệt sang Hệ thống Tổng hợp Tri thức Đa phương thức và Đa ngôn ngữ Tự trị (Autonomous Multimodal & Multilingual Knowledge Synthesis System):

  • Giai đoạn 1 (1-3 năm): Mở rộng sang các kiến trúc Transformer xử lý ngữ cảnh siêu dài và tích hợp cơ chế Fact-Checking chống ảo giác.
  • Giai đoạn 2 (4-6 năm): Xây dựng các mô hình tóm tắt đan xen ngôn ngữ (Cross-lingual ATS) và tóm tắt văn bản chuyên ngành sâu (y sinh, pháp lý).
  • Giai đoạn 3 (7-10 năm): Tích hợp tóm tắt văn bản với dữ liệu đa phương thức (hình ảnh, video, biểu đồ tri thức) phục vụ các hệ thống AI tạo sinh tự chủ.

Kết luận

Luận án tiến sĩ của Lưu Minh Tuấn đã hoàn thành xuất sắc toàn bộ mục tiêu khoa học đề ra, tạo nên bước đột phá toàn diện trong lĩnh vực tóm tắt văn bản tự động bằng kỹ thuật học sâu:

  1. Phát triển thành công 3 mô hình tóm tắt đơn văn bản hướng trích rút (RoPhoBERT_MLP_ESDS, mBERT_CNN_ESDS, mBERT-Tiny_seq2seq_DeepQL_ESDS), tiên phong kết hợp mô hình ngôn ngữ ngữ cảnh với mạng CNN k-Max Pooling và học tăng cường Deep Q-Learning.
  2. Đề xuất mô hình tóm tắt đơn văn bản hướng tóm lược PG_Feature_ASDS giải quyết triệt để hiện tượng lặp từ và bài toán OOV thông qua tích hợp mạng Pointer-Generator, cơ chế Coverage và đặc trưng vị trí/tần suất từ.
  3. Xây dựng mô hình tóm tắt đa văn bản hướng trích rút Kmeans_Centroid_EMDS kết hợp tối ưu giữa phân cụm K-means, véc-tơ tâm cụm và giải thuật lọc trùng lặp MMR.
  4. Đột phá với 2 mô hình tóm tắt đa văn bản hướng tóm lược (PG_Feature_AMDS và Ext_Abs_AMDS-mds-mmr) dựa trên chiến lược tinh chỉnh hai giai đoạn từ mô hình đơn văn bản tiền huấn luyện, giải quyết thành công bài toán thiếu hụt dữ liệu đa văn bản.
  5. Đánh giá thực nghiệm quy mô lớn và toàn diện trên 5 bộ dữ liệu tiếng Anh chuẩn quốc tế (CNN/Daily Mail, DUC 2001, DUC 2002, DUC 2004, DUC 2007) và 3 bộ dữ liệu tiếng Việt (Baomoi 1,84M mẫu, Corpus_TMV 200 cụm, ViMs 300 cụm), khẳng định tính tổng quát hóa và độ chính xác vượt trội của các giải pháp đề xuất.
  6. Mở ra 3 luồng nghiên cứu học thuật mới: Tinh chỉnh liên quy mô văn bản (scale-transfer learning), ứng dụng học tăng cường tối ưu hóa chính sách trích xuất thông tin, và xử lý ngôn ngữ tự nhiên chất lượng cao cho tiếng Việt trong điều kiện tài nguyên hạn chế.