Tổng quan luận án

Công trình "Nghiên cứu, phát triển một số phương pháp tóm tắt văn bản sử dụng kĩ thuật học sâu" là luận án tiến sĩ ngành Công nghệ thông tin (chuyên ngành Hệ thống thông tin / Xử lý ngôn ngữ tự nhiên), được thực hiện bởi nghiên cứu sinh Lưu Minh Tuấn dưới sự hướng dẫn khoa học của PGS. Lê Thanh Hương tại Viện Công nghệ thông tin và truyền thông, Trường Đại học Bách khoa Hà Nội (năm 2022). Tác giả công tác tại Bộ môn Công nghệ thông tin, Viện Công nghệ thông tin và Kinh tế số, Trường Đại học Kinh tế Quốc dân.

Tính cấp thiết và khoảng trống nghiên cứu

Sự gia tăng theo cấp số nhân của các nguồn dữ liệu văn bản số trên Internet (trang web, mạng xã hội, tin tức điện tử) và trong các kho lưu trữ (tài liệu pháp luật, bài báo khoa học, y sinh) khiến việc tiếp cận, chắt lọc thông tin tốn nhiều thời gian và công sức. Việc tóm tắt thủ công đối với khối lượng văn bản lớn là bất khả thi. Mặc dù các kỹ thuật tóm tắt văn bản tự động đã đạt được nhiều tiến bộ, tác giả chỉ ra bảy thách thức và khoảng trống kỹ thuật cốt lõi:

  1. Thách thức trong tóm tắt đa văn bản: Xử lý sự dư thừa thông tin giữa các văn bản, mâu thuẫn về trình tự thời gian và sắp xếp lại các câu trong văn bản tổng hợp.
  2. Thách thức về ngôn ngữ hỗ trợ: Đa phần nghiên cứu tập trung vào tiếng Anh; nghiên cứu cho tiếng Việt còn hạn chế, chất lượng tóm tắt chưa cao do đặc thù ngữ pháp và sự thiếu hụt tài nguyên ngữ liệu chuẩn.
  3. Thách thức về phương pháp tóm tắt: Phần lớn công trình dừng lại ở hướng trích rút; hướng tóm lược và phương pháp hỗn hợp còn gặp nhiều hạn chế trong việc sinh câu tự nhiên, mạch lạc.
  4. Thách thức về đặc trưng thống kê và ngôn ngữ: Cần kết hợp và xác định trọng số phù hợp cho các đặc trưng mới nhằm phản ánh chính xác ngữ nghĩa của văn bản nguồn.
  5. Thách thức về học sâu và sự khan hiếm dữ liệu: Các mô hình học sâu yêu cầu khối lượng tính toán lớn và tập dữ liệu huấn luyện quy mô lớn, trong khi dữ liệu gán nhãn cho bài toán tóm tắt (đặc biệt là tóm tắt đa văn bản tiếng Việt) rất khan hiếm.
  6. Thách thức về chất lượng bản tóm tắt: Khó khăn trong việc cân bằng giữa khả năng đọc hiểu, tỷ lệ nén và tính chính xác ngữ nghĩa (hạn chế lặp từ, khắc phục hiện tượng thiếu từ trong bộ từ vựng).
  7. Thách thức trong phương pháp đánh giá: Đánh giá thủ công tốn kém chi phí, trong khi đánh giá tự động đòi hỏi các độ đo tiêu chuẩn phản ánh sát với đánh giá của con người.

Mục tiêu nghiên cứu

Luận án xác định năm mục tiêu cụ thể:

  1. Nghiên cứu đề xuất các đặc trưng quan trọng sử dụng cho các mô hình tóm tắt văn bản.
  2. Nghiên cứu các kỹ thuật học máy, học sâu, các mô hình ngôn ngữ huấn luyện trước để véc tơ hóa văn bản phục vụ tóm tắt.
  3. Đề xuất các mô hình tóm tắt đơn văn bản hướng trích rút và hướng tóm lược áp dụng cho văn bản tiếng Anh và tiếng Việt.
  4. Đề xuất mô hình tóm tắt đa văn bản hướng trích rút áp dụng cho văn bản tiếng Anh và tiếng Việt.
  5. Đề xuất các mô hình tóm tắt đa văn bản hướng tóm lược cho văn bản tiếng Anh và tiếng Việt sử dụng các mô hình tóm tắt đơn văn bản được huấn luyện trước.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu:
    • Các đặc trưng thống kê và cấu trúc của văn bản (vị trí câu, tần suất từ TF, trọng số TF-IDF, câu trung tâm).
    • Các bộ dữ liệu thử nghiệm tóm tắt đơn văn bản và đa văn bản tiếng Anh (CNN/Daily Mail, DUC 2001, DUC 2002, DUC 2004, DUC 2007) và tiếng Việt (Baomoi, Corpus_TMV, ViMs).
    • Các mô hình tóm tắt đơn văn bản và đa văn bản.
    • Các kỹ thuật học máy, học sâu, mô hình ngôn ngữ huấn luyện trước (MLP, CNN, RNN, LSTM, biLSTM, GRU, biGRU, seq2seq, Attention, BERT, RoBERTa, PhoBERT, mBERT, BERT-Tiny), kỹ thuật học tăng cường (Deep Q-Learning), thuật toán tìm kiếm Beam và phương pháp loại bỏ trùng lặp (MMR).
    • Các phương pháp đánh giá văn bản tóm tắt tự động dựa trên hệ độ đo ROUGE.
  • Phạm vi nghiên cứu: Tập trung vào xây dựng và thử nghiệm thực nghiệm các mô hình tóm tắt đơn văn bản và đa văn bản theo hai hướng tiếp cận trích rút (extractive) và tóm lược (abstractive) cho hai ngôn ngữ là tiếng Anh và tiếng Việt.

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa các hướng tiếp cận tóm tắt văn bản tự động chính trong tài liệu khoa học:

Các hướng nghiên cứu tóm tắt hướng trích rút

  • Phương pháp thống kê: Dựa trên phân tích tần suất từ và gán trọng số đặc trưng [4, 5], tiêu biểu là hệ thống Lead [6] chọn câu theo vị trí và trình tự thời gian.
  • Phương pháp dựa trên khái niệm: Trích xuất khái niệm từ cơ sở tri thức ngoài như WordNet [7], Wikipedia [8] để xây dựng véc tơ khái niệm hoặc đồ thị xếp hạng câu.
  • Phương pháp dựa trên chủ đề: Khai thác từ chủ đề, tần suất TF, trọng số TF-IDF, chuỗi từ vựng [9, 10] để biểu diễn trung gian và cho điểm mức độ quan trọng của câu.
  • Phương pháp dựa trên trọng tâm / phân cụm: Xác định câu chứa từ trọng tâm thông qua tâm cụm văn bản trong không gian véc tơ với ngưỡng TF-IDF [11, 12, 13].
  • Phương pháp dựa trên đồ thị: Biểu diễn câu thành các nút và độ tương tự ngữ nghĩa (cosine) thành cạnh, tiêu biểu là LexRank [11], TextRank [14] dựa trên nguyên lý PageRank [15].
  • Phương pháp phân tích ngữ nghĩa: Sử dụng phân tích ngữ nghĩa tiềm ẩn (LSA) và phân tích giá trị suy biến (SVD) trên ma trận từ - câu [16, 17].
  • Phương pháp học máy và học sâu: Xem việc trích rút câu là bài toán phân loại nhị phân có giám sát [18, 19, 20]. Về học sâu, Kobayashi và cộng sự [21] dùng biểu diễn phân bố từ để tính độ tương tự mức văn bản; Chen và Nguyen [22] kết hợp học tăng cường và mô hình seq2seq; cùng các mô hình học sâu của [23, 24, 25, 26, 27].

Các hướng nghiên cứu tóm tắt hướng tóm lược

  • Phương pháp cấu trúc: Khai thác đồ thị từ [32, 33, 34, 35], cây phụ thuộc cú pháp (Kurisinkel và cộng sự [36]), hoặc hệ thống dựa trên luật [37].
  • Phương pháp ngữ nghĩa: Chuyển đổi văn bản sang đồ thị ngữ nghĩa rồi sử dụng mô hình sinh ngôn ngữ tự nhiên [38].
  • Phương pháp học sâu: Mô hình seq2seq tích hợp cơ chế chú ý (attention) [39, 40, 41, 42, 43].
  • Phương pháp nén câu: Loại bỏ thành phần phụ dựa trên cây cú pháp và học có giám sát hoặc không giám sát [44, 45, 46, 47, 48].

Tình hình nghiên cứu tóm tắt văn bản tiếng Việt

Tài liệu tiếng Việt phần lớn là các đề tài, luận văn [49, 50, 51] và một số công bố khoa học [52, 53, 54, 55, 56, 57]. Các nghiên cứu trước đây chủ yếu dừng lại ở tóm tắt trích rút đơn văn bản dựa trên đặc trưng truyền thống [53], cấu trúc diễn ngôn [52], giải thuật di truyền [54], máy véc tơ hỗ trợ SVM [56], hoặc ứng dụng seq2seq cơ bản [57] trên các tập dữ liệu tự xây dựng quy mô nhỏ.

Khoảng trống luận án giải quyết

Luận án tập trung giải quyết khoảng trống về:

  • Việc tích hợp các mô hình ngôn ngữ huấn luyện trước đa ngữ (mBERT) và đặc thù (RoBERTa, PhoBERT, BERT-Tiny) kết hợp mạng nơ ron tích chập và mạng hồi quy để nâng cao khả năng phân loại câu trích rút cho cả tiếng Anh và tiếng Việt.
  • Bổ sung cơ chế học tăng cường (Deep Q-Learning) và các đặc trưng vị trí câu, TF, TF-IDF để tối ưu hóa việc chọn câu và giảm thiểu thông tin dư thừa (MMR).
  • Mở rộng mô hình mạng Pointer-Generator với cơ chế bao phủ bằng cách tích hợp trực tiếp các đặc trưng thống kê và vị trí vào quá trình sinh từ tóm lược.
  • Đề xuất giải pháp giải quyết tình trạng thiếu dữ liệu huấn luyện tóm tắt đa văn bản bằng chiến lược tinh chỉnh (fine-tuning) các mô hình tóm tắt đơn văn bản đã huấn luyện trước trên dữ liệu đa văn bản.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình nền tảng

Luận án xây dựng trên nền tảng các lý thuyết toán học và kỹ thuật học sâu:

  • Mạng nơ ron nhân tạo: Mạng Perceptron nhiều lớp (MLP) huấn luyện bằng thuật toán lan truyền ngược (Backpropagation); Mạng nơ ron tích chập (CNN) gồm các lớp Convolution, hàm kích hoạt phi tuyến ReLU, lớp Pooling (Max Pooling, Average Pooling) và lớp kết nối đầy đủ (FC).
  • Mạng nơ ron xử lý chuỗi: Mạng nơ ron hồi quy (RNN) huấn luyện qua lan truyền ngược liên hồi (BPTT); các biến thể khắc phục suy giảm gradient gồm LSTM (với cổng quên $f_t$, cổng vào $i_t$, cổng ra $o_t$, trạng thái nhớ $C_t$), mạng biLSTM hai chiều, mạng GRU (cổng cập nhật $z_t$, cổng cài đặt lại $r_t$) và mạng biGRU hai chiều.
  • Mô hình chuỗi sang chuỗi và cơ chế chú ý: Kiến trúc seq2seq gồm bộ mã hóa (Encoder) và bộ giải mã (Decoder); Cơ chế chú ý (Attention Mechanism) tính toán trọng số $\alpha_{ij}$ dựa trên độ tương đồng giữa trạng thái ẩn của Decoder $s_i$ và trạng thái ẩn của Encoder $h_j$ để tạo véc tơ ngữ cảnh $c_i$; Mô hình Transformer với cơ chế tự chú ý (Self-Attention) và Multi-Head Attention.
  • Mô hình ngôn ngữ huấn luyện trước (Pre-trained Language Models): Word2Vec (CBoW, Skip-Gram), BERT, mBERT, RoBERTa, PhoBERT và mô hình chưng cất thu nhỏ BERT-Tiny.
  • Học tăng cường: Thuật toán Q-Learning và Deep Q-Learning (DeepQL) tối ưu hóa hàm giá trị $Q(s, a)$ thông qua mạng nơ ron sâu.
  • Kỹ thuật giải mã và giảm trùng lặp: Thuật toán tìm kiếm Beam (Beam Search) và phương pháp Độ liên quan cận biên tối đa (MMR - Maximal Marginal Relevance).

Phương pháp nghiên cứu

Luận án sử dụng phương pháp nghiên cứu kỹ thuật - thực nghiệm định lượng:

  1. Thu thập và tiền xử lý: Thu thập, làm sạch, tách từ/câu, chuẩn hóa định dạng các ngữ liệu tin tức tiếng Anh và tiếng Việt.
  2. Mô hình hóa và phát triển thuật toán: Thiết kế kiến trúc tích hợp giữa các bộ mã hóa nơ ron, các lớp trích chọn đặc trưng, cơ chế chú ý và học tăng cường.
  3. Đánh giá thực nghiệm định lượng: Đánh giá kết quả sinh tóm tắt thông qua hệ đo lường ROUGE tiêu chuẩn, tính toán độ hồi tưởng (Recall), độ chính xác (Precision) và điểm F1:
    • ROUGE-N ($R\text{-}N$ với $N=1, 2$): Đánh giá sự trùng khớp của chuỗi $N$-gram giữa tóm tắt hệ thống và tóm tắt tham chiếu.
    • ROUGE-L ($R\text{-}L$): Đánh giá dựa trên chuỗi con chung dài nhất (LCS).
    • ROUGE-S ($R\text{-}S$) và ROUGE-St ($R\text{-}St$): Đánh giá dựa trên cặp từ skip-gram với khoảng cách $t$.

Nguồn ngữ liệu và dữ liệu thử nghiệm

Luận án sử dụng bảy bộ dữ liệu chuẩn cho tiếng Anh và tiếng Việt được thống kê cụ thể trong bảng dưới đây:

Bộ dữ liệu Ngôn ngữ Nhiệm vụ Quy mô / Cấu trúc Số câu TB (Nguồn / Tóm tắt) Số từ TB (Nguồn / Tóm tắt)
CNN Tiếng Anh Đơn văn bản (Trích rút / Tóm lược) 90.397 bài báo (chia tập Train/Val/Test theo Hermann và CS) 31,86 / 3,55 643,79 / 41,67
Daily Mail Tiếng Anh Đơn văn bản (Trích rút / Tóm lược) 219.506 bài báo (chia tập Train/Val/Test theo Hermann và CS) 26,24 / 3,78 680,86 / 50,44
DUC 2001 Tiếng Anh Đơn văn bản (Trích rút) 297 văn bản, 30 cụm (bản tóm tắt đơn cố định 100 từ) 41,51 / 4,69 887,12 / 92,47
DUC 2002 Tiếng Anh Đơn văn bản (Trích rút) 567 văn bản, 60 cụm (bản tóm tắt đơn cố định 100 từ) 26,41 / 5,30 534,71 / 99,65
DUC 2004 Tiếng Anh Đa văn bản (Tóm lược) 50 cụm (TB 10 VB/cụm), 4 bản tóm tắt tham chiếu/cụm 25,45 / 6,54 564,12 / 104,43
DUC 2007 Tiếng Anh Đa văn bản (Trích rút / Tóm lược) Main task: 45 chủ đề (TB 25 VB/chủ đề), 4 tóm tắt tham chiếu; Update task: ~10 chủ đề 20,78 / 13,08 421,84 / 243,75
Baomoi Tiếng Việt Đơn văn bản (Trích rút / Tóm lược) ~4GB dữ liệu (1.847 mẫu huấn luyện, 50.000 mẫu kiểm tra, 50.000 mẫu đánh giá) 11,56 / 1,28 532,65 / 38,90
Corpus_TMV Tiếng Việt Đa văn bản (Trích rút / Tóm lược) 200 cụm (2-5 VB/cụm, TB 3,16 VB/cụm), 2 bản tóm tắt tham chiếu 14,86 / 4,71 477,95 / 178,56
ViMs Tiếng Việt Đa văn bản (Trích rút / Tóm lược) 300 cụm (4-10 VB/cụm, TB 6,48 VB/cụm), 2 bản tóm tắt qua MDSWriter 12,54 / 5,35 390,45 / 220,94

Nội dung chính theo từng chương

Mở đầu

Giới thiệu bối cảnh bùng nổ dữ liệu văn bản số, tính cấp thiết của bài toán tóm tắt tự động, bảy nhóm thách thức nghiên cứu, động lực khoa học, xác định rõ đối tượng, phạm vi nghiên cứu (tiếng Anh và tiếng Việt; đơn và đa văn bản; trích rút và tóm lược), năm mục tiêu nghiên cứu, phương pháp luận và cấu trúc tổng thể gồm năm chương chính cùng phần kết luận, phụ lục.

Chương 1: Tổng quan về tóm tắt văn bản

Chương 1 hệ thống hóa các khái niệm nền tảng trong tóm tắt văn bản:

  • Phân loại bài toán theo số lượng văn bản nguồn (đơn văn bản, đa văn bản), theo phương pháp xử lý (hướng trích rút, hướng tóm lược), theo ngôn ngữ (đơn ngữ, đa ngữ, đan xen ngôn ngữ).
  • Quy trình xử lý ba bước cơ bản của hệ thống tóm tắt văn bản: Phân tích văn bản nguồn $\rightarrow$ Biến đổi biểu diễn trung gian $\rightarrow$ Sinh văn bản tóm tắt (hệ thống trích rút bỏ qua bước biến đổi).
  • Các đặc trưng văn bản cơ bản: Vị trí câu, trọng số TF-IDF, đặc trưng câu trung tâm (Centroid-based).
  • Phương pháp đánh giá tự động: Phương pháp đo độ tương tự nội dung dựa trên véc tơ hoặc khoảng cách chuỗi con chung dài nhất (LCS); phương pháp tương quan tuyến tính theo truy vấn; và hệ độ đo ROUGE (ROUGE-N, ROUGE-L, ROUGE-S, ROUGE-St).
  • Tổng quan phương pháp ghép văn bản trong tóm tắt đa văn bản và các thuật toán tóm tắt trích rút cơ sở (Lead, LexRank, TextRank).
  • Phân tích thống kê chi tiết bảy bộ dữ liệu thử nghiệm chuẩn phục vụ cho các thực nghiệm trong các chương sau.

Chương 2: Các kiến thức nền tảng

Chương 2 trình bày cơ sở toán học và cấu trúc của các mô hình học sâu, mô hình ngôn ngữ và thuật toán bổ trợ:

  • Mạng nơ ron sâu: Mạng MLP; mạng CNN với các phép tích chập cửa sổ từ $h$, bản đồ đặc trưng $c_i$ và cơ chế $k$-Max Pooling; mạng hồi quy RNN và hiện tượng triệt tiêu/bùng nổ đạo hàm dẫn đến sự phát triển của LSTM (cổng quên, cổng vào, cổng ra, trạng thái nhớ $C_t$), biLSTM (kết hợp trạng thái ẩn chiều tiến $\overrightarrow{h}_t$ và chiều lùi $\overleftarrow{h}_t$), GRU (cổng cập nhật $z_t$, cổng cài đặt lại $r_t$) và biGRU.
  • Kiến trúc Encoder - Decoder chuỗi sang chuỗi (seq2seq) và Cơ chế chú ý (Attention mechanism) cho phép tính toán véc tơ ngữ cảnh $c_i$ linh hoạt tại từng bước giải mã; kiến trúc Transformer dựa hoàn toàn trên cơ chế tự chú ý (Self-Attention).
  • Các mô hình biểu diễn từ và ngôn ngữ huấn luyện trước: Word2Vec, kiến trúc BERT (mã hóa hai chiều từ Transformer), các phiên bản tối ưu hóa cho tiếng Anh (RoBERTa), tiếng Việt (PhoBERT), đa ngôn ngữ (mBERT) và mô hình nén chưng cất tham số (BERT-Tiny).
  • Kỹ thuật học tăng cường: Học Q-Learning và thuật toán Deep Q-Learning (DeepQL) sử dụng mạng nơ ron xấp xỉ hàm giá trị trạng thái - hành động.
  • Phương pháp giảm thiểu thông tin trùng lặp MMR và thuật toán tìm kiếm Beam phục vụ sinh chuỗi từ tối ưu trong bước giải mã.

Chương 3: Phát triển các phương pháp tóm tắt đơn văn bản hướng trích rút

Chương 3 tập trung xây dựng, thực nghiệm và so sánh ba mô hình tóm tắt đơn văn bản hướng trích rút:

  1. Mô hình RoPhoBERT_MLP_ESDS: Sử dụng mô hình RoBERTa (cho tiếng Anh) hoặc PhoBERT (cho tiếng Việt) đã huấn luyện trước để mã hóa câu thành véc tơ biểu diễn, đưa qua mạng MLP để phân loại xác suất câu được chọn, kết hợp đặc trưng vị trí câu và thuật toán MMR để loại bỏ trùng lặp và chọn tập câu tóm tắt cuối cùng.
  2. Mô hình mBERT_CNN_ESDS: Sử dụng mô hình BERT đa ngôn ngữ (mBERT) kết hợp mạng CNN với lớp $k$-Max Pooling ($k=2$), mô hình seq2seq và lớp kết nối đầy đủ FC để biểu diễn và xếp hạng câu, tích hợp trọng số TF-IDF và thuật toán MMR để chọn câu.
  3. Mô hình mBERT-Tiny_seq2seq_DeepQL_ESDS: Kết hợp mô hình mBERT hoặc BERT-Tiny với mạng CNN, seq2seq, lớp FC và áp dụng kỹ thuật học tăng cường Deep Q-Learning để tối ưu hóa chính sách lựa chọn câu trích rút, phối hợp phương pháp MMR để tạo bản tóm tắt.
  • Kết quả thực nghiệm: Các mô hình được đánh giá trên tập dữ liệu CNN/Daily Mail, DUC 2001, DUC 2002 (tiếng Anh) và Baomoi (tiếng Việt). Luận án tiến hành so sánh đối sánh chi tiết về độ chính xác ROUGE (R-1, R-2, R-L) và thời gian thực thi giữa ba mô hình đề xuất và các phương pháp cơ sở.

Chương 4: Phát triển phương pháp tóm tắt đơn văn bản hướng tóm lược

Chương 4 đề xuất mô hình tóm tắt đơn văn bản hướng tóm lược PG_Feature_ASDS:

  • Kiến trúc nền tảng: Dựa trên mô hình Pointer-Generator Network kết hợp cơ chế chú ý (attention) và cơ chế bao phủ (coverage mechanism) nhằm xử lý hiện tượng lặp từ và hỗ trợ cơ chế sao chép từ ngoài bộ từ vựng (OOV).
  • Đóng góp cải tiến: Tác giả đề xuất bổ sung thêm hai đặc trưng trực tiếp vào quá trình mã hóa và giải mã của mô hình: đặc trưng tần suất xuất hiện của từ (TF) và đặc trưng vị trí câu trong văn bản nguồn.
  • Thiết kế thực nghiệm và kết quả: Mô hình PG_Feature_ASDS được huấn luyện với quy trình khởi tạo tỷ lệ học nhỏ (warmup) để hiệu chỉnh cơ chế chú ý trên tập dữ liệu CNN/Daily Mail và Baomoi. Kết quả thử nghiệm trên điểm ROUGE (R-1, R-2, R-L) chứng minh việc bổ sung đặc trưng vị trí câu và tần suất từ cải thiện chất lượng nội dung bản tóm lược so với mô hình Pointer-Generator cơ sở của See và cộng sự [43].

Chương 5: Phát triển các phương pháp tóm tắt đa văn bản

Chương 5 phát triển các giải pháp tóm tắt cho tập nhiều văn bản theo cả hướng trích rút và tóm lược:

  1. Mô hình tóm tắt đa văn bản hướng trích rút Kmeans_Centroid_EMDS: Kết hợp thuật toán phân cụm K-means trên tập đa văn bản, kỹ thuật xác định câu trung tâm cụm (Centroid-based), thuật toán MMR để loại bỏ trùng lặp thông tin liên văn bản và đặc trưng vị trí câu để trích chọn các câu quan trọng nhất đưa vào bản tóm tắt. Mô hình được thử nghiệm trên DUC 2007 (tiếng Anh) và Corpus_TMV (tiếng Việt).
  2. Mô hình tóm tắt đa văn bản hướng tóm lược PG_Feature_AMDS: Sử dụng mô hình đơn văn bản tóm lược PG_Feature_ASDS (đã đề xuất ở Chương 4) làm mô hình huấn luyện trước, sau đó áp dụng cơ chế tinh chỉnh (fine-tuning) bằng cách huấn luyện tiếp trên các bộ dữ liệu đa văn bản (DUC 2007 cho tiếng Anh, ViMs cho tiếng Việt), rồi đánh giá trên DUC 2004 và Corpus_TMV.
  3. Mô hình tóm tắt đa văn bản hướng tóm lược Ext_Abs_AMDS-mds-mmr: Xây dựng mô hình hỗn hợp kết hợp trích rút và tóm lược đơn văn bản (Ext_Abs_ASDS), sau đó huấn luyện tiếp trên tập dữ liệu đa văn bản và áp dụng phương pháp MMR trực tiếp trên toàn bộ tập đa văn bản để loại bỏ thông tin trùng lặp ở cấp độ toàn cục.
  • Kết quả thực nghiệm: Các mô hình tóm lược đa văn bản đề xuất đạt kết quả cải thiện trên DUC 2004, DUC 2007, Corpus_TMV và ViMs, chứng minh hiệu quả của hướng tiếp cận chuyển giao tri thức từ mô hình đơn văn bản sang bài toán đa văn bản khi thiếu ngữ liệu lớn.

Kết quả và những đóng góp mới

Đóng góp về mặt lý luận và mô hình

  1. Ba mô hình tóm tắt đơn văn bản hướng trích rút:
    • RoPhoBERT_MLP_ESDS: Kết hợp thành công mô hình ngôn ngữ tối ưu (RoBERTa / PhoBERT), phân loại MLP, đặc trưng vị trí câu và kỹ thuật lọc MMR.
    • mBERT_CNN_ESDS: Kết hợp mBERT, CNN ($k$-Max Pooling), seq2seq, lớp FC, trọng số TF-IDF và MMR.
    • mBERT-Tiny_seq2seq_DeepQL_ESDS: Ứng dụng mô hình BERT thu nhỏ (BERT-Tiny), mạng CNN, seq2seq, lớp FC kết hợp kỹ thuật học tăng cường Deep Q-Learning để tối ưu hóa quyết định chọn câu.
  2. Mô hình tóm tắt đơn văn bản hướng tóm lược:
    • PG_Feature_ASDS: Mở rộng mạng Pointer-Generator tích hợp cơ chế bao phủ thông qua việc bổ sung hai đặc trưng mới là tần suất xuất hiện của từ (TF) và vị trí câu.
  3. Mô hình tóm tắt đa văn bản hướng trích rút:
    • Kmeans_Centroid_EMDS: Tích hợp phân cụm K-means, phương pháp trung tâm cụm (Centroid-based), vị trí câu và MMR cho xử lý đa văn bản.
  4. Hai mô hình tóm tắt đa văn bản hướng tóm lược:
    • PG_Feature_AMDS và Ext_Abs_AMDS-mds-mmr: Đề xuất khung kiến trúc tinh chỉnh mô hình tóm tắt đơn văn bản (và mô hình hỗn hợp trích rút - tóm lược) đã huấn luyện trước bằng cách tiếp tục huấn luyện trên dữ liệu đa văn bản kết hợp MMR toàn cục.

Đóng góp về mặt thực tiễn

  • Đóng góp giải pháp xử lý toàn diện cho bài toán tóm tắt tự động trên cả hai ngôn ngữ tiếng Anh và tiếng Việt.
  • Đề xuất quy trình tinh chỉnh mô hình đơn văn bản sang đa văn bản, mở ra giải pháp giải quyết rào cản khan hiếm dữ liệu huấn luyện cho bài toán tóm tắt đa văn bản tiếng Việt.
  • Các mô hình đề xuất có khả năng ứng dụng thực tế để phát triển các hệ thống phần mềm tóm tắt tin tức tự động, hỗ trợ tổng hợp thông tin nhanh chóng cho người dùng.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung luận án và phạm vi nghiên cứu thực nghiệm:

  • Hạn chế về tài nguyên dữ liệu: Ngữ liệu tóm tắt tiếng Việt có kích thước hạn chế so với tiếng Anh; các bộ dữ liệu đa văn bản tiếng Việt (Corpus_TMV với 200 cụm, ViMs với 300 cụm) có quy mô tương đối nhỏ, đòi hỏi phải áp dụng các bước huấn luyện chuyển tiếp thay vì huấn luyện trực tiếp từ đầu trên mô hình lớn.
  • Hạn chế về chi phí tính toán: Việc huấn luyện các mô hình học sâu kết hợp mô hình ngôn ngữ lớn (BERT, RoBERTa, PhoBERT) và học tăng cường Deep Q-Learning đòi hỏi tài nguyên tính toán và thời gian huấn luyện đáng kể.
  • Hướng nghiên cứu tiếp:
    • Tiếp tục nghiên cứu cải tiến các cơ chế biểu diễn ngữ nghĩa và giảm độ phức tạp tính toán cho các mô hình học sâu.
    • Nghiên cứu mở rộng việc áp dụng các mô hình đề xuất cho các thể loại văn bản chuyên ngành khác (văn bản pháp luật, tài liệu y sinh, sách, báo cáo khoa học).
    • Thu thập, xây dựng và chuẩn hóa các bộ dữ liệu tóm tắt văn bản tiếng Việt quy mô lớn hơn để phục vụ huấn luyện chuyên sâu cho các mô hình ngôn ngữ thế hệ mới.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên khảo giá trị cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Công nghệ thông tin, Khoa học máy tính, Xử lý ngôn ngữ tự nhiên: Tham khảo khung lý thuyết toàn diện về các kiến trúc nơ ron (CNN, biLSTM, biGRU, Transformer, BERT, PhoBERT, Pointer-Generator) và các công thức toán học chi tiết của hệ đo lường ROUGE ($R\text{-}N, R\text{-}L, R\text{-}S, R\text{-}St$).
  • Kỹ sư phát triển hệ thống xử lý ngôn ngữ tự nhiên và khai phá dữ liệu:
    • Tham khảo Chương 3 để triển khai các mô hình phân loại câu trích rút kết hợp Pre-trained BERT và học tăng cường Deep Q-Learning.
    • Tham khảo Chương 4 để cải tiến mô hình Pointer-Generator bằng cách tích hợp đặc trưng thủ công (TF, vị trí câu).
    • Tham khảo Chương 5 để áp dụng chiến lược tinh chỉnh (fine-tuning) từ mô hình đơn văn bản sang bài toán đa văn bản trong điều kiện thiếu dữ liệu gán nhãn.

Câu hỏi thường gặp

1. Tác giả luận án là ai và công trình được bảo vệ tại cơ sở đào tạo nào?

Luận án được thực hiện bởi nghiên cứu sinh Lưu Minh Tuấn dưới sự hướng dẫn khoa học của PGS. Lê Thanh Hương tại Viện Công nghệ thông tin và truyền thông, Trường Đại học Bách khoa Hà Nội vào năm 2022. Tác giả là giảng viên công tác tại Bộ môn Công nghệ thông tin, Viện Công nghệ thông tin và Kinh tế số, Trường Đại học Kinh tế Quốc dân.

2. Luận án đã đề xuất những mô hình nào cho bài toán tóm tắt đơn văn bản hướng trích rút?

Tác giả đề xuất ba mô hình:

  • RoPhoBERT_MLP_ESDS: Kết hợp RoBERTa/PhoBERT với mạng MLP, đặc trưng vị trí câu và MMR.
  • mBERT_CNN_ESDS: Kết hợp mBERT, CNN ($k$-Max Pooling, $k=2$), seq2seq, lớp FC, đặc trưng TF-IDF và MMR.
  • mBERT-Tiny_seq2seq_DeepQL_ESDS: Kết hợp BERT-Tiny/mBERT, CNN, seq2seq, lớp FC, kỹ thuật học tăng cường Deep Q-Learning và MMR.

3. Mô hình tóm tắt đơn văn bản hướng tóm lược PG_Feature_ASDS có điểm gì cải tiến so với mô hình Pointer-Generator cơ sở?

Mô hình PG_Feature_ASDS kế thừa kiến trúc mạng Pointer-Generator kết hợp cơ chế chú ý và cơ chế bao phủ của See và cộng sự [43], đồng thời tích hợp thêm hai đặc trưng trực tiếp vào mô hình: đặc trưng tần suất xuất hiện của từ (TF) và đặc trưng vị trí của câu trong văn bản nguồn nhằm nâng cao chất lượng bản tóm lược.

4. Luận án giải quyết thách thức thiếu dữ liệu huấn luyện cho bài toán tóm tắt đa văn bản bằng cách nào?

Tác giả đề xuất phương pháp tinh chỉnh (fine-tuning): Sử dụng các mô hình tóm tắt đơn văn bản (như PG_Feature_ASDS hoặc mô hình hỗn hợp trích rút - tóm lược Ext_Abs_ASDS) đã được huấn luyện trước trên tập dữ liệu đơn văn bản lớn (CNN/Daily Mail, Baomoi), sau đó tiếp tục huấn luyện (huấn luyện tiếp) các mô hình này trên các bộ dữ liệu tóm tắt đa văn bản tương ứng (DUC 2007, ViMs) và kết hợp cơ chế MMR trên toàn bộ tập đa văn bản.

5. Những bộ ngữ liệu tiếng Việt nào được sử dụng để đánh giá thực nghiệm các mô hình trong luận án?

Luận án sử dụng ba bộ ngữ liệu tiếng Việt:

  • Bộ dữ liệu Baomoi (~4GB, 1.847 mẫu huấn luyện, 50.000 mẫu kiểm tra, 50.000 mẫu đánh giá) dùng cho tóm tắt đơn văn bản.
  • Bộ dữ liệu Corpus_TMV (200 cụm bài báo từ baomoi.com, trung bình 3,16 văn bản/cụm) dùng cho tóm tắt đa văn bản.
  • Bộ dữ liệu ViMs (300 cụm bài báo từ news.zing.vn, trung bình 6,48 văn bản/cụm, tạo qua MDSWriter) dùng cho tóm tắt đa văn bản.

Kết luận

Luận án tiến sĩ của NCS. Lưu Minh Tuấn đã nghiên cứu và phát triển một hệ thống các phương pháp tóm tắt văn bản tự động sử dụng kỹ thuật học sâu cho cả tiếng Anh và tiếng Việt. Công trình đã đề xuất sáu mô hình mới bao quát cả bài toán đơn văn bản và đa văn bản theo hai hướng tiếp cận trích rút và tóm lược, kết hợp hiệu quả các mô hình ngôn ngữ huấn luyện trước (BERT, RoBERTa, PhoBERT, BERT-Tiny), học tăng cường (Deep Q-Learning) và các đặc trưng văn bản. Các kết quả thực nghiệm trên bảy bộ dữ liệu chuẩn (CNN/Daily Mail, DUC 2001, DUC 2002, DUC 2004, DUC 2007, Baomoi, Corpus_TMV, ViMs) bằng hệ đo lường ROUGE đã xác thực tính hiệu quả của các mô hình và giải pháp tinh chỉnh chuyển giao tri thức được đề xuất.