Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên bùng nổ thông tin, khối lượng dữ liệu văn bản số hóa gia tăng với tốc độ nhanh chóng, đặt ra yêu cầu cấp thiết về các công cụ hỗ trợ xử lý và trích chọn thông tin tự động. Việc tóm tắt văn bản thủ công do con người thực hiện bộc lộ nhiều hạn chế về thời gian và công sức, đặc biệt khi phải đối mặt với các tài liệu có dung lượng lớn. Trước thực trạng này, các hướng tiếp cận xử lý ngôn ngữ tự nhiên truyền thống đã được ứng dụng như phương pháp tần suất từ/nghịch đảo tần suất tài liệu (TF-IDF), phân cụm (Cluster-based), phân tích ngữ nghĩa tiềm ẩn (LSA), mạng nơ-ron nhân tạo, logic mờ (Fuzzy logic), hồi quy toán học và tóm tắt dựa trên truy vấn.

Về mặt lý thuyết phân loại, bài toán tóm tắt văn bản được tác giả phân định dựa trên ba cơ sở chính:

  1. Dựa trên định dạng và nội dung đầu vào: Trả lời cho câu hỏi đối tượng được tóm tắt là gì, bao gồm kiểu văn bản (bài báo, bản tin, thư tín, báo cáo khoa học); định dạng văn bản (văn bản phi cấu trúc - free-form hoặc văn bản có cấu trúc); số lượng văn bản đầu vào (tóm tắt đơn văn bản hoặc tóm tắt đa văn bản); và miền dữ liệu (miền chuyên biệt như y tế, giáo dục hoặc miền tổng quát).
  2. Dựa trên mục đích tóm tắt: Phục vụ đối tượng độc giả (chuyên gia hoặc người đọc thông thường); mục đích sử dụng (tìm kiếm thông tin - IR hoặc sắp xếp phân loại); tính chất tóm tắt (tóm tắt chỉ thị - Indicative để chỉ ra loại thông tin, hoặc tóm tắt thông tin - Informative để truyền tải nội dung cốt lõi); phạm vi tóm tắt (tóm tắt tổng quát - General hoặc tóm tắt dựa trên truy vấn - Query-based).
  3. Dựa trên định dạng và phương thức đầu ra: Khả năng xử lý ngôn ngữ (đơn ngữ - Monolingual, đa ngữ - Multilingual, xuyên ngôn ngữ - Cross-lingual); định dạng kết quả (văn bản hoàn chỉnh, đoạn văn hoặc danh sách từ khóa); và đặc biệt là phương thức tạo tóm tắt gồm tóm tắt trích xuất (Extractive) và tóm tắt tóm lược (Abstractive/Text Compaction).

Đối tượng và phạm vi nghiên cứu của đồ án được xác định cụ thể: tập trung vào bài toán tóm tắt đơn văn bản (Single-document Summarization) theo hướng tiếp cận tóm tắt tóm lược (Abstractive Summarization) trên tập dữ liệu các bài báo tin tức bằng tiếng Việt.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đồ án được xây dựng dựa trên nền tảng học sâu (Deep Learning), các mô hình mạng nơ-ron chuỗi và học tăng cường:

  • Mạng nơ-ron nhân tạo (ANN) và Mạng nơ-ron hồi quy (RNN): Nền tảng tính toán dựa trên perceptron, các hàm kích hoạt phi tuyến (Sigmoid, ReLU, Tanh) và giải thuật lan truyền ngược (Backpropagation). Đối với dữ liệu dạng chuỗi, mạng RNN cho phép lưu giữ thông tin quá khứ qua trạng thái ẩn $s_t = f(U x_t + W s_{t-1})$, tuy nhiên gặp hạn chế nghiêm trọng về triệt tiêu hoặc bùng nổ đạo hàm (vanishing/exploding gradient) khi xử lý phụ thuộc xa trong giải thuật lan truyền ngược theo thời gian (BPTT).
  • Mạng bộ nhớ ngắn-dài (LSTM) và LSTM hai chiều (Bi-LSTM): Giải quyết hạn chế của RNN thông qua cấu trúc các cổng kiểm soát thông tin, bao gồm cổng quên (Forget Gate), cổng vào (Input Gate) và cổng ra (Output Gate) kết hợp với trạng thái ô nhớ ($c_t$). Bi-LSTM mở rộng khả năng nắm bắt ngữ cảnh thông qua việc xử lý chuỗi đồng thời theo hai chiều tiến (forward) và lùi (backward).
  • Mô hình chuỗi-sang-chuỗi (Sequence-to-Sequence / Seq2Seq): Kiến trúc gồm bộ mã hóa (Encoder) chuyển chuỗi đầu vào $x$ thành các trạng thái ẩn, và bộ giải mã (Decoder) tiếp nhận thông tin để tự hồi quy sinh chuỗi đầu ra $y$.
  • Cơ chế tập trung (Attention Mechanism): Cơ chế Additive Attention của Bahdanau khắc phục điểm nghẽn biểu diễn của vector ngữ cảnh cố định, cho phép bộ giải mã tập trung vào các vị trí trọng yếu của chuỗi đầu vào tại từng bước thời gian thông qua việc tính toán phân bố trọng số tập trung $\alpha_t$.
  • Thuật toán Beam Search: Thuật toán giải mã heuristic mở rộng không gian tìm kiếm với độ rộng $K$, tính toán điểm số chuỗi thay vì phụ thuộc hoàn toàn vào phân bố xác suất cục bộ của Softmax, giúp tối ưu hóa chuỗi sinh đầu ra.
  • Học tăng cường (Reinforcement Learning - RL) và Mạng Deep Double Q-Network (DDQN): Khung tương tác tác nhân - môi trường (Agent - Environment) dựa trên trạng thái ($s$), hành động ($a$), phần thưởng ($r$) và chiến lược ($\pi$). Biến thể DDQN sử dụng hai mạng Q riêng biệt để giảm thiểu hiện tượng ước lượng quá cao (overestimation) giá trị hành động trong mạng DQN tiêu chuẩn.

Phương pháp nghiên cứu thực nghiệm được triển khai thông qua việc kế thừa kiến trúc cơ sở Pointer-Generator Networks kết hợp cơ chế Coverage, sau đó tích hợp các đặc trưng ngôn ngữ văn bản và thuật toán học tăng cường DDQN để cải tiến quá trình sinh văn bản tóm tắt tiếng Việt.

Thiết kế và triển khai mô hình

Mô hình đề xuất được phát triển dựa trên kiến trúc gốc của Abigail See và cộng sự (2017), bao gồm các thành phần cốt lõi và các mô-đun cải tiến:

  1. Bộ mã hóa và giải mã Seq2Seq: Bộ mã hóa sử dụng mạng Bi-LSTM chuyển đổi chuỗi từ đầu vào thành các vector trạng thái ẩn $h_i^e = [\vec{h}_i^e; \overleftarrow{h}_i^e]$. Bộ giải mã LSTM nhận trạng thái trước đó và từ đã sinh để cập nhật trạng thái ẩn $h_t^d$.
  2. Cơ chế Pointer-Generator: Cho phép mô hình linh hoạt lựa chọn giữa việc sinh từ mới từ bộ từ vựng ($P_{vocab}$) hoặc sao chép trực tiếp từ chuỗi đầu vào dựa trên phân bố Attention ($P_c$). Xác suất sinh $P_{gen, t} \in [0, 1]$ được tính toán qua hàm Sigmoid: $$P_{gen, t} = \sigma(W_{s,z} z_t^e + W_{s,h} h_t^d + W_{s,E} E_t + b_s)$$ Phân bố xác suất cuối cùng để dự đoán từ $y_t$ là: $$P(y_t) = P_{gen, t} P_{vocab}(y_t) + (1 - P_{gen, t}) P_c(y_t)$$ Cơ chế này xử lý triệt để vấn đề từ ngoài từ điển (Out-Of-Vocabulary - OOV).
  3. Cơ chế Coverage: Nhằm khắc phục hiện tượng lặp từ và lặp câu, vector bao phủ $u_t^e = \sum_{j=1}^{t-1} \alpha_j^e$ ghi nhận lịch sử chú ý, được đưa trực tiếp vào hàm tính điểm Attention và hàm mất mát Coverage Loss: $$\text{covloss}t = \sum_j \min(\alpha{t,j}^e, u_{t,j}^e)$$
  4. Tích hợp đặc trưng văn bản:
    • Đặc trưng vị trí câu (POSI): Dựa trên đặc thù văn bản báo chí có thông tin quan trọng tập trung ở phần mở đầu, trọng số $x_{position}$ được tích hợp vào công thức tính phân bố Attention để ưu tiên các câu đầu đoạn.
    • Đặc trưng tần suất từ (Term Frequency - TF): Trọng số $x_{TF}$ được bổ sung vào hàm Attention nhằm tăng độ quan tâm đến các từ khóa xuất hiện nhiều lần trong văn bản.
  5. Tích hợp giải thuật Deep Double Q-Network (DDQN): Tại giai đoạn giải mã, trạng thái mã hóa kết hợp với vector biểu diễn từ được đưa vào DDQN. Thuật toán đưa ra hai hành động nhị phân (chọn hoặc không chọn từ). Điểm thưởng (Reward) được xác định trực tiếp dựa trên độ đo ROUGE-L giữa từ được chọn và câu tóm tắt mẫu: $$\text{Reward} = \text{ROUGE-L}(\text{Từ được chọn}, \text{Câu tóm tắt mẫu})$$

Nội dung chính theo từng chương

CHƯƠNG 1: MỞ ĐẦU

Chương 1 thiết lập bài toán tóm tắt văn bản tự động, hệ thống hóa các tiêu chí phân loại bài toán xử lý văn bản theo định dạng đầu vào, mục đích sử dụng và cơ chế tạo văn bản đầu ra. Tác giả phân tích sự khác biệt giữa tóm tắt đơn văn bản và đa văn bản, đồng thời chỉ ra rào cản kỹ thuật của hướng tiếp cận tóm lược so với trích xuất. Chương này kết luận định hướng của đồ án là tập trung giải quyết bài toán tóm tắt đơn văn bản tóm lược trên tập dữ liệu bài báo tiếng Việt.

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

Chương 2 trình bày tổng quan về hệ sinh thái trí tuệ nhân tạo, học máy và học sâu, đi sâu vào cấu trúc toán học của mạng nơ-ron nhân tạo, hàm kích hoạt và giải thuật lan truyền ngược. Tiếp đó, chương mô tả chi tiết mô hình Seq2Seq, các biến thể RNN, kiến trúc LSTM, mạng Bi-LSTM, cơ chế Additive Attention của Bahdanau, thuật toán giải mã Beam Search và lý thuyết học tăng cường cùng thuật toán DDQN.

CHƯƠNG 3: HƯỚNG TIẾP CẬN VÀ MÔ HÌNH ĐỀ XUẤT

Chương 3 phân tích mô hình cơ sở Pointer-Generator Networks kết hợp cơ chế Coverage của Abigail See (2017). Tác giả làm rõ các cải tiến đề xuất gồm: tích hợp đặc trưng vị trí câu (POSI), đặc trưng tần suất từ (TF) vào phân bố Attention, ứng dụng giải thuật DDQN với hàm thưởng ROUGE-L trong khâu chọn từ ở bộ giải mã, và hướng thử nghiệm thay thế mạng giải mã LSTM bằng Bi-LSTM.

CHƯƠNG 4: THỰC NGHIỆM

Chương 4 mô tả toàn bộ môi trường phần cứng, phần mềm, quy trình tiền xử lý dữ liệu tiếng Việt, thiết lập tham số huấn luyện, công cụ đánh giá và kết quả định lượng. Chương cung cấp bảng so sánh chỉ số ROUGE giữa các biến thể mô hình và phân tích định tính chi tiết trên ba mẫu văn bản thử nghiệm thực tế.

CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Chương 5 tổng kết các mục tiêu đã hoàn thành của đồ án về mặt lý thuyết và thực nghiệm, đồng thời nêu rõ các hạn chế còn tồn tại và đề xuất các giải pháp nâng cao chất lượng mô hình trong tương lai.

Thực nghiệm, kết quả và đóng góp

Môi trường và dữ liệu thực nghiệm

  • Hệ thống phần cứng và phần mềm: Hệ điều hành Ubuntu; ngôn ngữ lập trình Python; môi trường thực thi Visual Studio Code và Google Colab (cấu hình RAM 13GB, Ổ đĩa 68GB); thư viện tính toán luồng dữ liệu TensorFlow 1.x.
  • Bộ dữ liệu Báo Mới: Gồm 1.000 bản ghi (mỗi bản ghi chứa xấp xỉ 1.000 bài báo), tương đương quy mô hơn 1.000.000 văn bản tiếng Việt. Cấu trúc mỗi bài báo gồm tiêu đề (heading), tóm tắt (abstract) và nội dung (article). Dữ liệu được phân chia thành ba tập:
    • Tập huấn luyện (Train): 800 bản ghi (~776.060 văn bản).
    • Tập kiểm định (Validation): 100 bản ghi (~98.006 văn bản).
    • Tập kiểm thử (Test): 100 bản ghi (~96.5xx văn bản).
  • Phân bố độ dài chuỗi: Chuỗi tóm tắt mẫu (abstract) tập trung chủ yếu từ 20 đến 35 từ (ngắn nhất 8 từ, dài nhất khoảng 125 từ); chuỗi nội dung (article) tập trung trong khoảng 200 đến 300 từ.
  • Tiền xử lý: Tách từ tiếng Việt bằng thư viện PyVi; loại bỏ từ dừng và tạp âm văn bản; lọc bỏ các mẫu thiếu abstract hoặc article; xây dựng bộ từ vựng (Vocabulary) cố định kích thước 50.000 từ.
  • Tham số huấn luyện: max_enc_steps = 400, max_dec_steps = 100, batch_size = 32, learning_rate = 0.15.
  • Thước đo đánh giá: Bộ công cụ ROUGE (thực thi thông qua thư viện Python pyrouge liên kết mã nguồn chuẩn ROUGE 1.5.5).

Kết quả định lượng và phân tích

Mô hình thử nghiệm ROUGE-1 (%) ROUGE-2 (%) ROUGE-L (%)
Seq2Seq + Attention Baseline + Pointer-Gen + Coverage (*) 28,21 — —
Mô hình cải tiến: (*) + Position (POSI) + TF + DDQN 47,51 — —

Ghi chú: Trong quá trình thực nghiệm, mô hình sử dụng mạng Bi-LSTM ở bộ giải mã (Decoder) cho kết quả thấp và chất lượng văn bản đầu ra không đạt yêu cầu nên tác giả không đưa số liệu vào bảng đánh giá chính thức.

Phân tích định tính qua mẫu thử

Đồ án kiểm thử chất lượng tóm tắt trên ba bài báo thực tế:

  1. Mẫu 1 (Hội xuân Yên Tử 2014): Mô hình trích xuất được các thông tin chính về lễ khai mạc, địa danh và lượng du khách, tuy nhiên ở phiên bản tích hợp DDQN vẫn xuất hiện lỗi lặp từ ("yên yên yên tử tử", "kinh đô phật yên của việt yên") và chứa ký hiệu từ ngoài từ điển [unk].
  2. Mẫu 2 (Số liệu xuất khẩu gạo của VFA): Mô hình trích xuất chính xác các số liệu định lượng (583.294 tấn, 256,184 triệu USD, tăng 77,7%), nhưng câu văn còn rời rạc và lặp lại đại từ/từ nối ("so gạo gạo khẩu tăng").
  3. Mẫu 3 (Dự thảo Luật Kinh doanh Bất động sản): Tóm tắt nắm bắt được nội dung cốt lõi về việc bỏ quy định bắt buộc giao dịch qua sàn, song cấu trúc ngữ pháp câu đầu ra còn lủng củng.

Đóng góp chính của đề tài

  • Xây dựng quy trình xử lý và huấn luyện hoàn chỉnh cho bài toán tóm tắt tóm lược văn bản tiếng Việt quy mô lớn trên bộ dữ liệu Báo Mới với hơn 1 triệu văn bản.
  • Kết hợp thành công các đặc trưng hình thái văn bản báo chí (vị trí câu POSI, tần suất từ TF) vào cơ chế Attention, giúp định hướng mô hình tập trung vào các đoạn thông tin quan trọng.
  • Ứng dụng giải thuật học tăng cường DDQN với hàm thưởng ROUGE-L vào bước giải mã, nâng chỉ số ROUGE-1 từ 28,21% lên 47,51%.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế ghi nhận trong văn bản

  • Hiện tượng lặp từ và lặp cụm từ vẫn xảy ra trên một số mẫu thử dù đã áp dụng cơ chế Coverage.
  • Kích thước bộ từ vựng giới hạn ở mức 50.000 từ khiến các từ hiếm gặp bị thay thế bởi ký hiệu [unk].
  • Tính liên kết ngữ pháp và độ mượt mà tự nhiên của câu văn tóm tắt sinh ra chưa đạt mức tối ưu.
  • Cấu hình thử nghiệm bộ giải mã bằng mạng Bi-LSTM chưa đem lại hiệu quả cải thiện chất lượng như kỳ vọng lý thuyết.

Hướng nghiên cứu tiếp

  • Nghiên cứu kết hợp đồng thời kiến trúc bộ giải mã Bi-LSTM với thuật toán học tăng cường DDQN.
  • Thử nghiệm các thuật toán học tăng cường khác nhằm tối ưu hóa chiến lược chọn từ.
  • Bổ sung thêm các đặc trưng ngôn ngữ chuyên sâu cho tiếng Việt như nghịch đảo tần suất tài liệu (IDF), đặc trưng từ loại (Part-of-Speech - POS).
  • Ứng dụng các kỹ thuật nhúng ngữ cảnh và mô hình ngôn ngữ tiền huấn luyện tiên tiến (chẳng hạn như BERT).

Giá trị tham khảo

Tài liệu đồ án có giá trị tham khảo chuyên môn cho sinh viên, học viên cao học và các nhóm nghiên cứu thuộc ngành Khoa học máy tính, Công nghệ thông tin và Trí tuệ nhân tạo đang thực hiện đề tài về Xử lý ngôn ngữ tự nhiên (NLP). Các nội dung có giá trị ứng dụng cao gồm:

  • Quy trình tiền xử lý, chuẩn hóa và phân chia tập dữ liệu văn bản tin tức tiếng Việt quy mô lớn (Báo Mới).
  • Chi tiết toán học và cách thức cài đặt kiến trúc Pointer-Generator Networks kết hợp cơ chế Coverage trên nền tảng TensorFlow.
  • Kỹ thuật tích hợp các đặc trưng miền (POSI, TF) vào hàm Attention và phương pháp thiết lập hàm thưởng ROUGE-L cho học tăng cường trong bài toán sinh ngôn ngữ.

Câu hỏi thường gặp

1. Mục đích của việc tích hợp đặc trưng vị trí câu (POSI) vào mô hình là gì?
Theo phân tích cấu trúc dữ liệu tin tức báo chí trong đồ án, thông tin quan trọng nhất thường tập trung ở các câu mở đầu văn bản. Đặc trưng POSI giúp tăng trọng số chú ý cho các câu ở phần đầu và giảm dần về cuối văn bản, khắc phục xu hướng dồn trọng số về cuối của các mô hình tuần tự.

2. Cơ chế Pointer-Generator giải quyết vấn đề gì trong xử lý văn bản tiếng Việt?
Cơ chế Pointer-Generator cho phép mô hình vừa có khả năng sinh từ mới từ không gian từ vựng có sẵn ($P_{vocab}$), vừa có thể sao chép trực tiếp các từ trong văn bản gốc ($P_c$). Điều này giúp mô hình bảo toàn các thực thể tên riêng, địa danh, chữ số và xử lý triệt để các từ ngoài từ điển (OOV).

3. Hàm phần thưởng (Reward) trong thuật toán DDQN của đồ án được định nghĩa như thế nào?
Hàm phần thưởng được tính toán trực tiếp bằng điểm số ROUGE-L giữa từ/câu được tác nhân lựa chọn so với câu tóm tắt mẫu chuẩn (Reference Summary), khuyến khích tác nhân chọn các từ làm tăng độ trùng khớp chuỗi con chung dài nhất với tóm tắt gốc.

4. Vì sao kết quả thử nghiệm mô hình giải mã Bi-LSTM không được đưa vào bảng kết quả chính thức?
Trong quá trình thực nghiệm, cấu hình sử dụng Bi-LSTM cho bộ giải mã (Decoder) mang lại độ chính xác thấp và chất lượng văn bản sinh ra không tốt. Do đó, tác giả chưa đưa số liệu này vào bảng so sánh chính mà xếp vào nội dung cần tiếp tục nghiên cứu nguyên nhân.

5. Tập dữ liệu thực nghiệm Báo Mới được phân chia theo tỷ lệ và quy mô ra sao?
Bộ dữ liệu gồm 1.000 bản ghi (hơn 1 triệu bài báo) được chia thành ba phần: tập Train gồm 800 bản ghi (~776.060 văn bản), tập Validation gồm 100 bản ghi (~98.006 văn bản), và tập Test gồm 100 bản ghi (~96.5xx văn bản).

Kết luận

Đồ án đã nghiên cứu và triển khai thành công mô hình tóm tắt tóm lược đơn văn bản tiếng Việt dựa trên kiến trúc Pointer-Generator Networks kết hợp cơ chế Coverage. Bằng việc tích hợp thêm đặc trưng vị trí câu (POSI), tần suất từ (TF) và thuật toán học tăng cường DDQN, mô hình đã đạt chỉ số ROUGE-1 là 47,51% trên tập dữ liệu Báo Mới quy mô hơn 1 triệu văn bản. Mặc dù vẫn còn một số hạn chế về hiện tượng lặp từ và độ mượt mà ngữ pháp, công trình đã đề xuất các hướng phát triển rõ ràng với các mô hình ngôn ngữ tiên tiến cho các nghiên cứu tiếp theo.