Bối cảnh và vấn đề nghiên cứu

Sự phát triển mạnh mẽ của công nghệ thông tin và mạng máy tính đã dẫn đến sự bùng nổ của khối lượng tài liệu văn bản số hóa. Việc tiếp nhận và trích lược thông tin quan trọng từ nguồn tri thức lớn này đòi hỏi nhiều thời gian và chi phí. Nhằm giải quyết vấn đề quá tải thông tin, việc tạo ra các phiên bản rút gọn của văn bản gốc – các bản tóm tắt – trở thành một nhu cầu thiết yếu trong thực tiễn. Theo tác giả, một bản tóm tắt có chất lượng tốt phải thỏa mãn đồng thời ba tiêu chí:

  1. Độ chính xác nội dung: Thông tin trong bản tóm tắt phải phản ánh trung thực và tương đương với nội dung cốt lõi của văn bản gốc.
  2. Sự mạch lạc và ngữ pháp: Bản tóm tắt phải được diễn đạt tự nhiên, đúng ngữ pháp để người đọc có thể hiểu rõ ràng.
  3. Tỉ lệ nén: Độ dài của văn bản tóm tắt phải ngắn hơn đáng kể so với văn bản đầu vào.

Trong xử lý ngôn ngữ tự nhiên (NLP), bài toán tóm tắt văn bản được chia thành hai hướng tiếp cận chính:

  • Tóm tắt trích xuất (Extractive Summarization): Lựa chọn trực tiếp các câu quan trọng có sẵn trong văn bản gốc dựa trên thuật toán heuristic (như TF-IDF, vị trí câu) hoặc mô hình hóa đồ thị kết hợp học máy không giám sát để gom cụm câu theo độ liên quan ngữ nghĩa.
  • Tóm tắt tóm lược (Abstractive Summarization): Sử dụng các mô hình học sâu (Deep Learning) để xây dựng biểu diễn ngữ nghĩa nội hàm, từ đó biên soạn lại một bản tóm tắt hoàn toàn mới mô phỏng cách tóm tắt của con người, có thể chứa những từ ngữ không xuất hiện trong văn bản gốc.

Tóm tắt tóm lược cho tiếng Việt gặp nhiều thách thức đặc thù so với tiếng Anh do tiếng Việt là ngôn ngữ đơn âm, có thanh điệu, cấu trúc từ ghép phức tạp, ranh giới từ không xác định bằng khoảng trắng đơn thuần, đồng thời còn thiếu các bộ ngữ liệu chuẩn hóa được công bố rộng rãi.

Mục tiêu và nhiệm vụ nghiên cứu

Khóa luận xác định mục tiêu chính là:

  1. Tìm hiểu, phân tích và áp dụng mô hình Encoder-Decoder kết hợp với cấu trúc mạng nhớ tăng cường Hierarchical Neural Semantic Encoder (HierNSE) để giải quyết bài toán tóm tắt văn bản tiếng Việt tự động theo hướng tóm lược.
  2. Xây dựng quy trình tiền xử lý ngữ liệu tiếng Việt từ các trang báo điện tử thực tế.
  3. Huấn luyện, thử nghiệm và đánh giá hiệu suất mô hình thông qua độ đo định lượng ROUGE và phân tích chất lượng ngữ nghĩa.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Bài toán tóm tắt văn bản tự động theo hướng tóm lược; các kiến trúc mạng nơ-ron học sâu gồm RNN, LSTM, Seq2seq (Encoder-Decoder), cơ chế Attention, Pointer-Generator Network, cơ chế Coverage và cấu trúc Hierarchical Neural Semantic Encoder (HierNSE).
  • Phạm vi nghiên cứu:
    • Không gian dữ liệu: Tập dữ liệu các bài báo tiếng Việt thu thập từ các trang thông tin điện tử tại Việt Nam (tiêu biểu như VnExpress, Thanh Niên, Người Đưa Tin).
    • Độ dài văn bản: Các bài báo có độ dài từ 350 đến 450 từ.
    • Phạm vi kỹ thuật: Tập trung hoàn toàn vào hướng tiếp cận tóm tắt tóm lược (Abstractive Summarization), không triển khai tóm tắt trích xuất thuần túy.

Cơ sở lý thuyết và phương pháp

Phát biểu toán học của bài toán tóm tắt tóm lược

Cho một văn bản đầu vào $D$ gồm chuỗi $M$ từ: $x = (x_1, x_2, \dots, x_M)$. Mục tiêu của bài toán là ánh xạ chuỗi $x$ thành một chuỗi tóm tắt đầu ra $y$ gồm $N$ từ: $y = (y_1, y_2, \dots, y_N)$ với điều kiện $N < M$. Chuỗi $y$ được tạo ra dựa trên một tập từ vựng cố định $V$. Bài toán quy về việc tìm chuỗi $y$ nhằm cực đại hóa xác suất có điều kiện:

$$\arg\max_{y \in V} P(y \mid x)$$

Các khung lý thuyết và mô hình nền tảng

  1. Mạng nơ-ron truy hồi (RNN) và Mạng LSTM (Long Short-Term Memory):
    • RNN: Xử lý dữ liệu tuần tự thông qua trạng thái ẩn $s_i = R(s_{i-1}, x_i)$ và đầu ra $y_i = O(s_i)$. Mạng gặp hiện tượng triệt tiêu đạo hàm (vanishing gradient) khi chuỗi đầu vào dài.
    • LSTM: Giải quyết hạn chế của RNN bằng việc bổ sung đơn vị nhớ (cell state $C_t$) và ba cổng lọc thông tin: cổng quên (forget gate $f_t$), cổng vào (input gate $i_t$) và cổng ra (output gate $o_t$).
  2. Mô hình Encoder-Decoder với cơ chế Attention (Bahdanau, 2015):
    • Bộ mã hóa (Encoder) chuyển chuỗi đầu vào thành các trạng thái ẩn $h_i$. Bộ giải mã (Decoder) tính điểm chú ý $a_i^t = \text{softmax}(e_i^t)$ với $e_i^t = v^T \tanh(W_h h_i + W_s s_t + b_{\text{atten}})$ để sinh ra vector ngữ cảnh $h_t^* = \sum_i a_i^t h_i$, giúp Decoder tập trung vào các phần thông tin quan trọng tại từng bước sinh từ.
  3. Mô hình Pointer-Generator Network và Cơ chế Coverage (See et al., 2017; Tu et al., 2016):
    • Pointer-Generator: Giải quyết vấn đề từ ngoài bộ từ vựng (OOV - Out-of-Vocabulary) bằng cách tính xác suất sinh từ $P_{\text{gen}} \in [0, 1]$. Mô hình quyết định sinh từ mới từ phân phối từ vựng $P_{\text{vocab}}(w)$ hoặc sao chép trực tiếp từ chuỗi đầu vào qua phân phối chú ý $a^t$: $$P(w) = P_{\text{gen}} P_{\text{vocab}}(w) + (1 - P_{\text{gen}}) \sum_{i: w_i = w} a_i^t$$
    • Cơ chế Coverage: Sử dụng vector bao phủ $c^t = \sum_{t'=0}^{t-1} a^{t'}$ đại diện cho tổng trọng số chú ý đã phân bổ ở các bước trước để bổ sung vào phép tính điểm chú ý, đồng thời áp dụng hàm phạt lặp từ $\text{covloss}_t = \sum_i \min(a_i^t, c_i^t)$ vào hàm mất mát tổng thể.
  4. Cấu trúc Neural Semantic Encoder (NSE) và Phân cấp (Hierarchical NSE):
    • NSE (Munkhdalai and Yu, 2017): Là mạng nhớ tăng cường gồm bộ nhớ mã hóa $M \in \mathbb{R}^{k \times l}$ cùng ba quá trình: Read (đọc và trích xuất vector trạng thái), Compose (tổng hợp thông tin giữa đầu vào và ô nhớ tương đồng nhất) và Write (cập nhật trạng thái mới vào bộ nhớ).
    • Cải tiến trong tóm tắt: Thay thế cơ chế tích vô hướng bằng Additive Attention; thay thế mạng MLP trong quá trình Compose bằng cấu trúc LSTM để xử lý tốt sự phụ thuộc ngữ nghĩa câu dài.
    • Hierarchical NSE: Khai thác tính phân cấp tự nhiên của văn bản (Văn bản $\rightarrow$ Đoạn $\rightarrow$ Câu $\rightarrow$ Từ). Mô hình tổ chức thành hai tầng bộ nhớ riêng biệt: bộ nhớ cấp câu ($M_s$) và bộ nhớ cấp văn bản ($M_d$).

Phương pháp đánh giá ROUGE

Hiệu suất tóm tắt được lượng hóa bằng thang đo ROUGE (Recall-Oriented Understudy for Gisting Evaluation):

  • ROUGE-1: Đo độ trùng khớp của các từ đơn (unigrams) giữa chuỗi sinh ra và chuỗi mẫu tham chiếu.
  • ROUGE-2: Đo độ trùng khớp của các cặp từ liền kề (bigrams).
  • ROUGE-L: Đo độ dài của chuỗi con chung dài nhất (Longest Common Subsequence - LCS) nhằm phản ánh cấu trúc câu.

Điểm đánh giá bao gồm ROUGE-Recall, ROUGE-Precision và ROUGE-F1 score.

Thiết kế và triển khai mô hình

Kiến trúc hệ thống Hierarchical NSE

Mô hình hoàn chỉnh gồm hai khối mạng HierNSE đóng vai trò Encoder và Decoder kết nối trực tiếp với nhau:

Thành phần Module / Cấu trúc Tham số kỹ thuật Chức năng thực hiện
Encoder Read ($f_{\text{read}}$) LSTM 1 lớp, size = 300 Nhận vector nhúng từ $x_t$, chuyển thành trạng thái ẩn $o_t$.
Attention & Memory Update Additive Attention Tính mức độ liên quan $z_t^s, z_t^d$ với bộ nhớ câu $M_{t-1}^s$ và văn bản $M_{t-1}^d$.
Compose ($f_{\text{compose}}$) LSTM 1 lớp, size = 300 Tổng hợp $o_t$ và thông tin trích xuất từ hai bộ nhớ ($m_{r,t}^s, m_{r,t}^d$).
Write ($f_{\text{write}}$) LSTM 1 lớp, size = 300 Sinh trạng thái $h_t$ và ghi đè cập nhật vào $M_t^s$ và $M_t^d$.
Decoder HierNSE Step & Softmax LSTM 1 lớp, size = 300 Sử dụng bộ nhớ kết hợp $M_s, M_d$ để tính toán phân phối xác suất từ vựng và $P_{\text{gen}}$.
Giải mã Beam Search Tham số chùm $k$ Lựa chọn $k$ chuỗi ứng viên tốt nhất ở từng bước thời gian để xuất văn bản tóm tắt.

Dữ liệu và quy trình tiền xử lý

Ngữ liệu được thu thập từ các trang báo điện tử tại Việt Nam. Quy trình xử lý dữ liệu gồm các bước kỹ thuật:

  1. Lọc bỏ các bài viết có độ dài nằm ngoài khoảng 350 – 450 từ.
  2. Làm sạch văn bản: Loại bỏ gạch đầu dòng, dấu gạch ngang, dấu hai chấm trước danh sách liệt kê, dấu ba chấm, dấu ngoặc đơn và phần nội dung chú thích trong ngoặc, dấu nháy đơn, dấu nháy kép.
  3. Chuẩn hóa dấu câu: Chuyển đổi dấu chấm phẩy (;) thành dấu chấm ngắt câu (.).
  4. Phân tách câu dựa trên các ký tự kết thúc câu.
  5. Tách từ tiếng Việt bằng thư viện Pyvi (các từ ghép được liên kết bằng dấu gạch dưới _).
  6. Chuyển toàn bộ ký tự viết hoa thành viết thường.

Ngữ liệu sau tiền xử lý được phân chia thành ba tập độc lập:

  • Tập huấn luyện (Training set): 21.312 bài báo.
  • Tập kiểm tra hợp lệ (Validation set): 4.591 bài báo.
  • Tập kiểm thử (Testing set): 2.000 bài báo.

Môi trường thực nghiệm và công cụ cài đặt

Hệ thống được thiết lập trên môi trường phần cứng và phần mềm cụ thể như sau:

  • Phần cứng: CPU Intel Core i5-10210U 1.60 GHz, Bộ nhớ RAM 8GB, GPU: Không sử dụng (None).
  • Hệ điều hành: Windows 10.
  • Môi trường phát triển: Ngôn ngữ Python (trình biên dịch phiên bản 3.5), IDE Sublime Text 3.
  • Thư viện chuyên dụng:
    • Google TensorFlow (phiên bản 1.x): Xây dựng đồ thị tính toán học sâu, tối ưu hóa siêu tham số và tính toán ma trận.
    • Gensim: Tải mô hình Word2Vec tiếng Việt tiền huấn luyện (Pre-trained Word2Vec) với số chiều vector nhúng là 300.
    • Pyvi: Phân tích hình thái học và tách từ tiếng Việt.
    • Pyrouge: Tính toán tự động các chỉ số ROUGE-1, ROUGE-2 và ROUGE-L.

Nội dung chính theo từng chương

Chương 1. Mở đầu

Chương này trình bày bối cảnh bùng nổ thông tin và tính cấp thiết của việc xây dựng công cụ tóm tắt văn bản tự động. Tác giả phân tích hai hướng tiếp cận tóm tắt trích xuất và tóm tắt tóm lược, chỉ rõ những rào cản ngữ âm và ngữ pháp khi áp dụng NLP cho tiếng Việt. Mục tiêu nghiên cứu được xác lập là áp dụng mô hình Encoder-Decoder với cấu trúc Hierarchical NSE trên tập dữ liệu bài báo điện tử tiếng Việt.

Chương 2. Mô hình bài toán

Chương 2 mô hình hóa bài toán tóm tắt văn bản theo hướng tóm lược dưới dạng bài toán tối ưu hóa xác suất điều kiện $\arg\max P(y|x)$ từ chuỗi $M$ từ sang chuỗi $N$ từ ($N < M$). Tác giả thiết lập quy trình 5 bước: Thu thập dữ liệu $\rightarrow$ Tiền xử lý dữ liệu $\rightarrow$ Word Embedding $\rightarrow$ Xây dựng mô hình Deep Learning $\rightarrow$ Thử nghiệm và đánh giá. Đồng thời, chương này giải thích chi tiết cơ sở toán học của phương pháp đánh giá ROUGE (ROUGE-1, ROUGE-2, ROUGE-L) kèm ví dụ minh họa cách tính Recall, Precision và F1-score.

Chương 3. Cơ sở lý thuyết

Chương 3 tổng hợp toàn diện các nền tảng lý thuyết từ mô hình mạng nơ-ron tuần tự đến các cấu trúc bộ nhớ tiên tiến:

  • Mạng RNN cơ bản và kiến trúc cổng nhớ của LSTM (công thức chi tiết cho các cổng $f_t, i_t, o_t$ và cập nhật cell state $C_t$).
  • Mô hình Seq2seq với cơ chế Attention (Bahdanau, 2015), chỉ ra nhược điểm giảm hiệu suất khi xử lý văn bản dài (400–800 từ) do hiện tượng loãng thông tin và mất mát bộ nhớ.
  • Mô hình Pointer-Generator Network kết hợp Pointer Network (Vinyals, 2015) và cơ chế Coverage (Tu et al., 2016) nhằm giải quyết từ OOV và hiện tượng lặp từ.
  • Mô hình Neural Semantic Encoder (NSE) của Munkhdalai & Yu (2017) với các quá trình Read, Compose, Write trên bộ nhớ mã hóa $M$.
  • Cải tiến NSE sang mô hình Hierarchical NSE: Tích hợp cấu trúc phân cấp văn bản (Văn bản – Đoạn – Câu – Từ) theo Yang (2016) bằng việc sử dụng đồng thời hai bộ nhớ riêng biệt cho câu ($M_s$) và văn bản ($M_d$), thay thế hàm kết hợp MLP bằng LSTM và áp dụng Additive Attention.

Chương 4. Xây dựng hệ thống tóm tắt văn bản tiếng Việt tự động bằng mô hình Hierarchical NSE

Chương 4 mô tả chi tiết quá trình hiện thực hóa mô hình HierNSE bằng mã nguồn Python/TensorFlow:

  • Thiết kế lớp mạng HierNSE với các trạng thái ẩn, mặt nạ padding (mem_masks), tính toán độ lỗi Cross-Entropy Loss trong pha huấn luyện và thuật toán Beam Search trong pha kiểm thử.
  • Chi tiết bộ dữ liệu thực nghiệm gồm 27.903 bài báo (21.312 train, 4.591 validation, 2.000 test) thu thập từ báo điện tử và các bước tiền xử lý chuẩn hóa văn bản.
  • Thiết lập môi trường thử nghiệm phần cứng CPU i5-10210U, RAM 8GB, Word2Vec 300 chiều.
  • Phân tích quá trình huấn luyện qua các đồ thị Training Loss và Validation Loss qua hàng nghìn bước lặp (từ 4.500 đến hơn 7.000 bước).
  • Đánh giá định lượng hiệu suất mô hình bằng điểm ROUGE qua các thực nghiệm và đánh giá định tính chất lượng ngữ nghĩa trên các mẫu văn bản sinh ra.

Chương 5. Kết luận, hạn chế và hướng phát triển

Chương cuối cùng tổng kết các kết quả đạt được trong việc áp dụng Hierarchical NSE cho tóm tắt tiếng Việt, thẳng thắn chỉ ra các giới hạn về tài nguyên tính toán và đề xuất các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Kết quả nghiên cứu chính

  • Khóa luận đã cài đặt hoàn chỉnh hệ thống tóm tắt tóm lược tiếng Việt tự động sử dụng cấu trúc Hierarchical NSE với kích thước ẩn 300 chiều, tích hợp cơ chế Additive Attention và mô hình Pointer-Generator.
  • Đã xử lý và chuẩn hóa thành công tập dữ liệu 27.903 bài báo tiếng Việt phục vụ huấn luyện và kiểm thử mô hình học sâu.
  • Theo dõi quá trình hội tụ của mô hình qua 3 thực nghiệm:
    • Thực nghiệm 1: Ghi nhận quá trình giảm Training Loss từ bước lặp 4.500 đến 5.000.
    • Thực nghiệm 2: Ghi nhận Training Loss sau hơn 6.000 bước lặp.
    • Thực nghiệm 3: Ghi nhận Validation Loss sau hơn 7.000 bước lặp.
  • Đánh giá chất lượng ngữ nghĩa qua 6 mẫu kết quả thực tế cho thấy mô hình có khả năng tạo ra các câu tóm tắt tương đối mạch lạc, rút gọn được các nội dung quan trọng và xử lý được các từ mới nhờ cơ chế sao chép từ chuỗi gốc.

Đóng góp của khóa luận

  1. Ứng dụng cấu trúc phân cấp cho tiếng Việt: Khóa luận là một trong những công trình nghiên cứu áp dụng cấu trúc bộ nhớ phân cấp Hierarchical Neural Semantic Encoder (HierNSE) vào bài toán tóm tắt tóm lược văn bản tiếng Việt – một ngôn ngữ có ít tài nguyên nghiên cứu về mạng nhớ tăng cường so với tiếng Anh.
  2. Quy trình tiền xử lý ngữ liệu chuẩn hóa: Đề xuất và thực nghiệm quy trình làm sạch, chuẩn hóa ký tự và tách từ tiếng Việt phù hợp với các mô hình tóm tắt tóm lược end-to-end trên dữ liệu báo chí điện tử.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Tài nguyên phần cứng: Quá trình huấn luyện thực hiện hoàn toàn trên môi trường máy tính cá nhân (CPU Intel Core i5, RAM 8GB, không có GPU rời), dẫn đến thời gian huấn luyện kéo dài và giới hạn số lượng bước lặp tối ưu hóa siêu tham số.
  • Phạm vi ngữ liệu: Dữ liệu thực nghiệm mới chỉ giới hạn ở thể loại tin tức báo chí điện tử có độ dài ngắn đến trung bình (350 – 450 từ), chưa mở rộng sang các dạng văn bản dài phức tạp như tài liệu khoa học, văn bản hành chính hay tiểu thuyết.
  • Xử lý ngữ nghĩa: Mặc dù cơ chế Pointer-Generator giúp hạn chế lỗi OOV, việc tạo ra các câu văn hoàn toàn tự nhiên và chính xác tuyệt đối về logic ngữ nghĩa phức tạp vẫn còn tồn tại sai sót trong một số trường hợp câu văn dài.

Hướng phát triển

  • Mở rộng cấu hình phần cứng với GPU chuyên dụng để huấn luyện mô hình với số bước lặp lớn hơn và kích thước batch lớn hơn.
  • Mở rộng quy mô và đa dạng hóa thể loại của bộ dữ liệu ngữ liệu tiếng Việt.
  • Nghiên cứu kết hợp thêm các kiến trúc mô hình ngôn ngữ tiên tiến và kỹ thuật biểu diễn ngữ cảnh sâu để nâng cao hơn nữa điểm số ROUGE và chất lượng ngữ nghĩa của văn bản tóm tắt.

Giá trị tham khảo

Tài liệu khóa luận này mang lại giá trị tham khảo hữu ích cho:

  • Sinh viên và học viên ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo: Cung cấp tài liệu tham khảo chi tiết về cách xây dựng mô hình sequence-to-sequence nâng cao, mạng nhớ tăng cường (NSE) và cơ chế Attention áp dụng cho dữ liệu văn bản tiếng Việt.
  • Các nhà nghiên cứu về Xử lý Ngôn ngữ Tự nhiên (NLP): Phần tổng quan lý thuyết (Chương 3) hệ thống hóa rất rõ ràng và chặt chẽ cơ sở toán học của LSTM, Bahdanau Attention, Pointer-Generator Network, cơ chế Coverage và cấu trúc HierNSE.
  • Người phát triển ứng dụng thực tế: Phần tiền xử lý dữ liệu và xây dựng lớp mạng HierNSE trong TensorFlow (Chương 4) cung cấp mã giả và phương pháp luận rõ ràng cho quy trình làm sạch văn bản và nhúng từ tiếng Việt bằng Word2Vec và Pyvi.

Câu hỏi thường gặp

1. Khóa luận này tiếp cận bài toán tóm tắt văn bản theo hướng nào?
Khóa luận tập trung hoàn toàn vào hướng tiếp cận tóm tắt tóm lược (Abstractive Summarization) bằng mô hình học sâu, sử dụng cấu trúc Encoder-Decoder kết hợp Hierarchical NSE để biên soạn bản tóm tắt mới, không sử dụng phương pháp trích xuất nguyên câu (Extractive Summarization).

2. Điểm khác biệt cốt lõi giữa cấu trúc NSE cơ bản và Hierarchical NSE trong khóa luận là gì?
Mô hình NSE cơ bản chỉ sử dụng một bộ nhớ mã hóa duy nhất và dùng tích vô hướng để tính attention. Trong khi đó, Hierarchical NSE khai thác đặc tính phân cấp của văn bản (Văn bản $\rightarrow$ Đoạn $\rightarrow$ Câu $\rightarrow$ Từ) bằng cách tổ chức hai tầng bộ nhớ độc lập: bộ nhớ cấp câu ($M_s$) và bộ nhớ cấp văn bản ($M_d$), đồng thời sử dụng cơ chế Additive Attention và thay thế MLP bằng LSTM trong quá trình Compose.

3. Vấn đề từ ngoài bộ từ vựng (OOV) và hiện tượng lặp từ trong câu tóm tắt được giải quyết như thế nào?
Mô hình tích hợp mạng con trỏ Pointer-Generator Network để tính xác suất $P_{\text{gen}}$, cho phép sao chép trực tiếp các từ OOV từ văn bản đầu vào thay vì gán nhãn [UNK]. Đồng thời, mô hình sử dụng cơ chế Coverage để cộng dồn trọng số chú ý các bước trước và bổ sung hàm phạt $\text{covloss}$ vào hàm mất mát để triệt tiêu hiện tượng lặp từ.

4. Tập dữ liệu thực nghiệm của khóa luận được phân chia như thế nào?
Tập dữ liệu gồm 27.903 bài báo tiếng Việt (độ dài 350–450 từ) thu thập từ các trang báo điện tử, được chia thành: 21.312 bài cho tập huấn luyện (train), 4.591 bài cho tập kiểm tra hợp lệ (validation) và 2.000 bài cho tập kiểm thử độc lập (test).

5. Mô hình được xây dựng bằng những công nghệ và thư viện chính nào?
Hệ thống được lập trình bằng Python 3.5 trên nền tảng Google TensorFlow 1.x, sử dụng thư viện Gensim để tải pre-trained Word2Vec tiếng Việt (vector 300 chiều), thư viện Pyvi để tách từ tiếng Việt và công cụ Pyrouge để tính toán các điểm số ROUGE-1, ROUGE-2, ROUGE-L.

Kết luận

Khóa luận tốt nghiệp của sinh viên Trần Công Minh và Nguyễn Thanh Tú đã nghiên cứu và triển khai thành công mô hình Encoder-Decoder với cấu trúc mạng nhớ phân cấp Hierarchical Neural Semantic Encoder (HierNSE) cho bài toán tóm tắt tóm lược văn bản tiếng Việt. Nghiên cứu đã xây dựng quy trình tiền xử lý ngữ liệu báo chí điện tử chuẩn hóa, tích hợp hiệu quả cơ chế Pointer-Generator và Coverage để khắc phục các hạn chế về từ OOV và lặp từ. Kết quả thực nghiệm và đánh giá chất lượng ngữ nghĩa khẳng định tính khả thi của mô hình trong việc tạo ra các bản tóm tắt mạch lạc, cung cấp tài liệu tham khảo có giá trị học thuật cao cho lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt.