Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Sự gia tăng nhanh chóng của thông tin văn bản lưu trữ trên mạng Internet và các hệ thống máy tính dẫn đến tình trạng quá tải thông tin, gây khó khăn cho quá trình tìm kiếm, tổng hợp và xử lý dữ liệu. Tự động tóm tắt văn bản là giải pháp nhằm trích xuất các thông tin cốt lõi, phục vụ nhu cầu nắm bắt nội dung nhanh chóng của người sử dụng. Trong lĩnh vực an ninh quốc phòng, tóm tắt tin tức hỗ trợ cán bộ nghiệp vụ thu thập đầy đủ thông tin cần thiết, kịp thời theo dõi, đánh giá và xử lý nguồn tin.

Đối với tiếng Việt, các nghiên cứu xử lý ngôn ngữ tự nhiên thời điểm thực hiện luận án chủ yếu tập trung vào các bài toán nền tảng như tách từ, gán nhãn từ loại, xây dựng cây cú pháp hoặc bước đầu xây dựng mạng từ (WordNet). Những khoảng trống nghiên cứu chính bao gồm:

  • Chưa xác định đầy đủ các đặc trưng quan trọng của văn bản tiếng Việt cũng như mức độ ảnh hưởng của từng đặc trưng trong bài toán tóm tắt văn bản.
  • Hầu hết các phương pháp tóm tắt tiếng Việt trước đó chỉ sử dụng số lượng ít đặc trưng (thường từ 5 đặc trưng trở xuống) và gán trọng số theo kinh nghiệm hoặc thử nghiệm thủ công.
  • Chưa có kho ngữ liệu chuẩn, quy mô lớn, có chú giải phục vụ huấn luyện và đánh giá khách quan các thuật toán tóm tắt văn bản tiếng Việt.
  • Chưa có hệ thống tóm tắt văn bản tiếng Việt hoàn chỉnh được công bố rộng rãi để thử nghiệm và ứng dụng thực tế.

Mục tiêu nghiên cứu

Mục tiêu tổng quát của luận án là nghiên cứu các đặc trưng quan trọng của văn bản cho bài toán tóm tắt đơn văn bản tiếng Việt; từ đó đề xuất hai phương pháp tóm tắt văn bản tiếng Việt: phương pháp dựa trên bộ hệ số đặc trưng tối ưu bằng giải thuật phỏng sinh học và phương pháp dựa trên kỹ thuật bầu chọn (Voting) có học hệ số phương pháp.

Mục tiêu cụ thể được xác định gồm ba nội dung:

  1. Nghiên cứu các đặc trưng quan trọng của văn bản tiếng Việt, qua đó đề xuất lựa chọn tập đặc trưng đưa vào mô hình.
  2. Đề xuất phương pháp tóm tắt văn bản tiếng Việt dựa trên bộ hệ số đặc trưng văn bản, trong đó bộ hệ số được xác định bằng phương pháp học máy sử dụng giải thuật tối ưu phỏng sinh học.
  3. Đề xuất mô hình tóm tắt văn bản tiếng Việt sử dụng kỹ thuật Voting có hệ số phương pháp được xác định thông qua quá trình học văn bản tóm tắt mẫu bằng phương pháp học máy.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các phương pháp tóm tắt văn bản trên thế giới và trong nước; các phương pháp đánh giá tóm tắt văn bản; các đặc trưng văn bản tiếng Việt; các giải thuật tối ưu phỏng sinh học (giải thuật di truyền, giải thuật tối ưu đàn kiến); phương pháp bầu chọn Schulze; kho ngữ liệu huấn luyện và đánh giá tóm tắt văn bản.
  • Phạm vi nghiên cứu: Luận án tập trung nghiên cứu và đề xuất phương pháp nâng cao độ chính xác trong bài toán tóm tắt đơn văn bản tiếng Việt theo hướng trích rút (Extraction Summarization).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trên thế giới

Nghiên cứu tóm tắt văn bản tự động bắt đầu từ những năm 1950 với công trình của H. P. Luhn (1958) dựa trên tần suất từ, tiếp theo là các nghiên cứu của H. P. Edmundson (1969) và P. B. Baxendale (1958) bổ sung các đặc trưng vị trí câu, từ khóa tiêu đề. Các hướng tiếp cận chính trên thế giới bao gồm:

  • Phương pháp thống kê và phân loại Bayes: Dự án SUMMARIST của E. Hovy và C. Y. Lin (1998) kết hợp thống kê với WordNet; mô hình phân loại Bayes của J. Kupiec, J. Pedersen và F. Chen (1995) sử dụng tập đặc trưng vị trí đoạn, độ dài câu, từ viết hoa.
  • Phương pháp dựa trên kết nối văn bản: Sử dụng chuỗi từ vựng của R. Barzilay và M. Elhadad (1997), G. Hirst và D. St-Onge (1998); phương pháp dựa trên Lý thuyết cấu trúc tu từ (RST) của W. C. Mann và S. A. Thompson (1988), D. Marcu (2000).
  • Phương pháp dựa trên đồ thị: Ứng dụng thuật toán HITS của J. M. Kleinberg (1999) và PageRank của S. Brin và L. Page (1998) vào tóm tắt văn bản, tiêu biểu là TextRank của R. Mihalcea và P. Tarau (2004), LexRank của G. Erkan và D. R. Radev (2004).
  • Phương pháp học máy và tối ưu hóa: Sử dụng Naive Bayes, mô hình Markov ẩn (HMM - J. M. Conroy và D. P. O’leary, 2001), mô hình log-tuyến tính (M. Osborne, 2002), mạng nơ-ron, và các giải thuật phỏng sinh học như giải thuật di truyền (GA), lập trình di truyền (GP).
  • Phương pháp đại số tuyến tính: Phân tích ngữ nghĩa tiềm ẩn (LSA - S. Deerwester et al., 1990; Y. Gong và X. Liu, 2001) dựa trên phân tích giá trị đơn (SVD), phép nhân tử hóa ma trận không âm (NMF - D. D. Lee và H. S. Seung, 1999), khai triển ma trận nửa rời rạc (SDD).
  • Hướng tóm tắt tóm lược (Abstraction): Các nghiên cứu rút gọn câu, kết nối cụm từ của M. Banko et al. (2000), K. Knight và D. Marcu (2000), H. Jing (2000).
  • Kho ngữ liệu chuẩn quốc tế: Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST) xây dựng chuỗi dữ liệu DUC (DUC 2001 - DUC 2007) phục vụ đánh giá bài toán tóm tắt đơn văn bản và đa văn bản bằng độ đo ROUGE do C. Y. Lin đề xuất (2004).

Các nghiên cứu tóm tắt văn bản tiếng Việt

  • Lê Hà Thanh, Huỳnh Quyết Thắng, Lương Chi Mai (2005): Kết hợp tuyến tính 5 đặc trưng (từ tiêu đề, vị trí câu trong đoạn, danh từ, độ tương đồng giữa hai đoạn, TFxIPF) để tính trọng số câu và tìm hệ số qua thực nghiệm.
  • Đỗ Phúc, Hoàng Kiếm (2006): Sử dụng cây hậu tố tìm dãy từ phổ biến, kết hợp từ điển/WordNet tiếng Việt và kỹ thuật gom cụm câu để trích chọn ý chính.
  • Nguyễn Lê Minh, Akira Shimazu, Phan Xuân Hiếu, Hồ Tú Bảo, Susumu Horiguchi (2005): Ứng dụng máy vector hỗ trợ (SVM) trên tập đặc trưng vị trí câu, độ dài câu, từ liên quan tiêu đề, cụm từ gợi ý; thử nghiệm rút gọn câu bằng cây cú pháp.
  • Nguyễn Hoàng Tú Anh (2009): Mô hình hóa văn bản bằng đồ thị vô hướng, tính trọng số cạnh bằng độ đo Cosine và áp dụng thuật toán PageRank cải tiến.
  • Trương Quốc Định, Nguyễn Quang Dũng (2010): Đồ thị hóa văn bản và so sánh ba độ đo tương tự cạnh: khoảng cách Jaro, hệ số Jaccard và Cosine; kết luận hệ số Jaccard cho hiệu quả tốt hơn.
  • Nhóm Nguyễn Quang Uy (2008): Ứng dụng lập trình di truyền (GP) với 4 đặc trưng (vị trí đoạn, vị trí câu trong đoạn, độ dài câu, tần suất thực từ) học trên tập tóm tắt mẫu tỷ lệ 30%.
  • Đề tài KHCN cấp bộ "Nghiên cứu một số phương pháp tóm tắt văn bản tự động trên máy tính áp dụng cho tiếng Việt" (2012): Áp dụng PageRank cải tiến với đặc trưng TFxISF và trọng số từ tiêu đề; kết hợp luật diễn ngôn để rút gọn câu. Kết quả thử nghiệm tóm tắt trích rút trên tập dữ liệu của đề tài theo độ đo ROUGE-N được ghi nhận như sau:
Chỉ số ROUGE 1-gram (ROUGE-1) 2-gram (ROUGE-2) 3-gram (ROUGE-3) 4-gram (ROUGE-4)
Giá trị 0.5134 0.3110 0.2078 0.1456
  • Các nghiên cứu khác: Nguyễn Trọng Phúc và Lê Thanh Hương (2011) tiếp cận theo cấu trúc diễn ngôn (RST); Nguyễn Thị Thu Hà (2012) kết hợp lý thuyết tập mờ, mô hình chủ đề và trích rút rút gọn câu; Trần Mai Vũ (2014) nghiên cứu tóm tắt đa văn bản dựa trên LDA và đồ thị thực thể.

Khoảng trống luận án giải quyết

Luận án kế thừa các kết quả nghiên cứu trước, tập trung xử lý các hạn chế còn tồn đọng:

  1. Mở rộng khảo sát và xác lập tập 8 đặc trưng phù hợp với ngữ pháp và cấu trúc văn bản tiếng Việt.
  2. Thay thế việc gán trọng số thủ công bằng giải thuật học máy phỏng sinh học (GA và ACO) để tối ưu hóa bộ hệ số đặc trưng tự động.
  3. Đề xuất mô hình Voting Schulze có gán trọng số cho từng phương pháp tóm tắt thành phần nhằm kết hợp đa dạng các kỹ thuật trích xuất.
  4. Thiết lập quy trình chuẩn và xây dựng kho ngữ liệu tiếng Việt có chú giải cấu trúc hóa theo chuẩn XML phục vụ huấn luyện và đánh giá.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và đặc điểm tiếng Việt

Tiếng Việt thuộc loại hình ngôn ngữ không biến hình từ và có tính âm tiết tính (mỗi âm tiết phát âm tách rời và thể hiện bằng một chữ viết). Khoảng trắng không đóng vai trò phân tách ranh giới từ, dẫn đến hiện tượng nhập nhằng tách từ (ví dụ: "đón tiếp tân giám đốc", "ông già đi nhanh quá"). Vốn từ tiếng Việt chia thành thực từ (mang ý nghĩa từ vựng cụ thể: danh từ, động từ, tính từ, số từ, đại từ) và hư từ (phụ từ, quan hệ từ, tình thái từ, thán từ). Trong tóm tắt văn bản trích rút, việc loại bỏ hư từ và tính toán dựa trên thực từ là yếu tố bắt buộc.

Tập 8 đặc trưng văn bản tiếng Việt được luận án lựa chọn và chuẩn hóa:

  1. Vị trí câu ($f_1$): Đánh giá tầm quan trọng dựa trên vị trí câu trong đoạn văn và toàn bộ văn bản (ưu tiên câu đầu đoạn, câu cuối đoạn).
  2. Trọng số TFxISF ($f_2$): Tần suất xuất hiện của thực từ trong câu kết hợp với nghịch đảo tần suất câu chứa từ đó trong văn bản.
  3. Xác suất thực từ ($f_3$): Tỷ lệ xuất hiện của các thực từ có ý nghĩa trong câu so với tổng thể văn bản.
  4. Thực thể tên ($f_4$): Tần suất và mật độ các tên riêng (tên người, địa danh, tổ chức) xuất hiện trong câu.
  5. Dữ liệu số ($f_5$): Tần suất các số liệu thống kê, ngày tháng, định lượng xuất hiện trong câu.
  6. Độ tương tự với tiêu đề ($f_6$): Mức độ trùng khớp từ vựng giữa nội dung câu và tiêu đề văn bản.
  7. Câu trung tâm ($f_7$): Độ tương đồng của câu so với vector biểu diễn trung tâm của toàn bộ văn bản.
  8. Độ dài câu ($f_8$): Phân bố số lượng thực từ trong câu, loại bỏ các câu quá ngắn hoặc quá dài không mang cấu trúc thông tin chuẩn.

Các giải thuật tối ưu và kỹ thuật tính toán

  • Giải thuật di truyền (GA): Giải bài toán tìm bộ hệ số $k = (k_1, k_2, ..., k_n)$ sao cho hàm thích nghi $F(k)$ đạt cực đại. Cá thể biểu diễn dưới dạng vector số thực; áp dụng các toán tử chọn lọc (Roulette wheel, Tournament), lai ghép (crossover) và đột biến (mutation) qua số thế hệ $G_{max}$.
  • Giải thuật tối ưu đàn kiến (ACO): Áp dụng tìm kiếm tổ hợp trên không gian rời rạc với bước chia $h = 1/M$. Nồng độ vết mùi pheromone $r_{ij}$ và hàm heuristic $\eta_{ij} = 1/d_{ij}$ điều khiển xác suất lựa chọn cạnh của kiến theo công thức: $$p_{ij}^k = \frac{[r_{ij}]^\alpha [\eta_{ij}]^\beta}{\sum_{u \in N_i^k} [r_{iu}]^\alpha [\eta_{iu}]^\beta}$$ Quy tắc cập nhật vết mùi sau mỗi chu kỳ bao gồm lượng mùi bay hơi $\rho$ và lượng mùi bổ sung tỷ lệ với giá trị hàm mục tiêu $f(k)$: $$r_{ij}(t+1) = (1-\rho) r_{ij}(t) + \sum_{k=1}^{m_{ant}} \Delta r_{ij}^k(t)$$
  • Phương pháp bầu chọn Schulze: Xử lý danh sách câu được xếp hạng từ các phương pháp tóm tắt thành phần. Tính toán ma trận số lượng ưu tiên $d[V, W]$, xác định độ mạnh đường đi mạnh nhất $p[A, B]$ giữa các ứng viên câu, và tìm tập các câu chiến thắng thỏa mãn điều kiện $p[D, E] \ge p[E, D]$ với mọi ứng viên $E$.

Phương pháp đánh giá và nguồn dữ liệu

  • Độ đo đánh giá: Luận án sử dụng độ đo ROUGE-N ($N = 1, 2, 3, 4$) tính toán tỷ lệ trùng khớp n-gram giữa bản tóm tắt hệ thống ($S$) và tập bản tóm tắt lý tưởng do người tạo ($RSS$): $$\text{ROUGE-N} = \frac{\sum_{S \in RSS} \sum_{\text{n-gram} \in S} \text{Count}{\text{match}}(\text{n-gram})}{\sum{S \in RSS} \sum_{\text{n-gram} \in S} \text{Count}(\text{n-gram})}$$ Bên cạnh đó, luận án sử dụng độ đo đồng chọn (Precision, Recall, F-score), độ tương tự Cosine và chuỗi con chung dài nhất (LCS).
  • Nguồn dữ liệu thực nghiệm:
    1. Kho ngữ liệu ViEvTextSum: Do tác giả trực tiếp thu thập và tổ chức xây dựng, gồm các văn bản tiếng Việt thuộc nhiều lĩnh vực khác nhau, có bản tóm tắt mẫu của con người và được cấu trúc theo chuẩn XML.
    2. Kho ngữ liệu Corpus_LTH: Bộ ngữ liệu của đề tài cấp bộ trước đó, dùng để đối sánh độc lập.

Nội dung chính theo từng chương

Chương 1: Tổng quan về tóm tắt văn bản và tóm tắt văn bản tiếng Việt

Chương 1 hệ thống hóa cơ sở lý thuyết về bài toán tóm tắt văn bản tự động, phân tích ba giai đoạn chính của hệ thống tóm tắt: Phân tích (Analysis), Biến đổi (Transformation) và Tổng hợp (Synthesis). Luận án phân loại chi tiết các hệ thống theo kết quả đầu ra (trích rút, tóm lược), theo chức năng (chỉ thị, thông tin, đánh giá), theo nội dung (chung, hướng truy vấn), theo miền dữ liệu và theo số lượng văn bản đầu vào (đơn văn bản, đa văn bản).

Chương này phân tích bốn nhóm phương pháp đánh giá tóm tắt: đánh giá thủ công của chuyên gia ngôn ngữ, đánh giá đồng chọn (Precision, Recall, F-score, Relative Utility), đánh giá dựa trên nội dung (Cosine, LCS, BLEU, ROUGE) và đánh giá dựa trên tác vụ (phục hồi thông tin, trả lời câu hỏi, phân loại văn bản). Chương 1 cũng trình bày đặc trưng hình thái học tiếng Việt, phân loại thực từ - hư từ, hiện trạng nghiên cứu NLP trong nước (đề tài KC01.01/06-10, KC.20/11-15), phân tích nguyên lý giải thuật GA, ACO và phương pháp bầu chọn Schulze.

Chương 2: Tóm tắt văn bản tiếng Việt dựa trên bộ hệ số đặc trưng

Chương 2 trình bày mô hình tóm tắt văn bản tiếng Việt VTS_FC dựa trên sự kết hợp tuyến tính của tập 8 đặc trưng văn bản. Điểm trọng số của câu $s$ được tính theo công thức: $$\text{Score}(s) = \sum_{i=1}^{n} k_i \cdot f_i(s)$$ Trong đó $f_i(s)$ là giá trị của đặc trưng thứ $i$ trên câu $s$, và $k_i$ là hệ số trọng số tương ứng ($k_i \ge 0, \sum k_i = 1$).

Luận án thiết kế thuật toán học bộ hệ số $k$ tự động từ tập ngữ liệu huấn luyện có bản tóm tắt mẫu thông qua hai giải thuật tối ưu:

  1. Mô hình VTS_FC_GA: Mã hóa bộ hệ số thành nhiễm sắc thể thực, thiết lập hàm thích nghi dựa trên độ đo ROUGE so khớp giữa văn bản trích chọn và văn bản mẫu, vận hành qua các phép chọn lọc, lai ghép và đột biến để tìm bộ trọng số tối ưu.
  2. Mô hình VTS_FC_ACO: Rời rạc hóa không gian tìm kiếm trọng số với bước chia $h = 1/M$. Đàn kiến di chuyển qua các nút thành phần để xây dựng vector hệ số, cập nhật ma trận vết mùi pheromone dựa trên chất lượng bản tóm tắt đầu ra.

Kết quả thử nghiệm đối sánh cho thấy việc tối ưu hóa 8 đặc trưng bằng GA và ACO mang lại kết quả ROUGE cao hơn việc chỉ sử dụng 5 đặc trưng truyền thống hoặc gán hệ số đều. Thuật toán ACO cho độ hội tụ ổn định và điểm số ROUGE nhỉnh hơn GA trên các tập ngữ liệu thử nghiệm.

Chương 3: Tóm tắt văn bản tiếng Việt sử dụng kỹ thuật Voting

Chương 3 đề xuất mô hình tóm tắt đơn văn bản tiếng Việt dựa trên kỹ thuật Voting Schulze kết hợp học hệ số phương pháp. Mô hình tiếp nhận đầu ra của $m$ phương pháp tóm tắt thành phần khác nhau ($p_1, p_2, ..., p_m$). Mỗi phương pháp sinh ra một danh sách câu được xếp thứ tự ưu tiên dựa trên điểm số trọng số câu của phương pháp đó.

Nhận thấy mỗi phương pháp thành phần có độ chính xác và ưu thế khác nhau trên từng miền văn bản, luận án đưa vào khái niệm "hệ số phương pháp" $k_{p_j}$, tương ứng với số lượng lá phiếu giống nhau mà phương pháp $p_j$ được quyền bầu chọn. Bộ hệ số phương pháp $k_p = (k_{p_1}, k_{p_2}, ..., k_{p_m})$ được xác định tự động thông qua quá trình huấn luyện bằng giải thuật di truyền GA trên kho ngữ liệu mẫu.

Thuật toán Voting Schulze tổng hợp toàn bộ các lá phiếu có trọng số, xây dựng đồ thị tương quan cặp giữa các câu, tính toán ma trận độ mạnh đường đi $p[s_u, s_v]$ và xác định danh sách các câu chiến thắng để đưa vào văn bản tóm tắt theo tỷ lệ tóm tắt yêu cầu. Các thử nghiệm đối sánh trên hai kho ngữ liệu Corpus_LTH và ViEvTextSum chứng minh mô hình Voting có hệ số phương pháp đạt kết quả ROUGE cao hơn mô hình Voting không trọng số và vượt trội so với từng phương pháp thành phần hoạt động riêng lẻ.

Chương 4: Quy trình xây dựng kho ngữ liệu có chú giải cho bài toán tóm tắt văn bản tiếng Việt

Chương 4 đề xuất quy trình chuẩn gồm 4 giai đoạn để xây dựng kho ngữ liệu có chú giải phục vụ huấn luyện và đánh giá tóm tắt văn bản tiếng Việt:

  1. Thu thập văn bản: Thu thập tự động và bán tự động các văn bản từ các trang báo điện tử và cổng thông tin chính thống thuộc nhiều lĩnh vực (chính trị, kinh tế, xã hội, văn hóa, khoa học, quân sự).
  2. Xây dựng bản tóm tắt con người: Tổ chức đội ngũ cộng tác viên và chuyên gia ngôn ngữ thực hiện tóm tắt mẫu theo cả hai hướng trích rút và tóm lược, với các tỷ lệ rút gọn quy định (20%, 30%, 40%).
  3. Chú giải, cấu trúc hóa: Tiền xử lý tách từ, gán nhãn từ loại, xác định thực từ/hư từ, đánh dấu thực thể tên, gán nhãn vị trí câu và cấu trúc hóa toàn bộ văn bản gốc cùng các bản tóm tắt mẫu vào tệp dữ liệu chuẩn XML.
  4. Tổ chức quản lý và lưu trữ: Xây dựng cơ sở dữ liệu quản lý các bộ ngữ liệu, phân chia rõ ràng tập huấn luyện (training set) và tập kiểm thử (testing set).

Chương 4 giới thiệu chi tiết kho ngữ liệu ViEvTextSum được xây dựng theo quy trình trên, đồng thời trình bày các phương pháp đánh giá chất lượng kho ngữ liệu thông qua độ đo đồng xuất hiện thực từ và đánh giá thủ công của chuyên gia ngôn ngữ.

Kết quả và những đóng góp mới

Đóng góp về mặt lý luận và khoa học

  • Hệ thống hóa toàn diện cơ sở lý luận về bài toán tóm tắt văn bản tiếng Việt, làm rõ các đặc trưng hình thái, cú pháp và cấu trúc ngữ pháp ảnh hưởng đến việc trích rút thông tin.
  • Xác lập tập 8 đặc trưng định lượng phù hợp với văn bản tiếng Việt và đề xuất khung toán học kết hợp tuyến tính các đặc trưng có trọng số.
  • Thiết lập mô hình xác định trọng số đặc trưng tự động bằng hai giải thuật tối ưu phỏng sinh học GA và ACO, khắc phục nhược điểm gán trọng số chủ quan theo kinh nghiệm.
  • Đề xuất mô hình kết hợp đa phương pháp tóm tắt dựa trên giải thuật Voting Schulze có tích hợp hệ số trọng số của phương pháp được tối ưu hóa qua học máy.

Đóng góp về mặt thực tiễn

  • Xây dựng quy trình chuẩn và bộ ngữ liệu tiếng Việt có chú giải ViEvTextSum theo định dạng XML, phục vụ trực tiếp cho công tác nghiên cứu, huấn luyện và kiểm thử các thuật toán xử lý ngôn ngữ tự nhiên.
  • Cung cấp giải pháp kỹ thuật có khả năng ứng dụng trong các hệ thống thông tin tự động, hỗ trợ tổng hợp tin tức và khai thác dữ liệu văn bản tiếng Việt, phục vụ thiết thực cho các bài toán nghiệp vụ trong lĩnh vực an ninh quốc phòng.

Bảng tổng hợp các mô hình đề xuất trong luận án

Mô hình đề xuất Kỹ thuật cốt lõi Dữ liệu đầu vào Cơ chế tối ưu / Ra quyết định Kết quả đạt được
VTS_FC_GA Kết hợp tuyến tính đặc trưng Văn bản gốc, 8 đặc trưng văn bản Giải thuật di truyền (GA) học bộ hệ số đặc trưng $k_i$ Tối ưu hóa trọng số đặc trưng; cải thiện chỉ số ROUGE so với mô hình 5 đặc trưng
VTS_FC_ACO Kết hợp tuyến tính đặc trưng Văn bản gốc, 8 đặc trưng văn bản Giải thuật đàn kiến (ACO) tối ưu tổ hợp rời rạc bước $h=1/M$ Đạt độ hội tụ ổn định; cho kết quả ROUGE cao trên các lĩnh vực văn bản
Voting Schulze có trọng số Bầu chọn xếp hạng (Voting) Đầu ra của 5 phương pháp tóm tắt thành phần Học hệ số phương pháp bằng GA; tìm đường đi mạnh nhất $p[A, B]$ Điểm ROUGE vượt trội so với Voting không trọng số và các phương pháp đơn lẻ
Quy trình ViEvTextSum Cấu trúc hóa XML, gán nhãn ngôn ngữ Tin tức đa lĩnh vực từ các nguồn trực tuyến Chuyên gia tóm tắt mẫu; đánh giá đồng xuất hiện thực từ Xây dựng kho ngữ liệu chuẩn có chú giải cho tóm tắt tiếng Việt

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Phạm vi nghiên cứu chủ yếu tập trung vào bài toán tóm tắt đơn văn bản theo hướng trích rút câu, chưa đi sâu giải quyết bài toán tóm tắt tóm lược (sinh câu mới) do hạn chế của các công cụ phân tích cú pháp và ngữ nghĩa tiếng Việt tại thời điểm nghiên cứu.
  • Các mô hình tóm tắt phụ thuộc vào chất lượng của các công cụ tiền xử lý như tách từ, gán nhãn từ loại và nhận dạng thực thể tên; sai số ở các bước tiền xử lý có thể ảnh hưởng trực tiếp đến việc tính toán giá trị đặc trưng.

Hướng nghiên cứu tiếp theo

  • Mở rộng các mô hình đề xuất (VTS_FC và Voting Schulze) cho bài toán tóm tắt đa văn bản tiếng Việt.
  • Nghiên cứu kết hợp các cấu trúc diễn ngôn (RST) và mạng từ (WordNet tiếng Việt) để phát triển hướng tóm tắt tóm lược và rút gọn câu sau trích rút.
  • Nâng cấp quy mô và đa dạng hóa các miền dữ liệu cho kho ngữ liệu ViEvTextSum, bổ sung các tầng chú giải ngữ nghĩa sâu hơn.

Giá trị tham khảo

  • Nghiên cứu sinh, học viên cao học và sinh viên: Tài liệu cung cấp bức tranh tổng quan có hệ thống về bài toán tóm tắt văn bản, các phương pháp trích rút, các giải thuật tối ưu phỏng sinh học (GA, ACO) và phương pháp bầu chọn Schulze áp dụng trong xử lý ngôn ngữ tự nhiên.
  • Giảng viên và nhà nghiên cứu NLP tiếng Việt: Cung cấp phương pháp luận chuẩn xác về khảo sát đặc trưng văn bản tiếng Việt, thuật toán tối ưu hóa trọng số và quy trình xây dựng kho ngữ liệu chuẩn theo định dạng XML.
  • Kỹ sư phát triển phần mềm và cán bộ nghiệp vụ an ninh quốc phòng: Tham khảo kiến trúc mô hình và thuật toán để xây dựng các mô-đun tóm tắt tin tức tự động, hỗ trợ phân tích dữ liệu văn bản lớn trong các hệ thống thông tin thực tế.

Câu hỏi thường gặp

1. Luận án lựa chọn tập 8 đặc trưng văn bản tiếng Việt nào để đưa vào mô hình VTS_FC?

Tập 8 đặc trưng văn bản được luận án xác lập bao gồm: (1) Vị trí câu trong đoạn và văn bản, (2) Trọng số TFxISF của thực từ, (3) Xác suất thực từ, (4) Thực thể tên riêng, (5) Dữ liệu số, (6) Độ tương tự ngữ nghĩa giữa câu với tiêu đề, (7) Độ tương tự giữa câu với vector trung tâm văn bản, và (8) Độ dài câu tính theo số lượng thực từ.

2. Giải thuật tối ưu đàn kiến (ACO) được áp dụng để xác định hệ số đặc trưng như thế nào?

Bài toán xác định vector hệ số $k = (k_1, k_2, ..., k_8)$ được rời rạc hóa thành bài toán tìm đường đi tổ hợp trên đồ thị với bước chia $h = 1/M$. Mỗi con kiến xây dựng một bộ nghiệm $k$; chất lượng bản tóm tắt tạo ra từ bộ nghiệm được đánh giá qua hàm mục tiêu so khớp ROUGE. Nồng độ vết mùi pheromone $r_{ij}$ trên các nhánh lựa chọn được cập nhật và bay hơi theo tỷ lệ $\rho$, giúp đàn kiến hội tụ về bộ hệ số tối ưu.

3. Nguyên lý của phương pháp Voting Schulze áp dụng trong tóm tắt văn bản là gì?

Mỗi phương pháp tóm tắt thành phần đóng vai trò như một người bầu cử, sắp xếp các câu trong văn bản theo thứ tự ưu tiên giảm dần của điểm trọng số. Luận án gán hệ số phương pháp (học bằng GA) tương ứng với số lượng lá phiếu của phương pháp đó. Thuật toán Schulze tính toán ma trận tương quan ưu tiên cặp giữa các câu, xác định độ mạnh của đường đi mạnh nhất $p[s_u, s_v]$ giữa hai câu bất kỳ, và chọn ra các câu có thứ hạng bầu chọn cao nhất thỏa mãn điều kiện đường đi để đưa vào bản tóm tắt cuối cùng.

4. Kho ngữ liệu ViEvTextSum được xây dựng và tổ chức theo cấu trúc nào?

Kho ngữ liệu ViEvTextSum được xây dựng qua quy trình 4 bước (thu thập, tóm tắt thủ công, chú giải cấu trúc, lưu trữ quản lý). Dữ liệu được cấu trúc hóa theo chuẩn XML, lưu trữ đầy đủ thông tin về tiêu đề, các đoạn văn bản gốc, các câu đã được tách từ và gán nhãn từ loại, cùng các bản tóm tắt mẫu do con người lập ở các mức tỷ lệ rút gọn khác nhau.

Kết luận

Luận án tiến sĩ "Nghiên cứu, phát triển các kỹ thuật tự động tóm tắt văn bản tiếng Việt" của tác giả Nguyễn Nhật An đã giải quyết bài toán tóm tắt đơn văn bản tiếng Việt theo hướng trích rút bằng các mô hình toán học và học máy có cơ sở lý luận rõ ràng. Tác giả đã xác lập tập 8 đặc trưng văn bản tiếng Việt, đề xuất phương pháp tối ưu hóa trọng số đặc trưng bằng giải thuật di truyền (GA) và tối ưu đàn kiến (ACO), đồng thời phát triển mô hình kết hợp đa phương pháp dựa trên kỹ thuật bầu chọn Schulze có trọng số. Cùng với việc xây dựng quy trình và kho ngữ liệu có chú giải ViEvTextSum chuẩn XML, công trình đã đóng góp cả về mặt học thuật lẫn thực tiễn cho lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt và ứng dụng tổng hợp thông tin trong an ninh quốc phòng.