Tổng quan luận án
Tính cấp thiết và khoảng trống nghiên cứu
Tóm tắt văn bản tự động (Text Summarization) là một tác vụ trong lĩnh vực trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên, hướng đến mục tiêu giảm kích thước của văn bản đầu vào nhưng vẫn bảo tồn được nội dung cốt lõi (Nenkova, 2011). Tác vụ này có lịch sử phát triển từ thập niên 1950 (Luhn, 1958) và chủ yếu phân chia thành hai hướng tiếp cận chính: tóm tắt trích xuất (extractive summarization) và tóm tắt trừu tượng (abstractive summarization). Mặc dù đã có nhiều công trình nghiên cứu được triển khai cho cả hai hướng, chất lượng đầu ra của các hệ thống tóm tắt tự động vẫn chưa đạt mức thỏa mãn nhu cầu của người dùng, đặc biệt là ở hướng tóm tắt trừu tượng.
Trong bối cảnh truyền thông xã hội phát triển, độc giả có thể tự do bày tỏ quan điểm về các sự kiện và chủ đề được đề cập trong các bài báo web thông qua việc viết bình luận trực tiếp trên giao diện trang tin hoặc đăng tải các thông điệp liên quan trên mạng xã hội như Twitter, Facebook. Các nguồn thông tin này mang hai đặc tính:
- Phản ánh trực tiếp nội dung sự kiện được trình bày trong tài liệu gốc thông qua việc chia sẻ các từ ngữ và cụm từ nổi bật.
- Thể hiện các góc nhìn, quan điểm và phản ứng thực tế của độc giả.
Khoảng trống nghiên cứu được tác giả xác định là: các phương pháp tóm tắt văn bản truyền thống hầu như chỉ tập trung xử lý các thông tin nội tại bên trong tài liệu gốc mà bỏ qua nguồn thông tin xã hội bên ngoài. Ngược lại, các nghiên cứu bước đầu về khai thác ngữ cảnh xã hội cho tóm tắt văn bản web vẫn đang ở giai đoạn sơ khởi, đối mặt với các rào cản lớn: thiếu định nghĩa hình thức rõ ràng về ngữ cảnh xã hội, quan hệ giữa văn bản và ngữ cảnh xã hội mang tính ngầm ẩn phức tạp, dữ liệu mạng xã hội chứa nhiều yếu tố nhiễu, và sự thiếu vắng các bộ dữ liệu chuẩn có gán nhãn thủ công đồng thời cho cả câu văn bản lẫn bài đăng xã hội.
Mục tiêu và câu hỏi nghiên cứu
Mục tiêu nghiên cứu của luận án là nâng cao chất lượng tóm tắt trích xuất cho các tài liệu web đơn lẻ (single Web documents) thông qua việc khai thác ngữ cảnh xã hội đi kèm, phục vụ hai giai đoạn then chốt của hệ thống tóm tắt: ước lượng độ quan trọng của câu và lựa chọn câu tóm tắt.
Luận án đặt ra hai câu hỏi nghiên cứu:
- Câu hỏi 1 (Question 1): Liệu thông tin xã hội của một văn bản web có thể được sử dụng để làm giàu cho quá trình tóm tắt hay không? Sự làm giàu này được xem xét ở hai mức độ: (i) thông tin xã hội hỗ trợ bước tính điểm nhằm cải thiện việc ước lượng độ quan trọng của các câu trong văn bản, và (ii) các bài đăng xã hội được viết tốt có thể được trích xuất trực tiếp nhằm cung cấp thêm thông tin bổ sung vốn không xuất hiện trong tài liệu chính.
- Câu hỏi 2 (Question 2): Nếu thông tin xã hội của văn bản web có thể dùng để làm giàu tóm tắt, đâu là các phương pháp thích hợp để tích hợp nguồn thông tin này vào quy trình tóm tắt?
Để trả lời hai câu hỏi này, luận án xây dựng và kiểm chứng 4 giả thuyết nền tảng:
- Giả thuyết biểu diễn (Representation): Các câu tóm tắt của tài liệu chứa đựng các thông tin quan trọng của sự kiện.
- Giả thuyết phản ánh (Reflection): Các bài đăng tiêu biểu của độc giả phản ánh nội dung tài liệu chính cũng như các câu tóm tắt.
- Giả thuyết tạo lập (Generation): Độc giả có xu hướng mượn các từ ngữ hoặc cụm từ nổi bật xuất hiện trong tài liệu gốc để viết bình luận hoặc đăng tải bài viết xã hội.
- Giả thuyết chủ đề chung (Common topic): Các câu trong tài liệu và các bài đăng xã hội cùng chia sẻ các chủ đề ẩn chung, được biểu diễn dưới dạng các từ ngữ chung.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Quy trình và mô hình tóm tắt trích xuất văn bản web đơn lẻ kết hợp ngữ cảnh xã hội, bao gồm việc tính điểm độ quan trọng và lựa chọn đồng thời các câu trong bài báo cùng các bài đăng xã hội tiêu biểu (bình luận, tweet).
- Phạm vi không gian và ngữ liệu: Nghiên cứu thực hiện trên ngữ liệu tin tức tiếng Anh (thu thập từ Yahoo News, USAToday, CNN và Twitter) và ngữ liệu tin tức tiếng Việt (thu thập từ Vietnamnet).
- Phạm vi thời gian: Dữ liệu thử nghiệm được thu thập trong các mốc thời gian cụ thể: bộ dữ liệu SoLSCSum thu thập vào tháng 5/2015; bộ dữ liệu VSoLSCSum thu thập vào tháng 9/2016; bộ dữ liệu USAToday-CNN gồm 121 sự kiện kế thừa từ công trình năm 2014 của Wei và Gao.
Tổng quan tài liệu và vị trí của luận án
Các hướng nghiên cứu trước được luận án điểm lại
Luận án hệ thống hóa các công trình nghiên cứu tóm tắt văn bản theo hai nhóm lớn: phương pháp truyền thống (không sử dụng ngữ cảnh xã hội) và phương pháp khai thác thông tin xã hội.
Trong nhóm phương pháp truyền thống:
- Các nghiên cứu mở đầu từ Luhn (1958) trích xuất câu dựa trên tần số từ có ý nghĩa.
- Hướng tiếp cận học máy phân loại coi tóm tắt là bài toán phân loại nhị phân (gán nhãn 1 cho câu tóm tắt, 0 cho câu không tóm tắt): Yeh và cộng sự (2005) kết hợp đặc trưng vị trí với phân tích ngữ nghĩa tiềm ẩn (LSA); Shen và cộng sự (2007) ứng dụng trường ngẫu nhiên điều kiện (CRF) dựa trên các đặc trưng tuần tự và độ đo Cosine; Hong và Nenkova (2014) dùng mô hình hồi quy để ước lượng độ quan trọng của từ; Hong và cộng sự (2015) đề xuất khung tích hợp kết hợp nhiều hệ thống tóm tắt qua hai bước trích chọn ứng viên và kết hợp có giám sát.
- Hướng tiếp cận dựa trên đồ thị: LexRank của Erkan và Radev (2004) tính toán độ quan trọng của câu dựa trên khái niệm độ đo trung tâm eigenvector trên đồ thị tương đồng câu; TextRank của Mihalcea và Tarau (2004) áp dụng cấu trúc đồ thị từ khóa và đơn vị văn bản.
- Hướng tiếp cận tối ưu hóa toán học và quy hoạch nguyên tuyến tính (ILP): Lin và Bilmes (2011) xây dựng các hàm submodular đơn điệu không giảm nhằm đảm bảo tính đại diện và tính đa dạng; Woodsend và Lapata (2010, 2012) mô hình hóa câu thành các khái niệm cú pháp cây phụ thuộc và tối ưu hóa hàm mục tiêu ILP; Wang và cộng sự (2008) ứng dụng phân rã ma trận không âm đối xứng (SNMF) để phân cụm và trích chọn câu.
- Hướng tiếp cận học sâu (Deep Learning): Cao và cộng sự (2015b) dùng mạng nơ-ron đệ quy (Recursive Neural Networks) kết hợp ILP; Chopra và cộng sự (2016) đề xuất mô hình neural attention với mạng hồi quy (RNN); Cheng và Lapata (2016) xây dựng mô hình phân cấp kết hợp mạng tích chập (CNN) và RNN; Zhang và cộng sự (2017) dùng multiview CNN; Ren và cộng sự (2017) kết hợp Bi-CNN và LSTM.
Trong nhóm phương pháp khai thác thông tin xã hội và dữ liệu mở rộng:
- Khai thác siêu văn bản và hành vi tìm kiếm: Amitay và Paris (2000) phát triển InCommonSense trích xuất câu từ liên kết siêu văn bản; Delort và cộng sự (2003) đề xuất thuật toán tóm tắt ngữ cảnh dựa trên độ đo tương đồng; Sun và cộng sự (2005) khai thác dữ liệu click-through từ công cụ tìm kiếm kết hợp LSA.
- Khai thác nội dung do người dùng tạo (User-Generated Content): Delort (2006) phân cụm bình luận để chọn câu; Hu và cộng sự (2008) trích xuất câu đại diện cho chủ đề thảo luận blog qua đồ thị chủ đề, trích dẫn và nhắc đến; Lu và cộng sự (2009) tóm tắt các khía cạnh được đánh giá từ bình luận ngắn.
- Khai thác bài đăng mạng xã hội (Twitter, Facebook): Yang và cộng sự (2011) mô hình hóa quan hệ câu và tweet qua đồ thị nhân tố Dual-wing kết hợp SVM và CRF; Gao và cộng sự (2012) đề xuất mô hình khía cạnh chủ đề chéo (cc-TAM) và xếp hạng đồng thời (co-ranking) trên đồ thị hai phía; Wei và Gao (2014) dùng RankBoost với các nhóm đặc trưng cục bộ và đặc trưng chéo (cross features); Wei và Gao (2015) mở rộng LexRank thành mô hình bước ngẫu nhiên trên đồ thị không đồng nhất (HGRW); Li và cộng sự (2016) xây dựng mô hình ILP tích hợp bài đăng công khai từ Facebook.
Khoảng trống luận án lựa chọn giải quyết
Luận án xác định các hạn chế chính từ các công trình đi trước:
- Phần lớn các phương pháp tóm tắt văn bản bỏ qua hoàn toàn kênh dữ liệu từ độc giả mạng xã hội.
- Các nghiên cứu tóm tắt xã hội trước đây chỉ xem bài đăng xã hội là nguồn bổ trợ một chiều, chưa mô hình hóa sự củng cố lẫn nhau (mutual reinforcement) giữa tài liệu chính và ngữ cảnh xã hội trong một khuôn khổ thống nhất.
- Chưa khai thác được các nguồn thông tin thứ ba liên quan (third-party sources) như các bài báo tin tức liên quan cùng đưa tin về sự kiện.
- Thiếu hụt các bộ dữ liệu chuẩn có gán nhãn thủ công cho cả câu văn bản và bài đăng xã hội, đặc biệt là trên các ngôn ngữ ngoài tiếng Anh như tiếng Việt.
Cơ sở lý thuyết và phương pháp nghiên cứu
Khung lý thuyết và khái niệm hình thức
Luận án xây dựng khung hình thức hóa cho tác vụ tóm tắt ngữ cảnh xã hội:
- Cho một tài liệu web $d$ và tập người dùng đọc tài liệu đó $U = {u_1, u_2, ..., u_n}$. Thông tin xã hội của $d$ là tập hợp các bài đăng $UP_d$ do $U$ tạo ra, cụ thể là tập bình luận $C$ hoặc tập tweet $T$.
- Ngữ cảnh xã hội của tài liệu $d$ được ký hiệu là $C_d$, biểu diễn dưới dạng bộ ba $\langle S_d, UP_d, U_d \rangle$, trong đó $S_d$ là tập các câu trong tài liệu $d$, $UP_d$ là tập các bài đăng liên quan, và $U_d$ là tập người dùng tạo ra các bài đăng đó. Luận án lược bỏ yếu tố người dùng $U_d$ trong tính toán thực nghiệm do tính chất mạng xã hội ngầm ẩn phức tạp, tập trung xử lý cặp quan hệ giữa $S_d$ và $UP_d$.
- Nhiệm vụ tóm tắt là lựa chọn đồng thời tập các câu quan trọng từ $S_d$ và tập các bài đăng xã hội tiêu biểu từ $UP_d$.
Mô hình phân tách mối quan hệ thành:
- Quan hệ nội tại (Intra-relations): Biểu diễn mối liên hệ giữa các câu bên trong tài liệu gốc với nhau, hoặc giữa các bài đăng xã hội với nhau.
- Quan hệ liên kết (Inter-relations): Biểu diễn mối liên hệ tương hỗ xuyên kênh giữa một câu trong tài liệu và các bài đăng trong ngữ cảnh xã hội.
Phương pháp nghiên cứu thực nghiệm
Luận án áp dụng phương pháp nghiên cứu định lượng thực nghiệm, triển khai theo ba trục mô hình tính toán:
-
Nhóm mô hình không giám sát (Unsupervised Models):
- Mô hình xếp hạng dựa trên đặc trưng tương đồng (Similarity-based Ranking): Tính điểm câu thông qua hai biến thể: Score-based Inter-Wing (chỉ tính điểm tương tác liên kết ngoại tại) và Score-based Dual-Wing (kết hợp tuyến tính giữa điểm nội tại intra-score và điểm ngoại tại inter-score qua tham số cân bằng $\alpha$).
- Mô hình tương đồng ngữ nghĩa và Quy hoạch nguyên tuyến tính (Semantic Similarity and ILP): Sử dụng mô hình LDA (Latent Dirichlet Allocation) để sinh từ chủ đề, áp dụng Word2Vec tính độ tương đồng ngữ nghĩa cấp từ, và sử dụng quy hoạch nguyên tuyến tính (ILP) để tối ưu hóa hàm mục tiêu toàn cục kết hợp các ràng buộc về độ dài và độ trùng lặp.
- Mô hình phân rã đồng thời ma trận không âm (Non-negative Matrix Co-factorization - NMCF): Biểu diễn tài liệu và tập bình luận dưới dạng ma trận từ - câu và ma trận từ - bình luận, sau đó đồng tối ưu hóa việc phân rã hai ma trận này dựa trên giả định chia sẻ không gian chủ đề ẩn chung.
-
Nhóm mô hình có giám sát (Supervised Learning-to-Rank - L2R):
- Thiết kế hệ thống đặc trưng đa kênh gồm: đặc trưng cục bộ (local features), đặc trưng do người dùng tạo (user-generated features) và đặc trưng từ nguồn thứ ba (third-party features trích xuất từ các bài báo liên quan tìm kiếm được qua công cụ tìm kiếm).
- Áp dụng các thuật toán xếp hạng máy học: RankBoost, Coordinate Ascent kết hợp cơ chế bỏ phiếu đa số (Majority Voting) để tích hợp kết quả từ nhiều ranker khác nhau.
-
Nhóm mô hình học sâu (Deep Learning):
- Ứng dụng mạng nơ-ron tích chập (Convolutional Neural Networks - CNN) để tự động học các biểu diễn n-gram của câu, sau đó ghép nối với vector đặc trưng thủ công từ ngữ cảnh xã hội và phân loại thông qua hồi quy logistic.
Nguồn dữ liệu và công cụ thực nghiệm
Nghiên cứu sử dụng 3 bộ dữ liệu được gán nhãn thủ công:
- SoLSCSum: Gồm 157 bài báo tiếng Anh thu thập từ Yahoo News vào tháng 5/2015, chứa 3.462 câu và 25.633 bình luận. Hai người gán nhãn thực hiện gán nhãn nhị phân (tóm tắt/không tóm tắt) với chỉ số đồng thuận Cohen's Kappa đạt 0,5845 (độ tin cậy 95%). Bộ dữ liệu có 5.858 đơn vị tham chiếu trích xuất.
- USAToday-CNN: Kế thừa từ Wei và Gao (2014), gồm 121 sự kiện tin tức, 6.413 câu, 78.419 tweet và 455 câu highlight do con người viết tóm tắt. Lọc trùng lặp tweet bằng hệ số Simpson với ngưỡng $\text{simp}(A, B) \ge 0,7$. Gán nhãn yếu phục vụ huấn luyện với chỉ số Cohen's Kappa đạt 0,617.
- VSoLSCSum: Dữ liệu tiếng Việt gồm 141 bài báo thuộc 12 sự kiện tin tức thu thập từ Vietnamnet vào tháng 9/2016, gồm 3.760 câu và 6.926 bình luận. 5 người bản ngữ gán nhãn, áp dụng bỏ phiếu đa số ($\ge 3/5$) để chọn 2.448 đơn vị tham chiếu. Kiểm tra chéo độc lập đạt chỉ số Cohen's Kappa là 0,685.
Dữ liệu được chia thành 10-folds cho SoLSCSum và 5-folds cho USAToday-CNN, VSoLSCSum để kiểm định chéo.
Các công cụ và thư viện được sử dụng:
- Thư viện
pyrouge triển khai bộ công cụ chuẩn ROUGE-1.5.5 với tham số dòng lệnh: -c 95 -2 -1 -U -r 1000 -n 2 -w 1.2. Các độ đo chính là ROUGE-1, ROUGE-2 và ROUGE-W (sử dụng F-score).
- Gói
scipy thực hiện kiểm định t-test cặp (pairwise t-test) ở mức ý nghĩa $p < 0,05$ với bậc tự do $n - 1$.
LibSVM với nhân RBF, Mallet cho mô hình CRF, RankLib cho các thuật toán RankBoost và Coordinate Ascent.Word2Vec mô hình Skip-gram (kích thước cửa sổ 7, 300 chiều) huấn luyện trên tập ngữ liệu 1 tỷ từ của Google cho tiếng Anh và 4 triệu bài báo từ Báo Mới cho tiếng Việt.- Phần mềm
vnTokenizer dùng phân tích từ vựng tiếng Việt.
Nội dung chính theo từng chương
Chương 1: Introduction (Giới thiệu)
Chương 1 thiết lập bức tranh tổng thể về bài toán tóm tắt văn bản, phân tích sự dịch chuyển từ việc chỉ dựa vào văn bản đơn lẻ sang việc tận dụng nguồn dữ liệu tương tác xã hội. Tác giả trình bày sơ đồ quy trình tóm tắt gồm 3 bước: tiền xử lý dữ liệu, tóm tắt (tính điểm và lựa chọn), và hậu xử lý. Luận án chỉ ra hai câu hỏi nghiên cứu, bốn giả thuyết khoa học và làm rõ bốn đóng góp chính được triển khai qua 3 trục phương pháp luận tương ứng với các chương chuyên môn.
Chương 2: Preliminaries (Kiến thức nền tảng)
Chương 2 cung cấp nền tảng toán học, lịch sử và phương pháp đánh giá của tác vụ tóm tắt. Tác giả trình bày chi tiết về các kỳ đánh giá DUC (2001–2007) và TAC (2008–2009), công thức tính ROUGE-N dựa trên sự trùng lặp n-gram:
$$\text{ROUGE-N} = \frac{\sum_{S \in S_{\text{ref}}} \sum_{\text{gram}n \in S} \text{Count}{\text{match}}(\text{gram}n)}{\sum{S \in S_{\text{ref}}} \sum_{\text{gram}_n \in S} \text{Count}(\text{gram}_n)}$$
Chương này trình bày chi tiết quy trình kiểm định ý nghĩa thống kê bằng pairwise t-test và báo khoảng tin cậy 95%. Tác giả trình bày quy trình thu thập và công bố các chỉ số thống kê của 3 bộ dữ liệu thực nghiệm:
| Bộ dữ liệu |
Số bài báo (#doc) |
Số câu (#sentences) |
Số bài đăng xã hội (#user posts) |
Số tham chiếu (#refs) |
Kiểu tham chiếu |
Ngôn ngữ |
Nhãn thủ công |
| SoLSCSum |
157 |
3.462 |
25.633 |
5.858 |
Trích xuất (extraction) |
Tiếng Anh |
Có |
| VSoLSCSum |
141 |
3.760 |
6.926 |
2.448 |
Trích xuất (extraction) |
Tiếng Việt |
Có |
| USAToday-CNN |
121 |
6.413 |
78.419 |
455 |
Điểm nhấn (highlight) |
Tiếng Anh |
Có |
Phân tích hiện tượng trùng lặp từ vựng giữa câu và bài đăng xã hội được báo cáo chi tiết:
| Bộ dữ liệu |
Hiện tượng quan sát |
Tỷ lệ câu (%) |
Tỷ lệ bài đăng (%) |
% Trùng lặp token |
| SoLSCSum |
Trùng lặp token gốc câu/bình luận |
- |
- |
13,05% |
| SoLSCSum |
Trùng lặp token (đã loại bỏ stopword) |
- |
- |
8,21% |
| VSoLSCSum |
Trùng lặp token câu/bình luận |
- |
- |
37,82% |
| USAToday-CNN |
Trùng lặp token câu/tweet |
- |
- |
22,94% |
| USAToday-CNN |
Trùng lặp token (đã loại bỏ stopword) |
- |
- |
15,62% |
Các số liệu trên chứng minh cho giả thuyết tạo lập: độc giả mượn một lượng từ vựng đáng kể từ bài viết gốc để soạn thảo bình luận và tweet.
Chương 3: Modeling Intra-relations and Inter-relations (Mô hình hóa quan hệ nội tại và liên kết)
Chương 3 phát triển mô hình xếp hạng không giám sát tích hợp 16 đặc trưng đo độ tương đồng thuộc 3 nhóm:
- Nhóm khoảng cách (Distance): Manhattan, Euclidean, Cosine, Word matching (wmc), Dice, Jaccard, Levenshtein, JaroWinkler, Damerau-Levenshtein.
- Nhóm từ vựng (Lexical): Chuỗi con chung dài nhất (LSC), Hệ số Inclusion-exclusion, Tỷ lệ từ trùng lặp $p(s_i, t_j)$, $p(t_j, s_i)$, Hệ số trùng lặp từ (woc), Thuật toán Smith-Waterman.
- Nhóm ngữ nghĩa (Semantic): Độ tương đồng ngữ nghĩa cấp từ dựa trên Word2Vec.
Hai cơ chế tính điểm được triển khai: Score-based Inter-Wing tính điểm hoàn toàn từ ngữ cảnh đối ứng; Score-based Dual-Wing kết hợp tuyến tính qua tham số $\alpha \in [0, 1]$:
$$\text{score}(s_i) = (1 - \alpha) \cdot \text{intraScore}(s_i) + \alpha \cdot \text{interScore}(s_i)$$
Kết quả thực nghiệm so sánh với các phương pháp cơ sở (baselines) được ghi nhận trong bảng sau:
| Bộ dữ liệu |
Phương pháp |
Câu: RG-1 |
Câu: RG-2 |
Câu: RG-W |
Bài đăng: RG-1 |
Bài đăng: RG-2 |
Bài đăng: RG-W |
| SoLSCSum |
Lead-m |
0,435 |
0,165 |
0,153 |
- |
- |
- |
| SoLSCSum |
LexRank |
0,428 |
0,160 |
0,150 |
0,358 |
0,103 |
0,131 |
| SoLSCSum |
SVM* |
0,424 |
0,152 |
0,149 |
0,332 |
0,086 |
0,119 |
| SoLSCSum |
CRF* |
0,483 |
0,228 |
0,170 |
0,277 |
0,064 |
0,103 |
| SoLSCSum |
Inter-Wing |
0,438 |
0,170 |
0,155 |
0,351 |
0,098 |
0,128 |
| SoLSCSum |
Dual-Wing |
0,436 |
0,168 |
0,154 |
0,354 |
0,100 |
0,129 |
| USAToday-CNN |
Lead-m |
0,246 |
0,070 |
0,106 |
- |
- |
- |
| USAToday-CNN |
LexRank |
0,219 |
0,060 |
0,098 |
0,176 |
0,042 |
0,084 |
| USAToday-CNN |
SVM* |
0,239 |
0,070 |
0,106 |
0,188 |
0,047 |
0,089 |
| USAToday-CNN |
CRF* |
0,212 |
0,055 |
0,094 |
0,162 |
0,037 |
0,078 |
| USAToday-CNN |
Inter-Wing |
0,252 |
0,080 |
0,111 |
0,188 |
0,047 |
0,088 |
| USAToday-CNN |
Dual-Wing |
0,248 |
0,076 |
0,109 |
0,192 |
0,050 |
0,090 |
| VSoLSCSum |
Lead-m |
0,559 |
0,297 |
0,199 |
- |
- |
- |
| VSoLSCSum |
LexRank |
0,540 |
0,287 |
0,194 |
0,469 |
0,217 |
0,174 |
| VSoLSCSum |
SVM* |
0,509 |
0,244 |
0,183 |
0,453 |
0,196 |
0,169 |
| VSoLSCSum |
CRF* |
0,425 |
0,174 |
0,153 |
0,402 |
0,147 |
0,153 |
| VSoLSCSum |
Inter-Wing |
0,569 |
0,316 |
0,203 |
0,477 |
0,227 |
0,177 |
| VSoLSCSum |
Dual-Wing |
0,564 |
0,310 |
0,201 |
0,472 |
0,223 |
0,175 |
(Ghi chú: Giá trị in đậm là kết quả tốt nhất; phương pháp có dấu * là học có giám sát).
So sánh với các phương pháp tóm tắt ngữ cảnh xã hội chuyên biệt:
| Bộ dữ liệu |
Phương pháp |
Câu: RG-1 |
Câu: RG-2 |
Câu: RG-W |
Bài đăng: RG-1 |
Bài đăng: RG-2 |
Bài đăng: RG-W |
| SoLSCSum |
cc-TAM |
0,379 |
0,123 |
0,133 |
0,284 |
0,056 |
0,106 |
| SoLSCSum |
HGRW |
0,436 |
0,169 |
0,155 |
0,344 |
0,095 |
0,126 |
| SoLSCSum |
RB CCF* |
0,436 |
0,173 |
0,154 |
0,344 |
0,096 |
0,126 |
| SoLSCSum |
Inter-Wing |
0,438 |
0,170 |
0,155 |
0,351 |
0,098 |
0,128 |
| USAToday-CNN |
cc-TAM |
0,230 |
0,064 |
0,101 |
0,179 |
0,042 |
0,084 |
| USAToday-CNN |
HGRW |
0,253 |
0,081 |
0,111 |
0,188 |
0,048 |
0,088 |
| USAToday-CNN |
RB CCF* |
0,248 |
0,076 |
0,109 |
0,187 |
0,047 |
0,088 |
| USAToday-CNN |
Inter-Wing |
0,252 |
0,080 |
0,111 |
0,188 |
0,047 |
0,088 |
| VSoLSCSum |
cc-TAM |
0,457 |
0,199 |
0,166 |
0,398 |
0,147 |
0,152 |
| VSoLSCSum |
HGRW |
0,571 |
0,318 |
0,204 |
0,473 |
0,224 |
0,176 |
| VSoLSCSum |
RB CCF* |
0,551 |
0,296 |
0,197 |
0,464 |
0,214 |
0,173 |
| VSoLSCSum |
Inter-Wing |
0,569 |
0,316 |
0,203 |
0,477 |
0,227 |
0,177 |
Thực nghiệm phân tích đóng góp đặc trưng (leave-one-out) trên bộ dữ liệu USAToday-CNN xác định nhóm 6 đặc trưng có ảnh hưởng mạnh nhất:
| Xếp hạng |
Tài liệu: Đặc trưng |
TL: Giảm RG-1 |
TL: Giảm RG-2 |
Tweet: Đặc trưng |
Tweet: Giảm RG-1 |
Tweet: Giảm RG-2 |
| 1 |
Dice |
0,012 |
0,007 |
In-ex coeffi |
0,010 |
0,004 |
| 2 |
In-ex coeffi |
0,010 |
0,006 |
Levenshtein |
0,006 |
0,003 |
| 3 |
Jaccard |
0,009 |
0,006 |
JaroWinkler |
0,005 |
0,003 |
| 4 |
Manhattan |
0,004 |
0,003 |
Cosine |
0,005 |
0,003 |
| 5 |
Cosine |
0,004 |
0,002 |
Euclidean |
0,004 |
0,002 |
| 6 |
Euclidean |
0,004 |
0,002 |
Matching |
0,004 |
0,002 |
Phần thứ hai của Chương 3 mở rộng việc mô hình hóa quan hệ liên kết bằng tương đồng ngữ nghĩa từ (Word2Vec) kết hợp LDA sinh từ chủ đề, và áp dụng quy hoạch nguyên tuyến tính (ILP) đa mục tiêu để lựa chọn đồng thời câu và bình luận.
Chương 4: Exploiting Common Topics with Matrix Co-factorization (Khai thác chủ đề chung bằng phân rã đồng thời ma trận)
Chương 4 tiếp cận bài toán từ giả thuyết chủ đề chung: câu trong tài liệu và bài đăng xã hội cùng chia sẻ các chủ đề ẩn. Tác giả mở rộng phương pháp phân rã ma trận không âm NMF truyền thống thành mô hình đồng phân rã ma trận không âm (Non-negative Matrix Co-factorization - NMCF).
Mô hình thiết lập hai ma trận trọng số từ vựng: ma trận văn bản chính $X_1 \in \mathbb{R}{+}^{v_1 \times n_1}$ và ma trận bình luận xã hội $X_2 \in \mathbb{R}{+}^{v_2 \times n_2}$. Thuật toán tối ưu hóa liên hợp (joint optimization) phân rã đồng thời $X_1 \approx U_1 V_1^T$ và $X_2 \approx U_2 V_2^T$ với không gian $k$ chủ đề ẩn chung. Kết quả thực nghiệm cho thấy việc đồng tối ưu hóa mang lại điểm ROUGE cao hơn so với việc tối ưu hóa độc lập từng ma trận riêng lẻ, đồng thời kiểm định t-test cặp xác nhận sự cải thiện có ý nghĩa thống kê so với NMF truyền thống.
Chương 5: Learning to Summarize by Utilizing Social Context (Học để tóm tắt thông qua khai thác ngữ cảnh xã hội)
Chương 5 chuyển hướng sang tiếp cận học máy có giám sát (Learning-to-Rank - L2R). Tác giả mở rộng khái niệm ngữ cảnh xã hội từ hai kênh thành ba kênh:
- Đặc trưng cục bộ (Local features): Vị trí câu, độ dài câu, độ tương đồng với tiêu đề bài viết, tần số từ.
- Đặc trưng do người dùng tạo (User-generated features): Tương quan với các bình luận, tần suất xuất hiện trong thảo luận xã hội.
- Đặc trưng bên thứ ba (Third-party features): Trích xuất từ các bài báo tin tức liên quan tìm kiếm được từ các nguồn tin khác cùng viết về sự kiện.
Thực nghiệm với các thuật toán L2R (RankBoost, Coordinate Ascent) kết hợp kỹ thuật bỏ phiếu đa số (Majority Voting) từ các ranker cho thấy hiệu quả trích xuất được cải thiện rõ rệt so với việc chỉ sử dụng đặc trưng cục bộ. Phân tích loại trừ đặc trưng chứng minh rằng đặc trưng từ nguồn thứ ba đóng góp tích cực vào việc xác định các câu cốt lõi của sự kiện.
Chương 6: Summarization with Convolutional Neural Networks (Tóm tắt văn bản với mạng nơ-ron tích chập)
Chương 6 ứng dụng mô hình học sâu vào việc ước lượng độ quan trọng của câu. Luận án xây dựng kiến trúc dựa trên mạng tích chập CNN để mã hóa quan hệ giữa các n-gram trong câu, tạo ra vector biểu diễn câu tự động. Sau đó, mô hình ghép nối vector biểu diễn này với các vector đặc trưng thủ công từ ngữ cảnh xã hội (được phát triển ở Chương 5) và đưa qua hàm hồi quy logistic để xếp hạng câu.
Kết quả thực nghiệm trên các bộ dữ liệu cho thấy mô hình CNN tích hợp ngữ cảnh xã hội vượt qua các phương pháp cơ sở học sâu truyền thống chỉ sử dụng văn bản nội tại (như PriorSum). Phân tích chuyên sâu chỉ ra rằng việc kết hợp toàn bộ các đặc trưng thủ công có thể gây ra hiện tượng xung đột đặc trưng làm giảm hiệu năng, đòi hỏi phải có quy trình lựa chọn nhóm đặc trưng thích hợp.
Chương 7: Conclusion and Future Work (Kết luận và hướng nghiên cứu tương lai)
Chương 7 tổng hợp các phát hiện chính từ 6 mô hình đề xuất thuộc 3 hướng tiếp cận, khẳng định vai trò của thông tin xã hội trong việc nâng cao chất lượng tóm tắt văn bản web. Tác giả đồng thời nêu ra các định hướng mở rộng nghiên cứu trong tương lai.
Kết quả và những đóng góp mới
Đóng góp về mặt lý luận và khoa học
- Thiết lập khung hình thức hóa về tóm tắt ngữ cảnh xã hội: Đưa ra định nghĩa toán học rõ ràng về ngữ cảnh xã hội $C_d = \langle S_d, UP_d, U_d \rangle$ và chứng minh bằng thực nghiệm 4 giả thuyết khoa học: Biểu diễn, Phản ánh, Tạo lập và Chủ đề chung.
- Cơ chế củng cố lẫn nhau (Mutual Reinforcement): Thay vì chỉ sử dụng thông tin xã hội một chiều, luận án đề xuất cơ chế củng cố hai chiều: văn bản chính hỗ trợ xếp hạng bài đăng xã hội và bài đăng xã hội hỗ trợ xếp hạng câu trong văn bản chính, cho phép trích xuất đồng thời cả câu tóm tắt lẫn bài đăng tiêu biểu.
- Mở rộng ngữ cảnh xã hội sang nguồn thứ ba: Định nghĩa lại ngữ cảnh xã hội không chỉ bao gồm nội dung người dùng tạo mà còn bao hàm cả các bài báo liên quan từ bên thứ ba (third-party sources).
- Mô hình đồng tối ưu hóa ma trận (NMCF): Xây dựng thành công thuật toán phân rã đồng thời ma trận không âm để trích xuất không gian chủ đề ẩn chung giữa văn bản chính và bình luận xã hội.
Đóng góp về mặt thực tiễn
- Xây dựng và công bố 3 bộ dữ liệu chuẩn:
- Cung cấp bộ dữ liệu SoLSCSum (tiếng Anh) và VSoLSCSum (tiếng Việt) có gán nhãn thủ công cho cả câu và bình luận.
- Cung cấp bộ dữ liệu USAToday-CNN có gán nhãn yếu đã được lọc trùng lặp qua thuật toán Simpson.
- Phát triển hệ thống đặc trưng đa dạng: Xây dựng bộ 16 đặc trưng đo độ tương đồng (khoảng cách, từ vựng, ngữ nghĩa) và hệ thống đặc trưng phục vụ các thuật toán học xếp hạng (L2R).
- Giải pháp công nghệ tóm tắt đa ngữ: Chứng minh tính khả thi của mô hình đề xuất trên cả ngôn ngữ giàu tài nguyên (tiếng Anh) và ngôn ngữ có tài nguyên hạn chế hơn (tiếng Việt).
Hạn chế và hướng nghiên cứu tiếp
Hạn chế được văn bản nêu rõ
- Lược bỏ thông tin mạng lưới người dùng ($U_d$): Mặc dù được định nghĩa trong bộ ba ngữ cảnh xã hội, yếu tố người dùng $U_d$ (mối quan hệ follower-followee, hành vi retweeting, replying) bị loại bỏ trong tính toán thực nghiệm do tính phức tạp và ngầm ẩn của cấu trúc mạng xã hội.
- Nhiễu dữ liệu mạng xã hội: Các bài đăng xã hội (đặc biệt là tweet trên Twitter) chứa tỷ lệ nhiễu cao, độ dài ngắn, cấu trúc ngữ pháp tự do, gây khó khăn cho việc phân tích định tính và định lượng.
- Giới hạn ở tóm tắt trích xuất: Luận án mới chỉ giải quyết bài toán tóm tắt trích xuất (extractive), chưa mở rộng sang bài toán tóm tắt trừu tượng (abstractive summarization) kết hợp ngữ cảnh xã hội.
- Tách biệt quy trình đánh giá: Các thực nghiệm tính điểm ROUGE thực hiện đánh giá độc lập tập câu trích xuất và tập bài đăng xã hội trích xuất, chưa xây dựng cơ chế đánh giá tích hợp hỗn hợp cả hai thành phần trong một bản tóm tắt duy nhất.
Hướng nghiên cứu tiếp
- Tích hợp thông tin người dùng $U_d$ và các mối quan hệ đồ thị mạng xã hội động (retweet, reply) vào quá trình mô hình hóa.
- Mở rộng các mô hình học sâu từ trích xuất câu sang tóm tắt trừu tượng có điều kiện hóa trên ngữ cảnh xã hội.
- Nghiên cứu cơ chế tự động đánh giá và kết hợp đầu ra hỗn hợp giữa câu và bài đăng xã hội để tạo bản tóm tắt hoàn chỉnh cho độc giả.
Giá trị tham khảo
Luận án có giá trị tham khảo chuyên môn cho các đối tượng:
- Nghiên cứu sinh và học viên cao học ngành Khoa học thông tin, Khoa học máy tính, Trí tuệ nhân tạo và Xử lý ngôn ngữ tự nhiên:
- Chương 2 và Chương 3 là tài liệu tham khảo về quy trình thiết kế thực nghiệm tóm tắt văn bản, phương pháp xử lý kiểm định thống kê pairwise t-test, cùng bộ công thức 16 đặc trưng khoảng cách, từ vựng và ngữ nghĩa.
- Chương 4 cung cấp quy trình toán học về phân rã đồng thời ma trận không âm (NMCF) cho các bài toán đồng tối ưu hóa dữ liệu đa nguồn.
- Chương 5 và Chương 6 cung cấp kỹ thuật trích xuất đặc trưng cho học xếp hạng (L2R) và tích hợp đặc trưng miền nghiệp vụ vào mạng nơ-ron tích chập (CNN).
- Các nhóm nghiên cứu phát triển công cụ tổng hợp tin tức và giám sát truyền thông xã hội:
- Cung cấp phương pháp luận thực tế để khai thác bình luận độc giả và bài viết liên quan nhằm làm giàu các đoạn trích tóm tắt (snippets/highlights) trên các cổng thông tin điện tử hoặc công cụ tìm kiếm.
Câu hỏi thường gặp
1. Luận án định nghĩa ngữ cảnh xã hội (social context) của một văn bản web như thế nào?
Ngữ cảnh xã hội của văn bản web $d$ được hình thức hóa thành bộ ba $C_d = \langle S_d, UP_d, U_d \rangle$, trong đó $S_d$ là tập hợp các câu trong tài liệu $d$, $UP_d$ là tập hợp các bài đăng liên quan do người dùng tạo ra (bình luận trên Yahoo News hoặc tweet trên Twitter), và $U_d$ là tập hợp người dùng đọc và thảo luận về $d$. Trong triển khai tính toán, luận án tập trung khai thác tương tác giữa $S_d$ và $UP_d$, đồng thời mở rộng thêm kênh thông tin từ các bài báo của bên thứ ba (third-party sources) cùng viết về sự kiện.
2. Sự khác biệt cơ bản giữa cơ chế tính điểm Score-based Inter-Wing và Score-based Dual-Wing ở Chương 3 là gì?
Cơ chế Score-based Inter-Wing tính điểm độ quan trọng của một đơn vị văn bản (câu hoặc bài đăng xã hội) hoàn toàn dựa trên thông tin ngoại tại từ phía đối ứng (câu được tính điểm qua các bài đăng xã hội, bài đăng xã hội được tính điểm qua các câu trong văn bản). Ngược lại, Score-based Dual-Wing kết hợp cả thông tin nội tại (intra-relations giữa các câu với nhau) và thông tin ngoại tại (inter-relations giữa câu và bài đăng xã hội) thông qua phép kết hợp tuyến tính với tham số cân bằng $\alpha \in [0, 1]$:
$$\text{score}(s_i) = (1 - \alpha) \cdot \text{intraScore}(s_i) + \alpha \cdot \text{interScore}(s_i)$$
3. Tại sao phương pháp CRF đạt điểm ROUGE rất cao trên SoLSCSum nhưng lại hoạt động kém trên USAToday-CNN và VSoLSCSum?
Trên bộ dữ liệu SoLSCSum, CRF đạt kết quả cao đối với việc chọn câu (ROUGE-1 là 0,483; ROUGE-2 là 0,228) nhờ khả năng nắm bắt cấu trúc phụ thuộc tuần tự giữa các câu trong bài báo cùng hệ thống đặc trưng tuần tự phức tạp. Tuy nhiên, trên USAToday-CNN và VSoLSCSum, CRF hoạt động kém do thiếu vắng các công cụ ngôn ngữ để trích xuất đầy đủ các đặc trưng từ chỉ thị (indicator words) bằng tiếng Việt, và bản chất các đoạn highlight hoặc dữ liệu tweet không mang cấu trúc tuần tự tự nhiên như văn bản chuẩn. Hơn nữa, đối với tác vụ trích xuất bài đăng xã hội (bình luận, tweet), CRF đều đạt kết quả thấp nhất trên cả 3 bộ dữ liệu do bài đăng của người dùng không tồn tại cấu trúc chuỗi liên tục.
4. Bốn giả thuyết khoa học của luận án được kiểm chứng dựa trên cơ sở định lượng nào?
Tác giả kiểm chứng 4 giả thuyết thông qua phân tích định lượng trên 3 bộ dữ liệu:
- Giả thuyết biểu diễn: Xác thực qua việc các câu tham chiếu do người gán nhãn lựa chọn phản ánh chính xác các sự kiện cốt lõi.
- Giả thuyết phản ánh: Thể hiện qua việc các bài đăng xã hội tiêu biểu chia sẻ nội dung cốt lõi của sự kiện và đạt điểm ROUGE cao khi so khớp với tham chiếu.
- Giả thuyết tạo lập: Chứng minh trực tiếp bằng số liệu trùng lặp token vựng: tỷ lệ trùng lặp token câu/bình luận đạt 13,05% (8,21% khi bỏ stopword) trên SoLSCSum, 37,82% trên VSoLSCSum, và câu/tweet đạt 22,94% (15,62% khi bỏ stopword) trên USAToday-CNN.
- Giả thuyết chủ đề chung: Được khẳng định thông qua mô hình phân rã ma trận NMCF ở Chương 4 và mô hình tương đồng ngữ nghĩa LDA ở Chương 3, khi việc trích xuất dựa trên chủ đề ẩn chung cải thiện đáng kể điểm ROUGE.
5. Ba bộ dữ liệu thực nghiệm trong luận án được xây dựng và kiểm định độ tin cậy như thế nào?
Ba bộ dữ liệu gồm SoLSCSum (157 bài báo Yahoo News), USAToday-CNN (121 sự kiện tin tức) và VSoLSCSum (141 bài báo Vietnamnet). Độ tin cậy gán nhãn được kiểm định bằng chỉ số thỏa thuận liên người đánh giá Cohen's Kappa ở khoảng tin cậy 95%: SoLSCSum đạt Kappa = 0,5845 (mức thỏa thuận trung bình); USAToday-CNN đạt Kappa = 0,617 (mức thỏa thuận tốt); VSoLSCSum sử dụng 5 người gán nhãn theo cơ chế bỏ phiếu đa số ($\ge 3/5$) và kiểm tra chéo độc lập đạt Kappa = 0,685 (mức thỏa thuận tốt).
Kết luận
Luận án tiến sĩ của nghiên cứu sinh Nguyễn Minh Tiến đã giải quyết bài toán tóm tắt trích xuất văn bản web đơn lẻ thông qua việc khai thác ngữ cảnh xã hội từ góc độ củng cố lẫn nhau giữa văn bản và nội dung do người dùng tạo. Tác giả đã phát triển hệ thống 6 mô hình tính toán trải rộng trên ba hướng tiếp cận: xếp hạng không giám sát (dựa trên 16 đặc trưng tương đồng, tương đồng ngữ nghĩa ILP, và phân rã đồng thời ma trận NMCF), học xếp hạng có giám sát L2R đa kênh, và học sâu với mạng tích chập CNN. Các kết quả thực nghiệm trên 3 bộ dữ liệu tiếng Anh và tiếng Việt được kiểm định bằng ROUGE và pairwise t-test đã chứng minh việc tích hợp ngữ cảnh xã hội giúp cải thiện có ý nghĩa thống kê độ chính xác của bước ước lượng độ quan trọng của câu và chất lượng bản tóm tắt trích xuất.
