Luận Văn: Tóm Tắt Văn Bản Tiếng Việt Sử Dụng Phương Pháp TextRank

Luận văn TextRank tóm tắt văn bản tiếng Việt: Nghiên cứu phương pháp TextRank, ứng dụng hiệu quả trong việc rút gọn văn bản tự động. Xem chi tiết!

• Tác giả: Nguyễn Văn Nghiệp
• Người hướng dẫn: Pgs. Nguyễn Phương Thái
• Trường học: Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Tóm Tắt Văn Bản Tiếng Việt Sử Dụng Phương Pháp TextRank
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cảm ơn
• Lời cam đoan
• Danh sách ký hiệu, viết tắt
• Danh sách hình vẽ
• Danh sách bảng biểu
• 1. Chương 1: Tổng quan bài toán tóm tắt văn bản
• 1.1. Tổng quan tóm tắt văn bản. Một số khái niệm cơ bản
• 1.2. Phân loại bài toán tóm tắt
• 1.3. Tóm tắt theo trích xuất
• 1.4. Tóm tắt theo tóm lược
• 1.5. Đánh giá văn bản tóm tắt
• 2. Chương 2: Tóm tắt văn bản sử dụng TextRank
• 2.1. Mô hình TextRank
• 2.2. Đồ thị vô hướng
• 2.3. Đồ thị có trọng số
• 2.4. Đồ thị hoá văn bản
• 2.5. Sử dụng TextRank trích xuất từ khoá
• 2.6. Sử dụng TextRank trích rút câu
• 2.7. Tóm tắt văn bản Tiếng Việt sử dụng TextRank
• 2.7.1. Một số đặc trưng của Tiếng Việt
• 2.7.2. Xây dựng hệ thống tóm tắt tự động văn bản Tiếng Việt
• 3. Chương 3: Thực nghiệm và đánh giá kết quả
• 3.1. Dữ liệu thực nghiệm
• 3.2. Thực nghiệm và đánh giá với độ đo Cosine
• 3.3. Thực nghiệm và đánh giá với độ đo TextRank
• 3.4. Khuyến nghị tăng cường độ chất lượng văn bản tóm tắt
• 3.4.1. Khuyến nghị tăng cường độ liên quan giữa các câu
• 3.4.2. Khuyến nghị tăng cường chất lượng văn bản tóm tắt
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Về Tóm Tắt Văn Bản Tiếng Việt TextRank 50 60

Công nghệ thông tin phát triển mạnh mẽ kéo theo sự bùng nổ thông tin trên internet. Nhu cầu tóm tắt nội dung văn bản trở nên cấp thiết. Các phương pháp tóm tắt văn bản tự động được nghiên cứu và phát triển, bao gồm cả hình ảnh, âm thanh và video. Ví dụ điển hình là các máy tìm kiếm như Google. Các nhà khoa học và công ty quan tâm đến bài toán tóm tắt văn bản tự động, thể hiện qua các hội nghị như DUC, TAC, ACL. Có nhiều hệ thống tóm tắt văn bản được phát triển, ví dụ MEAD, LexRank, và chức năng tóm tắt trong Microsoft Word. Có hai cách tiếp cận chính: tóm tắt trích rút và tóm tắt sinh tạo. Tóm tắt trích rút chọn các thành phần của văn bản mà không chỉnh sửa, còn tóm tắt sinh tạo sử dụng ngữ nghĩa và kỹ thuật xử lý ngôn ngữ tự nhiên để tạo văn bản tóm tắt mới. TextRank có ưu điểm là không cần kiến thức sâu về ngôn ngữ, phù hợp với nhiều bài toán và ngôn ngữ. Chính vì thế, luận văn này tập trung vào "Tóm tắt văn bản Tiếng Việt sử dụng phương pháp TextRank". Cấu trúc luận văn bao gồm: Tổng quan về bài toán tóm tắt văn bản, Tóm tắt văn bản sử dụng TextRank, và Thực nghiệm và đánh giá kết quả.

1.1. Giới Thiệu Bài Toán Tóm Tắt Văn Bản Tự Động

Bài toán tóm tắt văn bản tự động là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên. Nó không chỉ dừng lại ở việc tóm tắt văn bản mà còn mở rộng ra các loại dữ liệu đa phương tiện như hình ảnh, âm thanh và video. Một ví dụ điển hình cho việc ứng dụng của tóm tắt dữ liệu tự động là các máy tìm kiếm, trong đó nổi bật nhất là bộ máy tìm kiếm Google.

1.2. So Sánh Tóm Tắt Trích Rút và Tóm Tắt Sinh Tạo

Tóm tắt trích rút chỉ sử dụng các thông tin có sẵn trong văn bản như: từ, cụm từ, câu để tạo ra văn bản tóm tắt. Đối với tóm tắt sinh tạo, cách tiếp cận này sử dụng ngữ nghĩa của các thành phần trong văn bản, các kỹ thuật trong xử lý ngôn ngữ tự nhiên để tạo ra văn bản tóm tắt gần giống với văn bản được tóm tắt bởi con người.

II. Thách Thức Khi Tóm Tắt Văn Bản Tiếng Việt Tự Động 50 60

Trong những năm 50 – 60 của thế kỷ XX, các nhà khoa học đã bắt đầu nghiên cứu về tóm tắt văn bản tự động. Luhn đã công bố bài báo trình bày phương pháp tóm tắt tự động sử dụng thống kê tần suất và phân bố từ trong văn bản. Edmundson đã công bố nghiên cứu về phương pháp mới trong việc tóm tắt tự động văn bản dựa trên vai trò, khoá, tiêu đề và vị trí. Các phương pháp tiếp cận của hai nhà khoa học trên đều thuộc dạng trích rút câu. Các nghiên cứu về tóm tắt văn bản tự động sau một thời gian không có nhiều tiến triển thì đến cuối thế kỷ XX, đầu thế kỷ XXI, với sự bùng nổ mạnh mẽ của CNTT và internet, lượng thông tin được con người sinh ra và lưu trữ vô cùng lớn. Vấn đề được đặt ra là làm sao để thu nhận thông tin quan trọng nhanh nhất, hiệu quả nhất. Theo Inderjeet Mani, tóm tắt văn bản tự động nhắm đến mục đích trích xuất nội dung và trình bày nội dung quan trọng nhất.

2.1. Các Khái Niệm Cơ Bản trong Tóm Tắt Văn Bản

Một số khái niệm cơ bản cần nắm vững bao gồm: Tỷ lệ nén (Compression Rate), Độ liên quan (Relevance) và Sự mạch lạc (Coherence).

2.2. Phân Loại Bài Toán Tóm Tắt Văn Bản Định Dạng Nội Dung

Có nhiều cách phân loại tóm tắt văn bản khác nhau, phụ thuộc vào cơ sở để tóm tắt. Việc phân loại phụ thuộc vào cơ sở để tóm tắt. Luận văn đề cập đến phân loại tóm tắt dựa trên các cơ sở: Định dạng văn bản, nội dung đầu vào; Định dạng, nội dung đầu ra và Mục đích tóm tắt. Ví dụ, tóm tắt đơn văn bản (single document summarization) và tóm tắt đa văn bản (multi-document summarization) có những đặc điểm và thách thức khác nhau.

III. TextRank Giải Thuật Tóm Tắt Văn Bản Hiệu Quả Nhất 50 60

Các thuật toán xếp hạng dựa trên đồ thị đã được đưa ra và sử dụng rộng rãi trong những năm trong thế kỷ XX. Trong số đó có thuật toán HITS của Kleinberg và PageRank của Google do hai nhà đồng sáng lập phát triển (Brin và Page). Chúng được sử dụng trong việc phân tích mạng xã hội, cấu trúc liên kết của các trang web, … Thực tế thì thuật toán xếp hạng dựa trên đồ thị xác định đỉnh nào là quan trọng trong đồ thị bằng cách tính toán đệ quy các thông tin trên toàn đồ thị thay vì chỉ sử dụng thông tin trên từng đỉnh. Quá trình này làm cho việc xác định mức độ quan trọng chính xác hơn. Từ cách tiếp cận trên, ta có thể áp dụng sang các đồ thị từ vựng và đồ thị ngữ nghĩa trích xuất được từ các tài liệu trong ngôn ngữ tự nhiên.

3.1. Tổng Quan về Mô Hình TextRank Bỏ Phiếu Đề Cử

TextRank là thuật toán xếp hạng dựa trên đồ thị sử dụng hai yếu tố: bỏ phiếu và đề cử. Mỗi liên kết đến đỉnh được coi là một phiếu bầu, và đỉnh có nhiều phiếu bầu hơn được coi là quan trọng hơn.

3.2. Đồ Thị Văn Bản trong TextRank Đỉnh Cạnh

Để áp dụng thuật toán TextRank, văn bản cần được đồ thị hóa. Việc đồ thị hóa văn bản là xây dựng một đồ thị để đại diện cho văn bản, các liên kết giữa các từ, cụm từ, câu hoặc các quan hệ ngữ nghĩa. Tùy thuộc vào các ứng dụng mà kích thước văn bản, các đặc trưng được đưa vào đồ thị là từ, cụm từ hay là cả câu.

3.3. Giải Thuật TextRank Các Bước Cơ Bản

Cách thức hoạt động của thuật toán xếp hạng dựa vào đồ thị áp dụng cho ngôn ngữ tự nhiên có các bước như sau: Xác định đơn vị văn bản dùng tốt nhất cho từng công việc, thêm vào là đỉnh của đồ thị; Xác định quan hệ kết nối giữa các đơn vị văn bản đã xác định ở trên để vẽ các cạnh giữa các đỉnh trong đồ thị. Các cạnh này có thể là vô hướng hoặc có hướng, có trọng số hoặc không trọng số; Lặp lại thuật toán xếp hạng cho đến khi độ tụ thoả mãn ngưỡng và Sắp xếp các đỉnh dựa trên các trọng số đã được tính toán trong bước trên.

IV. TextRank Trích Rút Từ Khóa Câu Hiệu Quả Cho SEO 50 60

Mục đích của việc trích xuất từ khoá tự động là tìm ra các cụm từ mô tả văn bản tốt nhất. Các từ khoá này có thể dùng cho nhiều mục đích khác nhau như phân lớp văn bản hay tóm tắt văn bản tự động. Trong các cách để trích xuất từ khoá thì cách trích xuất các từ khoá có tần suất xuất hiện nhiều nhất là dễ nhất. Mặc dù vậy thì kết quả của phương pháp này không tốt. Điều này đã thúc đẩy các nhà khoa học tìm ra các phương pháp khác hiệu quả hơn. Trong số đó có phương pháp sử dụng học máy có giám sát để trích xuất từ khoá dựa trên các đặc trưng về từ vựng và cú pháp.

4.1. Trích Xuất Từ Khóa Tự Động Bằng Thuật Toán TextRank

Đơn vị để xếp hạng trong thuật toán TextRank đối với quá trình trích xuất từ khoá là chuỗi của một hoặc nhiều từ vựng được rút ra từ văn bản và chúng là các đỉnh trong đồ thị. Bất kỳ quan hệ nào nữa 2 đơn vị từ vựng hữu ích cho việc đánh giá thì đều được thêm vào là cạnh của đồ thị. Ở đây ta sử dụng quan hệ đồng xuất hiện, nó được xác định bởi khoảng cách giữa các từ đồng xuất hiện trong văn bản; hai đỉnh được xác định là nối với nhau khi khoảng cách đồng xuất hiện của hai đơn vị từ vựng không quá N từ với 2 ≤ N ≤ 10.

4.2. Trích Rút Câu Tự Động Bằng TextRank Độ Tương Tự

Để trích rút được câu thì cần phải xếp hạng được các câu trong văn bản trên toàn đồ thị. Vì thế, mỗi câu sẽ là một đỉnh của đồ thị. Quan hệ đồng xuất hiện không thể áp dụng trong trường hợp này. Thay vào đó, một định nghĩa quan hệ khác được đưa ra để xác định kết nối giữa các câu với nhau. Đó là độ tương tự giữa các câu. Ở đây, độ tương tự được xác định bằng độ bao phủ về mặt nội dung giữa các câu với nhau.

V. Áp Dụng TextRank Để Tóm Tắt Văn Bản Tiếng Việt 50 60

Trước khi trình bày chi tiết quá trình tóm tắt văn bản Tiếng Việt sử dụng TextRank, tác giả xin trình bày về các đặc điểm của ngôn ngữ Tiếng Việt. Các đặc điểm của Tiếng Việt như sau: Tiếng Việt thuộc loại hình ngôn ngữ đơn lập không biến đổi hình thái. Về mặt ngữ âm, đơn vị trong Tiếng Việt là “tiếng” hoặc “chữ” tùy theo ngữ âm hoặc văn tự. Đơn vị để cấu tạo từ là “hình vị”. Đối với Tiếng Việt, “hình vị” chính là “tiếng”. Về ngữ pháp, “tiếng” cũng được xem là đơn vị cơ sở của ngữ pháp học. Từ trong Tiếng Việt không biết đổi hình thái trong khi sử dụng. Ví dụ: “Tôi yêu cô ấy” và “Cô ấy yêu tôi” là hai câu trong Tiếng Việt.

5.1. Đặc Trưng Ngôn Ngữ Tiếng Việt Ảnh Hưởng Đến TextRank

Các đặc điểm của Tiếng Việt như: là ngôn ngữ đơn lập, chữ viết ghi âm vị, hiện tượng đồng âm, không có dấu hiệu về hình thái để nhận biết từ loại và hiện tượng gần nghĩa, đồng nghĩa.

5.2. Xây Dựng Hệ Thống Tóm Tắt Tự Động Với TextRank

TextRank chỉ sử dụng các thông tin có trong văn bản tóm tắt mà không cần quan tâm để cấu trúc văn bản, các thành phần của văn phạm, ngôn ngữ. Để có cái nhìn khách quan và đánh giá chính xác hơn chất lượng văn bản tóm tắt được sinh ra bởi thuật toán TextRank, tác giả sẽ đưa vào một hệ thống đối sánh sử dụng độ đo mức độ tương tự giữa các câu sử dụng Cosine.

VI. Đánh Giá Hiệu Quả TextRank Với Dữ Liệu Tiếng Việt 50 60

Dữ liệu thực nghiệm tác giả sử dụng trong luận văn được lấy từ tập dữ liệu trong đề tài “Nghiên cứu một số phương pháp tóm tắt văn bản tự động trên máy tính áp dụng cho Tiếng Việt”, do TS. Lê Thanh Hương làm chủ nhiệm [Huo2014]. Tập dữ liệu bao gồm 205 văn bản được chia thành 06 chủ đề. Độ dài văn bản tóm tắt được giới hạn là 03 câu. Độ dài này gần tương đương với độ dài văn bản do người tóm tắt. Dữ liệu được đánh giá bằng phương pháp ROUGE.

6.1. Dữ Liệu Thực Nghiệm Phương Pháp Đánh Giá

Dữ liệu thực nghiệm được lấy từ đề tài nghiên cứu về tóm tắt văn bản tự động Tiếng Việt, bao gồm 205 văn bản chia thành 6 chủ đề. Đánh giá bằng phương pháp ROUGE, độ dài văn bản tóm tắt giới hạn 3 câu.

6.2. Kết Quả Thực Nghiệm Với Độ Đo Cosine TextRank

Độ đo tương đồng Cô-sin cho kết quả khả quan, các điểm đánh giá trên toàn bộ các tập dữ liệu đều trên 0,5. TextRank cho kết quả rất tốt, các điểm đánh giá trên toàn bộ các tập dữ liệu đều trên 0,7.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng Internet và công nghệ thông tin trong kỷ nguyên số đã dẫn đến tình trạng quá tải dữ liệu văn bản, khiến nhu cầu trích xuất thông tin cô đọng trở nên vô cùng cấp thiết. Nghiên cứu của tác giả Nguyễn Văn Nghiệp tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội năm 2015 đã tập trung giải quyết bài toán tóm tắt tự động văn bản tiếng Việt đơn nguồn thông qua mô hình đồ thị TextRank. Mục tiêu trọng tâm của luận văn là xây dựng một hệ thống tóm tắt trích rút hoàn toàn không giám sát, khắc phục rào cản phụ thuộc vào tập ngữ liệu gán nhãn thủ công vốn đòi hỏi chi phí chuyên gia rất lớn.

Phạm vi nghiên cứu được triển khai thực nghiệm trên tập ngữ liệu gồm 205 văn bản tiếng Việt thuộc 6 lĩnh vực thời sự và chuyên ngành. Luận văn đã thiết lập mô hình toán học dựa trên đồ thị liên kết câu, chuẩn hóa độ đo tương đồng và đối sánh hiệu năng toàn diện với phương pháp véc-tơ không gian truyền thống. Kết quả nghiên cứu mang ý nghĩa thực tiễn nổi bật khi thuật toán TextRank chứng minh khả năng cải thiện chất lượng tóm tắt vượt trội, tạo ra mức chênh lệch điểm số đánh giá lên đến 12,69% so với độ đo Cosine. Đồng thời, hệ thống đạt tốc độ xử lý ấn tượng với thời gian tính toán trung bình xấp xỉ 0,6 giây cho mỗi văn bản. Thành công này mở ra tiềm năng ứng dụng trực tiếp vào các cổng thông tin điện tử, công cụ tìm kiếm và hệ thống phân tích tin tức tự động theo thời gian thực tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết xếp hạng đồ thị toàn cục kế thừa từ thuật toán PageRank của Google và mô hình TextRank do Rada Mihalcea cùng Paul Tarau đề xuất. Thay vì chỉ phân tích tần suất từ đơn lẻ, mô hình xem xét toàn bộ tài liệu như một mạng lưới liên kết phức hợp, trong đó mỗi nút đại diện cho một đơn vị văn bản và mỗi cạnh biểu diễn mối liên hệ tương đồng nội dung. Nguyên lý bỏ phiếu đệ quy với hệ số suy giảm d bằng 0,85 cho phép truyền trọng số qua lại giữa các nút, giúp định vị chính xác những câu giữ vai trò trung tâm thông tin trong văn bản.

Bên cạnh đó, luận văn tích hợp lý thuyết xử lý ngôn ngữ tự nhiên đặc thù cho tiếng Việt – một ngôn ngữ đơn lập, không biến đổi hình thái và có ranh giới từ phức tạp. Các khái niệm nền tảng được định nghĩa chặt chẽ gồm: tóm tắt theo trích xuất (Extractive Summarization), đồ thị vô hướng có trọng số (Weighted Undirected Graph), độ tương tự câu chuẩn hóa logarit độ dài, tỷ lệ nén văn bản (Compression Rate) và thang đo chuẩn hóa đánh giá tự động ROUGE-1 dựa trên thống kê n-gram.

Phương pháp nghiên cứu

Quy trình thực nghiệm sử dụng tập dữ liệu chuẩn gồm 205 văn bản tin tức tiếng Việt thuộc đề tài khoa học cấp nhà nước do Tiến sĩ Lê Thanh Hương chủ nhiệm năm 2014. Phương pháp chọn mẫu phân tầng theo chủ đề được áp dụng để bao phủ 6 lĩnh vực đa dạng: Chính trị (31 văn bản), Khoa học công nghệ (28 văn bản), Khoa học - Giáo dục (22 văn bản), Kinh tế (53 văn bản), Văn hóa (34 văn bản) và Xã hội (35 văn bản). Lý do lựa chọn mô hình TextRank là tính năng học không giám sát (unsupervised learning), độc lập với tri thức ngôn ngữ sâu và có thể tự động thích ứng với cấu trúc cú pháp tiếng Việt mà không cần tập dữ liệu huấn luyện mẫu.

Toàn bộ hệ thống được lập trình trên nền tảng ngôn ngữ Python 3. Dữ liệu đầu vào trải qua quy trình chuẩn hóa ký tự, tách câu, tách từ tiếng Việt, sau đó tiến hành đồ thị hóa tài liệu. Thuật toán lặp đệ quy được thiết lập dừng khi đạt ngưỡng hội tụ 10^-5, thường hoàn tất sau 20 đến 30 chu kỳ tính toán. Quá trình đánh giá chất lượng văn bản tóm tắt có độ dài 3 câu được thực hiện tự động bằng bộ công cụ ROUGE với khoảng tin cậy 95%, so sánh trực tiếp giữa thuật toán TextRank và độ đo Cosine chuẩn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa thuật toán TextRank và phương pháp Cosine trên 205 văn bản đã ghi nhận các kết quả định lượng cụ thể:

• Hiệu năng vượt trội của TextRank: Thuật toán TextRank đạt điểm đánh giá độ hồi tưởng (Recall) rất cao, đều vượt ngưỡng 0,70 trên toàn bộ các tập dữ liệu, tạo ra khoảng cách chênh lệch chất lượng cao hơn tới 12,69% so với phương pháp Cosine truyền thống.
• Phân hóa chất lượng theo đặc trưng lĩnh vực: Tập dữ liệu thuộc chủ đề Khoa học - Giáo dục ghi nhận điểm Recall cao nhất đạt 0,76178, trong khi chủ đề Khoa học công nghệ đạt tốc độ trích xuất nhanh kỷ lục với thời gian xử lý chỉ 0,0360 giây mỗi văn bản. Ngược lại, tập dữ liệu Kinh tế gồm 53 văn bản cho điểm đánh giá thấp nhất ở cả hai phương pháp do đặc thù chứa nhiều thuật ngữ chuyên biệt và cấu trúc số liệu phức tạp.
• Tốc độ xử lý đáp ứng thời gian thực: Thời gian tóm tắt trung bình của hệ thống TextRank duy trì ở mức xấp xỉ 0,6 giây cho mỗi văn bản, trong đó hầu hết các bài báo dung lượng trung bình chỉ mất từ 0,03 đến 0,45 giây để trích xuất hoàn chỉnh.
• Mức độ bảo toàn thông tin cốt lõi: Với tỷ lệ nén cố định 3 câu (tương đương khoảng 30% đến 33% dung lượng tài liệu gốc), bản tóm tắt do TextRank sinh ra duy trì tính mạch lạc ngữ nghĩa cao và bao quát trọn vẹn thông điệp chính của văn bản nguồn.

Thảo luận kết quả

Sự vượt trội của TextRank bắt nguồn từ cơ chế tính toán trọng số đệ quy trên toàn bộ cấu trúc mạng lưới của tài liệu. Khác với độ đo Cosine vốn chỉ so khớp véc-tơ tuyến tính cục bộ giữa các cặp câu, TextRank tận dụng mối quan hệ kết nối bắc cầu. Một câu chứa hàm lượng thông tin cao sẽ nhận được nhiều "phiếu bầu" từ các câu khác, ngay cả khi số lượng từ trùng lặp không chiếm đa số.

Trên biểu đồ phân bố điểm đánh giá và các bảng đối sánh hiệu năng, dữ liệu cho thấy đường cong hội tụ của thuật toán đạt trạng thái ổn định rất nhanh sau khoảng 20 đến 30 vòng lặp với ngưỡng dừng 10^-5. Tuy nhiên, nghiên cứu cũng chỉ ra một số hạn chế nội tại: thuật toán có xu hướng ưu tiên các câu dài do độ tương đồng xác suất cao hơn, đồng thời sự xuất hiện của các từ nối hay hư từ tiếng Việt chưa được loại bỏ triệt để có thể gây nhiễu trọng số cạnh đồ thị.

Đề xuất và khuyến nghị

Dựa trên các phân tích thực nghiệm, luận văn đưa ra 4 nhóm giải pháp cụ thể nhằm tối ưu hóa chất lượng hệ thống tóm tắt văn bản tiếng Việt:

• Tích hợp bộ lọc từ loại và phân tích cú pháp chuyên sâu: Các nhóm nghiên cứu và phát triển phần mềm xử lý ngôn ngữ tự nhiên cần lập trình bổ sung mô-đun gán nhãn từ loại (POS tagging), ưu tiên lọc các cụm danh từ và động từ chính, nhằm loại bỏ hư từ gây nhiễu và tăng độ chính xác trích xuất thêm 10% đến 15% trong vòng 6 tháng tới.
• Kết hợp trọng số vị trí và đặc trưng văn bản báo chí: Kỹ sư hệ thống nên cấu hình thuật toán gán thêm trọng số ưu tiên cho câu tiêu đề, câu mở đầu đoạn văn và câu kết luận, hướng tới mục tiêu nâng điểm F-score tổng thể vượt ngưỡng 0,80 trong giai đoạn triển khai tiếp theo.
• Mở rộng thuật toán cho bài toán tóm tắt đa văn bản: Các cơ quan báo chí và trung tâm xử lý dữ liệu truyền thông cần đầu tư ứng dụng mô hình TextRank mở rộng để gom cụm và tóm tắt tự động hàng trăm bài báo cùng sự kiện với độ trễ xử lý dưới 1 giây trong vòng 12 tháng.
• Phát triển giao diện tùy biến tỷ lệ nén linh hoạt: Doanh nghiệp công nghệ cần hoàn thiện giao diện người dùng cho phép tùy chỉnh độ dài bản tóm tắt từ 20% đến 50% dung lượng văn bản gốc, đáp ứng đa dạng mục đích tra cứu trên thiết bị di động trong quý tới.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng thực tiễn cao cho nhiều nhóm đối tượng:

• Học viên cao học và nghiên cứu sinh ngành Hệ thống thông tin, Khoa học máy tính: Tiếp cận phương pháp luận chuẩn mực về mô hình hóa đồ thị văn bản, kỹ thuật chuẩn hóa độ tương đồng và quy trình thực nghiệm ROUGE.
• Kỹ sư phát triển phần mềm và chuyên gia Trí tuệ nhân tạo (NLP): Sử dụng làm tài liệu tham khảo trực tiếp để xây dựng kiến trúc mã nguồn Python, tối ưu thuật toán đệ quy cho các sản phẩm phân tích ngữ nghĩa tiếng Việt.
• Cơ quan báo chí, truyền thông số và cổng thông tin điện tử: Ứng dụng giải pháp tóm tắt tin tức tự động nhằm tinh gọn quy trình sản xuất nội dung, giảm thiểu 80% thời gian biên tập tóm tắt thủ công của phóng viên.
• Chuyên gia quản trị tri thức và lưu trữ dữ liệu tại các tổ chức: Xây dựng công cụ lập chỉ mục tự động, trích xuất thông điệp chính từ hàng nghìn báo cáo hành chính và tài liệu lưu trữ nội bộ.

Câu hỏi thường gặp

Thuật toán TextRank khác biệt như thế nào so với phương pháp tính độ tương đồng Cosine truyền thống? Độ đo Cosine chỉ so khớp véc-tơ cục bộ giữa hai câu độc lập, trong khi TextRank thiết lập một đồ thị mạng lưới toàn cục. Trọng số của mỗi câu trong TextRank được tính toán đệ quy dựa trên toàn bộ liên kết của tất cả các câu khác trong văn bản, giúp phát hiện chính xác câu chủ đề mang tính đại diện cao nhất.

Tại sao TextRank không cần dữ liệu huấn luyện có giám sát mà vẫn đạt hiệu quả cao? TextRank hoạt động dựa trên cấu trúc liên kết nội tại của chính văn bản đầu vào. Thuật toán xem mỗi câu là một nút và sự trùng lặp từ vựng là một phiếu bầu. Nhờ nguyên lý xếp hạng đồ thị đệ quy, hệ thống tự động xác định các nút quan trọng mà không cần học từ các tập dữ liệu gán nhãn trước đó.

Thời gian xử lý của hệ thống có đáp ứng được yêu cầu triển khai thời gian thực không? Thực nghiệm trên 205 văn bản cho thấy thời gian xử lý trung bình chỉ khoảng 0,6 giây mỗi văn bản. Với các bài báo có độ dài thông thường, thời gian trích xuất chỉ dao động từ 0,03 đến 0,45 giây, hoàn toàn đáp ứng tốt yêu cầu xử lý dữ liệu trực tuyến trên các hệ thống tin tức số.

Thách thức lớn nhất khi áp dụng TextRank cho tiếng Việt là gì? Thách thức lớn nhất nằm ở hiện tượng đa nghĩa, từ đồng âm và cấu trúc từ ghép đặc trưng của tiếng Việt. Nếu khâu tiền xử lý tách từ không chuẩn xác hoặc không loại bỏ tốt các từ dừng, trọng số kết nối giữa các câu dài sẽ bị thổi phồng, làm giảm độ chính xác của bản tóm tắt.

Tỷ lệ nén văn bản tối ưu được xác định trong nghiên cứu là bao nhiêu? Nghiên cứu áp dụng độ dài tóm tắt chuẩn là 3 câu đối với các văn bản báo chí mẫu, tương đương tỷ lệ nén khoảng 30% đến 33% độ dài gốc. Tỷ lệ này được chứng minh là đảm bảo sự cân bằng tối ưu giữa việc cô đọng dung lượng và bảo toàn đầy đủ ngữ nghĩa thông điệp.

Kết luận

• Luận văn đã làm chủ và ứng dụng thành công thuật toán xếp hạng đồ thị TextRank vào bài toán tóm tắt trích rút văn bản tiếng Việt đơn nguồn hoàn toàn tự động.
• Hệ thống chứng minh tính ưu việt rõ rệt khi tạo ra mức tăng trưởng chất lượng tóm tắt lên đến 12,69% so với phương pháp so khớp Cosine truyền thống.
• Kết quả thực nghiệm trên 205 văn bản thuộc 6 chủ đề khẳng định điểm Recall của TextRank luôn vượt mức 0,70 cùng thời gian xử lý trung bình xấp xỉ 0,6 giây mỗi tài liệu.
• Đóng góp khoa học cốt lõi của công trình là mô hình hóa thành công độ tương đồng câu tiếng Việt chuẩn hóa logarit trên cấu trúc đồ thị vô hướng có trọng số.
• Các đơn vị nghiên cứu và phát triển công nghệ có thể ứng dụng ngay nền tảng mã nguồn Python này để tích hợp vào các hệ thống quản trị tri thức và máy tìm kiếm thông minh trong lộ trình 6 tháng tới.

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan bài toán tóm tắt văn bản 1. Tổng quan tóm tắt văn bản Trong những năm thập niên 50 – 60 của thế kỷ XX, các nhà khoa học đã bắt đầu nghiên cứu về tóm tắt văn bản tự động. Luhn đã công bố bài báo trình bày phương pháp tóm tắt tự động sử dụng thống kê tần suất và phân bố từ trong văn bản. Edmundson đã công bố nghiên cứu về phương pháp mới trong việc tóm tắt tự động văn bản.

Phương pháp này dựa trên tổng hợp của bốn thành phần: vai trò, khoá, tiêu đề và vị trí. Các phương pháp tiếp cận của hai nhà khoa học trên đều thuộc dạng trích rút câu. Các nghiên cứu về tóm tắt văn bản tự động sau một thời gian không có nhiều tiến triển thì đến cuối thế kỷ XX, đầu thế kỷ XXI, với sự bùng nổ mạnh mẽ của CNTT và internet, lượng thông tin được con người sinh ra và lưu trữ vô cùng lớn. Vấn đề được đặt ra là làm sao để thu nhận thông tin quan trọng nhanh nhất, hiệu quả nhất.

Từ đó, bài toán tóm tắt văn bản trở nên cấp thiết và được quan tâm hơn đúng với tầm quan trọng của nó. Theo Inderjeet Mani, tóm tắt văn bản tự động nhắm đến mục đích: “Tóm tắt văn bản tự động nhằm mục đích trích xuất nội dung từ một nguồn thông tin và trình bày các nội dung quan trọng nhất cho người sử dụng theo một khuôn dạng súc tích và gây cảm xúc đối với người sử dụng hoặc một chương trình cần đến”. Kết quả của quá trình tóm tắt văn bản tự động thường không cho kết quả chất lượng như văn bản tóm tắt bởi con người do bị giới hạn bởi nhiều yếu tố. Chúng ta rất khó khăn để nâng cao chất lượng văn bản tóm tắt tự động mà không bị giới hạn bởi miền ứng dụng.

Vì vậy, trong tóm tắt văn bản tự động, các hướng giải quyết thường hướng đến các bài toán cụ thể với một phương pháp cụ thể. TIEU LUAN MOI download : skknchat@gmail. Một số khái niệm cơ bản  Tỷ lệ nén (Compression Rate): là độ đo giữa thông tin văn bản tóm tắt và văn bản gốc được tính bằng công thức: 𝑆𝑢𝑚𝑚𝑎𝑟𝑦𝐿𝑒𝑛𝑔𝑡ℎ 𝐶𝑜𝑚𝑝𝑟𝑒𝑠𝑠𝑖𝑜𝑛𝑅𝑎𝑡𝑒 = 𝑆𝑜𝑢𝑟𝑐𝑒𝐿𝑒𝑛𝑔𝑡ℎ Trong đó:  SummaryLength: Độ dài văn bản tóm tắt  SourceLength: Độ dài văn bản gốc  Độ liên quan (Relevance): là độ đo cho mức độn quan trọng của thông tin mà văn bản tóm tắt có được so với văn bản gốc.  Sự mạch lạc (Coherence): là thước đo cho sự mạch lạc, tuân theo thể thống nhất của văn bản, không có sự trung lặp các thành phần.

Phân loại bài toán tóm tắt Hiện tại có nhiều cách phân loại tóm tắt văn bản khác nhau, việc phân loại phụ thuộc vào cơ sở để tóm tắt1. Luận văn đề cập đến phân loại tóm tắt dựa trên các cơ sở: - Định dạng văn bản, nội dung đầu vào - Định dạng, nội dung đầu ra - Mục đích tóm tắt Chi tiết các phân loại dựa trên định dạng, nội dung đâu vào như sau:  Kiểu văn bản (bài báo, bản tin, thư, báo cáo. Với cách phân loại này, tóm tắt văn bản là bài báo sẽ khác với tóm tắt thư, tóm tắt báo cáo khoa học do những đặc trưng văn bản quy định. 1 Trần Mai Vũ (2009), Tóm tắt đa văn bản dựa vào trích xuất câu, Luận văn thạc sĩ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, 2009 TIEU LUAN MOI download : [e-mail] 5  Định dạng văn bản: dựa vào từng định dạng văn bản khác nhau, tóm tắt cũng chia ra thành các loại khác nhau như: tóm tắt văn bản không theo cấu trúc nhất định và tóm tắt văn bản có cấu trúc.

Đối văn bản có cấu trúc, tóm tắt văn bản thường sử dụng một mô hình học dựa vào mẫu cấu trúc đã xây dựng từ trước để tiến hành tóm tắt.  Số lượng dữ liệu đầu vào: Tóm tắt đơn văn bản khi đầu vào chỉ là một văn bản đơn, trong khi đó đầu vào của tóm tắt đa văn bản là một tập các tài liệu có liên quan đến nhau như: các tin tức có liên quan đến cùng một sự kiện, các trang web cùng chủ đề hoặc là cụm dữ liệu được trả về từ quá trình phân cụm.  Miền dữ liệu: tùy theo miền của dữ liệu về cụ thể về một lĩnh vực nào đó, ví dụ như: y tế, giáo dục. hay miền dữ liệu tổng quát, có thể chia tóm tắt ra thành từng loại tương ứng.

 Tóm tắt trên cơ sở mục đích thực chất là làm rõ cách tóm tắt, mục đích tóm tắt là gì, tóm tắt phục vụ đối tượng nào … ◦ Nếu phụ thuộc vào đối tượng đọc tóm tắt thì tóm tắt cho chuyên gia khác cách tóm tắt cho các đối tượng đọc thông thường. ◦ Tóm tắt sử dụng trong tìm kiếm thông tin (IR) sẽ khác với tóm tắt phục vụ cho việc sắp xếp. ◦ Dựa trên mục đích tóm tắt, còn có thể chia ra thành tóm tắt chỉ thị và tóm tắt thông tin. Tóm tắt chỉ thị chỉ ra loại của thông tin, ví dụ như là loại văn bản chỉ thị “tuyệt mật”.

Còn tóm tắt thông tin chỉ ra nội dung của thông tin. ◦ Tóm tắt trên cơ sở truy vấn (Query-based) hay tóm tắt chung. Tóm tắt chung có mục đích chính là tìm ra đoạn tóm tắt cho toàn bộ văn bản mà nội dung của đoạn văn bản sẽ bao quát toàn bộ nội dung của văn bản đó. Tóm tắt trên cơ sở truy vấn thì nội dung của văn bản tóm tắt sẽ dựa trên truy vấn của người dùng hay chương trình đưa vào, loại tóm TIEU LUAN MOI download : [e-mail] 6 tắt này thường được sử dụng trong quá trình tóm tắt các kết quả trả về từ máy tìm kiếm.

Tóm tắt trên cơ sở đầu ra cũng có nhiều cách phân loại.  Dựa vào ngôn ngữ: Tóm tắt cũng có thể phân loại dựa vào khả năng tóm tắt các loại ngôn ngữ: ◦ Tóm tắt đơn ngôn ngữ (Monolingual): hệ thống có thể tóm tắt chỉ một loại ngôn ngữ nhất định như: tiếng Việt hay tiếng Anh… ◦ Tóm tắt đa ngôn ngữ (Multilingual): hệ thống có khả năng tóm tắt nhiều loại văn bản của các ngôn ngữ khác nhau, tuy nhiên tương ứng với văn bản đầu vào là ngôn ngữ gì thì văn bản đầu ra cũng là ngôn ngữ tương ứng. ◦ Tóm tắt xuyên ngôn ngữ (Crosslingual): hệ thống có khả năng đưa ra các văn bản đầu ra có ngôn ngữ khác với ngôn ngữ của văn bản đầu vào.  Dựa vào định dạng đầu ra của kết quả tóm tắt: như bảng, đoạn, từ khóa.

Ngoài hai cách phân loại trên, phân loại tóm tắt trên cở sở đầu ra còn có một cách phân loại được sử dụng phổ biến là: tóm tắt theo trích xuất (Extract) và tóm tắt theo tóm lược (Abstract).  Tóm tắt theo trích xuất: là tóm tắt có kết quả đầu ra là một tóm tắt bao gồm toàn bộ các phần quan trọng được trích ra từ văn bản đầu vào.  Tóm tắt theo tóm lược: là tóm tắt có kết quả đầu ra là một tóm tắt không giữ nguyên lại các thành phần của văn bản đầu vào mà dựa vào thông tin quan trọng để viết lại một văn bản tóm tắt mới. Hiện nay, các hệ thống sử dụng tóm tắt theo trích xuất được sử dụng phổ biến và cho kết quả tốt hơn tóm tắt theo tóm lược.

Nguyên nhân tạo ra sự khác biệt này là do các vấn đề trong bài toán tóm tắt theo tóm lược như: biểu diễn ngữ nghĩa, suy luận và sinh ra ngôn ngữ tự nhiên được đánh giá là khó và chưa có TIEU LUAN MOI download : [e-mail] 7 nhiều kết quả nghiên cứu khả quan hơn so với hướng trích xuất câu của bài toán tóm tắt theo trích xuất. Trong thực tế, theo đánh giá của Dragomir R. Radev (Đại học Michigan, Mỹ) chưa có một hệ thống tóm tắt theo tóm lược đạt đến sự hoàn thiện, các hệ thống tóm tắt theo tóm lược hiện nay thường dựa vào thành phần trích xuất có sẵn. Các hệ thống này thường được biết đến với tên gọi tóm tắt theo nén văn bản.

Tóm tắt theo nén văn bản (Text Compaction): là loại tóm tắt sử dụng các phương pháp cắt xén (truncates) hay viết gọn (abbreviates) đối với các thông tin quan trọng sau khi đã được trích xuất. Mặc dù tính trên cơ sở phân loại có nhiều loại tóm tắt khác nhau nhưng hai loại tóm tắt là tóm tắt đơn văn bản và tóm tắt đa văn bản vẫn được sự quan tâm lớn của các nhà nghiên cứu về tóm tắt tự động. Tóm tắt đơn văn bản Bài toán tóm tắt văn bản đơn cũng giống như các bài toán tóm tắt khác, là một quá trình tóm tắt tự động với đầu vào là một văn bản, đầu ra là một đoạn văn bản ngắn gọn mô tả nội dung chính của văn bản đầu. Văn bản đơn có thể là một trang Web, một nội dung đăng trên mạng xã hội, một bài báo, một tài liệu dạng văn bản (ví dụ:.

Tóm tắt văn bản đơn là bước làm cơ sở cho việc xử lý tóm tắt đa văn bản và các bài toán tóm tắt phức tạp hơn. Đó là nguyên nhân lý giải cho việc những phương pháp tóm tắt văn bản ra đời đầu tiên đều là các phương pháp tóm tắt đơn văn bản. Các phương pháp nhằm giải quyết bài toán tóm tắt văn bản đơn cũng tập trung vào hai loại tóm tắt là: tóm tắt theo trích xuất và tóm tắt theo tóm lược. Tóm tắt theo trích xuất Đa số các phương tóm tắt loại này tập trung vào việc trích xuất ra các câu hay các ngữ nổi bật từ các đoạn văn bản và kết hợp chúng lại thành một văn bản tóm tắt.

Một số nghiên cứu giai đoạn đầu thường sử dụng các đặc trưng như vị TIEU LUAN MOI download : [e-mail] 8 trí của câu trong văn bản, tần số xuất hiện của từ, ngữ hay sử dụng các cụm từ khóa để tính toán trọng số của mỗi câu, qua đó chọn ra các câu có trọng số cao nhất cho văn bản tóm tắt [Lu58, Ed69]. Các kỹ thuật tóm tắt gần đây sử dụng các phương pháp học máy và xử lý ngôn ngữ tự nhiên nhằm phân tích để tìm ra các thành phần quan trọng của văn bản. Sử dụng các phương pháp học máy có thể kể đến phương pháp của Kupiec, Penderson and Chen năm 1995 sử dụng phân lớp Bayes để kết hợp các đặc trưng lại với nhau [PKC95] hay nghiên cứu của Lin và Hovy năm 1997 áp dụng phương pháp học máy nhằm xác định vị trí của các câu quan trọng trong văn bản [LH97].