Luận Văn: Tóm Tắt Văn Bản Tiếng Việt Sử Dụng Phương Pháp TextRank

Luận văn TextRank tóm tắt văn bản tiếng Việt: Nghiên cứu phương pháp TextRank, ứng dụng hiệu quả trong việc rút gọn văn bản tự động. Xem chi tiết!

• Tác giả: Nguyễn Văn Nghiệp
• Người hướng dẫn: Pgs. Nguyễn Phương Thái
• Trường học: Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Tóm Tắt Văn Bản Tiếng Việt Sử Dụng Phương Pháp TextRank
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cảm ơn
• Lời cam đoan
• Danh sách ký hiệu, viết tắt
• Danh sách hình vẽ
• Danh sách bảng biểu
• 1. Chương 1: Tổng quan bài toán tóm tắt văn bản
• 1.1. Tổng quan tóm tắt văn bản. Một số khái niệm cơ bản
• 1.2. Phân loại bài toán tóm tắt
• 1.3. Tóm tắt theo trích xuất
• 1.4. Tóm tắt theo tóm lược
• 1.5. Đánh giá văn bản tóm tắt
• 2. Chương 2: Tóm tắt văn bản sử dụng TextRank
• 2.1. Mô hình TextRank
• 2.2. Đồ thị vô hướng
• 2.3. Đồ thị có trọng số
• 2.4. Đồ thị hoá văn bản
• 2.5. Sử dụng TextRank trích xuất từ khoá
• 2.6. Sử dụng TextRank trích rút câu
• 2.7. Tóm tắt văn bản Tiếng Việt sử dụng TextRank
• 2.7.1. Một số đặc trưng của Tiếng Việt
• 2.7.2. Xây dựng hệ thống tóm tắt tự động văn bản Tiếng Việt
• 3. Chương 3: Thực nghiệm và đánh giá kết quả
• 3.1. Dữ liệu thực nghiệm
• 3.2. Thực nghiệm và đánh giá với độ đo Cosine
• 3.3. Thực nghiệm và đánh giá với độ đo TextRank
• 3.4. Khuyến nghị tăng cường độ chất lượng văn bản tóm tắt
• 3.4.1. Khuyến nghị tăng cường độ liên quan giữa các câu
• 3.4.2. Khuyến nghị tăng cường chất lượng văn bản tóm tắt
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Về Tóm Tắt Văn Bản Tiếng Việt TextRank 50 60

Công nghệ thông tin phát triển mạnh mẽ kéo theo sự bùng nổ thông tin trên internet. Nhu cầu tóm tắt nội dung văn bản trở nên cấp thiết. Các phương pháp tóm tắt văn bản tự động được nghiên cứu và phát triển, bao gồm cả hình ảnh, âm thanh và video. Ví dụ điển hình là các máy tìm kiếm như Google. Các nhà khoa học và công ty quan tâm đến bài toán tóm tắt văn bản tự động, thể hiện qua các hội nghị như DUC, TAC, ACL. Có nhiều hệ thống tóm tắt văn bản được phát triển, ví dụ MEAD, LexRank, và chức năng tóm tắt trong Microsoft Word. Có hai cách tiếp cận chính: tóm tắt trích rút và tóm tắt sinh tạo. Tóm tắt trích rút chọn các thành phần của văn bản mà không chỉnh sửa, còn tóm tắt sinh tạo sử dụng ngữ nghĩa và kỹ thuật xử lý ngôn ngữ tự nhiên để tạo văn bản tóm tắt mới. TextRank có ưu điểm là không cần kiến thức sâu về ngôn ngữ, phù hợp với nhiều bài toán và ngôn ngữ. Chính vì thế, luận văn này tập trung vào "Tóm tắt văn bản Tiếng Việt sử dụng phương pháp TextRank". Cấu trúc luận văn bao gồm: Tổng quan về bài toán tóm tắt văn bản, Tóm tắt văn bản sử dụng TextRank, và Thực nghiệm và đánh giá kết quả.

1.1. Giới Thiệu Bài Toán Tóm Tắt Văn Bản Tự Động

Bài toán tóm tắt văn bản tự động là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên. Nó không chỉ dừng lại ở việc tóm tắt văn bản mà còn mở rộng ra các loại dữ liệu đa phương tiện như hình ảnh, âm thanh và video. Một ví dụ điển hình cho việc ứng dụng của tóm tắt dữ liệu tự động là các máy tìm kiếm, trong đó nổi bật nhất là bộ máy tìm kiếm Google.

1.2. So Sánh Tóm Tắt Trích Rút và Tóm Tắt Sinh Tạo

Tóm tắt trích rút chỉ sử dụng các thông tin có sẵn trong văn bản như: từ, cụm từ, câu để tạo ra văn bản tóm tắt. Đối với tóm tắt sinh tạo, cách tiếp cận này sử dụng ngữ nghĩa của các thành phần trong văn bản, các kỹ thuật trong xử lý ngôn ngữ tự nhiên để tạo ra văn bản tóm tắt gần giống với văn bản được tóm tắt bởi con người.

II. Thách Thức Khi Tóm Tắt Văn Bản Tiếng Việt Tự Động 50 60

Trong những năm 50 – 60 của thế kỷ XX, các nhà khoa học đã bắt đầu nghiên cứu về tóm tắt văn bản tự động. Luhn đã công bố bài báo trình bày phương pháp tóm tắt tự động sử dụng thống kê tần suất và phân bố từ trong văn bản. Edmundson đã công bố nghiên cứu về phương pháp mới trong việc tóm tắt tự động văn bản dựa trên vai trò, khoá, tiêu đề và vị trí. Các phương pháp tiếp cận của hai nhà khoa học trên đều thuộc dạng trích rút câu. Các nghiên cứu về tóm tắt văn bản tự động sau một thời gian không có nhiều tiến triển thì đến cuối thế kỷ XX, đầu thế kỷ XXI, với sự bùng nổ mạnh mẽ của CNTT và internet, lượng thông tin được con người sinh ra và lưu trữ vô cùng lớn. Vấn đề được đặt ra là làm sao để thu nhận thông tin quan trọng nhanh nhất, hiệu quả nhất. Theo Inderjeet Mani, tóm tắt văn bản tự động nhắm đến mục đích trích xuất nội dung và trình bày nội dung quan trọng nhất.

2.1. Các Khái Niệm Cơ Bản trong Tóm Tắt Văn Bản

Một số khái niệm cơ bản cần nắm vững bao gồm: Tỷ lệ nén (Compression Rate), Độ liên quan (Relevance) và Sự mạch lạc (Coherence).

2.2. Phân Loại Bài Toán Tóm Tắt Văn Bản Định Dạng Nội Dung

Có nhiều cách phân loại tóm tắt văn bản khác nhau, phụ thuộc vào cơ sở để tóm tắt. Việc phân loại phụ thuộc vào cơ sở để tóm tắt. Luận văn đề cập đến phân loại tóm tắt dựa trên các cơ sở: Định dạng văn bản, nội dung đầu vào; Định dạng, nội dung đầu ra và Mục đích tóm tắt. Ví dụ, tóm tắt đơn văn bản (single document summarization) và tóm tắt đa văn bản (multi-document summarization) có những đặc điểm và thách thức khác nhau.

III. TextRank Giải Thuật Tóm Tắt Văn Bản Hiệu Quả Nhất 50 60

Các thuật toán xếp hạng dựa trên đồ thị đã được đưa ra và sử dụng rộng rãi trong những năm trong thế kỷ XX. Trong số đó có thuật toán HITS của Kleinberg và PageRank của Google do hai nhà đồng sáng lập phát triển (Brin và Page). Chúng được sử dụng trong việc phân tích mạng xã hội, cấu trúc liên kết của các trang web, … Thực tế thì thuật toán xếp hạng dựa trên đồ thị xác định đỉnh nào là quan trọng trong đồ thị bằng cách tính toán đệ quy các thông tin trên toàn đồ thị thay vì chỉ sử dụng thông tin trên từng đỉnh. Quá trình này làm cho việc xác định mức độ quan trọng chính xác hơn. Từ cách tiếp cận trên, ta có thể áp dụng sang các đồ thị từ vựng và đồ thị ngữ nghĩa trích xuất được từ các tài liệu trong ngôn ngữ tự nhiên.

3.1. Tổng Quan về Mô Hình TextRank Bỏ Phiếu Đề Cử

TextRank là thuật toán xếp hạng dựa trên đồ thị sử dụng hai yếu tố: bỏ phiếu và đề cử. Mỗi liên kết đến đỉnh được coi là một phiếu bầu, và đỉnh có nhiều phiếu bầu hơn được coi là quan trọng hơn.

3.2. Đồ Thị Văn Bản trong TextRank Đỉnh Cạnh

Để áp dụng thuật toán TextRank, văn bản cần được đồ thị hóa. Việc đồ thị hóa văn bản là xây dựng một đồ thị để đại diện cho văn bản, các liên kết giữa các từ, cụm từ, câu hoặc các quan hệ ngữ nghĩa. Tùy thuộc vào các ứng dụng mà kích thước văn bản, các đặc trưng được đưa vào đồ thị là từ, cụm từ hay là cả câu.

3.3. Giải Thuật TextRank Các Bước Cơ Bản

Cách thức hoạt động của thuật toán xếp hạng dựa vào đồ thị áp dụng cho ngôn ngữ tự nhiên có các bước như sau: Xác định đơn vị văn bản dùng tốt nhất cho từng công việc, thêm vào là đỉnh của đồ thị; Xác định quan hệ kết nối giữa các đơn vị văn bản đã xác định ở trên để vẽ các cạnh giữa các đỉnh trong đồ thị. Các cạnh này có thể là vô hướng hoặc có hướng, có trọng số hoặc không trọng số; Lặp lại thuật toán xếp hạng cho đến khi độ tụ thoả mãn ngưỡng và Sắp xếp các đỉnh dựa trên các trọng số đã được tính toán trong bước trên.

IV. TextRank Trích Rút Từ Khóa Câu Hiệu Quả Cho SEO 50 60

Mục đích của việc trích xuất từ khoá tự động là tìm ra các cụm từ mô tả văn bản tốt nhất. Các từ khoá này có thể dùng cho nhiều mục đích khác nhau như phân lớp văn bản hay tóm tắt văn bản tự động. Trong các cách để trích xuất từ khoá thì cách trích xuất các từ khoá có tần suất xuất hiện nhiều nhất là dễ nhất. Mặc dù vậy thì kết quả của phương pháp này không tốt. Điều này đã thúc đẩy các nhà khoa học tìm ra các phương pháp khác hiệu quả hơn. Trong số đó có phương pháp sử dụng học máy có giám sát để trích xuất từ khoá dựa trên các đặc trưng về từ vựng và cú pháp.

4.1. Trích Xuất Từ Khóa Tự Động Bằng Thuật Toán TextRank

Đơn vị để xếp hạng trong thuật toán TextRank đối với quá trình trích xuất từ khoá là chuỗi của một hoặc nhiều từ vựng được rút ra từ văn bản và chúng là các đỉnh trong đồ thị. Bất kỳ quan hệ nào nữa 2 đơn vị từ vựng hữu ích cho việc đánh giá thì đều được thêm vào là cạnh của đồ thị. Ở đây ta sử dụng quan hệ đồng xuất hiện, nó được xác định bởi khoảng cách giữa các từ đồng xuất hiện trong văn bản; hai đỉnh được xác định là nối với nhau khi khoảng cách đồng xuất hiện của hai đơn vị từ vựng không quá N từ với 2 ≤ N ≤ 10.

4.2. Trích Rút Câu Tự Động Bằng TextRank Độ Tương Tự

Để trích rút được câu thì cần phải xếp hạng được các câu trong văn bản trên toàn đồ thị. Vì thế, mỗi câu sẽ là một đỉnh của đồ thị. Quan hệ đồng xuất hiện không thể áp dụng trong trường hợp này. Thay vào đó, một định nghĩa quan hệ khác được đưa ra để xác định kết nối giữa các câu với nhau. Đó là độ tương tự giữa các câu. Ở đây, độ tương tự được xác định bằng độ bao phủ về mặt nội dung giữa các câu với nhau.

V. Áp Dụng TextRank Để Tóm Tắt Văn Bản Tiếng Việt 50 60

Trước khi trình bày chi tiết quá trình tóm tắt văn bản Tiếng Việt sử dụng TextRank, tác giả xin trình bày về các đặc điểm của ngôn ngữ Tiếng Việt. Các đặc điểm của Tiếng Việt như sau: Tiếng Việt thuộc loại hình ngôn ngữ đơn lập không biến đổi hình thái. Về mặt ngữ âm, đơn vị trong Tiếng Việt là “tiếng” hoặc “chữ” tùy theo ngữ âm hoặc văn tự. Đơn vị để cấu tạo từ là “hình vị”. Đối với Tiếng Việt, “hình vị” chính là “tiếng”. Về ngữ pháp, “tiếng” cũng được xem là đơn vị cơ sở của ngữ pháp học. Từ trong Tiếng Việt không biết đổi hình thái trong khi sử dụng. Ví dụ: “Tôi yêu cô ấy” và “Cô ấy yêu tôi” là hai câu trong Tiếng Việt.

5.1. Đặc Trưng Ngôn Ngữ Tiếng Việt Ảnh Hưởng Đến TextRank

Các đặc điểm của Tiếng Việt như: là ngôn ngữ đơn lập, chữ viết ghi âm vị, hiện tượng đồng âm, không có dấu hiệu về hình thái để nhận biết từ loại và hiện tượng gần nghĩa, đồng nghĩa.

5.2. Xây Dựng Hệ Thống Tóm Tắt Tự Động Với TextRank

TextRank chỉ sử dụng các thông tin có trong văn bản tóm tắt mà không cần quan tâm để cấu trúc văn bản, các thành phần của văn phạm, ngôn ngữ. Để có cái nhìn khách quan và đánh giá chính xác hơn chất lượng văn bản tóm tắt được sinh ra bởi thuật toán TextRank, tác giả sẽ đưa vào một hệ thống đối sánh sử dụng độ đo mức độ tương tự giữa các câu sử dụng Cosine.

VI. Đánh Giá Hiệu Quả TextRank Với Dữ Liệu Tiếng Việt 50 60

Dữ liệu thực nghiệm tác giả sử dụng trong luận văn được lấy từ tập dữ liệu trong đề tài “Nghiên cứu một số phương pháp tóm tắt văn bản tự động trên máy tính áp dụng cho Tiếng Việt”, do TS. Lê Thanh Hương làm chủ nhiệm [Huo2014]. Tập dữ liệu bao gồm 205 văn bản được chia thành 06 chủ đề. Độ dài văn bản tóm tắt được giới hạn là 03 câu. Độ dài này gần tương đương với độ dài văn bản do người tóm tắt. Dữ liệu được đánh giá bằng phương pháp ROUGE.

6.1. Dữ Liệu Thực Nghiệm Phương Pháp Đánh Giá

Dữ liệu thực nghiệm được lấy từ đề tài nghiên cứu về tóm tắt văn bản tự động Tiếng Việt, bao gồm 205 văn bản chia thành 6 chủ đề. Đánh giá bằng phương pháp ROUGE, độ dài văn bản tóm tắt giới hạn 3 câu.

6.2. Kết Quả Thực Nghiệm Với Độ Đo Cosine TextRank

Độ đo tương đồng Cô-sin cho kết quả khả quan, các điểm đánh giá trên toàn bộ các tập dữ liệu đều trên 0,5. TextRank cho kết quả rất tốt, các điểm đánh giá trên toàn bộ các tập dữ liệu đều trên 0,7.

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan bài toán tóm tắt văn bản 1. Tổng quan tóm tắt văn bản Trong những năm thập niên 50 – 60 của thế kỷ XX, các nhà khoa học đã bắt đầu nghiên cứu về tóm tắt văn bản tự động. Luhn đã công bố bài báo trình bày phương pháp tóm tắt tự động sử dụng thống kê tần suất và phân bố từ trong văn bản. Edmundson đã công bố nghiên cứu về phương pháp mới trong việc tóm tắt tự động văn bản.

Phương pháp này dựa trên tổng hợp của bốn thành phần: vai trò, khoá, tiêu đề và vị trí. Các phương pháp tiếp cận của hai nhà khoa học trên đều thuộc dạng trích rút câu. Các nghiên cứu về tóm tắt văn bản tự động sau một thời gian không có nhiều tiến triển thì đến cuối thế kỷ XX, đầu thế kỷ XXI, với sự bùng nổ mạnh mẽ của CNTT và internet, lượng thông tin được con người sinh ra và lưu trữ vô cùng lớn. Vấn đề được đặt ra là làm sao để thu nhận thông tin quan trọng nhanh nhất, hiệu quả nhất.

Từ đó, bài toán tóm tắt văn bản trở nên cấp thiết và được quan tâm hơn đúng với tầm quan trọng của nó. Theo Inderjeet Mani, tóm tắt văn bản tự động nhắm đến mục đích: “Tóm tắt văn bản tự động nhằm mục đích trích xuất nội dung từ một nguồn thông tin và trình bày các nội dung quan trọng nhất cho người sử dụng theo một khuôn dạng súc tích và gây cảm xúc đối với người sử dụng hoặc một chương trình cần đến”. Kết quả của quá trình tóm tắt văn bản tự động thường không cho kết quả chất lượng như văn bản tóm tắt bởi con người do bị giới hạn bởi nhiều yếu tố. Chúng ta rất khó khăn để nâng cao chất lượng văn bản tóm tắt tự động mà không bị giới hạn bởi miền ứng dụng.

Vì vậy, trong tóm tắt văn bản tự động, các hướng giải quyết thường hướng đến các bài toán cụ thể với một phương pháp cụ thể. TIEU LUAN MOI download : skknchat@gmail. Một số khái niệm cơ bản  Tỷ lệ nén (Compression Rate): là độ đo giữa thông tin văn bản tóm tắt và văn bản gốc được tính bằng công thức: 𝑆𝑢𝑚𝑚𝑎𝑟𝑦𝐿𝑒𝑛𝑔𝑡ℎ 𝐶𝑜𝑚𝑝𝑟𝑒𝑠𝑠𝑖𝑜𝑛𝑅𝑎𝑡𝑒 = 𝑆𝑜𝑢𝑟𝑐𝑒𝐿𝑒𝑛𝑔𝑡ℎ Trong đó:  SummaryLength: Độ dài văn bản tóm tắt  SourceLength: Độ dài văn bản gốc  Độ liên quan (Relevance): là độ đo cho mức độn quan trọng của thông tin mà văn bản tóm tắt có được so với văn bản gốc.  Sự mạch lạc (Coherence): là thước đo cho sự mạch lạc, tuân theo thể thống nhất của văn bản, không có sự trung lặp các thành phần.

Phân loại bài toán tóm tắt Hiện tại có nhiều cách phân loại tóm tắt văn bản khác nhau, việc phân loại phụ thuộc vào cơ sở để tóm tắt1. Luận văn đề cập đến phân loại tóm tắt dựa trên các cơ sở: - Định dạng văn bản, nội dung đầu vào - Định dạng, nội dung đầu ra - Mục đích tóm tắt Chi tiết các phân loại dựa trên định dạng, nội dung đâu vào như sau:  Kiểu văn bản (bài báo, bản tin, thư, báo cáo. Với cách phân loại này, tóm tắt văn bản là bài báo sẽ khác với tóm tắt thư, tóm tắt báo cáo khoa học do những đặc trưng văn bản quy định. 1 Trần Mai Vũ (2009), Tóm tắt đa văn bản dựa vào trích xuất câu, Luận văn thạc sĩ, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, 2009 TIEU LUAN MOI download : [e-mail] 5  Định dạng văn bản: dựa vào từng định dạng văn bản khác nhau, tóm tắt cũng chia ra thành các loại khác nhau như: tóm tắt văn bản không theo cấu trúc nhất định và tóm tắt văn bản có cấu trúc.

Đối văn bản có cấu trúc, tóm tắt văn bản thường sử dụng một mô hình học dựa vào mẫu cấu trúc đã xây dựng từ trước để tiến hành tóm tắt.  Số lượng dữ liệu đầu vào: Tóm tắt đơn văn bản khi đầu vào chỉ là một văn bản đơn, trong khi đó đầu vào của tóm tắt đa văn bản là một tập các tài liệu có liên quan đến nhau như: các tin tức có liên quan đến cùng một sự kiện, các trang web cùng chủ đề hoặc là cụm dữ liệu được trả về từ quá trình phân cụm.  Miền dữ liệu: tùy theo miền của dữ liệu về cụ thể về một lĩnh vực nào đó, ví dụ như: y tế, giáo dục. hay miền dữ liệu tổng quát, có thể chia tóm tắt ra thành từng loại tương ứng.

 Tóm tắt trên cơ sở mục đích thực chất là làm rõ cách tóm tắt, mục đích tóm tắt là gì, tóm tắt phục vụ đối tượng nào … ◦ Nếu phụ thuộc vào đối tượng đọc tóm tắt thì tóm tắt cho chuyên gia khác cách tóm tắt cho các đối tượng đọc thông thường. ◦ Tóm tắt sử dụng trong tìm kiếm thông tin (IR) sẽ khác với tóm tắt phục vụ cho việc sắp xếp. ◦ Dựa trên mục đích tóm tắt, còn có thể chia ra thành tóm tắt chỉ thị và tóm tắt thông tin. Tóm tắt chỉ thị chỉ ra loại của thông tin, ví dụ như là loại văn bản chỉ thị “tuyệt mật”.

Còn tóm tắt thông tin chỉ ra nội dung của thông tin. ◦ Tóm tắt trên cơ sở truy vấn (Query-based) hay tóm tắt chung. Tóm tắt chung có mục đích chính là tìm ra đoạn tóm tắt cho toàn bộ văn bản mà nội dung của đoạn văn bản sẽ bao quát toàn bộ nội dung của văn bản đó. Tóm tắt trên cơ sở truy vấn thì nội dung của văn bản tóm tắt sẽ dựa trên truy vấn của người dùng hay chương trình đưa vào, loại tóm TIEU LUAN MOI download : [e-mail] 6 tắt này thường được sử dụng trong quá trình tóm tắt các kết quả trả về từ máy tìm kiếm.

Tóm tắt trên cơ sở đầu ra cũng có nhiều cách phân loại.  Dựa vào ngôn ngữ: Tóm tắt cũng có thể phân loại dựa vào khả năng tóm tắt các loại ngôn ngữ: ◦ Tóm tắt đơn ngôn ngữ (Monolingual): hệ thống có thể tóm tắt chỉ một loại ngôn ngữ nhất định như: tiếng Việt hay tiếng Anh… ◦ Tóm tắt đa ngôn ngữ (Multilingual): hệ thống có khả năng tóm tắt nhiều loại văn bản của các ngôn ngữ khác nhau, tuy nhiên tương ứng với văn bản đầu vào là ngôn ngữ gì thì văn bản đầu ra cũng là ngôn ngữ tương ứng. ◦ Tóm tắt xuyên ngôn ngữ (Crosslingual): hệ thống có khả năng đưa ra các văn bản đầu ra có ngôn ngữ khác với ngôn ngữ của văn bản đầu vào.  Dựa vào định dạng đầu ra của kết quả tóm tắt: như bảng, đoạn, từ khóa.

Ngoài hai cách phân loại trên, phân loại tóm tắt trên cở sở đầu ra còn có một cách phân loại được sử dụng phổ biến là: tóm tắt theo trích xuất (Extract) và tóm tắt theo tóm lược (Abstract).  Tóm tắt theo trích xuất: là tóm tắt có kết quả đầu ra là một tóm tắt bao gồm toàn bộ các phần quan trọng được trích ra từ văn bản đầu vào.  Tóm tắt theo tóm lược: là tóm tắt có kết quả đầu ra là một tóm tắt không giữ nguyên lại các thành phần của văn bản đầu vào mà dựa vào thông tin quan trọng để viết lại một văn bản tóm tắt mới. Hiện nay, các hệ thống sử dụng tóm tắt theo trích xuất được sử dụng phổ biến và cho kết quả tốt hơn tóm tắt theo tóm lược.

Nguyên nhân tạo ra sự khác biệt này là do các vấn đề trong bài toán tóm tắt theo tóm lược như: biểu diễn ngữ nghĩa, suy luận và sinh ra ngôn ngữ tự nhiên được đánh giá là khó và chưa có TIEU LUAN MOI download : [e-mail] 7 nhiều kết quả nghiên cứu khả quan hơn so với hướng trích xuất câu của bài toán tóm tắt theo trích xuất. Trong thực tế, theo đánh giá của Dragomir R. Radev (Đại học Michigan, Mỹ) chưa có một hệ thống tóm tắt theo tóm lược đạt đến sự hoàn thiện, các hệ thống tóm tắt theo tóm lược hiện nay thường dựa vào thành phần trích xuất có sẵn. Các hệ thống này thường được biết đến với tên gọi tóm tắt theo nén văn bản.

Tóm tắt theo nén văn bản (Text Compaction): là loại tóm tắt sử dụng các phương pháp cắt xén (truncates) hay viết gọn (abbreviates) đối với các thông tin quan trọng sau khi đã được trích xuất. Mặc dù tính trên cơ sở phân loại có nhiều loại tóm tắt khác nhau nhưng hai loại tóm tắt là tóm tắt đơn văn bản và tóm tắt đa văn bản vẫn được sự quan tâm lớn của các nhà nghiên cứu về tóm tắt tự động. Tóm tắt đơn văn bản Bài toán tóm tắt văn bản đơn cũng giống như các bài toán tóm tắt khác, là một quá trình tóm tắt tự động với đầu vào là một văn bản, đầu ra là một đoạn văn bản ngắn gọn mô tả nội dung chính của văn bản đầu. Văn bản đơn có thể là một trang Web, một nội dung đăng trên mạng xã hội, một bài báo, một tài liệu dạng văn bản (ví dụ:.

Tóm tắt văn bản đơn là bước làm cơ sở cho việc xử lý tóm tắt đa văn bản và các bài toán tóm tắt phức tạp hơn. Đó là nguyên nhân lý giải cho việc những phương pháp tóm tắt văn bản ra đời đầu tiên đều là các phương pháp tóm tắt đơn văn bản. Các phương pháp nhằm giải quyết bài toán tóm tắt văn bản đơn cũng tập trung vào hai loại tóm tắt là: tóm tắt theo trích xuất và tóm tắt theo tóm lược. Tóm tắt theo trích xuất Đa số các phương tóm tắt loại này tập trung vào việc trích xuất ra các câu hay các ngữ nổi bật từ các đoạn văn bản và kết hợp chúng lại thành một văn bản tóm tắt.

Một số nghiên cứu giai đoạn đầu thường sử dụng các đặc trưng như vị TIEU LUAN MOI download : [e-mail] 8 trí của câu trong văn bản, tần số xuất hiện của từ, ngữ hay sử dụng các cụm từ khóa để tính toán trọng số của mỗi câu, qua đó chọn ra các câu có trọng số cao nhất cho văn bản tóm tắt [Lu58, Ed69]. Các kỹ thuật tóm tắt gần đây sử dụng các phương pháp học máy và xử lý ngôn ngữ tự nhiên nhằm phân tích để tìm ra các thành phần quan trọng của văn bản. Sử dụng các phương pháp học máy có thể kể đến phương pháp của Kupiec, Penderson and Chen năm 1995 sử dụng phân lớp Bayes để kết hợp các đặc trưng lại với nhau [PKC95] hay nghiên cứu của Lin và Hovy năm 1997 áp dụng phương pháp học máy nhằm xác định vị trí của các câu quan trọng trong văn bản [LH97].