Chương 1: “Giới thiệu bài toán tóm tắt văn bản” tóm tắt một số các ứng dụng của tóm tắt văn bản, phát biểu bài toán tóm tắt ý kiến về sản phẩm từ nhiều người dùng. - Chương 2: “Kiến thức cơ sở” trình bày một số thuật toán, phương pháp sử dụng trong quá trình tóm tắt. - Chương 3: “Sử dụng kỹ thuật tóm tắt đa văn bản cho bài toán tóm tắt” sẽ đi sâu vào phương pháp tóm tắt cụ thể để giải quyết bài toán chính của luận văn. - Chương 4: “Thử nghiệm và đánh giá” sẽ trình bày quá trình thử nghiệm của luận văn và các kết quả đạt được trong quá trình thử nghiệm.
Đồng thời cũng đưa ra các phân tích và đánh giá về kết quả đạt được. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 Chƣơng 1- GIỚI THIỆU BÀI TOÁN TÓM TẮT VĂN BẢN 1. Định nghĩa tóm tắt văn bản Tóm tắt được định nghĩa là một văn bản được tạo ra từ một hoặc nhiều văn bản mà văn bản này chứa đựng các thông tin quan trọng trong văn bản gốc đồng thời ngắn gọn hơn văn bản gốc. Như vậy, tóm tắt văn bản là một quá trình chắt lọc hầu hết các thông tin quan trọng từ một hay nhiều văn bản nguồn để tạo ra một bản tóm tắt ngắn gọn, cô đọng cho những người dùng hay nhiệm vụ cụ thể.
Khi việc tóm tắt được thực hiện bằng khả năng của một máy tính, nghĩa là tự động, thì gọi là tóm tắt văn bản tự động. Như vậy, tóm tắt văn bản tự động là quá trình mà một máy tính tạo ra một phiên bản ngắn hơn của văn bản so văn bản gốc (hoặc một tập hợp các văn bản) nhưng vẫn còn giữ hầu hết các thông tin quan trọng của văn bản gốc. Quá trình này có thể được xem như quá trình nén và có thể sẽ bị mất thông tin. Như vậy, một hệ thống tóm tắt văn bản phải xác định các phần quan trọng và giữ chúng lại.
Nhưng cái gì là quan trọng lại dựa trên nhu cầu của người sử dụng hoặc mục đích của bản tóm tắt. Tóm tắt văn bản = quá trình làm giảm độ dài hoặc giảm độ phức tạp về nội dung của văn bản gốc, mà không làm mất ý chính. Mặc dù trong thực tế, tóm tắt văn bản hướng truyền thống là tập trung vào văn bản đầu vào. Đầu vào của quá trình tóm tắt có thể bao gồm các thông tin đa phương tiện như hình ảnh, âm thanh hay video cũng như những thông tin trực tuyến hay những siêu văn bản.
Hơn nữa, chúng ta có thể nói việc tóm tắt chỉ trên một văn bản hoặc nhiều văn bản. Trong trường hợp việc tóm tắt được thực hiện trên nhiều văn bản thì quá trình tóm tắt được gọi là tóm tắt đa văn bản (Multi- document Summarization (MDS)) và các văn bản nguồn có thể là một ngôn ngữ hay nhiều ngôn ngữ khác nhau. Đầu ra của hệ thống tóm tắt có thể là một đoạn trích hoặc một bản tóm tắt. Chúng ta có thể phân biệt giữa các bản tóm tắt tổng quát và các bản tóm tắt mà người dùng tập trung vào.
Tóm lại: Bài toán tóm tắt văn bản bao gồm Đầu vào: - Văn bản gốc - Tỷ lệ nén hoặc độ dài bản tóm tắt (tỷ lệ nén=độ dài bản tóm tắt/độ dài văn bản gốc) Đầu ra: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 Văn bản đã tóm tắt Chất lượng của bản tóm tắt thường là khác nhau do các độ đo là: - Tính dễ hiểu - Tính chặt chẽ - Tính mạch lạc - Tính rõ ràng, dễ đọc 1. Quy trình tóm tắt tự động văn bản. Theo truyền thống, việc tóm tắt đã được phân thành ba giai đoạn chính. Theo phương pháp tiếp cận của Sparck Jones, đó là: - Thể hiện lại văn bản từ văn bản ban đầu.
- Chuyển đổi văn bản đã biểu diễn thành một biểu diễn tóm tắt. - Cuối cùng là sinh ra một bản tóm tắt văn bản từ biểu diễn tóm tắt Một quá trình tổng hợp tự động có thể được chia thành ba bước: - Bước tiền xử lý: một đại diện có cấu trúc của văn bản ban đầu thu được. - Bước xử lý: một thuật toán phải chuyển đổi cấu trúc văn bản vào một cấu trúc bản tóm tắt. - Bước cuối cùng thu được một bản tóm tắt từ cấu trúc bản tóm tắt ở trên.
Để việc tóm tắt được hiệu quả thì đòi hỏi phải phân tích rõ ràng và chi tiết các nhân tố bối cảnh. Sparck Jones đã phân chia ra thành 3 nhân tố chính: các nhân tố đầu vào, các nhân tố mục đích và nhân tố đầu ra. - Các nhân tố đầu vào. Các đặc trưng quan trọng của văn bản đã được tóm tắt xác định cách mà một bản tóm tắt có thể đạt được.
Các đặc trưng này có thể là: hình thức văn bản (ví dụ như cấu trúc văn bản); loại chủ đề (bình thường, chuyên ngành hoặc hạn chế) hay số đơn vị đầu vào (một hoặc nhiều tài liệu). - Các nhân tố mục đích: Đây thường là những nhân tố quan trọng nhất. Chúng có thể là ba loại: tình hình đề cập đến bối cảnh trong bản tóm tắt được sử dụng, người đọc bản tóm tắt và mục đích sử dụng (tóm tắt để làm việc gì?). - Các nhân tố đầu ra: nội dung, định dạng và phong cách.
Một số ứng dụng của tóm tắt văn bản - Trong hội thảo: Độc giả được mời tới hội nghị để thảo luận. Nếu có một bản tóm tắt về nội dung cuộc thảo luận thì sẽ giúp họ tiết kiệm được thời gian hơn. - Tóm tắt văn bản cũng có thể hữu ích cho việc hiển thị văn bản trên thiết bị cầm tay như PDA. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 - Tóm tắt tin tức tới định dạng SMS hay WAP cho điện thoại di động hay PDA.
- Cho phép máy tính “giả” (synthetical) đọc các bản tóm tắt. - Tiến hành tìm kiếm bằng các ngôn ngữ nước ngoài và nhận về được một bản dịch tóm tắt tự động. - Trong các máy tìm kiếm (search engine): tóm tắt các thông tin trong danh sách kết quả bởi các máy tìm kiếm. Đưa ra các mô tả ngắn gọn về các kết quả tìm kiếm được(như máy tìm kiếm Google).
- Tóm tắt hội nghị: tìm hiểu những gì đã trình bày tại hội nghị. - Các thiết bị cầm tay: tạo ra một bản tóm tắt ngắn gọn của một cuốn sách theo kích thước của màn hình. - Hỗ trợ cho người tàn tật: tóm lược văn bản và đọc nó cho người mù. Sự phân loại các phƣơng pháp tóm tắt.
* Nếu so sánh các hình thức của bản tóm tắt thì có 2 phương pháp tóm tắt: - Trích chọn (Extracts): đây là những bản tóm tắt hoàn chỉnh bao gồm các trình tự từ đã được sao chép từ các tài liệu gốc giống với chuỗi các từ có thể được sử dụng các cụm từ, các câu hoặc các đoạn văn. Phương pháp này bị mâu thuẫn, thiếu sự cân bằng, và thiếu sự gắn kết. Các câu có thể được trích xuất ra khỏi bối cảnh, liên quan đến sự trùng lặp có thể bị phá vỡ. - Trừu tượng (Abstracts): là những bản tóm tắt chứa các trình tự từ không có trong văn bản ban đầu.
Cho đến bây giờ nó là một nhiệm vụ quá khó cho máy tính để giải quyết nó thành công. Một bản tóm tắt có thể chứa các từ không xuất hiện trong bản gốc. Phương pháp tóm tắt Abstract vẫn còn khá yếu, vì vậy hầu hết các nghiên cứu đã tập trung vào các phương pháp trích chọn. * Nếu dựa vào mức độ của quá trình tóm tắt lại có thể chia ra: - Hướng tiếp cận mức độ nông (Surface-level ): trong hướng tiếp cận này, thông tin được trình bày theo quan điểm: nói sơ qua về các đặc tính và kết hợp chúng với nhau.
Các đặc tính đó ví dụ như: thống kê những từ ngữ nổi bật, những vị trí nổi bật, những từ ngữ gợi ý những cụm từ, tên miền cụ thể hoặc những từ ngữ truy vấn của người dùng. Kết quả là ta có 1 dạng đoạn trích. - Hướng tiếp cận mức độ sâu (Deep-level ): hướng tiếp cận này có thể tạo ra các trích lục hoặc tóm tắt. Các trường hợp sau này sử dụng tổng hợp liên quan đến thế hệ ngôn ngữ tự nhiên.
Chúng cần một số phân tích LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 14 ngữ nghĩa, ví dụ như có thể sử dụng các phương pháp tiếp cận thực thể và xây dựng một đại diện của các thực thể văn bản (đơn vị văn bản) và các mối quan hệ giữa chúng để xác định các phần nổi bật. Chúng cũng có thể sử dụng phương pháp luận và mô hình cấu trúc văn bản, ví dụ như: đánh dấu siêu văn bản hoặc cấu trúc tu từ. * Nếu dựa vào mục đích tóm tắt thì có thể phân loại thành: - Các bản tóm tắt chỉ báo (Indicative summaries) đưa ra những thông tin viết tắt về các chủ đề chính của một tài liệu. Các tóm tắt này phải giữ các đoạn quan trọng nhất và thường được sử dụng như là một phần kết thúc của các hệ thống IR, được trả lại bởi hệ thống tìm kiếm thay cho một tài liệu đầy đủ.
Mục đích của các bản tóm tắt này là để giúp người dùng quyết định xem tài liệu ban đầu có đáng để đọc hay không. Độ dài của bản tóm tắt này có phạm vi bằng từ 5 đến 10% của các văn bản hoàn chỉnh. - Các bản tóm tắt cung cấp nhiều thông tin (Informative summaries) cung cấp một bản thay thế cho tài liệu đầy đủ, giữ lại những chi tiết quan trọng, đồng thời giảm khối lượng thông tin. Thông tin tóm tắt thường là 20-30% thông tin của văn bản gốc.
- Các tóm tắt theo kiểu bình luận hay đánh giá (Critical or Evaluative summaries) nắm bắt những quan điểm của tác giả bản tóm tắt về một chủ đề nhất định. Mục điểm báo, tạp chí là ví dụ điển hình, nhưng các mục này là một đoạn rất nhỏ ngoài phạm vi của các hệ thống tóm tắt tự động ngày nay. * Nếu dựa vào người đọc thì có thể phân loại tóm tắt thành: - Tóm tắt chung: khi các kết quả được hướng tới một cộng đồng người đọc lớn, tất cả các chủ đề chính là quan trọng như nhau. - Tóm tắt dựa trên câu hỏi: khi kết quả được dựa trên một câu hỏi ví dụ như "Những nguyên nhân nào dẫn đến lạm phát cao? " - Tóm tắt tập trung người dùng hoặc tập trung chủ đề: phù hợp với sự quan tâm của một số người dùng đặc biệt hoặc chỉ nhấn mạnh những chủ đề đặc biệt.