Nghiên Cứu Các Phương Pháp Tóm Tắt Văn Bản và Thử Nghiệm (Luận Văn Thạc Sĩ)

Luận văn nghiên cứu các phương pháp tiếp cận tóm tắt văn bản. Khám phá các kỹ thuật khác nhau và kết quả thử nghiệm chi tiết. Tìm hiểu sâu hơn về lĩnh vực này.

• Tác giả: Sam Chanrathany
• Người hướng dẫn: Ts. Lê Thanh Hương
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu các cách tiếp cận trong tóm tắt văn bản và thử nghiệm
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC BẢNG
• DANH MỤC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TÓM TẮT VĂN BẢN
• 1.1. Khái niệm tóm tắt văn bản
• 1.2. Phân loại bài toán tóm tắt văn bản
• 1.2.1. Phân loại theo đầu vào
• 1.2.2. Dựa trên nguồn
• 1.2.3. Dựa trên ngôn ngữ
• 1.2.4. Phân loại theo mục đích
• 1.2.4.1. Dựa trên cách sử dụng
• 1.2.4.2. Dựa trên mục đích tóm tắt
• 1.2.5. Loại theo đầu ra
• 1.2.6. Ứng dụng trên Desktop và ứng dụng trên Web
• 1.2.7. Phân loại theo kỹ thuật
• 1.2.7.1. Hướng tiếp cận cổ điển
• 1.2.7.2. Hướng tiếp cận dựa trên tập ngữ liệu Corpus
• 1.3. Hướng tiếp cận dựa trên tri thức
• 1.4. Hướng tiếp cận khai thác cấu trúc ngôn ngữ
• 1.5. Các chỉ tiêu đánh giá
• 1.6. Hệ thống tóm tắt văn bản điển hình
• 2. CHƯƠNG 2: CÁC PHƯƠNG PHÁP ĐÁNH GIÁ TÓM TẮT VĂN BẢN
• 2.1. Giới thiệu
• 2.2. Đánh giá bên trong
• 2.2.1. Tính mạch lạc của tóm tắt
• 2.2.2. Độ hàm chứa thông tin của tóm tắt
• 2.2.3. Độ chính xác và độ hồi tưởng
• 2.2.4. Phương pháp xếp hạng câu
• 2.2.5. Phương pháp Lợi ích liên quan
• 2.2.6. Mức độ giống nhau về nội dung
• 2.3. Đánh giá bên ngoài
• 2.3.1. Đánh giá trên độ phù hợp
• 2.3.2. Đánh giá trên độ đọc hiểu
• 2.4. So sánh hai phương pháp
• 2.5. Hệ thống đánh giá có sẵn hiện này
• 2.6. ROUGE
• 3. CHƯƠNG 3: CÁC PHƯƠNG PHÁP DÙNG TRONG TÓM TẮT VĂN BẢN
• 3.1. Quá trình tóm tắt văn bản
• 3.2. Bước Xác định chủ đề
• 3.3. Bước Biến đổi
• 3.4. Bước Hiển Thị
• 3.5. Các phương pháp dùng trong các bước tóm tắt
• 3.5.1. Phương pháp xác định chủ đề
• 3.5.2. Phương pháp dựa trên vị trí
• 3.5.3. Phương pháp dựa trên từ gợi ý
• 3.5.4. Phương pháp dựa trên tần số xuất hiện của thuật ngữ
• 3.5.5. Phương pháp chống lặp tiêu đề và câu truy vấn
• 3.5.6. Phương pháp mối quan hệ từ vựng
• 3.5.7. Phương pháp cấu trúc diễn ngôn
• 3.5.8. Lập luận dựa trên cơ sở tri thức
• 3.5.9. Phương pháp Phủ Hợp Biên MMR
• 3.5.10. Phương pháp Ngữ nghĩa tiềm ẩn L
• 3.5.11. Trích rút thông tin
• 3.5.12. Quá trình biến đổi
• 3.5.13. Giản lược về cấu trúc câu
• 3.5.14. Giản lược về mặt ngữ nghĩa
• 3.5.15. Phương pháp hiển thị phân đoạn
• 3.5.16. Phương pháp Hiển thị liên kết
• 3.5.17. So sánh 2 phương pháp
• 4. THỬ NGHIỆM VÀ ĐÁNH GIÁ HỆ THỐNG
• 4.1. Các hệ thống dùng để so sánh
• 4.2. Quy trình kiểm tra
• 4.3. Kết quả thu được
• 4.4. Văn bản tham khảo của hệ thống Mcad
• 4.5. Đánh giá mức độ trích chọn chung
• 4.6. Đánh giá mức độ giống nhau về nội dung
• 4.7. Văn bản SUM-TREE-BANK
• NHẬN XÉT CHUNG
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Tổng Quan Về Bài Toán Tóm Tắt Văn Bản Nghiên Cứu 55 Ký Tự

Bài toán tóm tắt văn bản là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên (NLP). Nó giúp chúng ta nhanh chóng nắm bắt nội dung chính của một văn bản dài mà không cần đọc toàn bộ. Có nhiều cách tiếp cận khác nhau để tóm tắt văn bản, từ các phương pháp cổ điển dựa trên thống kê đến các mô hình học sâu hiện đại. Luận văn này sẽ đi sâu vào nghiên cứu các phương pháp này, phân tích ưu nhược điểm của từng phương pháp và đánh giá hiệu quả của chúng thông qua thực nghiệm. Mục tiêu là cung cấp một cái nhìn tổng quan về lĩnh vực tóm tắt văn bản và các hướng nghiên cứu tiềm năng. Việc rút gọn văn bản không chỉ tiết kiệm thời gian mà còn hỗ trợ nhiều ứng dụng khác nhau, từ tóm tắt tin tức đến tóm tắt tài liệu khoa học. Các giải thuật tóm tắt văn bản ngày càng trở nên phức tạp và hiệu quả hơn, nhờ sự phát triển của kỹ thuật học máy trong tóm tắt văn bản và deep learning trong tóm tắt văn bản. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, chẳng hạn như đảm bảo tính mạch lạc và chính xác của bản tóm tắt. Theo luận văn nghiên cứu, mục tiêu là "cung cấp một cái nhìn tổng quan về lĩnh vực tóm tắt văn bản và các hướng nghiên cứu tiềm năng".

1.1. Khái Niệm và Phân Loại Bài Toán Tóm Tắt Văn Bản

Tóm tắt văn bản là quá trình tạo ra một phiên bản ngắn gọn của một văn bản nguồn, giữ lại những thông tin quan trọng nhất. Bài toán này có thể được phân loại theo nhiều tiêu chí khác nhau, bao gồm loại đầu vào (văn bản đơn hay đa văn bản), ngôn ngữ (đơn ngữ hay đa ngữ), mục đích sử dụng (tóm tắt chỉ mục hay tóm tắt thông tin), và kỹ thuật được sử dụng (dựa trên trích xuất hay trừu tượng). Phương pháp phân loại bài toán tóm tắt văn bản rất quan trọng để lựa chọn giải thuật tóm tắt văn bản phù hợp. Ví dụ, tóm tắt đa ngôn ngữ đòi hỏi các kỹ thuật khác với tóm tắt văn bản tiếng Việt. Tóm tắt trích xuất đơn giản hơn tóm tắt trừu tượng, nhưng có thể không hiệu quả bằng. Sự lựa chọn phụ thuộc vào yêu cầu cụ thể của ứng dụng.

1.2. Các Ứng Dụng Quan Trọng Của Tóm Tắt Văn Bản Hiện Nay

Ứng dụng của tóm tắt văn bản rất đa dạng và ngày càng trở nên quan trọng trong nhiều lĩnh vực. Trong lĩnh vực tin tức, tóm tắt tin tức giúp người đọc nhanh chóng nắm bắt những sự kiện quan trọng nhất. Trong lĩnh vực khoa học, tóm tắt tài liệu khoa học giúp các nhà nghiên cứu tiết kiệm thời gian và tìm kiếm thông tin hiệu quả hơn. Tóm tắt văn bản cũng được sử dụng trong các ứng dụng tìm kiếm thông tin, phân tích cảm xúc, và chatbot. Các công cụ tóm tắt văn bản đang ngày càng trở nên phổ biến, nhờ sự phát triển của các thư viện tóm tắt văn bản (Python) và các framework như TensorFlow tóm tắt văn bản và PyTorch tóm tắt văn bản. Theo luận văn, "Tóm tắt văn bản giúp chúng ta nhanh chóng nắm bắt nội dung chính của một văn bản dài mà không cần đọc toàn bộ."

II. Thách Thức Khó Khăn Trong Tóm Tắt Văn Bản Hiện Tại 58 Ký Tự

Mặc dù đã có nhiều tiến bộ trong lĩnh vực tóm tắt văn bản, vẫn còn nhiều thách thức cần giải quyết. Một trong những thách thức lớn nhất là đảm bảo tính mạch lạc và chính xác của bản tóm tắt. Các phương pháp dựa trên trích xuất thường chỉ chọn các câu quan trọng nhất, nhưng có thể không đảm bảo sự liên kết giữa các câu này. Các phương pháp dựa trên trừu tượng có thể tạo ra các bản tóm tắt mạch lạc hơn, nhưng lại đòi hỏi khả năng hiểu ngôn ngữ sâu sắc hơn và có thể gặp khó khăn trong việc tái tạo chính xác thông tin quan trọng. Khó khăn trong tóm tắt văn bản còn đến từ sự phức tạp của ngôn ngữ tự nhiên, chẳng hạn như sự mơ hồ, đa nghĩa, và các hiện tượng ngôn ngữ đặc biệt khác. Ngoài ra, việc đánh giá tóm tắt văn bản cũng là một thách thức, vì không có một tiêu chuẩn duy nhất để đánh giá chất lượng của một bản tóm tắt. Việc sử dụng biểu đồ tri thức trong tóm tắt giúp cải thiện hiệu quả, nhưng cũng làm tăng độ phức tạp.

2.1. Đảm Bảo Tính Mạch Lạc và Chính Xác Của Bản Tóm Tắt

Tính mạch lạc và chính xác là hai yếu tố quan trọng nhất để đánh giá chất lượng của một bản tóm tắt. Một bản tóm tắt mạch lạc phải có sự liên kết chặt chẽ giữa các câu, đảm bảo rằng người đọc có thể dễ dàng hiểu được nội dung. Một bản tóm tắt chính xác phải tái tạo trung thực thông tin quan trọng trong văn bản gốc, tránh sai sót hoặc bỏ sót thông tin. Các phương pháp tóm tắt trích xuất thường gặp khó khăn trong việc đảm bảo tính mạch lạc, trong khi các phương pháp tóm tắt trừu tượng có thể gặp khó khăn trong việc đảm bảo tính chính xác. Cần có các kỹ thuật đặc biệt để giải quyết những vấn đề này, chẳng hạn như sử dụng cấu trúc diễn ngôn để cải thiện tính mạch lạc và sử dụng mô hình ngôn ngữ để cải thiện tính chính xác.

2.2. Vấn Đề Đánh Giá Tóm Tắt Văn Bản Khách Quan và Tin Cậy

Đánh giá tóm tắt văn bản là một vấn đề phức tạp, vì không có một tiêu chuẩn duy nhất để đánh giá chất lượng của một bản tóm tắt. Các phương pháp đánh giá truyền thống thường dựa vào đánh giá chủ quan của con người, nhưng phương pháp này tốn thời gian và có thể không khách quan. Các phương pháp đánh giá tự động, chẳng hạn như ROUGE và BLEU, nhanh chóng và khách quan hơn, nhưng có thể không phản ánh đầy đủ chất lượng của một bản tóm tắt. Cần có các phương pháp đánh giá mới, kết hợp cả đánh giá chủ quan và đánh giá tự động, để đảm bảo tính khách quan và tin cậy. Nghiên cứu các độ đo đánh giá tóm tắt khác nhau để tìm ra phương pháp phù hợp nhất.

III. Phương Pháp Tiếp Cận Trích Xuất Trong Tóm Tắt Văn Bản 59 Ký Tự

Phương pháp tiếp cận trích xuất là một trong những phương pháp phổ biến nhất trong tóm tắt văn bản. Phương pháp này dựa trên việc chọn ra các câu quan trọng nhất trong văn bản gốc và ghép chúng lại để tạo thành bản tóm tắt. Các câu quan trọng thường được xác định dựa trên các tiêu chí như tần suất từ, vị trí câu, và sự xuất hiện của các từ khóa. Ưu điểm của phương pháp này là đơn giản, dễ thực hiện, và đảm bảo tính chính xác của thông tin. Tuy nhiên, nhược điểm của phương pháp này là có thể không đảm bảo tính mạch lạc của bản tóm tắt, vì các câu được chọn có thể không liên kết chặt chẽ với nhau. Luận văn tập trung vào phương pháp tóm tắt trích xuất và đánh giá hiệu quả của nó so với các phương pháp khác.

3.1. Các Kỹ Thuật Xác Định Câu Quan Trọng Trong Trích Xuất

Có nhiều kỹ thuật khác nhau để xác định câu quan trọng trong tóm tắt trích xuất. Một trong những kỹ thuật phổ biến nhất là dựa trên tần suất từ (Term Frequency). Các câu chứa nhiều từ có tần suất cao thường được coi là quan trọng hơn. Một kỹ thuật khác là dựa trên vị trí câu. Các câu xuất hiện ở đầu hoặc cuối văn bản thường được coi là quan trọng hơn. Một số kỹ thuật khác sử dụng mối quan hệ từ vựng, cấu trúc diễn ngôn, hoặc biểu đồ tri thức để xác định câu quan trọng. Các kỹ thuật này giúp cải thiện độ chính xác và tính mạch lạc của bản tóm tắt.

3.2. Giải Pháp Cải Thiện Tính Mạch Lạc Cho Tóm Tắt Trích Xuất

Để cải thiện tính mạch lạc của bản tóm tắt trích xuất, có thể sử dụng một số kỹ thuật sau. Một kỹ thuật là sử dụng MaXimal Marginal Relevance (MMR) để chọn các câu sao cho chúng vừa quan trọng vừa đa dạng. Một kỹ thuật khác là sử dụng phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysis - LSA) để tìm ra các câu có liên quan về mặt ngữ nghĩa và ghép chúng lại. Ngoài ra, có thể sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên khác, chẳng hạn như tham chiếu đại từ và giải quyết đồng tham chiếu, để cải thiện tính mạch lạc của bản tóm tắt. Mục tiêu là làm cho bản tóm tắt dễ đọc và dễ hiểu hơn.

IV. Nghiên Cứu Phương Pháp Tóm Tắt Trừu Tượng Tạo Bản Tóm Tắt 59 Ký Tự

Phương pháp tiếp cận trừu tượng là một phương pháp tiên tiến hơn trong tóm tắt văn bản. Phương pháp này không chỉ chọn các câu quan trọng trong văn bản gốc, mà còn tạo ra các câu mới để tóm tắt nội dung. Các câu mới được tạo ra dựa trên khả năng hiểu ngôn ngữ tự nhiên và khả năng suy luận của máy tính. Ưu điểm của phương pháp này là có thể tạo ra các bản tóm tắt mạch lạc và chính xác hơn. Tuy nhiên, nhược điểm của phương pháp này là phức tạp hơn và đòi hỏi nhiều tài nguyên tính toán hơn. Sự phát triển của deep learning trong tóm tắt văn bản đã mở ra nhiều cơ hội mới cho phương pháp này. Các mô hình như sequence-to-sequence tóm tắt, transformer tóm tắt, và BERT tóm tắt đã đạt được những kết quả ấn tượng.

4.1. Ứng Dụng Mô Hình Sequence to Sequence Trong Tóm Tắt

Mô hình sequence-to-sequence là một kiến trúc phổ biến trong deep learning được sử dụng rộng rãi trong tóm tắt trừu tượng. Mô hình này bao gồm hai phần chính: bộ mã hóa (encoder) và bộ giải mã (decoder). Bộ mã hóa đọc văn bản gốc và tạo ra một biểu diễn vector của nó. Bộ giải mã sử dụng biểu diễn vector này để tạo ra bản tóm tắt. Các mô hình sequence-to-sequence có thể được huấn luyện bằng các kỹ thuật học có giám sát hoặc học không giám sát. Sự phát triển của các biến thể như attention mechanism giúp cải thiện hiệu suất đáng kể.

4.2. Ứng Dụng Transformer và BERT Trong Tạo Bản Tóm Tắt Hay

Transformer và BERT là các mô hình ngôn ngữ mạnh mẽ đã cách mạng hóa lĩnh vực NLP. Chúng có thể được sử dụng để tạo ra các bản tóm tắt trừu tượng chất lượng cao. Các mô hình transformer tóm tắt và BERT tóm tắt có khả năng hiểu ngữ cảnh và tạo ra các câu mới một cách tự nhiên và chính xác. Các mô hình này thường được huấn luyện trên các tập dữ liệu tóm tắt lớn, chẳng hạn như SUM-TREE-BANK, để cải thiện hiệu suất. Sự kết hợp của các kiến trúc này với các kỹ thuật fine-tuning đã mang lại những kết quả vượt trội.

V. Thử Nghiệm và Đánh Giá Các Phương Pháp Tóm Tắt Văn Bản 57 Ký Tự

Luận văn này tiến hành các thử nghiệm để đánh giá hiệu quả của các phương pháp tóm tắt văn bản khác nhau. Các thử nghiệm được thực hiện trên các tập dữ liệu tóm tắt tiêu chuẩn, sử dụng các độ đo đánh giá tóm tắt như ROUGE và BLEU. Các kết quả thử nghiệm cho thấy rằng các phương pháp dựa trên deep learning thường đạt được hiệu suất tốt hơn so với các phương pháp cổ điển. Tuy nhiên, các phương pháp cổ điển vẫn có thể hiệu quả trong một số trường hợp nhất định. So sánh các phương pháp tóm tắt là một phần quan trọng của nghiên cứu, giúp chúng ta hiểu rõ hơn về ưu nhược điểm của từng phương pháp và lựa chọn phương pháp phù hợp cho từng ứng dụng.

5.1. Thiết Lập Thử Nghiệm và Các Tập Dữ Liệu Sử Dụng

Các thử nghiệm được thực hiện trên các tập dữ liệu tóm tắt tiêu chuẩn, chẳng hạn như DUC 2002, DUC 2004, và CNN/DailyMail. Các tập dữ liệu này chứa các văn bản gốc và các bản tóm tắt tham khảo được tạo bởi con người. Các tập dữ liệu này được sử dụng để huấn luyện và đánh giá các mô hình tóm tắt văn bản. Việc lựa chọn tập dữ liệu tóm tắt phù hợp là rất quan trọng để đảm bảo tính khách quan và tin cậy của kết quả thử nghiệm. Các thử nghiệm cũng bao gồm các văn bản tóm tắt tiếng Việt.

5.2. Kết Quả Thử Nghiệm và Phân Tích Hiệu Suất Mô Hình

Kết quả thử nghiệm cho thấy rằng các mô hình deep learning, chẳng hạn như transformer và BERT, thường đạt được hiệu suất tốt hơn so với các phương pháp cổ điển. Tuy nhiên, các phương pháp cổ điển vẫn có thể hiệu quả trong một số trường hợp nhất định, chẳng hạn như khi tài nguyên tính toán hạn chế hoặc khi yêu cầu độ chính xác cao. Hiệu suất của các mô hình tóm tắt được đánh giá dựa trên các độ đo đánh giá tóm tắt như ROUGE và BLEU. Phân tích kết quả giúp chúng ta hiểu rõ hơn về ưu nhược điểm của từng phương pháp và lựa chọn phương pháp phù hợp cho từng ứng dụng.

VI. Xu Hướng Nghiên Cứu và Tương Lai Của Tóm Tắt Văn Bản 56 Ký Tự

Lĩnh vực tóm tắt văn bản đang phát triển nhanh chóng, với nhiều xu hướng nghiên cứu mới nổi lên. Một trong những xu hướng quan trọng nhất là phát triển các mô hình tóm tắt trừu tượng mạnh mẽ hơn, có khả năng hiểu ngôn ngữ tự nhiên sâu sắc hơn và tạo ra các bản tóm tắt mạch lạc và chính xác hơn. Một xu hướng khác là nghiên cứu các phương pháp tóm tắt đa ngôn ngữ, có khả năng tóm tắt các văn bản được viết bằng nhiều ngôn ngữ khác nhau. Ngoài ra, việc ứng dụng biểu đồ tri thức trong tóm tắt cũng là một hướng đi đầy triển vọng. Tương lai của tóm tắt văn bản hứa hẹn nhiều đột phá và ứng dụng rộng rãi hơn.

6.1. Phát Triển Mô Hình Tóm Tắt Trừu Tượng Mạnh Mẽ Hơn

Các mô hình tóm tắt trừu tượng ngày càng trở nên mạnh mẽ hơn, nhờ sự phát triển của deep learning và các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến. Các mô hình này có khả năng hiểu ngôn ngữ tự nhiên sâu sắc hơn, tạo ra các câu mới một cách tự nhiên và chính xác, và đảm bảo tính mạch lạc của bản tóm tắt. Nghiên cứu tập trung vào cải thiện khả năng suy luận, hiểu ngữ cảnh và tạo ra các bản tóm tắt sáng tạo hơn.

6.2. Nghiên Cứu Tóm Tắt Đa Ngôn Ngữ và Ứng Dụng Thực Tế

Tóm tắt đa ngôn ngữ là một lĩnh vực nghiên cứu đầy thách thức, nhưng cũng rất quan trọng. Các phương pháp tóm tắt đa ngôn ngữ có khả năng tóm tắt các văn bản được viết bằng nhiều ngôn ngữ khác nhau, giúp người dùng tiếp cận thông tin một cách dễ dàng hơn. Ứng dụng thực tế của tóm tắt đa ngôn ngữ bao gồm tóm tắt tin tức quốc tế, tóm tắt tài liệu khoa học đa ngôn ngữ, và hỗ trợ dịch thuật. Phát triển các mô hình ngôn ngữ đa ngôn ngữ là chìa khóa để giải quyết bài toán này.

Trích đoạn nội dung tài liệu

_BQ GIAO DUC VA DAO TAO | TRUONG DAI HOC BACH KHOA HA NOI LUẬN VĂN THẠC SĨ KHOA HOC NGHIÊN CỨU CÁC CACH TIEP CAN TRONG TOM TAT VAN BAN VA THU NGHIEM NGANH: CONG NGHE THONG TIN MÃ SỐ SAM CHANRATIANY Người hướng dẫn khoa học: T8. LẺ THANH HƯƠNG HÀ NỘI - 2008 LOI CAM DOAN Tôi — SAM CHANRATHANY Hoc vién lép Cao học CNTT 2005-2007 Trường Đại học Bách Khoa Hà Nội — cam kết dây là công trình nghiên cửu của bản thân tôi đưới sự hướng dẫn của T8. LÊ THANHI IƯƠNG Bộ môn HE THONG THONG TIN ~ Khoa CNTT — Trường Đại học Bách Khoa Hà Nội.Các kết quả nêu trong luận văn lả trung thực, không sao chép toàn văn của bắt kỷ công trình nào khác Hà Nội, tháng 04 năm 2008 SAM CHANRATHANY Tời Cảm Ơn Trước hết tôi xin gửi lời cắm ơn đặc biệt nhất tới TS.Lê Thanh Hương, Bộ môn Hệ Thống Thông Tin, Khoa Công Nghệ Thông Tin, Trường Đại Học Bách khoa Hà Nội, Người đã định hướng đề tài và tận tình hướng dẫn chỉ báo tôi trong suốt quá trình thực hiện luận văn cao học này. 'Tôi xin gửi lời cảm ơn sâu sắc tới rung Tâm Pao ‘Tao Sau Bai Hoc vả các thấy cô giáo trong Khoa Công Nghệ Thêng Tin, lrường Dại học Bách Khoa Há Nội đã lận tinh giáng đậy và truyền đạt những kiến thức, những kinh nghiệm quý báu trong suốt 2 năm học Cao Học.

Cudi cùng tôi xin bảy tổ lòng cắm ơn chân thành tới tất cả các bạn bẻ, các thầy cô giáo, các bạn khoa nghệ thông tin 2005-2007, trường dại học Bách khoa Hà Nội đã động viên, tạo điều kiện cho tôi trong suốt thời gian thực hiện luận văn nảy Hà Nội, thang 04 ndm 2008 Sam chanrathany 3. Bước Hiển Thị 4 3.ác phương pháp dùng trong các bước tóm tit.Phương pháp xác định chủ đề. Phương Pháp đựa trên vị trí 3. Phương Pháp dựa trên từ gợi ÿ.

Phương Pháp dựa trên tần số xuất hiện của thuận ngữ 3. Phương Pháp chống lắp tiêu để và câu truy van. Phương Pháp mối quan hệ từ vựng 3. Phương Pháp cấu trúc diễn ngôn 3.

Lập luận dựa trên cơ sở tri thức. Phương Pháp Phủ Hợp Biên MMR.Phương pháp Ngữ nghĩa tiềm ẩn L.Trích rút thông tin .Quả trình biến đổi.Giản lược về cầu trúc cầu 3.Giản lược về mặt ngữ nghĩa. Phương pháp hiển thị phân đoạn 3.Phương pháp Hiễn thị liên kết.5o sánh2 phương pháp. THỬ NGHIÊM VÀ ĐÁNH GIÁ HỆ THÔNG 4.

Các hệ thông dùng để so sánh. Quý trình kiểm tra. Kết quả thu được DANH MUC BANG Trang Tinh 2-1 Bang két quả đánh giá tóm Lắt cla ROUGE 39 Hinh 4-4 Bảng, mức rích chọn chung dựa trên độ chính 73 xác và độ hôi trồng Hinh 4-5 Đăng trung bình cộng mức độ trích chọn chưng dựa trên độ chính xác và độ hồi tưởng Hinh 4-6 Đăng trung bình cộng mức độ trích chọn chưng 74 dựa trên Kappa Tinh 4-7 Tiẳng mức độ giống nhau về nội dung cosin của 75 từng văn bản Hinh 4-8 Bang trung bình công mức đô giống nhau về nội 75 dưng Cosin. Hinh 4-9 Bảng trung bình công mức độ giống nhau về nội 76 dung dựa trên đơn vị trưng lặp Hinh 4-11 Bảng trung bình cộng mức độ giống nhau về nội 77 dung Cosin so với Abstract.

DANH MỤC HÌNH Trang TTình 3-] Mô hình chung của tóm tắt văn bản 4I Hình 3-2 Mô hình chung của trích rút vấn ban 4l Hình 3-3 Hệ thông tóm tắt dựa trên mỗi quan hệ từ vựng. 46 Tinh 3-4 Văn ban ding dé tìm mỗi quan hệ từ vung 48 Hình 3-5 Biểu đỗ quan hệ từ vựng cho LC¿ Hình 3-6 Biểu đỗ cầu trác điễn ngôn 53 Hình 4-] Mô hình hệ thống tóm tắt 8wcsum 66 Hình 4-2 Giao dién Swesum 67 Hình 4-3 Giao điện đồ hoa của hé thang Mead 69 4.1 Văn bản tham khảo của hệ thông Mcad 4.Dánh giá mức độ trích chọn chung.Đánh giá mức độ giống nhau về nội dung. Văn bản SUM-TREE-BANK.NHẬN XÉT CHUNG. TÀI LIỆU THAM KHẢO PHU LUC.

DANH MỤC HÌNH Trang TTình 3-] Mô hình chung của tóm tắt văn bản 4I Hình 3-2 Mô hình chung của trích rút vấn ban 4l Hình 3-3 Hệ thông tóm tắt dựa trên mỗi quan hệ từ vựng. 46 Tinh 3-4 Văn ban ding dé tìm mỗi quan hệ từ vung 48 Hình 3-5 Biểu đỗ quan hệ từ vựng cho LC¿ Hình 3-6 Biểu đỗ cầu trác điễn ngôn 53 Hình 4-] Mô hình hệ thống tóm tắt 8wcsum 66 Hình 4-2 Giao dién Swesum 67 Hình 4-3 Giao điện đồ hoa của hé thang Mead 69 3. Bước Hiển Thị 4 3.ác phương pháp dùng trong các bước tóm tit.Phương pháp xác định chủ đề. Phương Pháp đựa trên vị trí 3.

Phương Pháp dựa trên từ gợi ÿ. Phương Pháp dựa trên tần số xuất hiện của thuận ngữ 3. Phương Pháp chống lắp tiêu để và câu truy van. Phương Pháp mối quan hệ từ vựng 3.

Phương Pháp cấu trúc diễn ngôn 3. Lập luận dựa trên cơ sở tri thức. Phương Pháp Phủ Hợp Biên MMR.Phương pháp Ngữ nghĩa tiềm ẩn L.Trích rút thông tin .Quả trình biến đổi.Giản lược về cầu trúc cầu 3.Giản lược về mặt ngữ nghĩa. Phương pháp hiển thị phân đoạn 3.Phương pháp Hiễn thị liên kết.5o sánh2 phương pháp.

THỬ NGHIÊM VÀ ĐÁNH GIÁ HỆ THÔNG 4. Các hệ thông dùng để so sánh. Quý trình kiểm tra. Kết quả thu được 3.

Bước Hiển Thị 4 3.ác phương pháp dùng trong các bước tóm tit.Phương pháp xác định chủ đề. Phương Pháp đựa trên vị trí 3. Phương Pháp dựa trên từ gợi ÿ. Phương Pháp dựa trên tần số xuất hiện của thuận ngữ 3.

Phương Pháp chống lắp tiêu để và câu truy van. Phương Pháp mối quan hệ từ vựng 3. Phương Pháp cấu trúc diễn ngôn 3. Lập luận dựa trên cơ sở tri thức.

Phương Pháp Phủ Hợp Biên MMR.Phương pháp Ngữ nghĩa tiềm ẩn L.Trích rút thông tin .Quả trình biến đổi.Giản lược về cầu trúc cầu 3.Giản lược về mặt ngữ nghĩa. Phương pháp hiển thị phân đoạn 3.Phương pháp Hiễn thị liên kết.5o sánh2 phương pháp. THỬ NGHIÊM VÀ ĐÁNH GIÁ HỆ THÔNG 4. Các hệ thông dùng để so sánh.

Quý trình kiểm tra. Kết quả thu được DANH MUC BANG Trang Tinh 2-1 Bang két quả đánh giá tóm Lắt cla ROUGE 39 Hinh 4-4 Bảng, mức rích chọn chung dựa trên độ chính 73 xác và độ hôi trồng Hinh 4-5 Đăng trung bình cộng mức độ trích chọn chưng dựa trên độ chính xác và độ hồi tưởng Hinh 4-6 Đăng trung bình cộng mức độ trích chọn chưng 74 dựa trên Kappa Tinh 4-7 Tiẳng mức độ giống nhau về nội dung cosin của 75 từng văn bản Hinh 4-8 Bang trung bình công mức đô giống nhau về nội 75 dưng Cosin. Hinh 4-9 Bảng trung bình công mức độ giống nhau về nội 76 dung dựa trên đơn vị trưng lặp Hinh 4-11 Bảng trung bình cộng mức độ giống nhau về nội 77 dung Cosin so với Abstract.1 Văn bản tham khảo của hệ thông Mcad 4.Dánh giá mức độ trích chọn chung.Đánh giá mức độ giống nhau về nội dung. Văn bản SUM-TREE-BANK.NHẬN XÉT CHUNG.

TÀI LIỆU THAM KHẢO PHU LUC. DANH MUC BANG Trang Tinh 2-1 Bang két quả đánh giá tóm Lắt cla ROUGE 39 Hinh 4-4 Bảng, mức rích chọn chung dựa trên độ chính 73 xác và độ hôi trồng Hinh 4-5 Đăng trung bình cộng mức độ trích chọn chưng dựa trên độ chính xác và độ hồi tưởng Hinh 4-6 Đăng trung bình cộng mức độ trích chọn chưng 74 dựa trên Kappa Tinh 4-7 Tiẳng mức độ giống nhau về nội dung cosin của 75 từng văn bản Hinh 4-8 Bang trung bình công mức đô giống nhau về nội 75 dưng Cosin. Hinh 4-9 Bảng trung bình công mức độ giống nhau về nội 76 dung dựa trên đơn vị trưng lặp Hinh 4-11 Bảng trung bình cộng mức độ giống nhau về nội 77 dung Cosin so với Abstract. DANH MUC BANG Trang Tinh 2-1 Bang két quả đánh giá tóm Lắt cla ROUGE 39 Hinh 4-4 Bảng, mức rích chọn chung dựa trên độ chính 73 xác và độ hôi trồng Hinh 4-5 Đăng trung bình cộng mức độ trích chọn chưng dựa trên độ chính xác và độ hồi tưởng Hinh 4-6 Đăng trung bình cộng mức độ trích chọn chưng 74 dựa trên Kappa Tinh 4-7 Tiẳng mức độ giống nhau về nội dung cosin của 75 từng văn bản Hinh 4-8 Bang trung bình công mức đô giống nhau về nội 75 dưng Cosin.

Hinh 4-9 Bảng trung bình công mức độ giống nhau về nội 76 dung dựa trên đơn vị trưng lặp Hinh 4-11 Bảng trung bình cộng mức độ giống nhau về nội 77 dung Cosin so với Abstract. DANH MUC BANG Trang Tinh 2-1 Bang két quả đánh giá tóm Lắt cla ROUGE 39 Hinh 4-4 Bảng, mức rích chọn chung dựa trên độ chính 73 xác và độ hôi trồng Hinh 4-5 Đăng trung bình cộng mức độ trích chọn chưng dựa trên độ chính xác và độ hồi tưởng Hinh 4-6 Đăng trung bình cộng mức độ trích chọn chưng 74 dựa trên Kappa Tinh 4-7 Tiẳng mức độ giống nhau về nội dung cosin của 75 từng văn bản Hinh 4-8 Bang trung bình công mức đô giống nhau về nội 75 dưng Cosin. Hinh 4-9 Bảng trung bình công mức độ giống nhau về nội 76 dung dựa trên đơn vị trưng lặp Hinh 4-11 Bảng trung bình cộng mức độ giống nhau về nội 77 dung Cosin so với Abstract. MUC LUC Trang LOICAM ON LOLCAM DOAN Muc Luc.

Danh Mục Tir Viét Tat Danh Muc Bang Danh Muc [inh Vé. Ma Hau, CHUONG 1. TONG QUAN VE TOM TAT VAN BAN 1. khái niệm tóm tắt văn ban 1.phân loại bài toán tóm tắt văn bản.

Phân loại theo đầu vào 1. Dựa trên nguén.Dựa Trên Ngôn Ngữ.Phân Loại Theo Mục Bich 1.1 Dựa trên cách sử đụng.2 Dựa Trên mục đích tám tắt 1.oại Theo Đầu ra 1. Ứng dụng trên Desktop và ứng dụng trên Web 1.Phân Loại theo kỹ thuật.1 Hưởng tiếp cận cỗ điển.2 Hưởng tiếp cân dựa trên tập ngữ liêu Corpus DANH MỤC CHV VIET TAT Tiếng Anh Tiếng Việt Document Understanding Hội nghị về hiểu văn bản Conference Les Longest common subsequence Dây con chung dài nhất LSA Latent Sematic Analysis Phân tích ngữ nghĩa tiềm ân MMR Maximal Marginal Relevance Phù hợp biên lỗi da WLCS. Weighted Longes!