Tóm tắt luận văn thạc sĩ: Kỹ thuật deep learning trong xử lý văn bản

Luận văn thạc sĩ kỹ thuật nghiên cứu tóm tắt văn bản sử dụng các kỹ thuật trong deep learning luận văn ths máy tính 84801, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải

• Tác giả: Đoàn Xuân Dũng
• Người hướng dẫn: PGS.TS Nguyễn Xuân Hoài
• Trường học: Trường Đại Học Công Nghệ Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tóm Tắt Văn Bản Sử Dụng Các Kỹ Thuật Trong Deep Learning
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU TÓM TẮT VĂN BẢN
• 1.1. Tóm tắt trích chọn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mạng nơ-ron đa lớp. Lan truyền tiến
• 2.2. Tầng đầu ra. Lan truyền ngược
• 2.3. Mô hình RNN
• 2.3.1. Pha hướng tiến
• 2.3.2. Pha quay lui
• 2.4. Mạng LSTM, GRU. Mạng nơ-ron tích chập
• 2.4.1. Tầng phi tuyến
• 2.4.2. Tầng kết nối đầy đủ
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Kiến trúc RNN Encoder-Decoder
• 3.2. Thuật toán tìm kiếm chùm
• 3.3. Mô hình đề xuất
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Dữ liệu thử nghiệm
• 4.1.1. Bộ dữ liệu Gigaword
• 4.1.2. Bộ dữ liệu CNN/Daily Mail
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về tóm tắt văn bản

Tóm tắt văn bản là một kỹ thuật quan trọng trong lĩnh vực xử lý văn bản. Nó cho phép rút gọn thông tin từ một văn bản lớn thành một phiên bản ngắn gọn hơn mà vẫn giữ được nội dung chính. Có hai phương pháp chính trong tóm tắt văn bản: tóm tắt trích chọn và tóm tắt tóm lược. Tóm tắt trích chọn sử dụng các câu từ văn bản gốc, trong khi tóm tắt tóm lược tạo ra nội dung mới dựa trên hiểu biết về văn bản. Việc áp dụng deep learning trong tóm tắt văn bản đã mở ra nhiều cơ hội mới, giúp cải thiện độ chính xác và hiệu quả của các mô hình tóm tắt. Các nghiên cứu gần đây cho thấy rằng việc sử dụng mạng nơ-ron hồi quy (RNN) và mạng nơ-ron tích chập (CNN) có thể mang lại kết quả tốt hơn so với các phương pháp truyền thống.

1.1. Các phương pháp tóm tắt

Tóm tắt văn bản có thể chia thành hai loại chính: tóm tắt trích chọn và tóm tắt tóm lược. Tóm tắt trích chọn là phương pháp đơn giản, trong đó các câu quan trọng được chọn từ văn bản gốc. Ngược lại, tóm tắt tóm lược yêu cầu mô hình hiểu nội dung và tạo ra một bản tóm tắt mới, có thể chứa các từ không có trong văn bản gốc. Việc áp dụng kỹ thuật học sâu trong tóm tắt tóm lược đã cho thấy tiềm năng lớn trong việc cải thiện chất lượng tóm tắt, nhờ vào khả năng học hỏi từ dữ liệu lớn và phát hiện các mẫu ngữ nghĩa phức tạp.

II. Cơ sở lý thuyết về deep learning

Cơ sở lý thuyết của deep learning trong tóm tắt văn bản bao gồm các mô hình như mạng nơ-ron đa lớp, mạng nơ-ron hồi quy (RNN), và mạng LSTM. Những mô hình này cho phép xử lý dữ liệu lớn và phức tạp, giúp cải thiện khả năng tóm tắt. Mạng nơ-ron tích chập (CNN) cũng đã được áp dụng thành công trong các bài toán xử lý ngôn ngữ tự nhiên. Các mô hình này không chỉ giúp tăng cường độ chính xác mà còn giảm thiểu thời gian xử lý. Việc sử dụng các thuật toán như lan truyền tiến và lan truyền ngược trong quá trình huấn luyện mô hình là rất quan trọng để tối ưu hóa hiệu suất của các mô hình này.

2.1. Mạng nơ ron và các mô hình học sâu

Mạng nơ-ron là một trong những công nghệ cốt lõi của machine learning và deep learning. Các mô hình như RNN và LSTM cho phép xử lý dữ liệu tuần tự, rất hữu ích trong việc tóm tắt văn bản. Mô hình LSTM, với khả năng ghi nhớ thông tin lâu dài, giúp cải thiện độ chính xác trong việc tóm tắt các văn bản dài. Ngoài ra, mạng nơ-ron tích chập (CNN) đã chứng minh hiệu quả trong việc phân tích ngữ nghĩa và phân loại văn bản. Việc kết hợp các mô hình này trong tóm tắt văn bản có thể tạo ra những kết quả ấn tượng, mở ra hướng đi mới cho nghiên cứu trong lĩnh vực này.

III. Mô hình đề xuất cho tóm tắt văn bản

Mô hình đề xuất cho tóm tắt văn bản sử dụng kiến trúc RNN Encoder-Decoder kết hợp với cơ chế attention. Cơ chế attention cho phép mô hình tập trung vào các phần quan trọng của văn bản đầu vào, từ đó tạo ra bản tóm tắt chính xác hơn. Việc áp dụng thuật toán tìm kiếm chùm giúp tối ưu hóa quá trình lựa chọn các câu quan trọng. Mô hình này đã được thử nghiệm trên các bộ dữ liệu như Gigaword và CNN/Daily Mail, cho thấy hiệu quả vượt trội so với các phương pháp truyền thống. Kết quả cho thấy rằng việc sử dụng trí tuệ nhân tạo trong tóm tắt văn bản không chỉ cải thiện độ chính xác mà còn tăng cường khả năng hiểu biết ngữ nghĩa của mô hình.

3.1. Kiến trúc RNN Encoder Decoder

Kiến trúc RNN Encoder-Decoder là một trong những mô hình tiên tiến nhất trong tóm tắt văn bản. Mô hình này hoạt động bằng cách mã hóa thông tin từ văn bản đầu vào và sau đó giải mã để tạo ra bản tóm tắt. Cơ chế attention cho phép mô hình xác định các phần quan trọng của văn bản, từ đó cải thiện chất lượng tóm tắt. Việc áp dụng mô hình này đã cho thấy kết quả khả quan trong việc tóm tắt các văn bản dài, giúp người dùng dễ dàng tiếp cận thông tin quan trọng mà không cần phải đọc toàn bộ văn bản.

IV. Thực nghiệm và đánh giá

Thực nghiệm được thực hiện trên các bộ dữ liệu như Gigaword và CNN/Daily Mail để đánh giá hiệu quả của mô hình đề xuất. Kết quả cho thấy mô hình sử dụng deep learning có khả năng tóm tắt chính xác và hiệu quả hơn so với các phương pháp truyền thống. Các chỉ số đánh giá như ROUGE cho thấy sự cải thiện rõ rệt trong việc xác định các câu quan trọng và tạo ra bản tóm tắt mạch lạc. Việc áp dụng các kỹ thuật như tự động hóa xử lý văn bản đã giúp giảm thiểu thời gian và công sức trong việc tóm tắt văn bản, đồng thời nâng cao chất lượng thông tin được truyền tải.

4.1. Kết quả thử nghiệm

Kết quả thử nghiệm cho thấy mô hình đề xuất đạt được độ chính xác cao trong việc tóm tắt văn bản. Các chỉ số ROUGE cho thấy sự cải thiện đáng kể so với các mô hình trước đó. Việc sử dụng dữ liệu lớn trong quá trình huấn luyện đã giúp mô hình học hỏi và cải thiện khả năng tóm tắt. Kết quả này không chỉ chứng minh tính khả thi của mô hình mà còn mở ra hướng đi mới cho nghiên cứu trong lĩnh vực tóm tắt văn bản, đặc biệt là trong bối cảnh cách mạng công nghiệp 4.0.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cách mạng công nghiệp 4.0, lượng thông tin trên Internet ngày càng tăng lên một cách nhanh chóng, dẫn đến nhu cầu cấp thiết về việc tóm tắt văn bản để rút gọn và trích xuất những thông tin quan trọng nhất. Tóm tắt văn bản giúp người dùng tiếp cận nhanh chóng nội dung chính mà không cần đọc toàn bộ văn bản gốc. Theo ước tính, các phương pháp tóm tắt văn bản có thể được chia thành hai loại chính: tóm tắt trích chọn (extractive summarization) và tóm tắt tóm lược (abstractive summarization). Tóm tắt trích chọn dựa trên việc lựa chọn các câu hoặc đoạn văn bản quan trọng từ văn bản gốc, trong khi tóm tắt tóm lược tạo ra bản tóm tắt bằng cách diễn đạt lại nội dung theo cách mới, có thể sử dụng từ ngữ không xuất hiện trong văn bản gốc.

Mục tiêu nghiên cứu của luận văn là phát triển và đánh giá các mô hình học sâu, đặc biệt là các kỹ thuật mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) kết hợp cơ chế Attention, nhằm nâng cao hiệu quả của bài toán tóm tắt văn bản tự động. Nghiên cứu tập trung trên các bộ dữ liệu lớn như Gigaword và CNN/Daily Mail, với phạm vi thời gian nghiên cứu từ năm 2017 đến 2018 tại Việt Nam. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác, tính mạch lạc và khả năng tổng quát hóa của các mô hình tóm tắt, góp phần hỗ trợ các ứng dụng trong xử lý ngôn ngữ tự nhiên và khai thác thông tin.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

• Mạng nơ-ron đa lớp (MLP): Là mô hình mạng nơ-ron nhân tạo cơ bản với các lớp ẩn phi tuyến, có khả năng xấp xỉ các hàm liên tục. MLP được sử dụng làm nền tảng cho các mô hình phức tạp hơn trong học sâu.

• Mạng nơ-ron hồi quy (RNN): Mạng có khả năng xử lý dữ liệu chuỗi nhờ vào trạng thái ẩn lưu giữ thông tin quá khứ. Tuy nhiên, RNN truyền thống gặp vấn đề biến mất đạo hàm khi xử lý chuỗi dài.

• Mạng LSTM và GRU: Các biến thể của RNN được thiết kế để giải quyết vấn đề biến mất đạo hàm, cho phép lưu giữ thông tin dài hạn hiệu quả hơn. LSTM sử dụng các khối nhớ với các cổng điều khiển, trong khi GRU đơn giản hóa cấu trúc nhưng vẫn giữ được hiệu quả tương đương.

• Mạng nơ-ron tích chập (CNN): Mạng chuyên xử lý dữ liệu dạng lưới, nổi bật trong xử lý ảnh và được áp dụng thành công trong xử lý ngôn ngữ tự nhiên để trích xuất đặc trưng cục bộ từ chuỗi văn bản.

• Cơ chế Attention: Giúp mô hình tập trung vào các phần quan trọng của đầu vào khi sinh từng từ trong bản tóm tắt, cải thiện khả năng xử lý chuỗi dài và nâng cao chất lượng tóm tắt.

• Mô hình Encoder-Decoder: Kiến trúc phổ biến trong học sâu cho các bài toán dịch máy và tóm tắt văn bản, trong đó encoder mã hóa chuỗi đầu vào thành vector ngữ cảnh, decoder sinh ra chuỗi đầu ra dựa trên vector này.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng các bộ dữ liệu chuẩn trong lĩnh vực tóm tắt văn bản như Gigaword và CNN/Daily Mail, với hàng trăm nghìn cặp văn bản và bản tóm tắt.

• Phương pháp phân tích: Xây dựng mô hình học sâu kết hợp CNN và GRU với cơ chế Attention, áp dụng thuật toán tìm kiếm chùm (Beam Search) trong quá trình giải mã để tối ưu hóa chuỗi đầu ra.

• Cỡ mẫu và chọn mẫu: Mô hình được huấn luyện trên toàn bộ bộ dữ liệu Gigaword và CNN/Daily Mail, với việc chia tập huấn luyện, kiểm thử và đánh giá theo tỷ lệ chuẩn để đảm bảo tính khách quan.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 4/2017 đến tháng 6/2018, bao gồm giai đoạn thu thập dữ liệu, xây dựng mô hình, huấn luyện và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Mô hình kết hợp CNN và GRU với cơ chế Attention đạt hiệu quả cao trên bộ dữ liệu Gigaword, với điểm ROUGE-1 đạt khoảng 38%, tăng 5% so với các mô hình truyền thống chỉ sử dụng RNN.

• Trên bộ dữ liệu CNN/Daily Mail, mô hình đề xuất đạt điểm ROUGE-2 khoảng 17%, vượt trội hơn 4% so với các mô hình baseline.

• Thuật toán tìm kiếm chùm với độ rộng chùm 5 giúp cải thiện độ chính xác của bản tóm tắt lên đến 3% so với tìm kiếm tham lam.

• Mô hình có khả năng sinh ra các bản tóm tắt ngắn gọn, mạch lạc, giữ được nội dung quan trọng và giảm thiểu sự lặp lại từ ngữ.

Thảo luận kết quả

Nguyên nhân của sự cải thiện này là do việc kết hợp CNN giúp trích xuất đặc trưng cục bộ hiệu quả, trong khi GRU và cơ chế Attention cho phép mô hình tập trung vào các phần quan trọng của văn bản khi sinh bản tóm tắt. So với các nghiên cứu trước đây chỉ sử dụng RNN hoặc LSTM, mô hình đề xuất đã khắc phục được hạn chế về khả năng xử lý chuỗi dài và giảm thiểu vấn đề biến mất đạo hàm.

Kết quả có thể được trình bày qua biểu đồ so sánh điểm ROUGE giữa các mô hình trên hai bộ dữ liệu, hoặc bảng thống kê chi tiết các chỉ số đánh giá. Điều này minh chứng cho hiệu quả của việc áp dụng học sâu hiện đại trong bài toán tóm tắt văn bản, đồng thời mở ra hướng phát triển cho các ứng dụng xử lý ngôn ngữ tự nhiên tại Việt Nam và quốc tế.

Đề xuất và khuyến nghị

• Triển khai mô hình học sâu trong các hệ thống quản lý nội dung nhằm tự động tạo bản tóm tắt cho các bài báo, tài liệu nghiên cứu, giúp tiết kiệm thời gian và nâng cao hiệu quả truy cập thông tin.

• Tăng cường đào tạo và phát triển nguồn nhân lực chuyên sâu về học sâu và xử lý ngôn ngữ tự nhiên để đáp ứng nhu cầu ứng dụng công nghệ trong các lĩnh vực giáo dục, truyền thông và công nghiệp.

• Phát triển các bộ dữ liệu tiếng Việt chuẩn hóa và đa dạng hơn để nâng cao chất lượng huấn luyện mô hình, đồng thời thúc đẩy nghiên cứu sâu rộng về tóm tắt văn bản cho ngôn ngữ này.

• Áp dụng thuật toán tìm kiếm chùm với độ rộng phù hợp trong các ứng dụng thực tế để cân bằng giữa hiệu suất và tốc độ xử lý, đảm bảo chất lượng bản tóm tắt và khả năng mở rộng hệ thống.

Đối tượng nên tham khảo luận văn

• Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Khoa học Máy tính: Nắm bắt kiến thức về các mô hình học sâu ứng dụng trong xử lý ngôn ngữ tự nhiên, đặc biệt là tóm tắt văn bản.

• Chuyên gia phát triển sản phẩm AI và NLP: Áp dụng các kỹ thuật tiên tiến để xây dựng các hệ thống tóm tắt tự động, cải thiện trải nghiệm người dùng.

• Các tổ chức truyền thông và báo chí: Tận dụng công nghệ tóm tắt tự động để xử lý lượng lớn tin tức, giúp biên tập viên và độc giả tiếp cận thông tin nhanh chóng.

• Doanh nghiệp và tổ chức giáo dục: Ứng dụng mô hình tóm tắt để hỗ trợ quản lý tài liệu, nghiên cứu khoa học và đào tạo trực tuyến hiệu quả hơn.

Câu hỏi thường gặp

1. Tóm tắt trích chọn và tóm tắt tóm lược khác nhau như thế nào?
   Tóm tắt trích chọn chọn các câu hoặc đoạn có sẵn trong văn bản gốc, còn tóm tắt tóm lược tạo ra nội dung mới dựa trên hiểu biết về văn bản, giúp bản tóm tắt ngắn gọn và mạch lạc hơn.

2. Tại sao sử dụng mạng nơ-ron tích chập (CNN) trong xử lý ngôn ngữ tự nhiên?
   CNN giúp trích xuất các đặc trưng cục bộ từ chuỗi văn bản, như các cụm từ hoặc mẫu ngữ nghĩa, từ đó cải thiện khả năng nhận dạng và phân loại thông tin.

3. Cơ chế Attention có vai trò gì trong mô hình tóm tắt?
   Attention cho phép mô hình tập trung vào các phần quan trọng của văn bản đầu vào khi sinh từng từ trong bản tóm tắt, giúp nâng cao độ chính xác và tính mạch lạc.

4. Beam Search là gì và tại sao cần dùng trong giải mã?
   Beam Search là thuật toán tìm kiếm mở rộng nhiều khả năng ứng viên cùng lúc, giúp tìm ra chuỗi từ có xác suất cao nhất, tránh việc chọn lựa tham lam gây sai lệch kết quả.

5. Mô hình đề xuất có thể áp dụng cho ngôn ngữ tiếng Việt không?
   Có, mô hình học sâu với các kỹ thuật như CNN, GRU và Attention có thể được điều chỉnh và huấn luyện trên dữ liệu tiếng Việt để đạt hiệu quả tương tự như với tiếng Anh.

Kết luận

• Đã phát triển thành công mô hình tóm tắt văn bản tự động kết hợp CNN, GRU và cơ chế Attention, nâng cao hiệu quả so với các mô hình truyền thống.
• Mô hình đạt điểm ROUGE cải thiện đáng kể trên các bộ dữ liệu chuẩn như Gigaword và CNN/Daily Mail.
• Thuật toán tìm kiếm chùm giúp tối ưu hóa quá trình giải mã, cân bằng giữa chất lượng và tốc độ.
• Nghiên cứu góp phần thúc đẩy ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên tại Việt Nam.
• Đề xuất các bước tiếp theo bao gồm mở rộng dữ liệu huấn luyện, tối ưu mô hình và ứng dụng thực tế trong các hệ thống quản lý nội dung.

Hãy áp dụng các kết quả nghiên cứu này để phát triển các giải pháp tóm tắt văn bản tự động hiệu quả, góp phần nâng cao năng suất và chất lượng công việc trong nhiều lĩnh vực khác nhau.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tóm tắt văn bản Tóm tắt văn bản là quá trình trích rút những thông tin quan trọng nhất từ một văn bản để tạo ra phiên bản ngắn gọn, xúc tích mang đầy đủ lượng thông tin của văn bản gốc kèm theo đó là tính đúng đắn về ngữ pháp và chính tả. Bản tóm tắt phải giữ được những thông tin quan trọng của toàn bộ văn bản chính. Bên cạnh đó, bản tóm tắt cần phải có bố cục chặt chẽ có tính đến các thông số như độ dài câu, phong cách viết và cú pháp văn bản. Phụ thuộc vào số lượng các văn bản, kỹ thuật tóm tắt có thể chia làm hai lớp: đơn văn bản và đa văn bản.

Tóm tắt đơn văn bản chỉ đơn giản là rút gọn một văn bản thành một sự trình bày ngắn gọn. Trong khi đó tóm tắt đa văn bản phải rút gọn một tập các văn bản thành một sự tóm tắt. Tóm tắt đa văn bản có thể xem như một sự mở rộng của tóm tắt đơn văn bản và thường dùng với thông tin chứa trong các cụm văn bản, để người dùng có thể hiểu được cụm văn bản đó. Tóm tắt đa văn bản phức tạp hơn tóm tắt đơn văn bản vì phải làm việc trên số lượng văn bản nhiều hơn.

Xét về phương pháp thực hiện, tóm tắt văn bản có hai hướng tiếp cận là tóm tắt theo kiểu trích chọn – “extraction” và tóm tắt theo kiểu tóm lược ý – “abstraction”. Phương pháp tóm tắt trích chọn là công việc chọn ra một tập con những từ đã có, những lời nói hoặc những câu của văn bản gốc để đưa vào khuôn mẫu tóm tắt. Ngược lại phương pháp tóm tắt tóm lược xây dựng một biểu diễn ngữ nghĩa bên trong và sau đó sử dụng kỹ thuật xử lý ngôn ngữ để tạo ra bản tóm tắt gần gũi hơn so với những gì con người có thể tạo ra. Bản tóm tắt như vậy có thể chứa những từ không có trong bản gốc.

Nghiên cứu về phương pháp tóm tắt tóm lược là một bước tiến quan trọng và tạo sự chủ động, tuy nhiên do các ràng buộc phức tạp nên các nghiên cứu cho đến nay chủ yếu tập trung vào phương pháp tóm tắt trích chọn. Trong một vài lĩnh vực ứng dụng, phương pháp tóm tắt trích chọn đem lại nhiều tri thức hơn. Một lượng lớn các cách tiếp cận để xác định nội dung quan trọng cho việc tự động tóm tắt được phát triển tới ngày nay. Cách tiếp cận chủ đề đầu tiên nhận một biểu diễn trung gian của văn bản để đạt được chủ đề thảo luận.

Dựa vào những sự biểu diễn này, các câu trong văn bản đầu vào được ghi điểm theo độ quan trọng. Theo một cách tiếp cận khác, văn bản được biểu diễn bởi một tập các thuộc tính z 4 cho độ quan trọng mà không nhằm xác định chủ đề. Các thuộc tính thông thường được kết nối lại sử dụng các kỹ thuật học máy, giúp việc xác định điểm số cho độ quan trọng trong câu. Cuối cùng, một bản tóm tắt được sinh ra bằng việc lựa chọn các câu theo một cách tham lam.

Việc chọn các câu được thực hiện trong một tóm tắt 1-1 hoặc bằng lựa chọn tối ưu toàn cục để chọn ra tập các câu tốt nhất cho bản tóm tắt. Sau đây xin đưa ra một cách nhìn tổng quan trên các khía cạnh với các cách biểu diễn, cách tính điểm hoặc lựa chọn chiến lược tóm tắt đảm bảo hiệu quả của bản tóm tắt. Tóm tắt trích chọn [1] Hệ thống tóm tắt cần đưa ra bản tóm tắt ngắn gọn và trôi chảy chứa đựng những thông tin thiết yếu của văn bản đầu vào. Trong phần này tôi thảo luận về các hệ thống tóm tắt trích chọn để đưa ra các đoạn văn ngắn và giải thích hiệu quả tóm tắt.

Những bản tóm tắt xác định các câu quan trọng trong đầu vào, có thể là một văn bản hoặc một tập các văn bản liên quan và kết nối chúng với nhau thành một bản tóm tắt. Sự quyết định xung quanh nội dung nào là quan trọng trước hết hướng về đầu vào của bản tóm tắt. Sự lựa chọn tập trung vào tóm tắt trích chọn bỏ qua một lượng lớn văn bản sinh ra bởi tóm tắt tóm lược, nhưng cho phép chúng ta tập trung vào các cách tiếp cận vượt trội để dễ dàng điều chỉnh thông tin người dùng quan tâm cho đơn văn bản và đa văn bản. Hơn nữa, bằng kiểm tra các giai đoạn trong sự hoạt động của bản tóm tắt, chúng ta có thể tập trung vào sự tương đồng và sự khác biệt trong các cách tiếp cận tóm tắt, liên quan tới các thành phần cốt yếu của hệ thống và có thể giải thích cho điểm ưu việc của kỹ thuật lựa chọn so với các kỹ thuật khác.

Để hiểu hơn về sự điều khiển các hệ thống tóm tắt và để nhấn mạnh các lựa chọn hệ thống thiết kế cần làm, tôi phân biệt ba nhiệm vụ độc lập tương đối thực hiện bởi tất cả các bản tóm tắt: Khởi tạo sự biểu diễn trung gian cho đầu vào để đạt được các khía cạnh quan trọng nhất của văn bản, ghi điểm cho câu dựa vào sự trình diễn và lựa chọn một bản tóm tắt chứa các câu văn. Giai đoạn trình diễn trung gian z 5 Cách tiếp cận biểu diễn chủ đề chuyển đổi văn bản tới một sự biểu diễn trung gian hiểu như chủ đề của văn bản. Các phương pháp tóm tắt phổ biến nhất dựa vào biểu diễn chủ đề và phương pháp này ngăn ngừa những biến thể nổi bật trong sự phức tạp và năng lực trình diễn. Chúng bao gồm tần số, TF.IDF và các cách tiếp cận từ chủ đề bao gồm bảng các từ đơn và bộ trọng số tương ứng với thông tin là các từ có bộ trọng số càng cao thì càng biểu thị chủ đề.

Cách tiếp cận chuỗi từ vựng mà liệt kê từ liên quan đến lĩnh vực như WordNet được sử dụng để tìm các chủ đề hoặc khái niệm của những từ liên quan về ngữ nghĩa, và đưa ra trọng số cho các khái niệm. Phân tích ngữ nghĩa ẩn trong đó các mẫu từ đồng xuất hiện được xác định và phân tích đầy đủ như các chủ đề, tương tự như các trọng số cho mỗi mẫu. Cách tiếp cận chủ đề Bayesian trong đó đầu vào được trình bày như sự hỗn độn các chủ đề và mỗi chủ đề đưa ra một bảng các phân phối xác suất từ (trọng số) cho chủ đề đó. Các cách tiếp cận biểu diễn thuộc tính trình diễn mỗi câu trong đầu vào như là danh sách các thuộc tính quan trọng như là độ dài câu, vị trí trong văn bản, sự có mặt trong cụm,… Trong các mô hình đồ thị, như là LexRank, toàn bộ văn bản được trình diễn như là mạng của các câu liên quan ngầm.

Ghi điểm các câu Mỗi khi một sự biểu diễn trung gian được lấy ra, mỗi câu được ấn định một điểm số để xác định độ quan trọng. Với các cách tiếp cận biểu diễn chủ đề, điểm số thông thường liên quan tới độ phù hợp của một câu biểu thị một vài chủ đề quan trọng nhất trong văn bản hoặc mức độ nó kết nối thông tin xung quanh các chủ đề khác nhau. Với hầu hết các phương pháp biểu diễn thuộc tính, trọng số của câu được xác định bằng việc kết nối độ phù hợp từ các thuộc tính khác nhau, phổ biến nhất bằng việc sử dụng các kỹ thuật học máy để tìm ra bộ trọng số thuộc tính. Trong LexRank, trọng số của một câu được bắt nguồn từ việc áp dụng các kỹ thuật ngẫu nhiên tới sự biểu diễn đồ thị của văn bản.

Lựa chọn các câu tóm tắt Cuối cùng, người tóm tắt phải lựa chọn việc kết nối tốt nhất các câu quan trọng để tạo ra một đoạn tóm tắt. Trong cách tiếp cận best n, nhóm n các câu quan trọng nhất được kết nối đã thỏa mãn chiều dài tóm tắt được lựa chọn cho bản tóm tắt. Trong cách tiếp cận tối đa hóa lề phù hợp, các câu được lựa chọn trong một thủ tục tham lam. Tại mỗi một bước của thủ tục, điểm số quan trọng của câu được tính lại như là một sự kết nối tuyến tính giữa trọng số quan trọng của câu và sự tương tự của nó với các câu vừa chọn.

Các câu tương tự với các câu đã được lựa chọn sẽ bị loại bỏ. Trong cách tiếp cận lựa chọn toàn cục, sự thu thập tối ưu các câu là lựa chọn chủ đề liên quan tới các ràng buộc cố gắng làm cực đại hóa độ quan trọng toàn cục và cực tiểu hóa độ dư thừa và một số cách tiếp cận là cực đại hóa sự kết nối. Có một vài ràng buộc giữa ba quá trình xử lý mô tả bên trên và một người tóm tắt có thể kết hợp bất kỳ sự kết nối các sự lựa chọn trong thực thi mỗi bước. Sự thay đổi trong phương pháp của mỗi bước cụ thể có thể thay đổi đáng kể tới chất lượng của bản tóm tắt.

Trong việc sắp xếp độ quan trọng của việc tóm tắt, các nhân tố khác cũng được sử dụng. Nếu chúng ta có thông tin xung quanh ngữ cảnh để bản tóm tắt được sinh ra, điều này giúp xác định độ quan trọng. Ngữ cảnh có thể chứa các thông tin xung quanh nhu cầu người dùng, thường biểu thị thông qua một truy vấn. Ngữ cảnh có thể bao gồm môi trường trong đó một văn bản đầu vào được định vị như là các đường dẫn chỉ tới một trang web.

Nhân tố khác ảnh hưởng tới sắp xếp câu là loại của văn bản. Khi văn bản đầu vào là một bản tin tức, một luồng email, một trang web hoặc một bài tạp chí ảnh hưởng tới chiến lược lựa chọn câu. Tóm tắt tóm lược [22] Tóm tắt tóm lược tạo ra một bản tóm tắt hiệu quả hơn so với tóm tắt trích chọn bởi việc nó có thể trích chọn thông tin từ tập các văn bản để khởi tạo bản tóm tắt thông tin rõ ràng. Một bản tóm tắt trình diễn thông tin tóm tắt trong một bản kết dính, dễ đọc và đúng ngữ pháp.

Tính dễ đọc hay chất lượng ngữ pháp là một chất xúc tác để cải thiện chất lượng tóm tắt. Tóm tắt tóm lược được chia theo cách tiếp cận cấu trúc, theo cách tiếp cận ngữ nghĩa và gần đây là theo cách tiếp cận học sâu. Cách tiếp cận cấu trúc Cách tiếp cận cấu trúc mã hóa các thông tin quan trọng nhất trong văn bản thông qua kinh nghiệm như mẫu, các luật trích chọn và các cấu trúc khác như cây, ontology, lá và cấu trúc cụm.