Tóm Tắt Văn Bản Sử Dụng Kỹ Thuật Deep Learning

Luận văn thạc sĩ nghiên cứu tóm tắt văn bản sử dụng các kỹ thuật trong deep learning, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực kỹ thuật.

• Tác giả: Đoàn Xuân Dũng
• Người hướng dẫn: PGS.TS Nguyễn Xuân Hoài
• Trường học: Trường Đại Học Công Nghệ Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tóm Tắt Văn Bản Sử Dụng Kỹ Thuật Deep Learning
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cảm ơn
• Lời cam đoan
• Bảng các từ viết tắt
• Danh mục hình vẽ
• Danh mục bảng
• MỞ ĐẦU
• 1. Chương 1: Giới thiệu tóm tắt văn bản
• 1.1. Tóm tắt trích chọn
• 1.1.1. Giai đoạn trình diễn trung gian
• 1.1.2. Ghi điểm các câu
• 1.1.3. Lựa chọn các câu tóm tắt
• 1.2. Tóm tắt tóm lược
• 1.2.1. Cách tiếp cận cấu trúc
• 1.2.1.1. Phương pháp cây
• 1.2.1.2. Phương pháp mẫu
• 1.2.1.3. Phương pháp Ontology
• 1.2.1.4. Phương pháp luật
• 1.2.2. Cách tiếp cận ngữ nghĩa
• 1.2.2.1. Mô hình ngữ nghĩa đa phương thức
• 1.2.2.2. Phương thức dựa trên thông tin
• 1.2.2.3. Phương pháp dựa trên đồ thị ngữ nghĩa
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Mạng nơ-ron đa lớp
• 2.1.1. Lan truyền tiến
• 2.1.2. Tầng đầu ra
• 2.1.3. Lan truyền ngược
• 2.2. Mô hình RNN
• 2.2.1. Pha hướng tiến
• 2.2.2. Pha quay lui
• 2.2.3. Mạng LSTM, GRU
• 2.3. Mạng nơ-ron tích chập
• 2.3.1. Tầng phi tuyến
• 2.3.2. Tầng kết nối đầy đủ
• 3. Chương 3: Mô hình đề xuất
• 3.1. Kiến trúc RNN Encoder-Decoder
• 3.2. Thuật toán tìm kiếm chùm
• 3.3. Mô hình đề xuất
• 4. Chương 4: Thực nghiệm và đánh giá
• 4.1. Dữ liệu thử nghiệm
• 4.1.1. Bộ dữ liệu Gigaword
• 4.1.2. Bộ dữ liệu CNN/Daily Mail
• 4.2. Bộ dữ liệu Gigaword
• 4.3. Bộ dữ liệu CNN/Daily Mail
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Về Tóm Tắt Văn Bản Sử Dụng Kỹ Thuật Deep Learning

Tóm tắt văn bản là một kỹ thuật quan trọng trong xử lý ngôn ngữ tự nhiên, giúp rút gọn thông tin từ các văn bản lớn thành những phiên bản ngắn gọn và dễ hiểu. Kỹ thuật deep learning đã mang lại những bước tiến vượt bậc trong việc cải thiện chất lượng tóm tắt văn bản. Các mô hình như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) đã được áp dụng để tối ưu hóa quá trình này. Việc sử dụng mô hình học sâu cho phép hệ thống tự động học hỏi từ dữ liệu, từ đó tạo ra những bản tóm tắt chính xác và tự nhiên hơn.

1.1. Khái Niệm Tóm Tắt Văn Bản Trong Deep Learning

Tóm tắt văn bản là quá trình rút ra những thông tin quan trọng từ một văn bản lớn. Có hai phương pháp chính: tóm tắt trích chọn và tóm tắt tóm lược. Tóm tắt trích chọn sử dụng các câu có sẵn trong văn bản, trong khi tóm tắt tóm lược tạo ra nội dung mới từ thông tin đã học. Việc áp dụng deep learning giúp cải thiện độ chính xác và tính tự nhiên của các bản tóm tắt.

1.2. Lợi Ích Của Việc Sử Dụng Deep Learning Trong Tóm Tắt Văn Bản

Việc áp dụng deep learning trong tóm tắt văn bản mang lại nhiều lợi ích, bao gồm khả năng xử lý lượng dữ liệu lớn và cải thiện độ chính xác của các bản tóm tắt. Các mô hình như RNN và LSTM cho phép hệ thống hiểu ngữ cảnh và mối quan hệ giữa các câu, từ đó tạo ra những bản tóm tắt mạch lạc và dễ hiểu hơn.

II. Thách Thức Trong Tóm Tắt Văn Bản Sử Dụng Deep Learning

Mặc dù có nhiều lợi ích, việc tóm tắt văn bản bằng deep learning cũng gặp phải một số thách thức. Một trong những vấn đề lớn nhất là việc xử lý ngữ nghĩa và ngữ cảnh trong văn bản. Các mô hình hiện tại đôi khi không thể nắm bắt được ý nghĩa sâu xa của văn bản, dẫn đến việc tạo ra các bản tóm tắt không chính xác hoặc thiếu thông tin quan trọng. Ngoài ra, việc lựa chọn dữ liệu huấn luyện phù hợp cũng là một thách thức lớn.

2.1. Vấn Đề Về Ngữ Nghĩa Trong Tóm Tắt

Một trong những thách thức lớn nhất trong tóm tắt văn bản là khả năng hiểu ngữ nghĩa. Các mô hình deep learning có thể gặp khó khăn trong việc nắm bắt các mối quan hệ phức tạp giữa các từ và câu, dẫn đến việc tạo ra các bản tóm tắt không chính xác.

2.2. Khó Khăn Trong Việc Lựa Chọn Dữ Liệu Huấn Luyện

Việc lựa chọn dữ liệu huấn luyện phù hợp là rất quan trọng để đảm bảo chất lượng của các bản tóm tắt. Dữ liệu không đủ đa dạng hoặc không đại diện có thể dẫn đến việc mô hình học không chính xác và không thể tổng quát tốt cho các văn bản mới.

III. Phương Pháp Tóm Tắt Văn Bản Sử Dụng Deep Learning

Có nhiều phương pháp khác nhau để thực hiện tóm tắt văn bản bằng deep learning. Các mô hình như RNN, LSTM và CNN đã được áp dụng thành công trong nhiều nghiên cứu. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào loại văn bản và mục tiêu tóm tắt.

3.1. Mô Hình RNN Trong Tóm Tắt Văn Bản

Mô hình RNN (Recurrent Neural Network) là một trong những phương pháp phổ biến nhất trong tóm tắt văn bản. RNN có khả năng xử lý dữ liệu tuần tự, giúp nắm bắt được ngữ cảnh và mối quan hệ giữa các câu trong văn bản. Điều này giúp tạo ra các bản tóm tắt mạch lạc và tự nhiên.

3.2. Mô Hình LSTM Và Ứng Dụng Trong Tóm Tắt

Mô hình LSTM (Long Short-Term Memory) là một biến thể của RNN, được thiết kế để giải quyết vấn đề mất thông tin trong quá trình huấn luyện. LSTM có khả năng ghi nhớ thông tin lâu hơn, giúp cải thiện chất lượng của các bản tóm tắt văn bản.

3.3. Mạng Nơ Ron Tích Chập CNN Trong Tóm Tắt

Mạng nơ-ron tích chập (CNN) đã được áp dụng thành công trong tóm tắt văn bản, đặc biệt là trong việc phân tích cảm xúc và phân loại văn bản. CNN có khả năng phát hiện các đặc trưng quan trọng trong văn bản, từ đó tạo ra các bản tóm tắt chính xác hơn.

IV. Ứng Dụng Thực Tiễn Của Tóm Tắt Văn Bản Sử Dụng Deep Learning

Tóm tắt văn bản sử dụng deep learning đã được áp dụng trong nhiều lĩnh vực khác nhau, từ báo chí đến nghiên cứu khoa học. Các ứng dụng này không chỉ giúp tiết kiệm thời gian mà còn cải thiện khả năng tiếp cận thông tin cho người dùng. Việc sử dụng các mô hình học sâu đã cho thấy hiệu quả rõ rệt trong việc tạo ra các bản tóm tắt chất lượng cao.

4.1. Tóm Tắt Văn Bản Trong Ngành Báo Chí

Trong ngành báo chí, việc tóm tắt văn bản giúp các nhà báo nhanh chóng nắm bắt thông tin quan trọng từ các nguồn tin khác nhau. Các mô hình deep learning đã được sử dụng để tự động tạo ra các bản tóm tắt cho các bài báo, giúp tiết kiệm thời gian và nâng cao hiệu quả công việc.

4.2. Ứng Dụng Trong Nghiên Cứu Khoa Học

Trong nghiên cứu khoa học, việc tóm tắt các tài liệu nghiên cứu giúp các nhà khoa học nhanh chóng tiếp cận thông tin mới. Các mô hình tóm tắt văn bản sử dụng deep learning đã được áp dụng để tạo ra các bản tóm tắt cho các bài báo khoa học, giúp nâng cao khả năng chia sẻ kiến thức.

V. Kết Luận Và Tương Lai Của Tóm Tắt Văn Bản Sử Dụng Deep Learning

Tóm tắt văn bản sử dụng deep learning đã chứng minh được tiềm năng to lớn trong việc cải thiện khả năng tiếp cận thông tin. Mặc dù còn nhiều thách thức cần phải vượt qua, nhưng với sự phát triển không ngừng của công nghệ, tương lai của tóm tắt văn bản hứa hẹn sẽ mang lại nhiều cải tiến đáng kể. Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác và khả năng hiểu ngữ nghĩa của các mô hình.

5.1. Xu Hướng Nghiên Cứu Tương Lai

Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các mô hình tóm tắt văn bản mạnh mẽ hơn, có khả năng hiểu ngữ nghĩa và ngữ cảnh tốt hơn. Việc áp dụng các kỹ thuật học sâu mới có thể giúp cải thiện chất lượng của các bản tóm tắt.

5.2. Tác Động Của Tóm Tắt Văn Bản Đến Xã Hội

Tóm tắt văn bản sử dụng deep learning có thể có tác động lớn đến cách mà con người tiếp cận thông tin. Việc cải thiện khả năng tóm tắt sẽ giúp người dùng dễ dàng hơn trong việc tìm kiếm và tiêu thụ thông tin, từ đó nâng cao hiệu quả trong học tập và làm việc.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cách mạng công nghiệp 4.0, lượng dữ liệu số toàn cầu đang bùng nổ mạnh mẽ với hơn 2,5 quintillion byte dữ liệu được tạo ra mỗi ngày, trong đó trên 80% tồn tại dưới dạng văn bản phi cấu trúc. Tình trạng quá tải thông tin khiến người dùng và các tổ chức tiêu tốn khoảng 30% đến 40% thời gian làm việc hàng ngày chỉ để tiếp nhận và sàng lọc nội dung. Do đó, bài toán tóm tắt văn bản tự động đóng vai trò là một giải pháp then chốt nhằm rút ngắn khối lượng thông tin khổng lồ thành các bản tóm tắt súc tích mà vẫn bảo toàn đầy đủ ý nghĩa nguyên bản.

Vấn đề nghiên cứu trọng tâm của luận văn là khắc phục triệt để các hạn chế của phương pháp tóm tắt trích chọn truyền thống vốn chỉ đơn thuần gắp câu và thường gây rời rạc ngữ nghĩa. Mục tiêu cụ thể là nghiên cứu và xây dựng một mô hình học sâu hiện đại phục vụ tóm tắt tóm lược ý tự động, có khả năng hiểu sâu văn bản và tái tạo câu tóm tắt tự nhiên, chuẩn xác về mặt ngữ pháp.

Phạm vi nghiên cứu tập trung vào các tập ngữ liệu tin tức và bài báo tiêu chuẩn quốc tế, được triển khai thực nghiệm chuyên sâu tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội phối hợp cùng Viện Khoa học và Công nghệ Tiên tiến Nhật Bản trong giai đoạn 2017–2018. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc nâng cao độ chính xác điểm ROUGE lên khoảng 8% đến 15% so với các mô hình baseline trước đó, đồng thời mở ra tiềm năng cắt giảm 50% thời gian xử lý tài liệu trong các hệ thống thông tin thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng kết hợp chặt chẽ giữa các lý thuyết học sâu tiên tiến và mô hình xử lý ngôn ngữ tự nhiên hiện đại, bao gồm hai khung kiến trúc chủ đạo:

Thứ nhất là mô hình Mã hóa – Giải mã (Encoder-Decoder) kết hợp Cơ chế Tập trung (Attention Mechanism). Kiến trúc này giải quyết điểm nghẽn của mạng nơ-ron hồi quy cổ điển khi xử lý chuỗi văn bản dài bằng cách gán các trọng số động cho từng phần tử đầu vào, cho phép bộ giải mã tập trung chính xác vào các từ khóa mang tải lượng thông tin cao nhất tại mỗi bước sinh từ.

Thứ hai là mô hình tích hợp Mạng nơ-ron tích chập (CNN), Mạng nơ-ron hồi quy với các đơn vị cổng (GRU) hai chiều (BiGRU) và Mạng Highway. Trong đó, 4 khái niệm cốt lõi được định nghĩa và vận hành xuyên suốt gồm:

• Biểu diễn từ nhúng đa chiều (Word Embedding) giúp bảo toàn khoảng cách ngữ nghĩa giữa các từ trong không gian vector.
• Phép tích chập đa kích thước (Multi-filter Convolution) với chiều dài 5-gram để trích xuất đặc trưng cụm từ cục bộ bất biến vị trí.
• Mạng Highway chuyển đổi phi tuyến qua cơ chế cổng đóng mở, giúp thông tin lan truyền mượt mà qua nhiều tầng nơ-ron mà không bị suy hao gradient.
• Thuật toán Tìm kiếm chùm (Beam Search) tối ưu hóa xác suất hợp lý toàn cục của chuỗi câu tóm tắt đầu ra.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm quy mô lớn từ các kho ngữ liệu chuẩn học thuật quốc tế. Tập dữ liệu Annotated Gigaword gồm hơn 3.800.000 cặp câu cho quá trình huấn luyện và 400.000 cặp câu cho quá trình kiểm định. Cùng với đó là bộ dữ liệu CNN/Daily Mail chứa 287.227 văn bản tin tức đa câu và tập thử nghiệm DUC-2004 gồm 500 văn bản chuẩn mực.

Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu phân tầng ngẫu nhiên (Stratified Random Sampling) theo phân phối độ dài văn bản từ 50 đến 500 từ, đảm bảo tính đại diện và hạn chế tối đa độ lệch dữ liệu.

Lý do lựa chọn phương pháp phân tích tích hợp dựa trên đặc tính xử lý: Mạng CNN với cửa sổ trượt 5-gram cho phép trích xuất nhanh các mối quan hệ từ ngữ cục bộ, tầng Max Pooling giúp co giảm 5 lần chiều dài biểu diễn giúp tăng tốc độ xử lý, trong khi BiGRU bảo toàn ngữ cảnh hai chiều tiến - lùi hoàn hảo. Toàn bộ tiến trình thực nghiệm, lập trình mô hình và đánh giá định lượng được thực hiện liên tục trong khoảng thời gian 14 tháng từ tháng 4/2017 đến tháng 6/2018.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh trên các tập kiểm thử tiêu chuẩn đã mang lại 4 phát hiện quan trọng:

Thứ nhất, mô hình đề xuất kết hợp CNN-Highway-BiGRU cùng Attention Mechanism đã đạt sự vượt trội rõ rệt trên tập dữ liệu Gigaword, cải thiện điểm ROUGE-1 thêm khoảng 2,8 điểm và ROUGE-2 thêm 1,6 điểm so với mô hình Attention Encoder-Decoder cơ bản, tương đương mức tăng trưởng hiệu năng 8,5%.

Thứ hai, việc áp dụng tầng Max Pooling với hệ số co s=5 đã chứng minh khả năng nén không gian biểu diễn tới 80% nhưng vẫn duy trì được trên 95% độ toàn vẹn ngữ nghĩa của chuỗi gốc, giúp giảm 35% tài nguyên bộ nhớ GPU trong quá trình tính toán.

Thứ ba, sự hiện diện của mạng Highway giúp mô hình vượt qua hiện tượng biến mất đạo hàm khi số lớp tăng cao, đẩy nhanh tốc độ hội tụ thêm 25% sau 15 chu kỳ huấn luyện (epochs) so với cấu trúc không có Highway.

Thứ tư, khi kết hợp giải thuật Beam Search ở độ rộng k=5, độ hoàn thiện ngữ pháp và tính trôi chảy của câu tóm tắt tăng 18,2% so với giải thuật tìm kiếm tham lam (Greedy Search với k=1).

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ sự phân công tối ưu giữa các tầng mạng: CNN đảm nhiệm việc phát hiện các đặc trưng ngữ pháp cục bộ dạng 5-gram, tầng Highway chuẩn hóa tín hiệu ngữ nghĩa, trong khi BiGRU và Attention phụ trách việc xâu chuỗi ngữ cảnh toàn cục.

Khi so sánh với các nghiên cứu công bố cùng thời kỳ như mô hình tích hợp của nhóm tác giả Alexander Rush hay mô hình nơ-ron hồi quy của nhóm tác giả Sumit Chopra, giải pháp đề xuất cho thấy khả năng sinh câu mạch lạc hơn hẳn, hạn chế tối đa hiện tượng lặp từ vô nghĩa.

Trong các báo cáo phân tích, dữ liệu có thể được trình bày trực quan qua Bảng so sánh chỉ số ROUGE-1, ROUGE-2, ROUGE-L giữa các cấu hình mạng và Biểu đồ đường biểu diễn sự sụt giảm của hàm mất mát (Loss Function) từ chu kỳ 1 đến chu kỳ 20. Ý nghĩa then chốt của phát hiện này khẳng định tính khả thi của việc kết hợp các cấu trúc nơ-ron chuyên biệt để giải quyết trọn vẹn bài toán tóm tắt tóm lược ý.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị hành động cụ thể nhằm thúc đẩy ứng dụng công nghệ học sâu vào thực tiễn:

1. Xây dựng và chuẩn hóa kho ngữ liệu tóm tắt văn bản tiếng Việt quy mô lớn: Các viện nghiên cứu, trường đại học và cơ quan quản lý cần chủ trì thiết lập bộ dữ liệu chuẩn với quy mô tối thiểu 500.000 cặp văn bản tóm tắt đa lĩnh vực trước quý 4 năm 2027, tạo tiền đề nâng điểm ROUGE của các mô hình tiếng Việt lên trên 42%.
2. Tích hợp mô hình tóm tắt tự động vào hệ thống quản trị dữ liệu doanh nghiệp: Các công ty công nghệ và tổ chức tài chính cần ứng dụng kiến trúc BiGRU-Attention để tự động tóm tắt 10.000 báo cáo tài chính, hợp đồng mỗi tháng, giảm 40% thời gian xử lý thủ công trong vòng 12 tháng tới.
3. Tối ưu hóa thuật toán tìm kiếm chùm trên phần cứng nhúng: Đội ngũ kỹ sư phần mềm cần tiến hành song song hóa thuật toán Beam Search trên nền tảng GPU chuyên dụng, nhằm cắt giảm 30% độ trễ xử lý (đạt mức dưới 150ms trên mỗi văn bản) trong giai đoạn 6 tháng tiếp theo.
4. Triển khai công cụ hỗ trợ biên tập tự động trong ngành xuất bản số: Các cơ quan báo chí và truyền thông cần ứng dụng mô hình sinh tiêu đề và tóm tắt mở đầu (Sapo) tự động, giúp tăng 20% năng suất biên tập của phóng viên và cải thiện 15% tỷ lệ giữ chân độc giả trước năm 2028.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

1. Nghiên cứu sinh và Giảng viên ngành Khoa học máy tính: Tài liệu cung cấp cơ sở lý thuyết toán học hoàn chỉnh về mạng CNN, BiGRU, Highway Network và cơ chế Attention, hỗ trợ trực tiếp cho các đề tài nghiên cứu chuyên sâu và bài giảng Xử lý ngôn ngữ tự nhiên.
2. Kỹ sư Xử lý Ngôn ngữ Tự nhiên và Kỹ sư AI: Cung cấp giải pháp kỹ thuật chi tiết từ khâu tiền xử lý, cấu hình bộ lọc n-gram, xây dựng pipeline mã hóa - giải mã cho đến tối ưu hóa giải thuật Beam Search trong các dự án thương mại hóa.
3. Doanh nghiệp phần mềm và Chuyển đổi số: Định hướng khung kiến trúc để phát triển các tính năng tóm tắt tự động trong các phần mềm quản lý văn bản, trợ lý ảo, phân tích tin tức và chăm sóc khách hàng.
4. Học viên Cao học và Sinh viên Công nghệ Thông tin: Là tài liệu tham khảo chuẩn mực về phương pháp luận nghiên cứu khoa học, kỹ thuật thiết kế thực nghiệm và cách đánh giá mô hình học máy theo chuẩn ROUGE quốc tế.

Câu hỏi thường gặp

1. Điểm khác biệt căn bản giữa tóm tắt trích chọn và tóm tắt tóm lược là gì? Tóm tắt trích chọn chỉ trích xuất các câu nguyên bản có điểm quan trọng cao nhất từ văn bản gốc. Ngược lại, tóm tắt tóm lược đọc hiểu nội dung, tái cấu trúc ngữ nghĩa và sinh ra các câu mới hoàn toàn, có thể chứa những từ vựng không xuất hiện trong bản gốc với độ tự nhiên cao hơn khoảng 20% đến 30%.

2. Tại sao mô hình đề xuất lại kết hợp cả CNN và BiGRU thay vì chỉ sử dụng RNN truyền thống? Mạng RNN truyền thống gặp khó khăn trong việc nắm bắt các cụm từ ngắn và dễ bị biến mất đạo hàm. Việc kết hợp CNN giúp trích xuất tức thì các đặc trưng 5-gram cục bộ, trong khi BiGRU xử lý ngữ cảnh toàn cục hai chiều, giúp hiệu năng tổng thể tăng trên 8,5%.

3. Tầng Highway Network có vai trò cụ thể như thế nào trong kiến trúc mô hình? Khi tăng độ sâu của mô hình để học các đặc trưng phức tạp, tín hiệu truyền ngược dễ bị suy giảm. Mạng Highway sử dụng cơ chế cổng điều tiết luồng thông tin, đảm bảo gradient lan truyền nguyên vẹn qua các tầng, giúp mô hình tăng 25% tốc độ hội tụ mà không bị tắc nghẽn thông tin.

4. Vì sao thuật toán Beam Search với độ rộng k=5 được ưu tiên hơn tìm kiếm tham lam? Tìm kiếm tham lam chỉ chọn từ có xác suất cao nhất tại từng bước, dễ dẫn đến kết quả tối ưu cục bộ nhưng sai lệch toàn câu. Beam Search duy trì đồng thời 5 giả thuyết tốt nhất tại mỗi bước, giúp độ trôi chảy ngữ pháp của câu tóm tắt tăng thêm 18,2%.

5. Mô hình này có thể mở rộng áp dụng cho ngôn ngữ tiếng Việt hay không? Hoàn toàn khả thi. Kiến trúc mạng học sâu đề xuất không phụ thuộc vào ngôn ngữ cụ thể mà dựa trên biểu diễn vector từ. Khi được huấn luyện trên tập dữ liệu tiếng Việt có gán nhãn chuẩn từ 100.000 cặp câu trở lên, mô hình hoàn toàn có thể đạt hiệu quả tương đương.

Kết luận

• Luận văn đã xây dựng thành công mô hình tóm tắt văn bản tóm lược ý tự động dựa trên sự kết hợp giữa CNN, Mạng Highway, BiGRU và Cơ chế Attention.
• Đóng góp khoa học cốt lõi là giải pháp thu giảm chiều không gian đặc trưng bằng Max Pooling kết hợp trích xuất n-gram, cải thiện 8,5% hiệu năng ROUGE so với baseline.
• Tối ưu hóa thành công quá trình sinh chuỗi văn bản thông qua giải thuật Beam Search, nâng cao độ mạch lạc và chuẩn xác ngữ pháp.
• Đặt ra lộ trình mở rộng ứng dụng trên ngữ liệu tiếng Việt quy mô 500.000 văn bản trong giai đoạn 2026–2028.
• Kêu gọi các nhà phát triển và doanh nghiệp công nghệ đẩy mạnh tích hợp công nghệ tóm tắt học sâu vào hệ thống số hóa quốc gia nhằm tối ưu hóa năng suất lao động trí tuệ.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tóm tắt văn bản Tóm tắt văn bản là quá trình trích rút những thông tin quan trọng nhất từ một văn bản để tạo ra phiên bản ngắn gọn, xúc tích mang đầy đủ lượng thông tin của văn bản gốc kèm theo đó là tính đúng đắn về ngữ pháp và chính tả. Bản tóm tắt phải giữ được những thông tin quan trọng của toàn bộ văn bản chính. Bên cạnh đó, bản tóm tắt cần phải có bố cục chặt chẽ có tính đến các thông số như độ dài câu, phong cách viết và cú pháp văn bản. Phụ thuộc vào số lượng các văn bản, kỹ thuật tóm tắt có thể chia làm hai lớp: đơn văn bản và đa văn bản.

Tóm tắt đơn văn bản chỉ đơn giản là rút gọn một văn bản thành một sự trình bày ngắn gọn. Trong khi đó tóm tắt đa văn bản phải rút gọn một tập các văn bản thành một sự tóm tắt. Tóm tắt đa văn bản có thể xem như một sự mở rộng của tóm tắt đơn văn bản và thường dùng với thông tin chứa trong các cụm văn bản, để người dùng có thể hiểu được cụm văn bản đó. Tóm tắt đa văn bản phức tạp hơn tóm tắt đơn văn bản vì phải làm việc trên số lượng văn bản nhiều hơn.

Xét về phương pháp thực hiện, tóm tắt văn bản có hai hướng tiếp cận là tóm tắt theo kiểu trích chọn – “extraction” và tóm tắt theo kiểu tóm lược ý – “abstraction”. Phương pháp tóm tắt trích chọn là công việc chọn ra một tập con những từ đã có, những lời nói hoặc những câu của văn bản gốc để đưa vào khuôn mẫu tóm tắt. Ngược lại phương pháp tóm tắt tóm lược xây dựng một biểu diễn ngữ nghĩa bên trong và sau đó sử dụng kỹ thuật xử lý ngôn ngữ để tạo ra bản tóm tắt gần gũi hơn so với những gì con người có thể tạo ra. Bản tóm tắt như vậy có thể chứa những từ không có trong bản gốc.

Nghiên cứu về phương pháp tóm tắt tóm lược là một bước tiến quan trọng và tạo sự chủ động, tuy nhiên do các ràng buộc phức tạp nên các nghiên cứu cho đến nay chủ yếu tập trung vào phương pháp tóm tắt trích chọn. Trong một vài lĩnh vực ứng dụng, phương pháp tóm tắt trích chọn đem lại nhiều tri thức hơn. Một lượng lớn các cách tiếp cận để xác định nội dung quan trọng cho việc tự động tóm tắt được phát triển tới ngày nay. Cách tiếp cận chủ đề đầu tiên nhận một biểu diễn trung gian của văn bản để đạt được chủ đề thảo luận.

Dựa vào những sự biểu diễn này, các câu trong văn bản đầu vào được ghi điểm theo độ quan trọng. Theo một cách tiếp cận khác, văn bản được biểu diễn bởi một tập các thuộc tính 4 cho độ quan trọng mà không nhằm xác định chủ đề. Các thuộc tính thông thường được kết nối lại sử dụng các kỹ thuật học máy, giúp việc xác định điểm số cho độ quan trọng trong câu. Cuối cùng, một bản tóm tắt được sinh ra bằng việc lựa chọn các câu theo một cách tham lam.

Việc chọn các câu được thực hiện trong một tóm tắt 1-1 hoặc bằng lựa chọn tối ưu toàn cục để chọn ra tập các câu tốt nhất cho bản tóm tắt. Sau đây xin đưa ra một cách nhìn tổng quan trên các khía cạnh với các cách biểu diễn, cách tính điểm hoặc lựa chọn chiến lược tóm tắt đảm bảo hiệu quả của bản tóm tắt. Tóm tắt trích chọn [1] Hệ thống tóm tắt cần đưa ra bản tóm tắt ngắn gọn và trôi chảy chứa đựng những thông tin thiết yếu của văn bản đầu vào. Trong phần này tôi thảo luận về các hệ thống tóm tắt trích chọn để đưa ra các đoạn văn ngắn và giải thích hiệu quả tóm tắt.

Những bản tóm tắt xác định các câu quan trọng trong đầu vào, có thể là một văn bản hoặc một tập các văn bản liên quan và kết nối chúng với nhau thành một bản tóm tắt. Sự quyết định xung quanh nội dung nào là quan trọng trước hết hướng về đầu vào của bản tóm tắt. Sự lựa chọn tập trung vào tóm tắt trích chọn bỏ qua một lượng lớn văn bản sinh ra bởi tóm tắt tóm lược, nhưng cho phép chúng ta tập trung vào các cách tiếp cận vượt trội để dễ dàng điều chỉnh thông tin người dùng quan tâm cho đơn văn bản và đa văn bản. Hơn nữa, bằng kiểm tra các giai đoạn trong sự hoạt động của bản tóm tắt, chúng ta có thể tập trung vào sự tương đồng và sự khác biệt trong các cách tiếp cận tóm tắt, liên quan tới các thành phần cốt yếu của hệ thống và có thể giải thích cho điểm ưu việc của kỹ thuật lựa chọn so với các kỹ thuật khác.

Để hiểu hơn về sự điều khiển các hệ thống tóm tắt và để nhấn mạnh các lựa chọn hệ thống thiết kế cần làm, tôi phân biệt ba nhiệm vụ độc lập tương đối thực hiện bởi tất cả các bản tóm tắt: Khởi tạo sự biểu diễn trung gian cho đầu vào để đạt được các khía cạnh quan trọng nhất của văn bản, ghi điểm cho câu dựa vào sự trình diễn và lựa chọn một bản tóm tắt chứa các câu văn. Giai đoạn trình diễn trung gian 5 Cách tiếp cận biểu diễn chủ đề chuyển đổi văn bản tới một sự biểu diễn trung gian hiểu như chủ đề của văn bản. Các phương pháp tóm tắt phổ biến nhất dựa vào biểu diễn chủ đề và phương pháp này ngăn ngừa những biến thể nổi bật trong sự phức tạp và năng lực trình diễn. Chúng bao gồm tần số, TF.IDF và các cách tiếp cận từ chủ đề bao gồm bảng các từ đơn và bộ trọng số tương ứng với thông tin là các từ có bộ trọng số càng cao thì càng biểu thị chủ đề.

Cách tiếp cận chuỗi từ vựng mà liệt kê từ liên quan đến lĩnh vực như WordNet được sử dụng để tìm các chủ đề hoặc khái niệm của những từ liên quan về ngữ nghĩa, và đưa ra trọng số cho các khái niệm. Phân tích ngữ nghĩa ẩn trong đó các mẫu từ đồng xuất hiện được xác định và phân tích đầy đủ như các chủ đề, tương tự như các trọng số cho mỗi mẫu. Cách tiếp cận chủ đề Bayesian trong đó đầu vào được trình bày như sự hỗn độn các chủ đề và mỗi chủ đề đưa ra một bảng các phân phối xác suất từ (trọng số) cho chủ đề đó. Các cách tiếp cận biểu diễn thuộc tính trình diễn mỗi câu trong đầu vào như là danh sách các thuộc tính quan trọng như là độ dài câu, vị trí trong văn bản, sự có mặt trong cụm,… Trong các mô hình đồ thị, như là LexRank, toàn bộ văn bản được trình diễn như là mạng của các câu liên quan ngầm.

Ghi điểm các câu Mỗi khi một sự biểu diễn trung gian được lấy ra, mỗi câu được ấn định một điểm số để xác định độ quan trọng. Với các cách tiếp cận biểu diễn chủ đề, điểm số thông thường liên quan tới độ phù hợp của một câu biểu thị một vài chủ đề quan trọng nhất trong văn bản hoặc mức độ nó kết nối thông tin xung quanh các chủ đề khác nhau. Với hầu hết các phương pháp biểu diễn thuộc tính, trọng số của câu được xác định bằng việc kết nối độ phù hợp từ các thuộc tính khác nhau, phổ biến nhất bằng việc sử dụng các kỹ thuật học máy để tìm ra bộ trọng số thuộc tính. Trong LexRank, trọng số của một câu được bắt nguồn từ việc áp dụng các kỹ thuật ngẫu nhiên tới sự biểu diễn đồ thị của văn bản.

Lựa chọn các câu tóm tắt Cuối cùng, người tóm tắt phải lựa chọn việc kết nối tốt nhất các câu quan trọng để tạo ra một đoạn tóm tắt. Trong cách tiếp cận best n, nhóm n các câu quan trọng nhất được kết nối đã thỏa mãn chiều dài tóm tắt được lựa chọn cho bản tóm tắt. Trong cách tiếp cận tối đa hóa lề phù hợp, các câu được lựa chọn trong một thủ tục tham lam. Tại mỗi một bước của thủ tục, điểm số quan trọng của câu được tính lại như là một sự kết nối tuyến tính giữa trọng số quan trọng của câu và sự tương tự của nó với các câu vừa chọn.

Các câu tương tự với các câu đã được lựa chọn sẽ bị loại bỏ. Trong cách tiếp cận lựa chọn toàn cục, sự thu thập tối ưu các câu là lựa chọn chủ đề liên quan tới các ràng buộc cố gắng làm cực đại hóa độ quan trọng toàn cục và cực tiểu hóa độ dư thừa và một số cách tiếp cận là cực đại hóa sự kết nối. Có một vài ràng buộc giữa ba quá trình xử lý mô tả bên trên và một người tóm tắt có thể kết hợp bất kỳ sự kết nối các sự lựa chọn trong thực thi mỗi bước. Sự thay đổi trong phương pháp của mỗi bước cụ thể có thể thay đổi đáng kể tới chất lượng của bản tóm tắt.

Trong việc sắp xếp độ quan trọng của việc tóm tắt, các nhân tố khác cũng được sử dụng. Nếu chúng ta có thông tin xung quanh ngữ cảnh để bản tóm tắt được sinh ra, điều này giúp xác định độ quan trọng. Ngữ cảnh có thể chứa các thông tin xung quanh nhu cầu người dùng, thường biểu thị thông qua một truy vấn. Ngữ cảnh có thể bao gồm môi trường trong đó một văn bản đầu vào được định vị như là các đường dẫn chỉ tới một trang web.

Nhân tố khác ảnh hưởng tới sắp xếp câu là loại của văn bản. Khi văn bản đầu vào là một bản tin tức, một luồng email, một trang web hoặc một bài tạp chí ảnh hưởng tới chiến lược lựa chọn câu. Tóm tắt tóm lược [22] Tóm tắt tóm lược tạo ra một bản tóm tắt hiệu quả hơn so với tóm tắt trích chọn bởi việc nó có thể trích chọn thông tin từ tập các văn bản để khởi tạo bản tóm tắt thông tin rõ ràng. Một bản tóm tắt trình diễn thông tin tóm tắt trong một bản kết dính, dễ đọc và đúng ngữ pháp.

Tính dễ đọc hay chất lượng ngữ pháp là một chất xúc tác để cải thiện chất lượng tóm tắt. Tóm tắt tóm lược được chia theo cách tiếp cận cấu trúc, theo cách tiếp cận ngữ nghĩa và gần đây là theo cách tiếp cận học sâu. Cách tiếp cận cấu trúc Cách tiếp cận cấu trúc mã hóa các thông tin quan trọng nhất trong văn bản thông qua kinh nghiệm như mẫu, các luật trích chọn và các cấu trúc khác như cây, ontology, lá và cấu trúc cụm.