Cải Tiến Thuật Toán Tiến Hóa Để Tóm Tắt Tài Liệu

Chuyên khảo toán học phân tích Improving evolutionary algorithm for document extractive summarization cải tiến thuật toán trong, đánh giá các khía cạnh quan trọng, đề xuất hướng

• Tác giả: Nguyen Thi Hoai
• Người hướng dẫn: Dr. Nguyen Thi Thu Trang
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Data Science and Artificial Intelligence
• Đề tài: Cải Tiến Thuật Toán Tiến Hóa Để Tóm Tắt Tài Liệu
• Loại tài liệu: Thesis
• Năm xuất bản: 2021
• Địa điểm: Ha Noi

Mục lục chi tiết

• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: LÝ THUYẾT TỔNG QUAN VÀ CÁC NGHIÊN CỨU GẦN ĐÂY
• 3. CHƯƠNG 3: MÔ HÌNH LAI PSO-GA ĐỀ XUẤT
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Kết quả thực nghiệm
• 4.2. Giải thích cách lựa chọn các đặc tính câu cho hàm Fitness, bộ tham số và lý do chọn độ đo Recall và F1
• 4.3. Bổ sung kết quả TextRank cho bộ dữ liệu DUC2001 và DUC2002
• 5. CHƯƠNG 5: KẾT LUẬN VÀ NGHIÊN CỨU TƯƠNG LAI
• PHỤ LỤC: MÔ TẢ NGHIÊN CỨU GA-FEATURES VÀ PSO-HARMONY SEARCH

Tóm tắt

I. Tổng Quan Về Tóm Tắt Tài Liệu và Thuật Toán Tiến Hóa

Ngày nay, với sự phát triển của mọi mặt đời sống, lượng thông tin cung cấp cho con người ngày càng đa dạng và phong phú. Một câu hỏi đặt ra là làm thế nào để mọi người có thể nhanh chóng và hiệu quả tiếp cận được lượng thông tin khổng lồ như vậy? Mục tiêu của một hệ thống tóm tắt văn bản tự động là tạo ra một bản tóm tắt ngắn gọn và trôi chảy, đồng thời thể hiện nội dung chính và ý nghĩa tổng thể của văn bản gốc, cho phép người dùng nắm bắt thông tin có trong văn bản đó, nhưng với thời gian đọc ngắn hơn nhiều. Có hai cách tiếp cận cơ bản để tóm tắt tài liệu: tóm tắt trích xuất và tóm tắt trừu tượng.

1.1. Tóm Tắt Trích Xuất Lựa Chọn Câu Văn Quan Trọng

Tóm tắt trích xuất là chọn các câu từ văn bản thể hiện tốt nhất ý nghĩa của nội dung mà không sử dụng các từ bên ngoài. Kỹ thuật này bao gồm các câu và cụm từ được xếp hạng theo tầm quan trọng và chọn các yếu tố quan trọng nhất của tài liệu để xây dựng bản tóm tắt. Có rất nhiều kỹ thuật để tự động tạo ra các bản tóm tắt trích xuất cho một tài liệu duy nhất, có thể được nhóm thành hai hướng: có giám sát và không giám sát. Các phương pháp trước đây dựa trên các mô hình học máy (Machine Learning) hoặc các mô hình học sâu (Deep Learning). Những phương pháp này đòi hỏi một tập dữ liệu huấn luyện khổng lồ, bao gồm các bản tóm tắt do con người tạo ra, do đó rất tốn kém và tốn thời gian.

1.2. Tóm Tắt Trừu Tượng Diễn Giải và Tạo Nội Dung Mới

Tóm tắt trừu tượng có xu hướng "diễn giải" một văn bản để ngắn gọn và súc tích. Nó liên quan đến việc tạo ra các cụm từ và câu hoàn toàn mới để nắm bắt ý nghĩa của văn bản, đòi hỏi các kỹ thuật tiên tiến như diễn giải, khái quát hóa, kết hợp kiến thức thế giới thực, v.v. Do tính khó khăn của việc tóm tắt, hầu hết các nghiên cứu về tóm tắt văn bản đều dựa trên tóm tắt trích xuất.

II. Thách Thức và Hạn Chế Của Thuật Toán Tiến Hóa Hiện Tại

Luận án tập trung vào việc cải tiến thuật toán tiến hóa (EA) trong tóm tắt trích xuất. Nhiều công trình trước đây đã đề xuất một số thuật toán tiến hóa, đặc biệt là thuật toán di truyền (GA), để chọn các câu tốt nhất để tạo ra một bản tóm tắt. Tuy nhiên, việc sử dụng GA riêng lẻ có thể bị ảnh hưởng bởi khả năng tìm kiếm cục bộ yếu và tốc độ hội tụ chậm. Mặt khác, khả năng hội tụ nhanh của PSO được tận dụng để khắc phục hạn chế về tốc độ thấp của GA. Ngoài ra, hiện tượng tối ưu cục bộ của PSO cũng có thể tránh được bằng cách sử dụng GA. Do đó, một phương pháp lai, cụ thể là lai PSO - GA, khai thác những ưu điểm của cả hai phương pháp PSO và GA được đề xuất.

2.1. Điểm Yếu Của Thuật Toán Di Truyền GA Trong Tóm Tắt

Thuật toán di truyền (GA) là một kỹ thuật tìm kiếm xác suất, lặp đi lặp lại được kiểm soát, được sử dụng để tối ưu hóa toàn cầu, lấy cảm hứng từ lý thuyết tiến hóa tự nhiên của Charles Darwin. Thuật toán này mô phỏng quá trình chọn lọc tự nhiên, trong đó các cá thể phù hợp nhất được chọn để sinh sản nhằm tạo ra con cái của thế hệ tiếp theo. Do đó, con cái thừa hưởng các đặc điểm của cha mẹ và sẽ được thêm vào thế hệ tiếp theo. Nếu cha mẹ có thể chất tốt hơn, con cái của họ sẽ tốt hơn cha mẹ và có cơ hội sống sót tốt hơn. Quá trình này tiếp tục lặp đi lặp lại và cuối cùng, một thế hệ với những cá thể phù hợp nhất sẽ được tìm thấy.

2.2. Hạn Chế Về Tốc Độ Hội Tụ và Khả Năng Tìm Kiếm Cục Bộ

Ưu điểm thiết yếu của GA là khả năng duy trì sự đa dạng của các giải pháp tiềm năng nhờ các toán tử di truyền (tức là chọn lọc, lai ghép và đột biến). Tuy nhiên, sự phức tạp của quá trình tiến hóa thường dẫn đến tốc độ hội tụ chậm. Thật vậy, thời gian tính toán của GA tăng lên phi tuyến tính trong trường hợp kích thước quần thể lớn.

2.3. Vấn Đề Tối Ưu Cục Bộ Của Thuật Toán PSO

Thuật toán tối ưu hóa bầy đàn (PSO) là một kỹ thuật tối ưu hóa dựa trên quần thể, lấy cảm hứng từ chuyển động của đàn chim và đàn cá. Sự hội tụ sớm của PSO được ngăn chặn bằng cách áp dụng GA trên một quần thể nhỏ. Bên cạnh đó, hiện tượng tối ưu cục bộ của PSO cũng có thể tránh được với GA.

III. Phương Pháp Lai PSO GA Giải Pháp Cải Tiến Tóm Tắt

Nghiên cứu này đề xuất một phương pháp lai, cụ thể là lai PSO - GA, khai thác những ưu điểm của cả hai phương pháp PSO và GA. Cụ thể hơn, nghiên cứu sẽ cải tiến thuật toán tiến hóa trong tóm tắt văn bản trích xuất để tăng độ chính xác của bản tóm tắt và hiệu suất của mô hình được đề xuất. Mục tiêu là tận dụng lợi thế của hai thuật toán này để quần thể được tạo ra đa dạng hơn và hội tụ nhanh hơn.

3.1. Kết Hợp Ưu Điểm Của PSO và GA Để Tối Ưu Hóa

Khả năng hội tụ nhanh của PSO được tận dụng để khắc phục hạn chế về tốc độ thấp của GA. Ngoài ra, hiện tượng tối ưu cục bộ của PSO cũng có thể tránh được bằng cách sử dụng GA. Do đó, một phương pháp lai, cụ thể là lai PSO - GA, khai thác những ưu điểm của cả hai phương pháp PSO và GA được đề xuất.

3.2. Tăng Độ Chính Xác và Hiệu Suất Mô Hình Tóm Tắt

Nghiên cứu sẽ cải tiến thuật toán tiến hóa trong tóm tắt văn bản trích xuất để tăng độ chính xác của bản tóm tắt và hiệu suất của mô hình được đề xuất. Mục tiêu là tận dụng lợi thế của hai thuật toán này để quần thể được tạo ra đa dạng hơn và hội tụ nhanh hơn.

3.3. Đề Xuất Hàm Fitness Phù Hợp Cho PSO GA

Hàm fitness đóng vai trò quan trọng trong việc đánh giá chất lượng của các giải pháp tiềm năng (tức là bản tóm tắt tiềm năng) trong không gian tìm kiếm. Việc thiết kế một hàm fitness hiệu quả là rất quan trọng để hướng dẫn quá trình tìm kiếm của thuật toán tiến hóa đến các bản tóm tắt chất lượng cao.

IV. Ứng Dụng Thực Tiễn và Đánh Giá Hiệu Quả Của PSO GA

Để đánh giá hiệu quả của thuật toán được đề xuất, các thử nghiệm đã được tiến hành trên ba bộ dữ liệu phổ biến, DUC2001, DUC2002 và CNN/Daily Mail. Kết quả thử nghiệm cho thấy lai PSO - GA vượt trội hơn tất cả các công trình hiện đại về tất cả ba số liệu điểm ROUGE cho các bộ dữ liệu này. Giải pháp được trình bày trong luận án này đã được chấp nhận tại Hội nghị Châu Á Thái Bình Dương lần thứ 35 về Ngôn ngữ, Thông tin và Tính toán (PACLIC 35) năm 2021.

4.1. Thử Nghiệm Trên Các Bộ Dữ Liệu DUC2001 DUC2002 CNN Daily Mail

Để đánh giá hiệu quả của thuật toán được đề xuất, các thử nghiệm đã được tiến hành trên ba bộ dữ liệu phổ biến, DUC2001, DUC2002 và CNN/Daily Mail. Các bộ dữ liệu này thường được sử dụng để tóm tắt trích xuất.

4.2. So Sánh Với Các Phương Pháp Tóm Tắt Văn Bản Hiện Đại

Kết quả thử nghiệm cho thấy lai PSO - GA vượt trội hơn tất cả các công trình hiện đại về tất cả ba số liệu điểm ROUGE cho các bộ dữ liệu này. Điều này chứng minh tính hiệu quả của phương pháp lai trong việc cải thiện chất lượng của bản tóm tắt.

4.3. Đánh Giá Bằng ROUGE Độ Chính Xác và Tính Bao Quát

Để đánh giá hiệu quả của một bản tóm tắt, bộ công cụ đánh giá ROUGE thường được sử dụng, được phát hiện là có tương quan cao với đánh giá của con người. Nó so sánh các bản tóm tắt được tạo bởi chương trình với các bản tóm tắt do con người tạo ra (tiêu chuẩn vàng).

V. Kết Luận và Hướng Nghiên Cứu Tương Lai Về Tóm Tắt

Luận án này đã trình bày một phương pháp lai PSO - GA để cải tiến thuật toán tiến hóa trong tóm tắt văn bản trích xuất. Kết quả thử nghiệm cho thấy phương pháp này có hiệu quả trong việc cải thiện độ chính xác và hiệu suất của mô hình tóm tắt. Các hướng nghiên cứu tương lai có thể tập trung vào việc cải thiện hàm fitness, khám phá các toán tử di truyền mới và áp dụng phương pháp này cho các loại văn bản khác nhau.

5.1. Tóm Tắt Các Đóng Góp Chính Của Luận Án

Luận án này đã đề xuất và đánh giá một phương pháp lai PSO - GA để cải tiến thuật toán tiến hóa trong tóm tắt văn bản trích xuất. Phương pháp này đã được chứng minh là có hiệu quả trong việc cải thiện độ chính xác và hiệu suất của mô hình tóm tắt.

5.2. Các Hướng Nghiên Cứu Tiềm Năng Trong Tương Lai

Các hướng nghiên cứu tương lai có thể tập trung vào việc cải thiện hàm fitness, khám phá các toán tử di truyền mới và áp dụng phương pháp này cho các loại văn bản khác nhau. Ngoài ra, việc nghiên cứu các phương pháp tóm tắt trừu tượng cũng là một hướng đi đầy hứa hẹn.

5.3. Ứng Dụng Tóm Tắt Văn Bản Trong Thực Tế

Ứng dụng tóm tắt tài liệu có tiềm năng to lớn trong nhiều lĩnh vực, bao gồm tóm tắt báo cáo, tóm tắt nghiên cứu khoa học, tóm tắt tin tức, tóm tắt pháp lý, tóm tắt y tế và tóm tắt tài chính. Việc phát triển các phương pháp tóm tắt hiệu quả có thể giúp mọi người tiết kiệm thời gian và dễ dàng tiếp cận thông tin hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh kỷ nguyên số bùng nổ với hàng triệu gigabyte dữ liệu văn bản được tạo ra mỗi ngày trên internet, nhu cầu tiếp cận và xử lý thông tin nhanh chóng đã trở thành một bài toán cấp thiết. Người dùng thường xuyên phải đối mặt với tình trạng quá tải thông tin khi phải đọc qua hàng trăm trang tài liệu để chắt lọc nội dung cốt lõi. Tóm tắt văn bản tự động đóng vai trò là giải pháp then chốt giúp rút ngắn khoảng 70% đến 80% thời gian đọc nhưng vẫn bảo toàn trọn vẹn thông điệp chính của văn bản gốc.

Vấn đề cốt lõi mà nghiên cứu tập trung giải quyết là hạn chế của các phương pháp tóm tắt trích rút văn bản đơn lẻ hiện nay. Trong khi các mô hình học sâu có giám sát đòi hỏi tài nguyên tính toán khổng lồ và tập dữ liệu gán nhãn thủ công tốn kém, các giải thuật tiến hóa truyền thống như giải thuật di truyền lại gặp nhược điểm lớn về tốc độ hội tụ chậm và khả năng tìm kiếm cục bộ yếu. Ngược lại, thuật toán tối ưu hóa bầy đàn tuy có tốc độ hội tụ nhanh nhưng lại rất dễ rơi vào bẫy tối ưu cục bộ. Mục tiêu của luận văn là nghiên cứu, thiết kế và phát triển mô hình lai kết hợp giữa thuật toán tối ưu hóa bầy đàn và giải thuật di truyền nhằm tối ưu hóa quá trình chọn lọc câu quan trọng, tạo ra bản tóm tắt có chất lượng vượt trội.

Phạm vi nghiên cứu được triển khai trên các tập ngữ liệu tin tức tiếng Anh chuẩn quốc tế gồm 309 văn bản DUC2001, 567 văn bản DUC2002 và 11.490 bài báo thuộc bộ dữ liệu quy mô lớn CNN/Daily Mail. Công trình được thực hiện tại Trường Công nghệ Thông tin và Truyền thông thuộc Đại học Bách Khoa Hà Nội và hoàn thành vào tháng 12 năm 2021. Ý nghĩa thực tiễn của nghiên cứu được khẳng định qua việc nâng cao điểm đánh giá chất lượng tóm tắt tự động, đưa điểm ROUGE-1 đạt 54,67% trên tập DUC2001 và 57,93% trên tập DUC2002. Kết quả của công trình đã được thẩm định khoa học và chấp nhận công bố tại Hội thảo Quốc tế về Ngôn ngữ, Thông tin và Tính toán lần thứ 35 năm 2021.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng vững chắc của hai nhánh lý thuyết chính trong trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên:

Thứ nhất là lý thuyết tóm tắt văn bản tự động, phân tách rõ ràng hai hướng tiếp cận: tóm tắt diễn giải và tóm tắt trích rút. Tóm tắt diễn giải yêu cầu khả năng hiểu sâu và sinh câu mới hoàn toàn, trong khi tóm tắt trích rút tập trung xác định và chọn lọc các câu nguyên bản có giá trị thông tin cao nhất từ tài liệu gốc. Luận văn đi sâu vào bài toán tóm tắt trích rút phi giám sát, coi đây là một bài toán tối ưu hóa tổ hợp đa mục tiêu.

Thứ hai là lý thuyết tính toán tiến hóa và trí tuệ bầy đàn. Giải thuật di truyền được kế thừa từ nguyên lý tiến hóa tự nhiên của Charles Darwin, mô phỏng quá trình chọn lọc tự nhiên qua các thế hệ với các cá thể mang chuỗi nhiễm sắc thể đại diện cho các bản tóm tắt ứng viên. Đi kèm với đó là thuật toán tối ưu hóa bầy đàn mô phỏng hành vi xã hội của các đàn chim và đàn cá khi tìm kiếm nguồn thức ăn trong không gian đa chiều, dựa trên vị trí và vận tốc di chuyển của từng hạt.

Mô hình nghiên cứu ứng dụng 5 khái niệm đặc trưng câu then chốt để xây dựng hàm đánh giá mức độ thích nghi:

• Độ tương đồng giữa câu và câu chủ đề của tài liệu.
• Vị trí xuất hiện của câu trong cấu trúc văn bản.
• Độ dài chuẩn hóa của từng câu.
• Số lượng danh từ riêng biểu thị thực thể quan trọng.
• Độ bao phủ nội dung và độ trùng lặp thông tin giữa các câu được chọn.

Bên cạnh đó, mô hình biểu diễn văn bản không gian vector dựa trên trọng số tần suất từ và nghịch đảo tần suất văn bản (TF-IDF) được sử dụng để định lượng giá trị ngữ nghĩa của các thuật ngữ trong toàn bộ tài liệu.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm bao gồm 3 bộ dữ liệu chuẩn mực được cộng đồng học thuật quốc tế công nhận rộng rãi:

• Tập DUC2001 gồm 309 văn bản kiểm thử với bản tóm tắt chuẩn từ chuyên gia.
• Tập DUC2002 gồm 567 văn bản kiểm thử.
• Tập dữ liệu lớn CNN/Daily Mail chứa 11.490 văn bản kiểm thử.

Phương pháp chọn mẫu trong luận văn là phương pháp lấy mẫu toàn bộ tập kiểm thử chuẩn theo quy chuẩn của các cuộc thi đánh giá tóm tắt tài liệu quốc tế. Việc lựa chọn phương pháp phân tích phi giám sát kết hợp giải thuật tiến hóa lai thay vì học sâu có giám sát xuất phát từ 3 lý do cốt lõi:

• Loại bỏ hoàn toàn sự phụ thuộc vào dữ liệu gán nhãn tốn kém, giúp giải thuật có khả năng thích ứng linh hoạt với nhiều miền dữ liệu khác nhau.
• Cơ chế bầy đàn giúp tăng tốc độ khám phá không gian nghiệm, giảm thiểu thời gian tính toán so với giải thuật di truyền đơn lẻ khoảng 40% đến 50%.
• Cơ chế lai ghép đồng nhất và đột biến định hướng của giải thuật di truyền trên quần thể nhỏ giúp phá vỡ trạng thái bế tắc khi bầy đàn hội tụ sớm vào các điểm cực trị địa phương.

Toàn bộ quy trình nghiên cứu, tinh chỉnh tham số và đánh giá thực nghiệm được triển khai đồng bộ trong giai đoạn từ đầu năm 2021 đến tháng 12 năm 2021 dưới sự giám sát khoa học chặt chẽ của hội đồng chuyên môn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh mô hình đề xuất với các công trình tiên tiến trên thế giới đã đem lại 4 phát hiện quan trọng:

Thứ nhất, trên tập dữ liệu chuẩn DUC2001 gồm 309 tài liệu, mô hình lai đề xuất đạt điểm ROUGE-1 Recall lên tới 54,67%. Khi so sánh với mô hình kết hợp tối ưu hóa bầy đàn và tìm kiếm hòa âm vốn chỉ đạt 40,52%, mô hình đề xuất đã tạo ra bước đột phá với mức cải thiện hiệu năng vượt trội lên đến 34,92%.

Thứ hai, trên tập dữ liệu DUC2002 với 567 tài liệu, mô hình tiếp tục duy trì độ chính xác ấn tượng khi đạt điểm ROUGE-1 Recall là 57,93%. Kết quả này vượt xa mức 42,89% của phương pháp đối sánh trực tiếp, chứng minh tính ổn định cao của giải thuật khi kích thước và độ phức tạp của tập văn bản tăng lên.

Thứ ba, trên tập dữ liệu quy mô lớn CNN/Daily Mail với 11.490 văn bản kiểm thử, mô hình lai ghi nhận điểm ROUGE-1 F1-score đạt 38,55%. Điểm số này vượt qua giải thuật xếp hạng đồ thị TextRank truyền thống và bám sát hiệu năng của các mô hình mạng nơ-ron hồi quy có giám sát phức tạp như SummaRuNNer.

Thứ tư, việc tích hợp toán tử lai ghép đồng nhất kết hợp với cơ chế đột biến định hướng đã giúp quần thể đạt trạng thái cân bằng tối ưu chỉ sau khoảng 35 đến 40 thế hệ tiến hóa, tiết kiệm hơn 50% số vòng lặp tính toán so với mức 80 đến 100 thế hệ của các thuật toán di truyền thông thường.

Thảo luận kết quả

Sự vượt trội của mô hình lai xuất phát từ sự tương hỗ nhịp nhàng giữa hai cơ chế tìm kiếm. Thuật toán tối ưu hóa bầy đàn đóng vai trò là động cơ dẫn đường với khả năng quét nhanh không gian tìm kiếm thông qua các vector vận tốc, trong khi các toán tử của giải thuật di truyền liên tục tái cấu trúc các cá thể để duy trì tính đa dạng sinh học trong quần thể, triệt tiêu hiện tượng hội tụ sớm thường gặp.

Khi so sánh với các nghiên cứu trước đây như mô hình thuật toán màng tế bào kết hợp tìm kiếm cục bộ hay mô hình xếp hạng hợp nhất, mô hình lai đề xuất cho thấy khả năng loại bỏ các câu trùng lặp thông tin tốt hơn nhờ cơ chế phạt trực tiếp trong hàm thích nghi. Các câu được chọn không chỉ mang hàm lượng thông tin cao mà còn phân bổ đều khắp các phần mở đầu, thân bài và kết luận của văn bản.

Trong việc trình bày học thuật, toàn bộ tập dữ liệu kết quả có thể được trực quan hóa vô cùng hiệu quả thông qua hai dạng biểu đồ chính:

• Biểu đồ cột nhóm minh họa trực quan sự chênh lệch điểm số giữa mô hình lai và các phương pháp cơ sở trên các thang đo ROUGE-1, ROUGE-2 và ROUGE-L.
• Biểu đồ đường biểu diễn quá trình suy giảm sai số và tốc độ tăng trưởng giá trị hàm thích nghi qua từng thế hệ lặp từ vòng 1 đến vòng 50, làm nổi bật thời điểm hội tụ nhanh chóng của mô hình.

Ý nghĩa học thuật của phát hiện này khẳng định rằng việc kết hợp thông minh giữa trí tuệ bầy đàn và giải thuật tiến hóa sinh học hoàn toàn có thể cạnh tranh sòng phẳng với các mô hình học máy phức tạp trong bài toán xử lý văn bản tự nhiên phi giám sát.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 đề xuất mang tính ứng dụng và phát triển thực tế:

Thứ nhất, nâng cấp khả năng biểu diễn ngữ nghĩa bằng cách tích hợp các mô hình ngôn ngữ tiền huấn luyện sâu như BERT hoặc RoBERTa vào giai đoạn trích xuất đặc trưng câu thay thế cho mô hình TF-IDF truyền thống. Mục tiêu là nâng cao điểm ROUGE-1 thêm khoảng 3% đến 5% và hoàn thành trong lộ trình 6 tháng tới. Chủ thể thực hiện là các nhóm nghiên cứu chuyên sâu về Xử lý ngôn ngữ tự nhiên tại các viện và trường đại học.

Thứ hai, mở rộng phạm vi ứng dụng của mô hình sang bài toán tóm tắt đa văn bản với quy mô cụm từ 50 đến 100 tài liệu có cùng chủ đề tin tức. Giải pháp này giúp tự động tổng hợp tin tức nóng từ nhiều nguồn báo chí khác nhau trong thời gian thực. Mục tiêu triển khai trong vòng 12 tháng do các kỹ sư dữ liệu lớn tại các tập đoàn truyền thông số và công nghệ đảm nhiệm.

Thứ ba, tối ưu hóa thuật toán trên nền tảng phần cứng xử lý song song thông qua lập trình GPU. Việc song song hóa các phép tính đánh giá hàm thích nghi sẽ giúp giảm độ trễ xử lý từ khoảng 1,5 giây xuống dưới 200 mili-giây cho mỗi tài liệu có độ dài 2.000 từ. Timeline thực hiện dự kiến trong vòng 3 đến 6 tháng, do đội ngũ kỹ sư tối ưu hóa hệ thống AI phụ trách.

Thứ tư, đóng gói mô hình thành các giao diện lập trình ứng dụng dạng dịch vụ đám mây và tiện ích mở rộng trên trình duyệt web. Giải pháp này cho phép người dùng phổ thông tóm tắt nhanh các bài báo dài, văn bản hành chính hoặc báo cáo phân tích thị trường chỉ với 1 cú nhấp chuột, hướng tới mục tiêu phục vụ hơn 10.000 lượt truy vấn mỗi ngày. Thời gian triển khai vào quý 3 năm tới bởi các doanh nghiệp khởi nghiệp phần mềm.

Đối tượng nên tham khảo luận văn

Nội dung và giải pháp kỹ thuật trong luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng cụ thể:

Nhóm thứ nhất là học viên cao học, nghiên cứu sinh và sinh viên ngành Khoa học dữ liệu, Trí tuệ nhân tạo và Công nghệ thông tin. Luận văn cung cấp tài liệu tham khảo chuẩn mực về cách thiết kế thuật toán tối ưu hóa lai, công thức hóa hàm thích nghi đa mục tiêu và quy trình thực nghiệm trên các bộ dữ liệu benchmark quốc tế.

Nhóm thứ hai là các kỹ sư phát triển sản phẩm xử lý ngôn ngữ tự nhiên tại các doanh nghiệp công nghệ. Tài liệu này cung cấp kiến trúc mã nguồn và giải thuật phi giám sát hiệu quả, giúp doanh nghiệp tiết kiệm khoảng 60% chi phí xây dựng dữ liệu gán nhãn khi phát triển các tính năng tóm tắt văn bản tự động.

Nhóm thứ ba là các cơ quan thông tấn, đơn vị báo chí và truyền thông điện tử. Luận văn mở ra phương án tự động hóa việc tạo bản tóm tắt tin tức ngắn, hiển thị trên các ứng dụng di động để tăng trải nghiệm đọc nhanh của độc giả, giúp tối ưu hóa thời gian biên tập viên xử lý luồng tin.

Nhóm thứ tư là các nhà phân tích nghiệp vụ trong các tổ chức tài chính, ngân hàng và pháp lý, những người cần công cụ hỗ trợ trích xuất nhanh các nội dung cốt lõi từ hàng trăm trang hợp đồng, báo cáo tài chính và tài liệu pháp quy mỗi ngày.

Câu hỏi thường gặp

Câu hỏi 1: Tại sao nghiên cứu lại chọn kết hợp giữa tối ưu hóa bầy đàn và giải thuật di truyền thay vì sử dụng độc lập từng thuật toán? Trả lời: Khi chạy độc lập, giải thuật di truyền có độ đa dạng cao nhưng tốc độ hội tụ rất chậm, cần tới 100 thế hệ để tối ưu. Thuật toán bầy đàn lại hội tụ quá nhanh và dễ mắc kẹt tại cực trị cục bộ. Việc kết hợp giúp tận dụng khả năng bứt phá của bầy đàn và độ phân tán của di truyền, giảm thời gian tính toán khoảng 50%.

Câu hỏi 2: Ý nghĩa của các thang đo ROUGE trong việc đánh giá kết quả của luận văn là gì? Trả lời: Thang đo ROUGE so sánh mức độ trùng khớp giữa bản tóm tắt do thuật toán sinh ra với bản tóm tắt do chuyên gia con người biên soạn. ROUGE-1 đo lường sự trùng lặp của từng từ đơn, ROUGE-2 đo lường cụm hai từ liền kề và ROUGE-L đo lường chuỗi con chung dài nhất, phản ánh độ chính xác và tính trôi chảy của câu.

Câu hỏi 3: Bộ dữ liệu thực nghiệm trong luận văn gồm những gì và có quy mô ra sao? Trả lời: Nghiên cứu được kiểm thử trên 3 bộ ngữ liệu tin tức chuẩn quốc tế: DUC2001 gồm 309 văn bản, DUC2002 gồm 567 văn bản và CNN/Daily Mail quy mô lớn với 11.490 văn bản. Đây là các tập dữ liệu chuẩn mực nhất trong cộng đồng xử lý ngôn ngữ tự nhiên để đảm bảo tính khách quan khoa học.

Câu hỏi 4: Hàm thích nghi của mô hình lai được tính toán dựa trên những yếu tố nào? Trả lời: Hàm thích nghi là sự kết hợp có trọng số của 5 đặc trưng ngôn ngữ chính: độ tương đồng với câu chủ đề, vị trí xuất hiện của câu, độ dài câu, số lượng danh từ riêng biểu thị thực thể và độ bao phủ thông tin toàn văn bản. Cơ chế này đảm bảo câu được chọn vừa chứa thông tin quan trọng vừa không bị lặp ý.

Câu hỏi 5: Mô hình lai này có thể ứng dụng trực tiếp cho các văn bản tiếng Việt được không? Trả lời: Hoàn toàn có thể ứng dụng cho tiếng Việt. Do đây là phương pháp phi giám sát không phụ thuộc vào ngữ pháp sinh câu phức tạp, hệ thống chỉ cần thay thế bộ tách từ tiếng Anh bằng các công cụ tách từ tiếng Việt chuẩn trước khi đưa vào tính toán trọng số vector và giải thuật lai.

Kết luận

Luận văn đã giải quyết thành công bài toán nâng cao chất lượng tóm tắt trích rút văn bản tự động thông qua việc cải tiến và lai ghép thông minh các giải thuật tiến hóa:

• Xây dựng thành công mô hình lai kết hợp giữa tối ưu hóa bầy đàn thích ứng và giải thuật di truyền với các toán tử lai ghép đồng nhất và đột biến định hướng.
• Thiết lập hàm đánh giá thích nghi toàn diện dựa trên 5 đặc trưng câu then chốt và mô hình không gian vector.
• Đạt kết quả thực nghiệm vượt trội với điểm ROUGE-1 Recall là 54,67% trên DUC2001 và 57,93% trên DUC2002, vượt xa mô hình đối sánh khoảng 35%.
• Chứng minh tính hiệu quả vượt trội trên tập dữ liệu lớn CNN/Daily Mail với 11.490 văn bản kiểm thử.
• Khẳng định giá trị học thuật xuất sắc thông qua công trình được chấp nhận công bố tại Hội thảo Quốc tế PACLIC 35 năm 2021.

Trong lộ trình tiếp theo từ 6 đến 12 tháng tới, hướng nghiên cứu sẽ tập trung vào việc kết hợp mô hình học sâu hiện đại để tinh chỉnh ngữ nghĩa và mở rộng giải thuật sang bài toán tóm tắt đa tài liệu tiếng Việt. Quý độc giả, các nhà nghiên cứu và doanh nghiệp công nghệ quan tâm có thể khai thác các đóng góp học thuật của luận văn để tích hợp và phát triển các sản phẩm tóm tắt thông tin thông minh phục vụ cộng đồng.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu, • Chương 2: Lý thuyết tổng quan và các nghiên cứu gần đây, • Chương 3: Mô hình lai PSO-GA đề xuất, • Chương 4: Thực nghiệm, • Chương 5: Kết luận và nghiên cứu tương lai. Ngày tháng năm 2021 Giáo viên hướng dẫn Tác giả luận văn TS. Nguyễn Thị Thu Trang Nguyễn Thị Hoài CHỦ TỊCH HỘI ĐỒNG luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep Graduation Thesis Assignment Name: Nguyen Thi Hoai Phone: [phone] Email: hoai.vn Class: 20BKHDL-E Affiliation: Hanoi University of Science and Technology I – Nguyen Thi Hoai - hereby warrants that the work and presentation in this thesis are performed by myself under the supervision of Dr. Nguyen Thi Thu Trang.

All results presented in this thesis are truthful and are not copied from any other work. All references in this thesis - including images, tables, figures, and quotes - are clearly and fully documented in the bibliography. I will take full responsibility for even one copy that violates school regulations. Hanoi, 25th November 2021 Author Nguyen Thi Hoai luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep Acknowledgement It is a genuine pleasure to express my deep sense of thanks and gratitude to my advisor and guide, Dr.

Nguyen Thi Thu Trang. I am highly grateful because she managed and supported me in completing my thesis. Her unwavering enthusiasm for science kept me constantly engaged with my research, and her personal generosity helped make my time at HUST enjoyable. Furthermore, she has taught me the methodology to carry out the study and present the research works as clearly as possible.

It was a great privilege and honor to work and study under her guidance. Also, I would like to thank Dr. Bui Thi Mai Anh for her keen interest in me in every research. Her prompt inspirations, timely suggestions with kindness, motivation, and dynamism have enabled me to accomplish this task throughout my study period.

Most importantly, my sincere thanks and appreciation also go to my family for their constant source of loving, caring and inspiration. They are such vital parts of my life that I cannot imagine a life without them. Last but not least, I gratefully acknowledge my university and the people who have willingly helped me out with their abilities. I greatly appreciate the support received through the collaborative work undertaken with them.

luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep Abstract The task of text summarization is to generate main ideas that cover the content of the whole text with the aim of shortening reading time. There are two approaches to summarizing, extractive and abstractive summarization. Numerous methods have been researched in this domain, in which using heuristic algorithms is a more effective and straightforward way than applying machine learning or deep learning. A genetic algorithm (GA) is a search heuristic that is inspired by Charles Darwin’s theory of natural evolution.

This algorithm reflects the process of natural selection where the fittest individuals are selected for reproduction in order to produce offspring of the next generation. However, using traditional GA alone may suffer from a weak local search capability and slow convergence speed. Another algorithm, Particle Swarm Optimization (PSO), is a population-based optimization technique inspired by the motion of bird flocks and schooling fish. The premature convergence of PSO is prevented by applying GA on a small population.

Besides, the local optimum phenomenon of PSO can also be avoided with GA. The goal of the thesis is to investigate the effectiveness of a hybrid method combining GA and PSO based attribute selection in improving the performance of classification algorithms solving the automatic text summarization task. To assess the effectiveness of the proposed algorithm, I have conducted the experimentation on three common datasets, DUC2001, DUC2002, which are typically used for extractive summarization, and CNN/Daily Mail. The experiment results have shown that the hybrid PSO-GA outperforms all the state-of-the-art works on all three ROUGE point metrics for these datasets.

The solution presented in this thesis was accepted at The 35th Pacific Asia Conference on Language, Information and Computation (PACLIC 35) in 2021. luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep Content Abstract .ii List of Figures. v List of Tables. vi List of Equations.

viii Chapter 1 Introduction .2 Objective and scope .3 Structure of thesis. 2 Chapter 2 Theoretical Background and Related works .3 Particle swarm optimization.1 Particle and swarm .4 Term Frequency– Inverse Document Frequency .2 Inverse Document Frequency. 16 Chapter 3 Proposed hybrid PSO-GA. 18 ii luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep 3.4 Proposed of fitness function.

21 a) Similarity to the topic sentence. 22 d) Number of proper nouns .5 Proposed strategies for operators .6 Adaptive PSO strategy .1 Precision, recall and f-score .2 Preparation for experiment .