Luận văn: Cải tiến thuật toán tiến hóa cho tóm tắt trích rút văn bản

Luận văn nghiên cứu cải tiến thuật toán tóm tắt trích rút văn bản. Tìm hiểu các phương pháp mới, nâng cao hiệu quả và độ chính xác của tóm tắt tự động.

• Tác giả: Nguyễn Thị Hoài
• Người hướng dẫn: TS. Nguyễn Thị Thu Trang
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Data Science and Artificial Intelligence
• Đề tài: Cải tiến thuật toán tiến hóa trong tóm tắt trích rút văn bản
• Loại tài liệu: graduation thesis
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Tóm Tắt Văn Bản và Cải Tiến Thuật Toán

Tóm tắt văn bản là quá trình tạo ra một phiên bản ngắn gọn của một văn bản dài hơn, nhưng vẫn giữ lại những thông tin quan trọng nhất. Quá trình này có thể thực hiện tự động bằng các thuật toán tóm tắt văn bản, giúp giảm thời gian đọc và nén văn bản hiệu quả. Có hai phương pháp tóm tắt văn bản chính: tóm tắt trích rút (extractive summarization) và tóm tắt sinh (abstractive summarization). Tóm tắt trích rút chọn các câu quan trọng nhất từ văn bản gốc và kết hợp chúng lại để tạo thành bản tóm tắt. Tóm tắt sinh, mặt khác, diễn giải lại văn bản gốc và tạo ra một bản tóm tắt mới bằng ngôn ngữ riêng. Việc cải tiến thuật toán đóng vai trò quan trọng trong việc nâng cao chất lượng và hiệu quả của cả hai phương pháp. Các thuật toán heuristic, như thuật toán di truyền (GA) và tối ưu hóa đàn chim (PSO), đang được sử dụng rộng rãi để giải quyết bài toán tóm tắt trích rút, như được đề cập trong luận văn của Nguyễn Thị Hoài. Tuy nhiên, những thuật toán này có thể gặp phải những hạn chế, chẳng hạn như hội tụ chậm hoặc mắc kẹt trong cực trị địa phương. Vì vậy, việc nghiên cứu và phát triển các kỹ thuật cải tiến thuật toán là rất cần thiết. Luận văn này tập trung vào việc cải tiến thuật toán di truyền bằng cách kết hợp nó với thuật toán tối ưu hóa đàn chim (PSO), tạo ra một phương pháp tóm tắt văn bản hiệu quả hơn. Mục tiêu chính là cải thiện độ chính xác và hiệu quả của quá trình trích chọn các câu quan trọng, đồng thời giảm thiểu các hạn chế của các thuật toán riêng lẻ. Luận văn cũng đánh giá hiệu quả của thuật toán đề xuất trên các bộ dữ liệu chuẩn, sử dụng các ROUGE score để so sánh với các phương pháp khác.

1.1. So sánh Tóm Tắt Trích Rút và Tóm Tắt Sinh Hiện Nay

Tóm tắt trích rút đơn giản hơn và dễ triển khai hơn vì nó chỉ chọn các câu có sẵn trong văn bản gốc. Tuy nhiên, nó có thể không tạo ra các bản tóm tắt mạch lạc và tự nhiên như tóm tắt sinh. Tóm tắt sinh yêu cầu các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) phức tạp hơn để hiểu và diễn giải văn bản gốc, cũng như khả năng tạo ra các câu mới. Do đó, tóm tắt sinh thường đòi hỏi nhiều tài nguyên tính toán và dữ liệu huấn luyện hơn. Mặc dù vậy, tóm tắt sinh có tiềm năng tạo ra các bản tóm tắt chất lượng cao hơn, đặc biệt là khi sử dụng các mô hình ngôn ngữ tiên tiến như BERT và Transformer. Sự lựa chọn giữa hai phương pháp phụ thuộc vào yêu cầu cụ thể của ứng dụng, bao gồm độ chính xác, tính mạch lạc, và chi phí tính toán.

1.2. Vai Trò của Thuật Toán Heuristic trong Tóm Tắt Văn Bản

Thuật toán Heuristic cung cấp một phương pháp tiếp cận hiệu quả để giải quyết các bài toán tối ưu hóa phức tạp trong tóm tắt văn bản. Các thuật toán như thuật toán di truyền (GA) và tối ưu hóa đàn chim (PSO) có khả năng tìm kiếm không gian giải pháp lớn một cách hiệu quả. Thuật toán di truyền mô phỏng quá trình tiến hóa tự nhiên để tìm ra các giải pháp tốt nhất bằng cách sử dụng các phép toán như chọn lọc, lai ghép và đột biến. Tối ưu hóa đàn chim (PSO), mặt khác, mô phỏng hành vi của đàn chim để tìm ra vị trí tối ưu. Mặc dù thuật toán heuristic không đảm bảo tìm ra giải pháp tối ưu toàn cục, nhưng chúng thường cung cấp các giải pháp đủ tốt trong một khoảng thời gian hợp lý. Trong luận văn của Nguyễn Thị Hoài, việc sử dụng GA và PSO cho thấy tiềm năng trong việc cải tiến thuật toán để trích chọn các câu quan trọng.

II. Thách Thức Khi Cải Tiến Thuật Toán Tóm Tắt Trích Rút

Việc cải tiến thuật toán tóm tắt trích rút đối mặt với nhiều thách thức đáng kể. Một trong những thách thức lớn nhất là xác định các đặc trưng câu quan trọng nhất để đánh giá mức độ quan trọng của câu. Các đặc trưng câu có thể bao gồm tần suất từ, vị trí câu, độ dài câu, và sự tương đồng với câu chủ đề. Việc lựa chọn các đặc trưng câu phù hợp là rất quan trọng để đảm bảo rằng bản tóm tắt chứa thông tin quan trọng nhất. Một thách thức khác là giải quyết vấn đề dư thừa thông tin trong bản tóm tắt. Các câu được chọn có thể chứa thông tin trùng lặp, làm giảm tính mạch lạc và hiệu quả của bản tóm tắt. Việc loại bỏ thông tin dư thừa đòi hỏi các kỹ thuật phức tạp hơn, chẳng hạn như phân tích ngữ nghĩa và biểu diễn văn bản bằng vector hóa văn bản. Ngoài ra, việc đánh giá chất lượng của bản tóm tắt cũng là một thách thức. Các ROUGE score thường được sử dụng để đánh giá độ chính xác của bản tóm tắt so với bản tóm tắt tham khảo, nhưng chúng không phải là thước đo hoàn hảo cho tính mạch lạc và tính dễ đọc của bản tóm tắt. Do đó, cần phải phát triển các phương pháp đánh giá toàn diện hơn, kết hợp cả các độ đo tự động và đánh giá của con người. Luận văn của Nguyễn Thị Hoài đã giải quyết một số thách thức này bằng cách đề xuất một phương pháp kết hợp GA và PSO để tối ưu hóa việc lựa chọn các đặc trưng câu.

2.1. Lựa Chọn Đặc Trưng Câu Quan Trọng Cho Tóm Tắt Hiệu Quả

Việc lựa chọn đặc trưng câu phù hợp có ảnh hưởng lớn đến hiệu quả của thuật toán tóm tắt trích rút. Các đặc trưng câu phổ biến bao gồm: tần suất từ (TF-IDF), vị trí câu trong văn bản, độ dài câu, và sự xuất hiện của các thực thể quan trọng. Tần suất từ giúp xác định các từ khóa quan trọng trong văn bản. Vị trí câu thường chỉ ra rằng các câu ở đầu hoặc cuối văn bản có xu hướng quan trọng hơn. Độ dài câu có thể giúp loại bỏ các câu quá ngắn hoặc quá dài, không chứa nhiều thông tin. Sự xuất hiện của các thực thể quan trọng cho thấy rằng câu đó có thể chứa thông tin quan trọng. Việc kết hợp các đặc trưng câu khác nhau có thể cải thiện đáng kể chất lượng của bản tóm tắt. Luận văn của Nguyễn Thị Hoài đề xuất một hàm fitness function sử dụng các đặc trưng câu như độ tương đồng với câu chủ đề, độ dài câu, vị trí câu, và số lượng danh từ riêng.

2.2. Giải Quyết Vấn Đề Dư Thừa Thông Tin Trong Bản Tóm Tắt

Dư thừa thông tin là một vấn đề phổ biến trong tóm tắt trích rút, khi các câu được chọn có thể chứa thông tin trùng lặp hoặc liên quan đến nhau. Để giải quyết vấn đề này, cần phải sử dụng các kỹ thuật phân tích ngữ nghĩa và biểu diễn văn bản hiệu quả. Một phương pháp phổ biến là sử dụng word embedding để biểu diễn các câu dưới dạng vector, sau đó tính toán độ tương đồng giữa các vector để xác định các câu có thông tin trùng lặp. Các câu có độ tương đồng cao có thể được loại bỏ hoặc kết hợp lại để giảm thiểu dư thừa. Một phương pháp khác là sử dụng mô hình attention để tập trung vào các phần quan trọng nhất của câu, giúp loại bỏ các phần không liên quan và giảm thiểu thông tin trùng lặp.

III. Cách Cải Tiến Thuật Toán Tóm Tắt Dùng GA và PSO Lai Ghép

Luận văn của Nguyễn Thị Hoài đề xuất một phương pháp cải tiến thuật toán bằng cách kết hợp thuật toán di truyền (GA) và tối ưu hóa đàn chim (PSO) để cải thiện hiệu suất của thuật toán tóm tắt trích rút. GA có khả năng khám phá không gian giải pháp rộng lớn, trong khi PSO có khả năng tìm kiếm cục bộ hiệu quả. Bằng cách kết hợp hai thuật toán này, có thể tận dụng các ưu điểm của cả hai và giảm thiểu các hạn chế của chúng. Phương pháp đề xuất bao gồm các bước sau: khởi tạo quần thể các giải pháp tiềm năng, đánh giá fitness function của từng giải pháp, chọn lọc các giải pháp tốt nhất, lai ghép và đột biến để tạo ra các giải pháp mới, và cập nhật vị trí và vận tốc của các hạt trong PSO. Quá trình này được lặp lại cho đến khi đạt được một tiêu chí dừng nhất định. Fitness function được thiết kế để đánh giá mức độ quan trọng của các câu được chọn, dựa trên các đặc trưng câu như độ tương đồng với câu chủ đề, độ dài câu, vị trí câu, và số lượng danh từ riêng. Phương pháp đề xuất cũng sử dụng một chiến lược adaptive PSO để điều chỉnh các tham số của PSO một cách tự động, giúp cải thiện hiệu quả của thuật toán.

3.1. Kết Hợp Ưu Điểm của GA và PSO trong Tóm Tắt Văn Bản

Thuật toán di truyền (GA) có khả năng khám phá không gian giải pháp rộng lớn nhờ vào các phép toán chọn lọc, lai ghép và đột biến. Tuy nhiên, GA có thể hội tụ chậm và gặp khó khăn trong việc tìm kiếm cục bộ. Tối ưu hóa đàn chim (PSO), mặt khác, có khả năng tìm kiếm cục bộ hiệu quả nhờ vào việc cập nhật vị trí và vận tốc của các hạt trong đàn. Tuy nhiên, PSO có thể dễ dàng mắc kẹt trong cực trị địa phương. Bằng cách kết hợp GA và PSO, có thể tận dụng các ưu điểm của cả hai và giảm thiểu các hạn chế của chúng. GA có thể giúp PSO khám phá không gian giải pháp rộng lớn và tránh mắc kẹt trong cực trị địa phương, trong khi PSO có thể giúp GA hội tụ nhanh hơn và tìm kiếm cục bộ hiệu quả hơn.

3.2. Thiết Kế Hàm Fitness Function Để Đánh Giá Câu Hiệu Quả

Hàm fitness function đóng vai trò quan trọng trong việc đánh giá mức độ quan trọng của các câu được chọn. Hàm fitness function nên được thiết kế để kết hợp các đặc trưng câu quan trọng nhất, chẳng hạn như độ tương đồng với câu chủ đề, độ dài câu, vị trí câu, và số lượng danh từ riêng. Độ tương đồng với câu chủ đề giúp đảm bảo rằng bản tóm tắt tập trung vào chủ đề chính của văn bản. Độ dài câu giúp loại bỏ các câu quá ngắn hoặc quá dài, không chứa nhiều thông tin. Vị trí câu có thể cho biết rằng các câu ở đầu hoặc cuối văn bản có xu hướng quan trọng hơn. Số lượng danh từ riêng có thể cho biết rằng câu đó chứa các thực thể quan trọng. Hàm fitness function nên được thiết kế để tối đa hóa độ chính xác và độ bao phủ thông tin của bản tóm tắt.

IV. Thực Nghiệm Đánh Giá Thuật Toán Cải Tiến và Kết Quả ROUGE

Luận văn của Nguyễn Thị Hoài đã thực hiện các thực nghiệm để đánh giá hiệu quả của thuật toán cải tiến đề xuất trên ba bộ dữ liệu chuẩn: DUC2001, DUC2002, và CNN/Daily Mail. Các bộ dữ liệu này thường được sử dụng để đánh giá các thuật toán tóm tắt trích rút. Các thực nghiệm sử dụng các ROUGE score để so sánh hiệu suất của thuật toán đề xuất với các thuật toán khác. ROUGE score là một độ đo phổ biến để đánh giá độ chính xác của bản tóm tắt so với bản tóm tắt tham khảo. Các kết quả thực nghiệm cho thấy rằng thuật toán cải tiến đề xuất vượt trội hơn các thuật toán khác trên cả ba bộ dữ liệu, trên tất cả các ROUGE point metrics. Điều này cho thấy rằng việc kết hợp GA và PSO có thể cải thiện đáng kể hiệu suất của thuật toán tóm tắt trích rút. Luận văn cũng phân tích ảnh hưởng của các tham số khác nhau đến hiệu suất của thuật toán, và đưa ra các khuyến nghị về cách lựa chọn các tham số phù hợp.

4.1. Các Bộ Dữ Liệu DUC2001 DUC2002 và CNN Daily Mail

DUC2001 và DUC2002 là các bộ dữ liệu được sử dụng rộng rãi trong các nghiên cứu về tóm tắt trích rút. Các bộ dữ liệu này chứa các bộ sưu tập văn bản và các bản tóm tắt tham khảo do con người tạo ra. CNN/Daily Mail là một bộ dữ liệu lớn hơn, chứa các bài báo từ CNN và Daily Mail, và được sử dụng rộng rãi trong các nghiên cứu về tóm tắt sinh và tóm tắt trích rút. Việc sử dụng các bộ dữ liệu chuẩn giúp đảm bảo rằng các kết quả thực nghiệm có thể so sánh được với các nghiên cứu khác.

4.2. Đánh Giá Bằng ROUGE Score Precision Recall và F score

ROUGE score là một độ đo phổ biến để đánh giá độ chính xác của bản tóm tắt so với bản tóm tắt tham khảo. ROUGE score bao gồm các độ đo như Precision, Recall và F-score. Precision đo tỷ lệ các từ trong bản tóm tắt tự động cũng xuất hiện trong bản tóm tắt tham khảo. Recall đo tỷ lệ các từ trong bản tóm tắt tham khảo được bao phủ bởi bản tóm tắt tự động. F-score là trung bình điều hòa của Precision và Recall. Các ROUGE point metrics như ROUGE-1, ROUGE-2, và ROUGE-L được sử dụng để đánh giá hiệu suất của thuật toán trên các mức độ khác nhau.

V. Kết Luận và Hướng Nghiên Cứu Tương Lai Về Cải Tiến Thuật Toán

Luận văn của Nguyễn Thị Hoài đã trình bày một phương pháp cải tiến thuật toán hiệu quả bằng cách kết hợp thuật toán di truyền (GA) và tối ưu hóa đàn chim (PSO) để cải thiện hiệu suất của thuật toán tóm tắt trích rút. Các kết quả thực nghiệm cho thấy rằng phương pháp đề xuất vượt trội hơn các thuật toán khác trên các bộ dữ liệu chuẩn. Nghiên cứu này đóng góp vào lĩnh vực tóm tắt văn bản bằng cách cung cấp một phương pháp mới để tối ưu hóa việc lựa chọn các đặc trưng câu và giảm thiểu dư thừa thông tin trong bản tóm tắt. Các hướng nghiên cứu tương lai có thể bao gồm việc mở rộng phương pháp đề xuất để hỗ trợ tóm tắt đa văn bản, hoặc kết hợp với các kỹ thuật học sâu (deep learning) để cải thiện hơn nữa hiệu suất của thuật toán. Việc nghiên cứu về cải tiến thuật toán trong tóm tắt văn bản vẫn còn nhiều tiềm năng và hứa hẹn sẽ mang lại những kết quả quan trọng trong tương lai.

5.1. Tiềm Năng Ứng Dụng của Thuật Toán Cải Tiến Trong Thực Tế

Các thuật toán tóm tắt văn bản có nhiều ứng dụng trong thực tế, bao gồm: tóm tắt tin tức, tóm tắt tài liệu khoa học, tóm tắt email, và tóm tắt các bài đăng trên mạng xã hội. Các thuật toán cải tiến có thể giúp cải thiện hiệu quả của các ứng dụng này, bằng cách cung cấp các bản tóm tắt chính xác, mạch lạc, và dễ đọc. Ví dụ, một thuật toán cải tiến có thể giúp các nhà nghiên cứu nhanh chóng tìm hiểu các kết quả chính trong một bài báo khoa học, hoặc giúp người dùng theo dõi các tin tức quan trọng một cách hiệu quả hơn.

5.2. Hướng Phát Triển Kết Hợp Học Sâu và Thuật Toán Heuristic

Việc kết hợp các kỹ thuật học sâu (deep learning) và thuật toán heuristic là một hướng phát triển đầy hứa hẹn trong tóm tắt văn bản. Các mạng nơ-ron (neural network) có thể được sử dụng để trích xuất các đặc trưng câu phức tạp hơn, hoặc để tạo ra các bản tóm tắt sinh chất lượng cao hơn. Thuật toán heuristic có thể được sử dụng để tối ưu hóa các tham số của mô hình học sâu, hoặc để chọn lọc các câu quan trọng nhất từ văn bản. Sự kết hợp này có thể tận dụng các ưu điểm của cả hai phương pháp và mang lại những kết quả vượt trội.

Trích đoạn nội dung tài liệu

TIANOI UNIVERSITY OF SCIENCE AND TECIINOLOGY MASTER’S GRADUATION THESIS Improving Evolutionary Algorithm for Document Extractive Summarization NGUYEN THỊ HOAI hoai. Major: Data Science and Artificial Intelligence Thesis advisor: Dr. Nguyen Thi Thu Trang Institute: School of Information and Communication ‘'echnology HA NOT, 2021 TIANOI UNIVERSITY OF SCIENCE AND TECIINOLOGY MASTER’S GRADUATION THESIS Improving Evolutionary Algorithm for Document Extractive Summarization NGUYE hoai.com Major: Data Science and Artificial Intelligence Thesis advisor: — Dr Nguyen Thi Thu Trang Institute: School of Information and Communication ‘'echnology HA NOI, 2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập — Tự do - Hạnh phúc Xi # tt kết BẢN XÁC NHẬN CIIỈNI SỬA LUẬN VĂN THẠC Tio va tan tac giả luận văn: Nguyễn Thị IToài Để tài luận văn: Cải tiền mật toán tiến hóa trong tóm tắt trích rút văn bản. Chuyên ngành: Khoa học dữ liệu và Trí tuệ nhân tạo Mã số SV: 20202195M ‘Tae gia, Người hưởng, dân khoa học và Hội đồng chấm luận văn xác nhận tác giả đã sửa chữa, bố sung luận văn Iheo biên bản hợp Hội đồng ngày 34/13/2021 với các nội dụng sau 1.

Chương 2: Chuyên phần Related works từ Chương 3 sang Chương 2 (tên chương là Theoretical ackground and Related works). Chuang 4: + Kết quả thyc nghiém (trang 38) bé sung phân giải thích cách lựa chọn các đặc tính câu cho hàm Eimess, bộ tham số và giải thích lý do chỉ chọn. độ đo Recall đổi với hai bộ đủ liệu DUC2001, DUC2002 và F1 đổi với CNN/Daily Mail. « Bố sung kết quả TextRank cho hai bé dé ligu DUC2001 va DUC2002.

Phụ lục: Mô tâ rõ hơn nghiên clu GA-Fealures va PSO-Hannony Search. -_ Sau khi sửa: Nội đưng luận án gồm 5 chương chính là ® Chương Ï: Giới thiệ © Chương 2: Lý thuyết tông quan và các nghiên cứu gân đây, © Chương 3: Mô hình laLPSO-GA đề xuất, © Cheong 4: Thực nghiệm, © Chương 5: Kết luận và nghiên cứu tương lai. Ngày thing nam 2021 Giáo viên hướng dẫn ‘Tae gid hận văn 'TS. Nguyễn Thị Thu Trang Nguyén Thi Tosi CHỦ TỊCH HỘI DÒNG Graduation Thesis Assignment Name: Nguyen Thi Ioai Phone: [phone] Email: hoai nt2021 9Sm@sis hust eduvn Class: 20BKHDL-E Affiliation: Hanoi University of Science and Technology I —Nguyen Thi Hoai - hereby warrants that the work and presentation in this thesis are performed by myself undor the supervision of Pir.

Nguyen Thi Thu Trang, All results presented in this the we truthful and are vol copied From any olfier work. All referenves in this thesis - meludiry images, lables, figures, and quotes - are clearly and fully documented in the bibliography. T will take full resporwibilily for even one copy thal. vielates solool regulations Hanat, 25th November 2021 Author Nguyen Thi Hoai List of Figures Figure 2.1 Two approaches lo summarization Vigure 2.2 ‘The basic structure of Genetic Algorithm [8] Figure 3.1 The steps of the proposed hybnd PSO-GA for single documents.2 Velocity and Position Updaling of adaptive PSO.3 Llow chart of the adaptive PSO Figure 4.1 Rouge Scores (Recall) (%) on DUC2001.2 Rouge Scares (Recall) (%) on DIIC2002 Higure 4.3 Rouge Scores (11) (%) on CNN/Daily Mail Acknowledgement It is a gemuine pleasure to express my deep sense of thanks and gratitude to my advisor and guide, Dr.

Nguyen Thi Thu Trang. I am highly grateful because she managed and supported me in completing my thesis. Her unwavering enthusiasm for science kepl me conslanily engaged wilh my research, and her personal generosity helped make my time at HUST enjoyable. Furthermore, she has laught me the methodology to carry oul the study and present the research works as clearly as possible.

Tt was a great privilege and honor to work and study under her guidance. Also, | would like to thank Dr. Bui Thị Mai Anh for her keen interest in me in every research. ller prompt mspuirations, timely suggestions with kindness, motivation, and dynamism have enabled me to accomplish this task throughout my study period.

Most importantly, my sincere thanks and appreciation also go to my family for their constant source of loving, caring and inspiration. They are such vital parts of my life that T cannot imagine a life without them Last but not least, I gratefully acknowledge my universily and the people who have willingly helped me out with their abilities. { greatly appreciate the support xeœcivcd through the collaborative work undertaken with them. List of Figures Figure 2.1 Two approaches lo summarization Vigure 2.2 ‘The basic structure of Genetic Algorithm [8] Figure 3.1 The steps of the proposed hybnd PSO-GA for single documents.2 Velocity and Position Updaling of adaptive PSO.3 Llow chart of the adaptive PSO Figure 4.1 Rouge Scores (Recall) (%) on DUC2001.2 Rouge Scares (Recall) (%) on DIIC2002 Higure 4.3 Rouge Scores (11) (%) on CNN/Daily Mail 31 Overview.2 Stanmary presentationtvesesmmeneisissvmeneenens 34 Proposed of fitness function.1 Sentence features - - - 2d 4) Similarity t the topic sentence - - AI tỳ Sentence length 32 đa Sentence position.

a Number of proper nouns.2 Fitness function - - 1⁄4 Proposed strategies for operatar: 3.3 Crossover 454° Mutation - - - 2 BB 35.6 Adaptive PSO strategy 29 Chapter 4 Experimentation.1 Precision, recall and f-score 32 a Recall - .32 9 F-score - 233 412 Rotge measure voeennmennemmenentinsemennaen a) D) Rouge 2 34 a Rouge 1. - - 35 42 Preparation for experiment. Chapler 5 Conclusion and future works. Appendix Acknowledgement It is a gemuine pleasure to express my deep sense of thanks and gratitude to my advisor and guide, Dr.

Nguyen Thi Thu Trang. I am highly grateful because she managed and supported me in completing my thesis. Her unwavering enthusiasm for science kepl me conslanily engaged wilh my research, and her personal generosity helped make my time at HUST enjoyable. Furthermore, she has laught me the methodology to carry oul the study and present the research works as clearly as possible.

Tt was a great privilege and honor to work and study under her guidance. Also, | would like to thank Dr. Bui Thị Mai Anh for her keen interest in me in every research. ller prompt mspuirations, timely suggestions with kindness, motivation, and dynamism have enabled me to accomplish this task throughout my study period.

Most importantly, my sincere thanks and appreciation also go to my family for their constant source of loving, caring and inspiration. They are such vital parts of my life that T cannot imagine a life without them Last but not least, I gratefully acknowledge my universily and the people who have willingly helped me out with their abilities. { greatly appreciate the support xeœcivcd through the collaborative work undertaken with them. Graduation Thesis Assignment Name: Nguyen Thi Ioai Phone: [phone] Email: hoai nt2021 9Sm@sis hust eduvn Class: 20BKHDL-E Affiliation: Hanoi University of Science and Technology I —Nguyen Thi Hoai - hereby warrants that the work and presentation in this thesis are performed by myself undor the supervision of Pir.

Nguyen Thi Thu Trang, All results presented in this the we truthful and are vol copied From any olfier work. All referenves in this thesis - meludiry images, lables, figures, and quotes - are clearly and fully documented in the bibliography. T will take full resporwibilily for even one copy thal. vielates solool regulations Hanat, 25th November 2021 Author Nguyen Thi Hoai Content List of Figures.

List of Tables. List of Equations.2 Objective ani scope.3 Structure of thesis. Chapter 2 Theoretical Background and Related works.1 Abstractive summarization ee 212 Extractive summarization 2.kHineniieireeee a) _ N-Point CTossower. Đ) Uniform Crossover: - - - 10 323 Mutation.2 Particle and swarttt cocci 23.

Term Frequency— Inverse Document l'requency 241 Terns Frequency - econ 24.2 Inverse Document Frequency 14 2. Proposed hybrid PSO-GA. Graduation Thesis Assignment Name: Nguyen Thi Ioai Phone: [phone] Email: hoai nt2021 9Sm@sis hust eduvn Class: 20BKHDL-E Affiliation: Hanoi University of Science and Technology I —Nguyen Thi Hoai - hereby warrants that the work and presentation in this thesis are performed by myself undor the supervision of Pir. Nguyen Thi Thu Trang, All results presented in this the we truthful and are vol copied From any olfier work.

All referenves in this thesis - meludiry images, lables, figures, and quotes - are clearly and fully documented in the bibliography. T will take full resporwibilily for even one copy thal. vielates solool regulations Hanat, 25th November 2021 Author Nguyen Thi Hoai Graduation Thesis Assignment Name: Nguyen Thi Ioai Phone: [phone] Email: hoai nt2021 9Sm@sis hust eduvn Class: 20BKHDL-E Affiliation: Hanoi University of Science and Technology I —Nguyen Thi Hoai - hereby warrants that the work and presentation in this thesis are performed by myself undor the supervision of Pir. Nguyen Thi Thu Trang, All results presented in this the we truthful and are vol copied From any olfier work.

All referenves in this thesis - meludiry images, lables, figures, and quotes - are clearly and fully documented in the bibliography. T will take full resporwibilily for even one copy thal. vielates solool regulations Hanat, 25th November 2021 Author Nguyen Thi Hoai 4. Chapler 5 Conclusion and future works.

Appendix Acknowledgement It is a gemuine pleasure to express my deep sense of thanks and gratitude to my advisor and guide, Dr. Nguyen Thi Thu Trang. I am highly grateful because she managed and supported me in completing my thesis. Her unwavering enthusiasm for science kepl me conslanily engaged wilh my research, and her personal generosity helped make my time at HUST enjoyable.

Furthermore, she has laught me the methodology to carry oul the study and present the research works as clearly as possible. Tt was a great privilege and honor to work and study under her guidance. Also, | would like to thank Dr. Bui Thị Mai Anh for her keen interest in me in every research.

ller prompt mspuirations, timely suggestions with kindness, motivation, and dynamism have enabled me to accomplish this task throughout my study period. Most importantly, my sincere thanks and appreciation also go to my family for their constant source of loving, caring and inspiration. They are such vital parts of my life that T cannot imagine a life without them Last but not least, I gratefully acknowledge my universily and the people who have willingly helped me out with their abilities. { greatly appreciate the support xeœcivcd through the collaborative work undertaken with them.

Chapler 5 Conclusion and future works. Appendix Content List of Figures. List of Tables. List of Equations.2 Objective ani scope.3 Structure of thesis.

Chapter 2 Theoretical Background and Related works.1 Abstractive summarization ee 212 Extractive summarization 2.kHineniieireeee a) _ N-Point CTossower. Đ) Uniform Crossover: - - - 10 323 Mutation.2 Particle and swarttt cocci 23. Term Frequency— Inverse Document l'requency 241 Terns Frequency - econ 24.2 Inverse Document Frequency 14 2. Proposed hybrid PSO-GA.

Acknowledgement It is a gemuine pleasure to express my deep sense of thanks and gratitude to my advisor and guide, Dr. Nguyen Thi Thu Trang. I am highly grateful because she managed and supported me in completing my thesis. Her unwavering enthusiasm for science kepl me conslanily engaged wilh my research, and her personal generosity helped make my time at HUST enjoyable.

Furthermore, she has laught me the methodology to carry oul the study and present the research works as clearly as possible. Tt was a great privilege and honor to work and study under her guidance. Also, | would like to thank Dr. Bui Thị Mai Anh for her keen interest in me in every research.

ller prompt mspuirations, timely suggestions with kindness, motivation, and dynamism have enabled me to accomplish this task throughout my study period. Most importantly, my sincere thanks and appreciation also go to my family for their constant source of loving, caring and inspiration.