Chương 1: TONG QUAN. Chương bao gồm các nội dung: Đặt vấn dé, Mục tiêu của luận văn, Phạm vi nghiên cứu của luận văn và cuối cùng là ý nghĩa của luận văn. e _ Chương2: CƠ SỞ LÝ THUYET. Chương này trình bày các cơ sở lý thuyết của các thuật toán xếp hạng, gom nhóm câu và các mô hình BERT được thử nghiệm trong luận văn.
GIỚI THIỆU TÔNG QUAN Chương 3: CÁC MÔ HÌNH DỰA TRÊN BERT. Chương mô tả chỉ tiết các mô hình dựa trên BERT thuộc hai nhóm là đơn ngôn ngữ và đa ngữ. Chương 4: PHƯƠNG PHÁP. Chương này trình bày phương pháp đề xuất của luận văn.
Chương 5: KET QUA VA PHAN TÍCH. Chương này mô tả các thử nghiệm, thống kê các kết quả đạt được và so sánh các kết quả với nhau cũng như với các kết quả của các công trình khác. Chương 6: KET LUẬN VÀ HƯỚNG PHÁT TRIEN. Trong chương cuối cùng, học viên tóm tắt lại các đề xuất và kết quả đạt được; và mô tả hướng phát triển tiếp theo.
CƠ SỞ LÝ THUYET CHUONG2 CƠSỞLÝ THUYET Chương 2 giới thiệu các kiến thức về mô hình BERT, Transformer, tiếp cận nông/sâu, học sâu, các thuật toán xếp hạng và gom nhóm câu để tạo đoạn văn bản tóm tắt được sử dụng trong luận văn. Một số nghiên cứu đã có cùng các hướng tiếp cận liên quan dé này cũng được dé cập và khảo sát.1 Tóm tắt đa văn bản và các công trình liên quan 2.1 Tóm tắt da văn bản Các kỹ thuật để tóm tat văn bản được chia thành hai loại: rút trích và tom lược hóa. Tóm tắt rút trích là sự kết hợp của các câu được rút trích từ văn bản gốc. Các câu này được tính toán để mang nội dung chính của tài liệu.
Ngược lại, tóm tắt tóm lược là một kỹ thuật sử dụng tài liệu gốc để tạo ra một văn bản mới. Nói cách khác, phương pháp này tạo ra những câu mới dựa trên những thông tin quan trọng nhất của bản gốc. Mặc dù mọi người thường sử dụng các cách tóm lược đê tạo một bản tóm tắt, nhưng các phương pháp tóm tắt rút trích được chú ý nhiều hơn trong các nghiên cứu gần đây [9]. Hiệu suất của hệ thống tóm tắt rút trích thường tốt hơn hệ thông tóm tắt tóm lược [10].
Ngoài ra, có hai cách tiếp cận cho các nhiệm vụ đó: thuật toán học có giám sát và không giám sát. Trong các phương pháp tiếp cận có giám sát, bộ phân loại được huấn luyện bằng cách sử dụng dữ liệu được gán nhãn. Bộ phân loại này xác định câu nào được đưa vào tóm tắt và câu nào không. Trong giai đoạn huấn luyện các phương.
pháp được giám sát, các tính năng rút trích từ dữ éu huấn luyện được cung cấp cho các mô hình. Sau đó, trong các giai đoạn xác thực (validation phase) và kiểm tra (testing phase), các mô hình được huấn luyện có thé dự đoán kết qua bằng cách sử dung dé liệu mới[11], [12]. Cách tiếp cận này tạo cơ hội cho các nhà nghiên cứu sửa đổi các mô hình dựa trên kết quả thử nghiệm trong các giai đoạn xác thực. Tuy nhiên, điều kiện tiên quyết của cách tiếp cận này là các đặc trưng được gán nhãn và xác định trước để sử dụng cho giai đoạn huấn luyện.
Nó vẫn là một thách thức chưa được giải quyết đối với một ngôn ngữ ít phổ biến như tiếng Việt. Do đó, các công bé trước đây CƠ SỞ LÝ THUYET về tóm tắt văn bản bằng tiếng Việt đều tập trung vào thuật toán không giám sát. Ưu điểm chính của phương pháp nay là dữ liệu gan nhãn là không bắt buộc [13], [14]. Riêng về tóm tắt đa văn ban, đây là một nhiệm vụ phức tạp và thách thức trong lĩnh vực xử lý ngôn ngử tự nhiên.
Trong một khảo sát của Das và Martins [15], các nhà nghiên cứu đã chỉ ra rằng nhiệm vụ chính của hệ thống tóm tắt đa văn bản khong chỉ là chọn lọc thông tin quan trọng. Nhiệm vụ này yêu cầu hệ thống phải xử lý nhiều nguồn thông tin mà trong đó các thông tin bị trùng lắp, đối lập hoặc bé trợ lẫn nhau. Vì vậy, nếu hệ thống chỉ rút trích các thông tin quan trọng thì có thé dẫn đến việc bản tóm tắt chứa các thông tin giống nhau. Hệ thống cần phải tổng hợp, phân loại, loại bỏ trùng lặp và đảm bảo tính liền mạch của văn bản tóm tắt cuối cùng.
Như đã nói ở trên, đa phần các hệ thống tóm tắt văn bản hiện nay cho tiếng 'Việt tập trung chủ yếu sử dụng phương pháp rút trích (extractive) hơn là phương pháp tóm lược (abstractive). Điều này một phần là do trong phương pháp tóm lược, hệ thống cần sử dụng thêm một phương pháp đó là tạo sinh văn bản (text generation) dé có thể sinh ra một đoạn tóm tắt hoàn toàn mới so với các văn bản gốc. Đây cũng là một nhiệm vụ phức tạp và do đó, trong các nghiên cứu trước đây, các hệ thống thường cho kết quả không cao. Ứng dụng của tom tắt đa văn bản được sử dụng rộng rãi trong nhiều lĩnh vực, bao gồm: tóm tắt tin tức [16], bài báo khoa học [17], thư điện tử (email) [18], tài liệu y khoa [19], phản hồi của giảng viên [20],.
Gan đây, do sự bùng nổ của các hệ. thong và dữ liệu số đã dẫn đến sự cần thiết cao của hệ thống tóm tắt đa văn bản. Một ví dụ mới nhất là Xiaomingbot [21], một ứng dụng báo cáo tin tức được phát triển dé tạo ra một bản tin tức được rút trích từ nhiều nguồn khác nhau.2 Cac nghiên cứu liên quan Phương pháp học không giám sát để tóm tắt văn bản theo hướng rút trích đã có một lịch sử lâu đời. Trong hầu hết các nghiên cứu, thuật toán chính áp dụng trong học (huấn luyện) không giám sát là thu được các câu có điểm xếp hang cao nhất.
Phương pháp này tính điểm cho mỗi câu của tài liệu đầu vào dựa trên một số ic điểm như độ dai câu [11], TF-IDF [22], dựa trên đồ thị [22], vi tri câu [12]. Đề xuất 7 CƠ SỞ LÝ THUYET tóm tắt văn bản bằng tiếng Việt cũng tập trung vào xếp hạng câu. Ví dụ, Dinh và Nguyen [23] trình bày cách biểu diễn các câu dưới dạng các nút trong biểu đồ. Các tác giả đã sử dụng thuật toán Xếp hạng trang (PageRank) dé đánh giá tầm quan trong của các câu và nó dẫn đến hiệu suất tốt đáng kẻ trên cả tài liệu dai và ngắn.
Mặt khác, Liu và Lapata [8] đã đề xuất một cách tiếp cận mới cho cả tóm tắt tóm lược và rút trích bằng cách sử dụng BERT. Các thử nghiệm được thực hiện trên các tập dữ liệu nồi tiếng là CNN / Daily Mail, NYT và XSum. Các tác giả đã áp dụng BERT như một bộ mã hóa ở cấp độ tài liệu trong nghiên cứu của họ. Nghiên cứu đã chứng minh rằng BERT đã đạt được kết quả hiện đại so với cả các công cụ tóm tắt tự động khác và đánh giá dựa trên con người.
Xu và cộng sự [24] cải thiện hơn nữa mô hình BERT cơ sở đề loại bỏ các cụm từ lặp lại và không chứa thông tin trong bản tóm tắt cuối cùng. Nghiên cứu của họ đã giới thiệu mô hình BERT nhận biết diễn ngôn (DISCOBERT) tập trung vào các đơn vị diễn ngôn thay vi câu. Trong nghiên cứu của Ernst và các cộng sự[25], các mô hình BERT khi kết hợp với phương pháp xác định vi trí câu đã cho kết quả rat tốt. Họ đã thử nghiệm trên cả hai hướng tiếp cận là rút trích và tóm lược cho bài toán tóm tắt đa văn bản trên bộ dữ liệu DUC 2004 và TAC 2001.
Mô hình đề xuất của các tác giả đã cao hơn khoảng 1% so với các phương pháp học sâu. Năm 2021, tác giả Hu và các cộng sự [26] đã thử nghiệm kết hợp mô hình BERT và phương pháp gom cụm K-means trên bài toán tóm tắt đa văn bản. nghiên cứu này, các tác giả đã sử dụng bộ dữ liệu Baidu dùng cho tiếng Trung Quốc. Kết quả cho thấy sự vượt trội của mô hình hình này so với các phương pháp học sâu và gom cụm khác.
Học viên cũng đã dựa vào phương pháp của nghiên cứu này dé áp dụng cho bài toán tóm tắt đa văn bản tiếng Việt. Các phương pháp sử dụng mô hình BERT cũng đã xuất hiện trên một số nghiên cứu cho bài toán tóm tắt văn bản tiếng Việt [27], [28]. Tuy nhiên, các nghiên cứu này chỉ tập trung giải quyết bài toán tóm tắt đơn văn bản. Các bộ dữ liệu được sử dụng cũng không được công khai.
Nó đặt ra một câu hỏi lớn về việc BERT khi kết hợp với các phương pháp khác (ví dụ như phương pháp gom cụm) có thé thực hiện hiệu qua CƠ SỞ LÝ THUYET như thế nào trong việc tóm tắt; cũng như liệu BERT đơn ngôn ngữ có đạt được kết quả tốt hơn BERT đa ngôn ngữ trong các tài liệu tiếng Việt, đặc biệt là khi gặp nhiều tài liệu hay không. Đề giải quyết cho bài toán đó, trong luận văn này, học viên thực hiện một nghiên cứu thử nghiệm trên nhiều mô hình dựa trên BERT. Học viên kết hợp BERT làm bộ mã hóa và phân cụm K-means như một thuật toán xếp hạng câu. Cách tiếp cận của học viên được mô tả kỹ hơn trong phần tiếp theo.
Giới thiệu về BERT 2.1 Khái niệm về ngữ cảnh và vai trò trong Xử lý ngôn ngữ tự nhiên Trong ngôn ngữ, ngữ cảnh là bối cảnh của ngôn ngữ xuất hiện trong cả văn bản hoặc giao tiếp. Vì các câu văn được cấu thành từ chuỗi các từ hoặc cụm từ, vậy nên ngữ cảnh quan trọng bởi lẽ con người xác định rõ bối cảnh của ngôn ngử (từ, cụm từ) dé có thé hiểu được ý nghĩa của câu hoặc văn. Hiệu quả biểu thị nội dung và truyền đạt ý nghĩa lớn hơn so với từng từ đứng độc lập. Ngoài ra, ngữ cảnh chính là chìa khóa dé con người có thé hiểu đúng ý nghĩa của một từ trong câu.
Do đó, khi xây dựng các thuật toán hoặc mô hình ngôn ngữ tiên tiến (ví dụ như BERT), các nhà nghiên cứu làm sao cho mô hình có thể hiểu được ngữ cảnh của toàn câu thay vì chỉ một từ đơn lẻ. Phương pháp nhúng từ (word embedding) có thê được chưa thành các loại như Sau: © Non-context (không bối cảnh): Đây là loại nhúng từ bỏ qua ngử cảnh của câu. Thuật toán này là loại xuất hiện đầu tiên trong các nghiên cứu thuộc lĩnh vực NLP. Một số ví dụ như word2vec, fasttext hay GloVe chỉ biểu diễn các từ thành các vectơ từ đơn lẻ.