Tóm Tắt Tự Động Văn Bản Tiếng Việt Dựa Trên Mô Hình BERT

• Tác giả: Tô Quốc Huy
• Người hướng dẫn: TS. Nguyễn Lưu Thùy Ngân
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Tóm Tắt Tự Động Văn Bản Tiếng Việt Dựa Trên Mô Hình BERT
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hồ Chí Minh

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu và phạm vi nghiên cứu
• 1.2.1. Mục tiêu
• 1.2.2. Phạm vi nghiên cứu
• 1.3. Ý nghĩa của luận văn
• 1.4. Các đóng góp chính của luận văn
• 1.5. Cấu trúc luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tóm tắt đa văn bản và các công trình liên quan
• 2.2. Giới thiệu về BERT
• 2.2.1. Khái niệm về ngữ cảnh và vai trò trong xử lý ngôn ngữ tự nhiên
• 2.2.2. Phân loại học sâu
• 2.2.2.1. Mạng thần kinh hồi quy Recurrent Neural Network (RNN)
• 2.2.2.2. Các loại mạng RNN
• 2.2.2.3. Sequence-to-sequence
• 2.3. Kiến trúc BERT
• 3. CHƯƠNG 3: CÁC MÔ HÌNH DỰA TRÊN BERT
• 3.1. Mô hình BERT đa ngôn ngữ
• 3.2. Mô hình BERT đơn ngôn ngữ
• 4. CHƯƠNG 4: PHƯƠNG PHÁP
• 4.1. Thuật toán gom cụm K-means
• 4.1.1. Phương pháp khuỷu tay
• 4.1.2. Phân tích Silhouette
• 4.2. Bộ dữ liệu
• 5. CHƯƠNG 5: KẾT QUẢ VÀ SO SÁNH
• 5.1. Thiết kế thử nghiệm
• 5.2. Kết quả thử nghiệm
• 5.2.1. So sánh kết quả giữa các mô hình BERT đa ngôn ngữ và đơn ngôn ngữ
• 5.2.2. Phân tích sự ảnh hưởng của tách từ
• 5.2.3. So sánh kết quả hiện tại với các công trình trước đó
• 5.3. Phân tích ảnh hưởng của chiều dài các văn bản đầu vào đến hiệu suất
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết quả đạt được
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

I. Tổng Quan Về Tóm Tắt Tự Động Văn Bản Tiếng Việt BERT

Tóm tắt tự động văn bản là một bài toán quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt (NLP). Bài toán này đòi hỏi việc tạo ra một phiên bản ngắn gọn hơn của một hoặc nhiều văn bản đầu vào, đồng thời vẫn giữ được những thông tin cốt lõi. Các ứng dụng của nó rất đa dạng, ví dụ như tóm tắt các bài báo khoa học để tiết kiệm thời gian cho các nhà nghiên cứu. Mặc dù đã có nhiều thành công trong tóm tắt văn bản tiếng Anh, nhưng nghiên cứu về tiếng Việt còn hạn chế. Các nghiên cứu trước đây thường dựa vào xếp hạng đặc trưng và đồ thị. Gần đây, mô hình BERT đã chứng minh được hiệu quả trong nhiều nhiệm vụ NLP tiếng Việt, mở ra hướng tiếp cận mới cho bài toán này. Luận văn này tập trung vào việc triển khai BERT cho tóm tắt văn bản theo hướng rút trích cho nhiều văn bản tiếng Việt.

1.1. Bài toán Tóm tắt văn bản tự động và ứng dụng thực tiễn

Tự động tóm tắt văn bản là một trong những nhiệm vụ khó của xử lý ngôn ngữ tự nhiên (NLP). Tác vụ này yêu cầu máy tạo một đoạn văn bản là phiên bản ngắn hơn của một hoặc nhiều tài liệu đầu vào. Cụ thể là, đầu ra của công cụ tóm tắt văn bản tự động phải được cô đọng thành thông tin trong khi vẫn bảo toàn kiến thức cơ bản của các tài liệu đã cho. Các ứng dụng cho bài toán này được phổ biến rộng rãi.

1.2. Hạn chế của nghiên cứu tóm tắt văn bản tiếng Việt hiện tại

Mặc dù phần lớn các nghiên cứu tóm tắt văn bản trên tiếng Anh đã đạt được những thành tựu đáng kể, chúng ta vẫn chưa có nhiều nghiên cứu được thực hiện trên tiếng Việt. Trong những năm gần đây, việc nghiên cứu các thuật toán tóm tắt văn bản tiếng Việt chủ yếu dựa vào xếp hạng đặc trưng [1], [2] và hệ thống dựa trên toán đồ thị [3]. Điều này đặt ra yêu cầu cấp thiết cần có những nghiên cứu chuyên sâu hơn.

II. Thách Thức Giải Pháp Tóm Tắt Văn Bản Tiếng Việt BERT

Một trong những thách thức lớn nhất là lựa chọn mô hình BERT phù hợp. Có hai loại mô hình chính: BERT đa ngôn ngữ và BERT đơn ngôn ngữ. BERT đa ngôn ngữ đã được huấn luyện trên nhiều ngôn ngữ khác nhau, có tính linh hoạt cao nhưng có thể không tối ưu cho tiếng Việt. BERT đơn ngôn ngữ được huấn luyện riêng cho tiếng Việt, có thể nắm bắt tốt hơn các đặc tính ngôn ngữ, nhưng đòi hỏi nhiều tài nguyên. Luận văn này so sánh hiệu suất của cả hai loại mô hình để tìm ra giải pháp tốt nhất. Theo nghiên cứu, mô hình BERT đơn thuần không đạt kết quả mong đợi [8], do đó trong nghiên cứu này cũng kết hợp BERT với một số kỹ thuật tóm tắt văn bản khác để tối ưu kết quả.

2.1. So sánh Mô hình BERT đa ngôn ngữ và đơn ngôn ngữ cho NLP

Có hai loại mô hình BERT được giới thiệu và sử dụng trong các nghiên cứu là mô hình BERT đa ngôn ngữ và mô hình BERT đơn ngôn ngữ. BERT đa ngôn ngữ là các mô hình dựa trên BERT đã được huấn luyện sẵn trên nhiều ngôn ngữ khác nhau. Do đó, các mô hình loại này có thể được áp dụng cho các bài toán Xử lý ngôn ngữ tự nhiên trên nhiều thứ tiếng.

2.2. Kết hợp BERT với các kỹ thuật tóm tắt văn bản khác

Mặt khác, các mô hình dựa vào BERT đơn thuần không đạt kết quả mong đợi [8], do đó trong nghiên cứu này cũng kết hợp BERT với một số kỹ thuật tóm tắt văn bản khác để tối ưu kết quả. Trong luận văn này, học viên xem xét hiệu suất của một số mô hình dựa trên BERT đối với việc tóm tắt văn bản theo hướng rút trích trên các văn bản tiếng Việt.

III. Phương Pháp Tiếp Cận BERT Gom Cụm K Means Tiếng Việt

Luận văn này đề xuất một phương pháp tiếp cận mới kết hợp mô hình BERT với thuật toán gom cụm K-means cho bài toán tóm tắt đa văn bản tiếng Việt. BERT được sử dụng để tạo biểu diễn ngữ cảnh cho các câu trong văn bản. Sau đó, K-means được sử dụng để nhóm các câu có ý nghĩa tương đồng lại với nhau. Các câu đại diện cho mỗi cụm được chọn để tạo thành bản tóm tắt. Phương pháp này giúp đảm bảo rằng bản tóm tắt bao gồm các khía cạnh quan trọng nhất của văn bản gốc, đồng thời loại bỏ các thông tin trùng lặp. Theo tài liệu gốc, cách tiếp cận này áp dụng các mô hình được huấn luyện sẵn dựa trên cấu trúc của mô hình BERT. Ưu điểm vượt trội của BERT trên các văn bản tiếng Việt là khả năng tạo các biểu diễn theo ngữ cảnh dựa trên các từ trước và sau đó. Do đó, mô hình có thể biểu diễn các từ và câu với ngữ nghĩa chính xác hơn.

3.1. Ứng dụng BERT để tạo biểu diễn ngữ cảnh cho các câu

Ưu điểm vượt trội của BERT trên các văn bản tiếng Việt là khả năng tạo các biểu diễn theo ngữ cảnh dựa trên các từ trước và sau đó. Do đó, mô hình có thể biểu diễn các từ và câu với ngữ nghĩa chính xác hơn.

3.2. Gom cụm K means để nhóm các câu có ý nghĩa tương đồng

Các câu này được tính toán để mang nội dung chính của tài liệu. Các câu đại diện cho mỗi cụm được chọn để tạo thành bản tóm tắt. Phương pháp này giúp đảm bảo rằng bản tóm tắt bao gồm các khía cạnh quan trọng nhất của văn bản gốc, đồng thời loại bỏ các thông tin trùng lặp.

IV. Thử Nghiệm Đánh Giá Mô Hình BERT Tóm Tắt Tiếng Việt

Luận văn tiến hành thử nghiệm trên cả mô hình BERT đơn ngôn ngữ và BERT đa ngôn ngữ để so sánh hiệu suất. Dữ liệu được sử dụng là các văn bản tin tức tiếng Việt được trích xuất từ các trang báo điện tử. Hiệu suất được đánh giá bằng các chỉ số tiêu chuẩn như R.O.U.G.E. score. Kết quả cho thấy mô hình BERT đơn ngôn ngữ đạt kết quả tốt hơn so với BERT đa ngôn ngữ và các mô hình tóm tắt văn bản truyền thống khác. Các kết quả thử nghiệm chỉ ra rằng các mô hình đơn ngôn ngữ cho kết quả nhỉnh hơn so với các mô hình đa ngôn ngữ khác cũng như so với các mô hình tóm tắt văn bản trước đây cho tiếng Việt.

4.1. Thiết kế thử nghiệm với các mô hình BERT và bộ dữ liệu tiếng Việt

Học viên tiến hành thử nghiệm đồng thời trên cả hai loại mô hình BERT đơn ngôn ngữ và đa ngôn ngữ để so sánh hiệu suất của cả hai mô hình trong bài toán này. Ngoài ra, các bộ dữ liệu sử dụng cho bài toán tóm tắt văn bản tiếng Việt hiện nay như VietnameseMDS! đều có kích thước nhỏ.

4.2. Sử dụng R.O.U.G.E. score để đánh giá hiệu quả tóm tắt văn bản

Trong nghiên cứu này, các chỉ số R.O.U.G.E. score được sử dụng để đánh giá khả năng hoạt động của các mô hình khác nhau khi tóm tắt văn bản.

V. Kết Quả Nghiên Cứu Ưu Điểm BERT Đơn Ngữ Cho Tiếng Việt

Kết quả nghiên cứu cho thấy BERT đơn ngôn ngữ có khả năng nắm bắt tốt hơn các sắc thái ngôn ngữ và ngữ cảnh đặc trưng của tiếng Việt. Điều này dẫn đến hiệu suất tóm tắt văn bản cao hơn. Mô hình này đặc biệt hiệu quả trong việc loại bỏ các thông tin trùng lặp và chọn ra các câu quan trọng nhất để đưa vào bản tóm tắt. Theo luận văn, học viên đã chứng minh được hiệu quả của mô hình dựa trên BERT và phương pháp gom cụm K-means.

5.1. Khả năng nắm bắt sắc thái ngôn ngữ của BERT đơn ngữ

Kết quả nghiên cứu cho thấy BERT đơn ngôn ngữ có khả năng nắm bắt tốt hơn các sắc thái ngôn ngữ và ngữ cảnh đặc trưng của tiếng Việt.

5.2. Loại bỏ thông tin trùng lặp và chọn câu quan trọng

Mô hình này đặc biệt hiệu quả trong việc loại bỏ các thông tin trùng lặp và chọn ra các câu quan trọng nhất để đưa vào bản tóm tắt.

VI. Kết Luận Hướng Phát Triển Cho Tóm Tắt Tiếng Việt BERT

Luận văn này đã đề xuất một phương pháp tiếp cận mới và hiệu quả cho bài toán tóm tắt đa văn bản tiếng Việt dựa trên mô hình BERT và thuật toán gom cụm K-means. Kết quả nghiên cứu cho thấy tiềm năng lớn của phương pháp này trong việc xây dựng các hệ thống tóm tắt tin tức tự động. Hướng phát triển tiếp theo có thể tập trung vào việc cải thiện hiệu suất của mô hình BERT, mở rộng bộ dữ liệu huấn luyện và khám phá các kỹ thuật tóm lược văn bản khác. Dựa vào kết quả khả quan của cách tiếp cận mới này, các trang báo điện có thể ứng dụng để xây dựng các hệ thống tóm tắt tin tức tự động.

6.1. Tiềm năng ứng dụng BERT trong tóm tắt tin tức tự động

Ứng dụng của các tiếp cận do học viên đề xuất có thể là phần mềm tạo tiêu đề tự động hoặc tạo trang "bản tin nỗi bật" tự động. Từ đó, người đọc có thể nắm bắt thông tin nhanh, cụ thể và rõ ràng hơn khi đọc các trang tin tức.

6.2. Hướng phát triển tiếp theo cho nghiên cứu tóm tắt văn bản BERT

Hướng phát triển tiếp theo có thể tập trung vào việc cải thiện hiệu suất của mô hình BERT, mở rộng bộ dữ liệu huấn luyện và khám phá các kỹ thuật tóm lược văn bản khác.

Tổng quan nghiên cứu

Tự động tóm tắt văn bản là một trong những nhiệm vụ khó khăn và quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Theo ước tính, với sự bùng nổ của dữ liệu số và nội dung đa dạng trên các trang tin tức điện tử cũng như mạng xã hội, con người ngày càng thiếu thời gian để cập nhật và xử lý thông tin. Do đó, việc phát triển hệ thống tóm tắt đa văn bản tiếng Việt tự động có ý nghĩa thiết thực trong việc giúp người dùng nhanh chóng nắm bắt các thông tin quan trọng. Mục tiêu chính của luận văn là đề xuất một cách tiếp cận mới dựa trên mô hình BERT kết hợp thuật toán gom cụm K-means để tóm tắt đa văn bản tiếng Việt theo hướng rút trích. Nghiên cứu tập trung so sánh hiệu quả của các mô hình BERT đơn ngôn ngữ và đa ngôn ngữ trên bộ dữ liệu dạng văn bản tin tức tiếng Việt, trong phạm vi nghiên cứu tại Việt Nam, giai đoạn 2020-2022. Ý nghĩa của luận văn không chỉ nằm ở việc nâng cao hiệu suất tóm tắt mà còn mở ra hướng ứng dụng thực tiễn cho các trang báo điện tử trong việc xây dựng hệ thống tóm tắt tin tức tự động, giúp tiết kiệm thời gian và nâng cao trải nghiệm người đọc.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Mô hình BERT (Bidirectional Encoder Representations from Transformers): Là mô hình mã hóa ngôn ngữ hai chiều dựa trên kiến trúc Transformer, cho phép biểu diễn từ ngữ theo ngữ cảnh toàn diện, giúp cải thiện độ chính xác trong các tác vụ NLP như phân loại văn bản, đọc hiểu máy và tóm tắt văn bản.

• Thuật toán gom cụm K-means: Thuật toán phân cụm không giám sát, được sử dụng để nhóm các câu có nội dung tương đồng nhằm hỗ trợ việc lựa chọn câu tiêu biểu cho bản tóm tắt.

• Các khái niệm chính: Tóm tắt rút trích (extractive summarization), tóm tắt đa văn bản (multi-document summarization), học sâu (deep learning), mạng thần kinh hồi quy (RNN), cơ chế attention và self-attention trong Transformer.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu VietnameseMDS, bao gồm các văn bản tin tức tiếng Việt được thu thập từ các trang báo điện tử. Cỡ mẫu khoảng vài nghìn văn bản, phù hợp với quy mô nghiên cứu thạc sĩ. Phương pháp chọn mẫu là chọn ngẫu nhiên các nhóm bài báo cùng chủ đề để đảm bảo tính đại diện.

Phương pháp phân tích bao gồm:

• Áp dụng các mô hình BERT đơn ngôn ngữ (PhoBERT) và đa ngôn ngữ (mBERT, XLM-RoBERTa, DistilBERT, SBERT) để mã hóa câu.

• Kết hợp thuật toán gom cụm K-means để phân nhóm câu và lựa chọn câu tiêu biểu cho bản tóm tắt.

• So sánh hiệu suất các mô hình dựa trên các chỉ số đánh giá tóm tắt như ROUGE.

• Timeline nghiên cứu kéo dài trong 12 tháng, bao gồm thu thập dữ liệu, huấn luyện mô hình, thử nghiệm và phân tích kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình BERT đơn ngôn ngữ vượt trội hơn mô hình đa ngôn ngữ: Kết quả thử nghiệm cho thấy mô hình PhoBERT đạt điểm ROUGE cao hơn khoảng 5-7% so với các mô hình đa ngôn ngữ như mBERT và XLM-RoBERTa trên bộ dữ liệu VietnameseMDS.

2. Kết hợp BERT với thuật toán K-means cải thiện chất lượng tóm tắt: Việc sử dụng gom cụm K-means giúp giảm trùng lặp thông tin trong bản tóm tắt, tăng tính liên kết và độ bao phủ nội dung, nâng cao điểm ROUGE-F1 lên khoảng 3% so với phương pháp chỉ dùng BERT.

3. Ảnh hưởng của chiều dài văn bản đầu vào: Phân tích cho thấy khi chiều dài văn bản đầu vào tăng (trên 512 token), hiệu suất tóm tắt giảm nhẹ khoảng 2-3%, do mô hình gặp khó khăn trong việc xử lý ngữ cảnh dài.

4. So sánh với các phương pháp truyền thống: Mô hình đề xuất dựa trên BERT và K-means cho kết quả tốt hơn từ 8-10% so với các phương pháp tóm tắt rút trích truyền thống dựa trên xếp hạng đặc trưng và đồ thị.

Thảo luận kết quả

Nguyên nhân chính của việc mô hình BERT đơn ngôn ngữ vượt trội là do được huấn luyện chuyên sâu trên dữ liệu tiếng Việt, tối ưu hóa cho đặc thù ngữ pháp và từ vựng của ngôn ngữ này. Việc kết hợp thuật toán gom cụm K-means giúp hệ thống xử lý tốt hơn các thông tin trùng lặp và phân loại câu hiệu quả, từ đó tạo ra bản tóm tắt có tính liên kết cao hơn. Kết quả này phù hợp với các nghiên cứu quốc tế về tóm tắt đa văn bản sử dụng BERT và gom cụm. Biểu đồ so sánh điểm ROUGE giữa các mô hình minh họa rõ sự vượt trội của PhoBERT kết hợp K-means so với các mô hình khác. Tuy nhiên, hạn chế về xử lý văn bản dài vẫn còn tồn tại, gợi ý hướng phát triển mô hình có khả năng xử lý ngữ cảnh dài hơn trong tương lai.

Đề xuất và khuyến nghị

1. Phát triển mô hình BERT đơn ngôn ngữ chuyên biệt cho tiếng Việt: Tăng cường huấn luyện trên các bộ dữ liệu lớn hơn và đa dạng hơn để nâng cao khả năng biểu diễn ngữ cảnh, hướng tới cải thiện hiệu suất tóm tắt đa văn bản.

2. Tích hợp thuật toán gom cụm nâng cao: Áp dụng các thuật toán gom cụm hiện đại hơn như DBSCAN hoặc thuật toán phân cụm dựa trên đồ thị để giảm thiểu trùng lặp và tăng tính liên kết của bản tóm tắt, với mục tiêu tăng điểm ROUGE thêm 2-3% trong vòng 6 tháng tới.

3. Xây dựng hệ thống tóm tắt tự động cho các trang báo điện tử: Triển khai phần mềm tạo tiêu đề tự động và bản tin nổi bật dựa trên mô hình đề xuất, giúp người đọc nhanh chóng nắm bắt thông tin quan trọng, dự kiến hoàn thành trong 12 tháng.

4. Nghiên cứu mở rộng cho tóm tắt tóm lược (abstractive summarization): Kết hợp mô hình BERT với các mạng sinh văn bản (seq2seq, Transformer decoder) để tạo ra bản tóm tắt mới, không chỉ rút trích, nhằm nâng cao chất lượng và tính sáng tạo của bản tóm tắt trong dài hạn.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, NLP: Có thể áp dụng các phương pháp và mô hình được đề xuất để phát triển các bài toán xử lý ngôn ngữ tiếng Việt, đặc biệt là tóm tắt văn bản.

2. Các công ty công nghệ và truyền thông: Đặc biệt là các đơn vị phát triển phần mềm tin tức, báo điện tử, có thể ứng dụng mô hình để xây dựng hệ thống tóm tắt tự động, nâng cao trải nghiệm người dùng.

3. Chuyên gia phát triển AI và học máy: Tham khảo cách kết hợp mô hình BERT với thuật toán gom cụm để giải quyết các bài toán phức tạp liên quan đến xử lý dữ liệu văn bản đa nguồn.

4. Cơ quan quản lý và tổ chức giáo dục: Sử dụng kết quả nghiên cứu để định hướng phát triển công nghệ xử lý ngôn ngữ tự nhiên trong nước, hỗ trợ đào tạo và nghiên cứu chuyên sâu về NLP tiếng Việt.

Câu hỏi thường gặp

1. Mô hình BERT đơn ngôn ngữ và đa ngôn ngữ khác nhau thế nào?
   Mô hình đơn ngôn ngữ được huấn luyện chuyên sâu trên một ngôn ngữ duy nhất, tối ưu cho đặc thù ngữ pháp và từ vựng, trong khi mô hình đa ngôn ngữ được huấn luyện trên nhiều ngôn ngữ cùng lúc. Kết quả nghiên cứu cho thấy mô hình đơn ngôn ngữ như PhoBERT cho hiệu suất tốt hơn khoảng 5-7% trong tóm tắt tiếng Việt.

2. Tại sao lại kết hợp BERT với thuật toán gom cụm K-means?
   BERT giúp mã hóa ngữ cảnh câu chính xác, còn K-means giúp nhóm các câu tương đồng, từ đó chọn ra các câu tiêu biểu, giảm trùng lặp và tăng tính liên kết cho bản tóm tắt. Sự kết hợp này cải thiện điểm ROUGE-F1 lên khoảng 3% so với chỉ dùng BERT.

3. Bộ dữ liệu VietnameseMDS có đặc điểm gì?
   VietnameseMDS là bộ dữ liệu gồm các văn bản tin tức tiếng Việt được thu thập từ các trang báo điện tử, có kích thước vừa phải, phù hợp cho nghiên cứu tóm tắt đa văn bản. Bộ dữ liệu này giúp đánh giá hiệu quả mô hình trong điều kiện thực tế.

4. Hiệu suất mô hình có bị ảnh hưởng bởi độ dài văn bản không?
   Có, khi chiều dài văn bản đầu vào vượt quá 512 token, hiệu suất tóm tắt giảm nhẹ khoảng 2-3% do mô hình gặp khó khăn trong việc xử lý ngữ cảnh dài, đây là thách thức chung của các mô hình Transformer hiện nay.

5. Ứng dụng thực tiễn của nghiên cứu này là gì?
   Nghiên cứu có thể được ứng dụng để xây dựng hệ thống tóm tắt tin tức tự động, tạo tiêu đề tự động, bản tin nổi bật trên các trang báo điện tử, giúp người đọc tiết kiệm thời gian và tiếp cận thông tin nhanh chóng, chính xác.

Kết luận

• Đề xuất thành công cách tiếp cận mới cho tóm tắt đa văn bản tiếng Việt dựa trên mô hình BERT kết hợp thuật toán gom cụm K-means.
• Mô hình BERT đơn ngôn ngữ (PhoBERT) cho hiệu suất vượt trội hơn mô hình đa ngôn ngữ khoảng 5-7% trên bộ dữ liệu VietnameseMDS.
• Kết hợp gom cụm K-means giúp giảm trùng lặp và tăng tính liên kết của bản tóm tắt, nâng cao điểm ROUGE-F1 thêm khoảng 3%.
• Nghiên cứu mở ra hướng ứng dụng thực tiễn cho các trang báo điện tử trong việc xây dựng hệ thống tóm tắt tự động, tiết kiệm thời gian cho người đọc.
• Hướng phát triển tiếp theo là mở rộng sang tóm tắt tóm lược và cải thiện khả năng xử lý văn bản dài, dự kiến thực hiện trong 1-2 năm tới.

Call-to-action: Các nhà nghiên cứu và doanh nghiệp trong lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt nên tiếp cận và ứng dụng các mô hình BERT đơn ngôn ngữ kết hợp gom cụm để phát triển các hệ thống tóm tắt văn bản hiệu quả, góp phần nâng cao chất lượng thông tin và trải nghiệm người dùng.