Tóm Tắt Tin Tức Tiếng Việt Sử Dụng Mô Hình BERT

Chuyên khảo phân tích Tóm tắt tin tức tiếng việt sử dụng mô hình bert, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Nguyễn Đình Tuấn
• Người hướng dẫn: PGS. Tiến Sĩ Nguyễn Mạnh Hùng
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Kỹ thuật
• Đề tài: Tóm Tắt Tin Tức Tiếng Việt Sử Dụng Mô Hình BERT
• Loại tài liệu: Đề án tốt nghiệp thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH
• MỞ ĐẦU
• 1. CHƯƠNG 1: BÀI TOÁN TÓM TẮT TIN TỨC TIẾNG VIỆT
• 1.1. Giới thiệu bài toán tóm tắt văn bản tiếng Việt
• 1.2. Các nghiên cứu liên quan
• 1.2.1. Thảo luận các nghiên cứu về tóm tắt văn bản trên thế giới
• 1.2.2. Thảo luận một số nghiên cứu về tóm tắt văn bản tại Việt Nam
• 1.2.3. Tóm tắt trích xuất sử dụng mô hình BERT
• 1.3. Kết luận chương
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT CỦA CÁC MÔ HÌNH SỬ DỤNG TRONG ĐỀ ÁN
• 2.1. Giới thiệu mô hình biến đổi (Transformer)
• 2.1.1. Nguồn gốc của mô hình biến đổi
• 2.1.2. Kiến trúc của mô hình biến đổi: Cơ chế chú ý và mã hóa vị trí
• 2.2. Giới thiệu về Mô hình BERT
• 2.2.1. Sự ra đời của BERT: Cách mạng hóa NLP
• 2.2.2. Khám phá kiến trúc của BERT
• 2.3. Giới thiệu về mạng bộ nhớ dài ngắn hạn LSTM
• 2.3.1. Sự ra đời của mạng LSTM
• 2.3.2. Kiến trúc của LSTM
• 2.3.3. Ứng dụng rộng rãi của mạng LSTM
• 2.4. Kết luận chương
• 3. CHƯƠNG 3: GIẢI PHÁP BERT-LSTM-LSTM VỚI CƠ CHẾ TỰ CHÚ Ý VÀ KẾT QUẢ THỰC NGHIỆM, THẢO LUẬN
• 3.1. Giải pháp đề xuất của đề án
• 3.1.1. Sử dụng mô hình BERT trong bài toán tóm tắt tin tức Tiếng Việt với phương pháp tóm tắt tóm lược
• 3.1.2. Ưu điểm của giải pháp so với các phương pháp hiện có
• 3.1.3. Các công cụ và nền tảng sẽ được sử dụng để triển khai và thử nghiệm
• 3.2. Thiết kế giải pháp BERT là bộ mã hóa và LSTM là bộ giải mã trong mô hình BLLA
• 3.2.1. Khai thác thông tin chi tiết theo ngữ cảnh của BERT và bước huấn luyện đầu tiên
• 3.2.2. Thiết kế LSTM làm bộ giải mã và quá trình huấn luyện bước hai
• 3.2.3. Đánh giá và thảo luận mô hình BLLA
• 3.3. Xây dựng bộ dữ liệu tin tức Tiếng Việt cho bài toán tóm tắt
• 3.4. Cài đặt thử nghiệm
• 3.5. Biện pháp đánh giá
• 3.6. Phân tích so sánh hiệu suất dựa trên điểm BLEU và độ phức tạp của các mô hình
• 3.7. Kết luận chương
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan bài toán Tóm Tắt Tin Tức Tiếng Việt NLP

Trong kỷ nguyên số, lượng tin tức trực tuyến tăng trưởng chóng mặt, gây khó khăn cho việc cập nhật thông tin. Bài toán tóm tắt văn bản tự động ra đời nhằm giải quyết vấn đề này, cô đọng văn bản dài thành bản tóm tắt ngắn gọn, giữ nguyên ý nghĩa cốt lõi. Có hai phương pháp chính: tóm tắt trích xuất (chọn câu từ sẵn có) và tóm tắt tóm lược (diễn giải lại nội dung). Tóm tắt tin tức tiếng Việt đặt ra thách thức do đặc tính ngôn ngữ, đòi hỏi mô hình NLP chuyên biệt. Các mô hình truyền thống, vốn tập trung vào tiếng Anh, thường hoạt động kém hiệu quả. Điều này nhấn mạnh sự cần thiết của các phương pháp tiếp cận chuyên sâu, tận dụng sức mạnh của các mô hình ngôn ngữ tiên tiến như BERT. Sự khan hiếm các bộ dữ liệu được gán nhãn cho tiếng Việt cũng là một rào cản. Nghiên cứu này hướng tới việc khám phá và ứng dụng các kỹ thuật NLP tiên tiến, đặc biệt là mô hình BERT, nhằm giải quyết bài toán tóm tắt tin tức Tiếng Việt, nâng cao hiệu quả và độ chính xác của các công cụ hỗ trợ.

1.1. So sánh tóm tắt trích xuất và tóm tắt tóm lược

Ví dụ minh họa sự khác biệt giữa tóm tắt trích xuất và tóm tắt tóm lược. Trong tóm tắt tin tức về thị trường cổ phiếu, tóm tắt trích xuất chọn các câu chính từ văn bản gốc, còn tóm tắt tóm lược diễn đạt lại nội dung bằng ngôn ngữ mới. Cả hai đều nhằm mục đích đơn giản hóa văn bản gốc mà không làm mất đi ý nghĩa. Theo [13] Nếu 𝑌′ ⊆ 𝑋 bản tóm tắt được coi là dạng trích xuất, các thành phần của bản tóm tắt được lấy trực tiếp từ văn bản nguồn. Nếu 𝑌′ ⊈ 𝑋 bản tóm tắt là dạng tóm lược, có thành phần của bản tóm tắt không xuất hiện trong văn bản nguồn.

1.2. Thách thức của tóm tắt tin tức tiếng Việt trong NLP

Áp dụng bài toán tóm tắt văn bản vào tóm tắt tin tức tiếng Việt đặt ra những thách thức đặc biệt do tính chất ngữ điệu, cấu trúc cú pháp phức tạp và hình thái phong phú của ngôn ngữ Tiếng Việt. Những yếu tố này đòi hỏi sự hiểu biết nâng cao về ngữ nghĩa và sắc thái Tiếng Việt để đảm bảo rằng các bản tóm tắt vừa chính xác đầy đủ vừa mạch lạc về mặt ngôn ngữ, chính tả. Các mô hình NLP truyền thống, thường được phát triển tập trung vào tiếng Anh, có thể không hoạt động hiệu quả với văn bản tiếng Việt, điều này làm nổi bật sự cần thiết của các phương pháp tiếp cận chuyên biệt.

II. Tổng hợp Nghiên cứu toàn cầu về Tóm Tắt Văn Bản Tự Động

Tóm tắt văn bản là một nhiệm vụ quan trọng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), đã chứng kiến những tiến bộ đáng kể nhờ nỗ lực của các nhà nghiên cứu trên toàn thế giới. Các phương pháp đã chuyển đổi từ các hệ thống dựa trên quy tắc sang các phương pháp học máy và học sâu phức tạp. Các hệ thống dựa trên quy tắc dựa trên các quy tắc ngôn ngữ được xác định trước để xác định các câu hoặc cụm từ chính. Luhn (1958) đã đề xuất một phương pháp dựa trên tần suất của các từ quan trọng, đặt nền móng cho việc tóm tắt văn bản tự động. Sự ra đời của học máy đã mang lại sự thay đổi lớn trong nghiên cứu ở lĩnh vực tóm tắt văn bản. Các kỹ thuật như Máy vectơ hỗ trợ (SVM) và cây quyết định đã được sử dụng để phân loại các câu. Cuộc cách mạng học sâu cùng với các mô hình khung tuần tự (seq2seq) đã cải thiện đáng kể chất lượng.

2.1. Các phương pháp tiếp cận dựa trên quy tắc ban đầu

Bước đột phá đầu tiên trong lĩnh vực tóm tắt văn bản được đánh dấu bằng các hệ thống dựa trên quy tắc vào cuối thế kỷ 20. Các hệ thống này dựa trên các quy tắc ngôn ngữ được xác định trước để xác định các câu hoặc cụm từ chính để đưa vào bản tóm tắt. Một công trình quan trọng trong giai đoạn này là của Luhn (1958), người đã đề xuất một phương pháp dựa trên tần suất của các từ quan trọng [15], đặt nền móng cho việc tóm tắt văn bản tự động.

2.2. Bước ngoặt với học máy trong tóm tắt văn bản

Sự ra đời của học máy đã mang lại sự thay đổi lớn trong nghiên cứu ở lĩnh vực tóm tắt văn bản. Các kỹ thuật như Máy vectơ hỗ trợ (SVM) và cây quyết định đã được sử dụng để phân loại các câu dựa trên khả năng chúng được đưa vào bản tóm tắt. Công trình của Kupiec, Pedersen và Chen (1995) về một thuật toán tóm tắt văn bản có thể huấn luyện được [12] đã đánh dấu cột mốc quan trọng, cho thấy tiềm năng của học máy trong việc tự động hóa quá trình tóm tắt.

2.3. Ứng dụng học sâu và mô hình BERT trong tóm tắt

Thập kỷ vừa qua đã có nhiều thay đổi nhờ cuộc cách mạng học sâu. Đáng chú ý là mô hình BERT của Devlin et al. (2018) [10] và GPT của OpenAI đã thiết lập ra các tiêu chuẩn mới trong việc tạo các bản tóm tắt mạch lạc và phù hợp với ngữ cảnh. Các mô hình biến đổi (Transformer), với cơ chế tự chú ý (self-attention), đã cải tiến hơn nữa khả năng nắm bắt bản chất của văn bản qua các chuỗi dài, khiến chúng đặc biệt phù hợp để ứng dụng trong tóm tắt các văn bản phức tạp.

III. Nghiên cứu Tóm Tắt Văn Bản Tiếng Việt Xu hướng Kết quả

Tại Việt Nam, lĩnh vực tóm tắt văn bản cũng nhận được nhiều chú ý trong thời gian gần đây. Các nghiên cứu mới nhất tập trung vào việc áp dụng các kỹ thuật NLP tiên tiến vào giải quyết bài toán. Nhiều nghiên cứu đã sử dụng phương pháp học sâu để tự động hóa việc tóm tắt văn bản cho Tiếng Việt. Bằng cách sử dụng mô hình Word2vec để trích xuất và biểu diễn các từ Tiếng Việt trong văn bản, họ đã sử dụng mô hình khung tuần tự (Sequence-to- Sequence) và cơ chế chú ý (Attention) để tạo ra các bản tóm tắt ngắn gọn. Một cách tiếp cận sáng tạo khác là dựa trên các quy tắc diễn ngôn, các ràng buộc cú pháp và biểu đồ từ để tạo ra các bản tóm tắt từ các ý chính của văn bản.

3.1. Ứng dụng mô hình Sequence to Sequence trong tóm tắt

Trong nghiên cứu “Tóm tắt văn bản tiếng Việt tự động với mô hình Sequence- to-Sequence” của Lâm Quang Tường, Phạm Thế Phi và Đỗ Đức Hào, các nhà nghiên cứu đã sử dụng phương pháp học sâu để tự động hóa việc tóm tắt văn bản cho Tiếng Việt [5]. Bằng cách sử dụng mô hình Word2vec để trích xuất và biểu diễn các từ Tiếng Việt trong văn bản, họ đã sử dụng mô hình khung tuần tự (Sequence-to- Sequence) và cơ chế chú ý (Attention) để tạo ra các bản tóm tắt ngắn gọn, kết quả được lấy ra bằng thuật toán Beam Search.

3.2. Phương pháp tóm tắt văn bản tóm lược dựa trên quy tắc

Lê Thanh Hương và Lê Tiến Mạnh từ Đại học Bách khoa Hà Nội đề xuất một cách tiếp cận sáng tạo trong việc tóm tắt văn bản tóm lược [3]. Họ đã giới thiệu một phương pháp dựa trên các quy tắc diễn ngôn, các ràng buộc cú pháp và biểu đồ từ để tạo ra các bản tóm tắt từ các ý chính của văn bản. Cách tiếp cận này nhấn mạnh sự phức tạp của việc tạo ra các bản tóm tắt mạch lạc với đầy đủ thông tin mà không cần trích xuất trực tiếp các câu.

3.3. Sử dụng BERT để trích xuất khía cạnh trong văn bản

Nguyễn Ngọc Điệp và Nguyễn Thị Thanh Thủy khám phá việc trích xuất khía cạnh trong văn bản tiếng Việt, một thành phần quan trọng của khai phá quan điểm theo khía cạnh [1]. Nghiên cứu của họ chứng minh tính hiệu quả của việc sử dụng các mô hình ngôn ngữ được đào tạo trước như BERT, được tăng cường bằng các câu phụ trợ được tạo từ các từ khóa khía cạnh.

IV. Giới thiệu Kiến trúc và Cơ chế hoạt động của Mô hình BERT

Mô hình BERT (Bidirectional Encoder Representations from Transformers) là một phát triển đột phá trong xử lý ngôn ngữ tự nhiên, đã đặt ra các tiêu chuẩn mới về hiểu ngữ cảnh và ngữ nghĩa của văn bản. Kiến trúc biến đổi và học trên hai chiều của văn bản đã giúp cho BERT có khả năng nắm bắt được sự phức tạp của ngôn ngữ, khiến nó trở thành ứng cử viên lý tưởng cho các nhiệm vụ đòi hỏi sự hiểu biết sâu sắc về ngữ cảnh, chẳng hạn như tóm tắt văn bản. Đề án này đề xuất một cách tiếp cận mới trong việc tóm tắt các bài báo Tiếng Việt bằng cách khai thác sức mạnh của BERT. Cách tiếp cận này không chỉ hứa hẹn nâng cao hiệu quả và độ chính xác của việc tóm tắt tin tức Tiếng Việt mà còn góp phần mở rộng lĩnh vực xử lý ngôn ngữ tự nhiên bằng cách thể hiện khả năng thích ứng và hiệu quả của BERT trong việc xử lý các thách thức cụ thể về ngôn ngữ của Việt Nam.

4.1. Ưu điểm của BERT so với các mô hình ngôn ngữ khác

BERT có khả năng học trên hai chiều của văn bản, nắm bắt ngữ cảnh tốt hơn. Điều này giúp BERT hiểu được sự phức tạp của ngôn ngữ, đặc biệt là trong các ngôn ngữ có cấu trúc ngữ pháp phức tạp như tiếng Việt. Nhờ đó, BERT có thể tạo ra các bản tóm tắt chính xác và phù hợp với ngữ cảnh hơn so với các mô hình khác.

4.2. Kiến trúc Transformer và cơ chế tự chú ý của BERT

Kiến trúc Transformer là nền tảng của BERT. Cơ chế tự chú ý (self-attention) cho phép BERT tập trung vào các phần quan trọng nhất của văn bản khi xử lý. Điều này giúp BERT hiểu được mối quan hệ giữa các từ và cụm từ trong văn bản, từ đó tạo ra các biểu diễn ngữ nghĩa tốt hơn.

V. Đề xuất Giải pháp BERT LSTM LSTM cho Tóm Tắt Tin Tức

Đề án này đề xuất một cách tiếp cận mới trong việc tóm tắt các bài báo Tiếng Việt bằng cách khai thác sức mạnh của BERT để giúp cho mô hình học máy có thể hiểu rõ nội dung của các tin tức bằng Tiếng Việt. Cách tiếp cận này không chỉ hứa hẹn nâng cao hiệu quả và độ chính xác của việc tóm tắt tin tức Tiếng Việt mà còn góp phần mở rộng lĩnh vực xử lý ngôn ngữ tự nhiên bằng cách thể hiện khả năng thích ứng và hiệu quả của BERT trong việc xử lý các thách thức cụ thể về ngôn ngữ của Việt Nam. Giải pháp là sự kết hợp giữa BERT, LSTM và cơ chế chú ý.

5.1. Sử dụng BERT làm bộ mã hóa thông tin ngữ cảnh

BERT được sử dụng làm bộ mã hóa để trích xuất thông tin ngữ cảnh từ văn bản gốc. Thông tin này sẽ được sử dụng bởi các lớp LSTM để tạo ra bản tóm tắt.

5.2. Ứng dụng LSTM làm bộ giải mã và tạo bản tóm tắt

LSTM (Long Short-Term Memory) được sử dụng làm bộ giải mã để tạo ra bản tóm tắt từ thông tin ngữ cảnh được cung cấp bởi BERT. LSTM có khả năng xử lý các chuỗi dữ liệu có độ dài khác nhau, điều này rất quan trọng trong bài toán tóm tắt văn bản.

5.3. Cơ chế tự chú ý Attention và tăng cường hiệu quả

Cơ chế tự chú ý (Attention) cho phép mô hình tập trung vào các phần quan trọng nhất của văn bản khi tạo ra bản tóm tắt. Điều này giúp mô hình tạo ra các bản tóm tắt chính xác và phù hợp với ngữ cảnh hơn.

VI. Đánh giá Thảo luận Kết quả Thử nghiệm Mô hình BLLA

Chương này đề án trình bày khung thử nghiệm cho giải pháp, từ thu thập dữ liệu các bài báo tin tức bằng Tiếng Việt, xử lý để đưa vào các mô hình đã trình bày ở Chương 2, đến đo lường đánh giá, thử nghiệm so sánh các biến thể của mô hình. Kết quả cho thấy tính hiệu quả của mô hình BERT-LSTM-LSTM trong việc tạo ra các bản tóm tắt chính xác và ngắn gọn về các bài báo tiếng Việt. Những phát hiện này không chỉ khẳng định phương pháp đề xuất mà còn mở ra hướng nghiên cứu trong tương lai về tóm tắt văn bản Tiếng Việt.

6.1. Bộ dữ liệu tin tức Tiếng Việt cho bài toán tóm tắt

Việc xây dựng một bộ dữ liệu tin tức Tiếng Việt chất lượng cao là rất quan trọng để huấn luyện và đánh giá mô hình. Bộ dữ liệu này cần bao gồm các bài báo từ nhiều nguồn khác nhau, với độ dài và chủ đề đa dạng.

6.2. Phương pháp đánh giá hiệu suất mô hình tóm tắt BLLA

Các phương pháp đánh giá hiệu suất mô hình cần đo lường cả độ chính xác và khả năng bao phủ thông tin của bản tóm tắt. Các chỉ số phổ biến bao gồm BLEU, ROUGE và độ phức tạp của các mô hình.

6.3. Phân tích so sánh hiệu suất dựa trên điểm BLEU

Phân tích so sánh hiệu suất giữa mô hình đề xuất và các mô hình cơ sở khác dựa trên điểm BLEU và các chỉ số đánh giá khác. So sánh này giúp đánh giá tính hiệu quả của giải pháp BERT-LSTM-LSTM.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên kỹ thuật số, lượng tin tức trực tuyến tăng trưởng nhanh chóng, tạo ra thách thức lớn trong việc tiếp nhận và xử lý thông tin. Theo ước tính, hàng trăm nghìn bài báo tiếng Việt được xuất bản mỗi ngày trên các nền tảng khác nhau, khiến người dùng khó khăn trong việc cập nhật thông tin một cách nhanh chóng và hiệu quả. Bài toán tóm tắt tin tức tiếng Việt nhằm mục tiêu cô đọng các bài báo dài thành các bản tóm tắt ngắn gọn, chính xác, giữ nguyên ý nghĩa và sắc thái ngôn ngữ. Mục tiêu cụ thể của nghiên cứu là phát triển một mô hình tóm tắt tóm lược tự động sử dụng mô hình BERT kết hợp với mạng LSTM và cơ chế chú ý, nhằm nâng cao chất lượng bản tóm tắt tiếng Việt. Phạm vi nghiên cứu tập trung vào dữ liệu tin tức tiếng Việt thu thập trong khoảng thời gian gần đây, với bộ dữ liệu hơn 500,000 bài báo từ nhiều nguồn khác nhau. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số đánh giá như điểm BLEU, giúp giảm thời gian đọc và tăng hiệu quả tiếp nhận thông tin cho người dùng, đồng thời góp phần phát triển công nghệ xử lý ngôn ngữ tự nhiên cho tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên hai lý thuyết và mô hình chính:

• Mô hình Transformer: Được giới thiệu năm 2017, mô hình này sử dụng cơ chế tự chú ý (self-attention) để xử lý dữ liệu tuần tự, giúp mô hình nắm bắt mối quan hệ giữa các từ trong câu một cách hiệu quả, đồng thời cho phép tính toán song song, khắc phục hạn chế của RNN và LSTM truyền thống.

• Mô hình BERT (Bidirectional Encoder Representations from Transformers): Xây dựng trên kiến trúc Transformer, BERT sử dụng đào tạo hai chiều để hiểu ngữ cảnh của từ dựa trên cả hai phía trái và phải, giúp nắm bắt sắc thái ngôn ngữ sâu sắc hơn. BERT được huấn luyện trước trên kho dữ liệu lớn, sau đó tinh chỉnh cho các nhiệm vụ cụ thể như tóm tắt văn bản.

• Mạng LSTM (Long Short-Term Memory): Là mạng nơ ron hồi quy được thiết kế để xử lý dữ liệu tuần tự, có khả năng ghi nhớ thông tin dài hạn nhờ cấu trúc các cổng điều khiển luồng thông tin (cổng đầu vào, cổng quên, cổng đầu ra). LSTM được sử dụng trong mô hình seq2seq để mã hóa và giải mã chuỗi văn bản.

Các khái niệm chính bao gồm: tóm tắt trích xuất và tóm tắt tóm lược, cơ chế tự chú ý, mã hóa vị trí, đào tạo trước và tinh chỉnh mô hình, điểm BLEU đánh giá chất lượng tóm tắt.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm ba bộ dữ liệu tin tức tiếng Việt: VNDS với hơn 105,000 bài, bộ dữ liệu Báo Lao Động với gần 290,000 bài, và bộ dữ liệu tin tức trực tuyến với hơn 170,000 bài. Dữ liệu được xử lý thành các cặp Tiêu Đề - Nội Dung, trong đó tiêu đề được dùng làm bản tóm tắt tham chiếu, nội dung được chọn lọc dựa trên độ tương tự cosine giữa câu và tiêu đề sử dụng mã hóa BERT.

Phương pháp phân tích sử dụng mô hình BERT-LSTM-LSTM với cơ chế chú ý (BLLA). Mô hình được huấn luyện qua hai giai đoạn: giai đoạn đầu đóng băng các lớp BERT để tập trung đào tạo bộ giải mã LSTM, giai đoạn hai mở khóa BERT để tinh chỉnh toàn bộ mô hình. Các tham số huấn luyện như tốc độ học tập được điều chỉnh phù hợp với từng giai đoạn.

Timeline nghiên cứu kéo dài khoảng 6 tháng, bao gồm thu thập và xử lý dữ liệu, xây dựng mô hình, huấn luyện và đánh giá, với việc sử dụng tài nguyên tính toán TPU trên Google Colab để tăng tốc quá trình huấn luyện.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất mô hình BLLA vượt trội: Mô hình BLLA sử dụng phoBERT đạt điểm BLEU-4 trung bình khoảng 35%, cao hơn đáng kể so với mô hình seq2seq truyền thống chỉ đạt khoảng 22%. Phiên bản BERT đa ngôn ngữ đạt điểm BLEU-4 khoảng 32%, cho thấy mô hình đơn ngữ phoBERT phù hợp hơn với tiếng Việt.

2. Tác động của cơ chế chú ý: Việc tích hợp lớp chú ý giúp mô hình tập trung vào các phần quan trọng của văn bản đầu vào, cải thiện tính mạch lạc và độ chính xác của bản tóm tắt, tăng điểm BLEU trung bình thêm khoảng 5% so với mô hình không có chú ý.

3. Giảm nhu cầu dữ liệu huấn luyện: Nhờ sử dụng BERT được đào tạo trước, mô hình BLLA giảm đáng kể lượng dữ liệu cần thiết để đạt hiệu quả cao, chỉ cần khoảng 120,000 mẫu huấn luyện so với hàng trăm nghìn mẫu trong các phương pháp truyền thống.

4. Độ phức tạp mô hình và tài nguyên tính toán: Mô hình BLLA với phoBERT có tổng số tham số khoảng 144 triệu, thấp hơn so với phiên bản BERT đa ngôn ngữ với gần 187 triệu tham số, giúp giảm tải tính toán mà vẫn giữ hiệu suất cao.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả vượt trội là khả năng mã hóa ngữ cảnh sâu sắc của BERT, đặc biệt là phoBERT được đào tạo chuyên biệt cho tiếng Việt, giúp mô hình hiểu rõ các sắc thái ngôn ngữ phức tạp. Cơ chế chú ý tăng cường khả năng tập trung vào thông tin quan trọng, giảm thiểu nhiễu từ các phần không liên quan trong văn bản.

So sánh với các nghiên cứu trước đây, kết quả này khẳng định ưu thế của việc kết hợp mô hình ngôn ngữ lớn với mạng LSTM trong bài toán tóm tắt tiếng Việt, đồng thời cho thấy tiềm năng ứng dụng rộng rãi trong các hệ thống xử lý ngôn ngữ tự nhiên.

Dữ liệu có thể được trình bày qua biểu đồ so sánh điểm BLEU giữa các mô hình và bảng tổng hợp số lượng tham số, giúp minh họa rõ ràng sự khác biệt về hiệu suất và độ phức tạp.

Đề xuất và khuyến nghị

1. Triển khai mô hình BLLA trong các hệ thống tin tức trực tuyến: Tập trung cải thiện trải nghiệm người dùng bằng cách cung cấp bản tóm tắt nhanh, chính xác, giảm thời gian đọc. Thời gian thực hiện trong 6-12 tháng, do các đơn vị phát triển công nghệ thông tin và báo chí phối hợp thực hiện.

2. Phát triển bộ dữ liệu tiếng Việt đa dạng hơn: Mở rộng thu thập dữ liệu từ nhiều lĩnh vực và thể loại tin tức để nâng cao khả năng tổng quát của mô hình. Thời gian 12-18 tháng, do các tổ chức nghiên cứu và trường đại học chủ trì.

3. Tối ưu hóa mô hình cho thiết bị di động và môi trường tính toán hạn chế: Giảm kích thước mô hình và tăng tốc độ xử lý để ứng dụng trên các nền tảng phổ biến. Thời gian 6-9 tháng, do các nhóm phát triển phần mềm và công nghệ AI thực hiện.

4. Đào tạo và nâng cao nhận thức về công nghệ tóm tắt tự động cho các nhà báo và biên tập viên: Giúp họ tận dụng công nghệ để tăng hiệu quả công việc và đảm bảo chất lượng nội dung. Thời gian 3-6 tháng, do các cơ quan báo chí và tổ chức đào tạo phối hợp.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Xử lý Ngôn ngữ Tự nhiên: Nghiên cứu sâu về mô hình BERT, LSTM và ứng dụng trong tóm tắt văn bản tiếng Việt, phục vụ cho các đề tài học thuật và phát triển công nghệ.

2. Các công ty công nghệ phát triển sản phẩm tin tức và truyền thông số: Áp dụng mô hình BLLA để cải thiện trải nghiệm người dùng, tự động hóa quá trình tạo nội dung tóm tắt, tăng tính cạnh tranh trên thị trường.

3. Cơ quan báo chí và truyền thông: Tận dụng công nghệ tóm tắt tự động để hỗ trợ biên tập, giảm tải công việc và nâng cao chất lượng tin tức, đặc biệt trong bối cảnh lượng tin tức ngày càng lớn.

4. Nhà đầu tư và chuyên gia phân tích thị trường: Sử dụng các bản tóm tắt chính xác và nhanh chóng để cập nhật thông tin thị trường, hỗ trợ ra quyết định kịp thời và hiệu quả.

Câu hỏi thường gặp

1. Mô hình BLLA có thể áp dụng cho các loại văn bản khác ngoài tin tức không?
   Có, mô hình BLLA với khả năng hiểu ngữ cảnh sâu sắc có thể được điều chỉnh để tóm tắt các loại văn bản khác như báo cáo, bài nghiên cứu, hoặc tài liệu kỹ thuật, tuy nhiên cần tinh chỉnh và huấn luyện thêm với dữ liệu phù hợp.

2. Điểm BLEU có phải là thước đo duy nhất để đánh giá chất lượng tóm tắt?
   Không, điểm BLEU là thước đo phổ biến nhưng còn có các chỉ số khác như ROUGE, METEOR. Kết hợp nhiều chỉ số giúp đánh giá toàn diện hơn về tính chính xác và mạch lạc của bản tóm tắt.

3. Mô hình BLLA có yêu cầu phần cứng đặc biệt để triển khai không?
   Mô hình có độ phức tạp cao, yêu cầu GPU hoặc TPU để huấn luyện hiệu quả. Tuy nhiên, sau khi huấn luyện, mô hình có thể được tối ưu để chạy trên các thiết bị có cấu hình thấp hơn như máy chủ hoặc thậm chí thiết bị di động.

4. Làm thế nào để xử lý các từ ngữ địa phương hoặc tiếng lóng trong tiếng Việt?
   Việc này đòi hỏi mở rộng bộ dữ liệu huấn luyện với các ví dụ chứa từ ngữ địa phương và tiếng lóng, đồng thời có thể tích hợp các mô hình từ điển hoặc xử lý ngôn ngữ chuyên biệt để cải thiện khả năng nhận diện và tóm tắt chính xác.

5. Mô hình có thể tự động cập nhật khi có dữ liệu mới không?
   Có thể áp dụng kỹ thuật học liên tục (continual learning) hoặc tinh chỉnh định kỳ để mô hình cập nhật kiến thức mới, giúp duy trì hiệu quả khi ngôn ngữ và nội dung tin tức thay đổi theo thời gian.

Kết luận

• Nghiên cứu đã phát triển thành công mô hình BERT-LSTM-LSTM với cơ chế chú ý (BLLA) cho bài toán tóm tắt tin tức tiếng Việt, đạt điểm BLEU-4 trung bình khoảng 35%.
• Mô hình phoBERT đơn ngữ cho hiệu suất tốt hơn so với mô hình BERT đa ngôn ngữ, phù hợp với đặc thù ngôn ngữ tiếng Việt.
• Việc tích hợp cơ chế chú ý giúp tăng cường khả năng tập trung vào thông tin quan trọng, nâng cao chất lượng bản tóm tắt.
• Sử dụng BERT được đào tạo trước giúp giảm đáng kể nhu cầu dữ liệu huấn luyện và tăng khả năng tổng quát của mô hình.
• Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, tối ưu hóa mô hình cho các nền tảng khác nhau và triển khai ứng dụng thực tế trong các hệ thống tin tức trực tuyến.

Đề nghị các nhà nghiên cứu và doanh nghiệp quan tâm tiếp tục phát triển và ứng dụng mô hình này để nâng cao hiệu quả xử lý thông tin tiếng Việt trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: BÀI TOÁN TÓM TẮT TIN TỨC TIẾNG VIỆT 1.1 Giới thiệu bài toán tóm tắt văn bản tiếng Việt Sự ra đời của internet đã kéo theo sự bùng nổ về dữ liệu, đặc biệt là các tin tức, bài báo trực tuyến, nhờ vậy mọi người đều có thể cập nhật thông tin từ khắp nơi trên thế giới với tốc độ tính bằng giây. Lượng thông tin khổng lồ này, mặc dù mang lại nhiều lợi ích, nhưng lại là thách thức đối với những cá nhân muốn cập nhật thông tin mà không tốn quá nhiều thời gian để đọc các tài liệu dài, như những nhà nghiên cứu thị trường, những nhà đầu tư, ngoài ra cũng là bài toán lớn cho các hệ thống thông tin khác như hệ thống phân tích hoặc dự đoán thói quen của người dùng, cần xử lý lượng lớn dữ liệu để nắm bắt được các thay đổi của thế giới. Lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) giải quyết thách thức này thông qua việc phát triển các kỹ thuật tóm tắt văn bản, nhằm mục đích cô đọng các văn bản dài thành những bản tóm tắt ngắn gọn. Những bản tóm tắt này cố gắng duy trì thông điệp cốt lõi và mục đích của văn bản gốc đồng thời giảm đáng kể thời gian dành cho người đọc.

Tóm tắt văn bản nói chung được chia thành hai phương pháp chính: tóm tắt trích xuất (extractive summarization) và tóm tắt tóm lược (abstractive summarization) [5]. Tóm tắt trích xuất bao gồm việc chọn các cụm từ hoặc câu chính từ văn bản gốc và biên soạn chúng để tạo thành một bản tóm tắt. Ngược lại, tóm tắt tóm lược đòi hỏi phải hiểu các ý chính trong văn bản và tạo ra các câu mới với cùng ngữ nghĩa với văn bản gốc, đòi hỏi phải hiểu sâu hơn về ngôn ngữ và mối liên hệ của các từ. Ví dụ một đoạn tin tức về thị trường cổ phiếu: “Thị trường chứng khoán Việt Nam hôm nay chứng kiến sự sôi động không ngừng với hàng loạt cổ phiếu tăng giá mạnh.

Trong số đó, cổ phiếu của các công ty công nghệ và bất động sản được giao dịch nhiều nhất, thu hút sự quan tâm lớn từ phía nhà đầu tư. Các chuyên gia kinh tế nhận định, sự tăng trưởng này phản ánh niềm tin mạnh mẽ vào tiềm năng tăng trưởng kinh tế của Việt Nam trong thời gian tới. Họ cũng lưu ý rằng, bên cạnh cơ hội, thị trường cũng đang đối mặt với không ít thách thức, bao gồm lạm phát và sự biến động của thị trường quốc tế.” Tóm tắt trích xuất: 5 “Thị trường chứng khoán Việt Nam hôm nay chứng kiến sự sôi động với cổ phiếu công nghệ và bất động sản được giao dịch nhiều nhất. Các chuyên gia kinh tế nhận định, sự tăng trưởng phản ánh niềm tin vào tiềm năng kinh tế của Việt Nam, họ cũng lưu ý những thách thức bao gồm lạm phát và sự biến động của thị trường quốc tế.” Trong bản tóm tắt trích xuất này, các câu chính từ văn bản gốc được chọn lọc và biên soạn để tạo thành một bản tóm tắt ngắn gọn, nắm bắt được các điểm chính: hoạt động của thị trường chứng khoán, trọng tâm là cổ phiếu công nghệ và bất động sản, cũng như quan điểm của các chuyên gia kinh tế về tiềm năng tăng trưởng và những thách thức.

Tóm tắt tóm lược: “Hôm nay, thị trường chứng khoán Việt Nam sôi động với sự nổi bật của cổ phiếu công nghệ và bất động sản, cho thấy niềm tin vào tăng trưởng kinh tế dù đối mặt thách thức từ lạm phát và ảnh hưởng từ thị trường quốc tế.” Ở mặt khác, tóm tắt tóm lược diễn đạt lại và cô đọng văn bản gốc thành một dạng mới, tóm tắt những điểm chính mà không sao chép trực tiếp cả câu. Nó đề cập đến sự sôi động của thị trường chứng khoán, các lĩnh vực được quan tâm, triển vọng lạc quan về tăng trưởng kinh tế và thừa nhận những thách thức tiềm ẩn, tất cả đều được trình bày ngắn gọn, tổng hợp. Ví dụ này minh họa sự khác biệt giữa tóm tắt trích xuất và tóm lược: cách đầu tiên chọn các phần của văn bản gốc, trong khi cách sau dùng một cách diễn đạt khác cho nội dung thành một dạng mới, ngắn hơn, cả hai đều nhằm mục đích chuyển văn bản gốc thành dạng mới đơn giản hơn nhưng không làm mất nội dung và ý nghĩa. Bài toán tóm tắt văn bản [13]: Cho văn bản nguồn 𝑋 = {𝑥! , 𝑥" , 𝑥# ,.

𝑙 là độ dài của văn bản nguồn và 𝑥 thuộc bộ từ vựng 𝑉%. Mục tiêu là tạo ra bản tóm tắt 𝑌′ = {𝑦′! , 𝑦′" , 𝑦′# , … , 𝑦′& }. 𝑚 là độ dài của bản tóm tắt 𝑦′ thuộc bộ từ vựng 𝑉'. 𝑚 ≪ 𝑙 để đảm bảo bản tóm tắt sẽ ngắn hơn văn bản nguồn.

6 ● Nếu 𝑌′ ⊆ 𝑋 bản tóm tắt được coi là dạng trích xuất, các thành phần của bản tóm tắt được lấy trực tiếp từ văn bản nguồn. ● Nếu 𝑌′ ⊈ 𝑋 bản tóm tắt là dạng tóm lược, có thành phần của bản tóm tắt không xuất hiện trong văn bản nguồn. Áp dụng bài toán tóm tắt văn bản vào tóm tắt tin tức tiếng Việt đặt ra những thách thức đặc biệt do tính chất ngữ điệu, cấu trúc cú pháp phức tạp và hình thái phong phú của ngôn ngữ Tiếng Việt. Những yếu tố này đòi hỏi sự hiểu biết nâng cao về ngữ nghĩa và sắc thái Tiếng Việt để đảm bảo rằng các bản tóm tắt vừa chính xác đầy đủ vừa mạch lạc về mặt ngôn ngữ, chính tả.

Các mô hình NLP truyền thống, thường được phát triển tập trung vào tiếng Anh, có thể không hoạt động hiệu quả với văn bản tiếng Việt, điều này làm nổi bật sự cần thiết của các phương pháp tiếp cận chuyên biệt. Sự khan hiếm các bộ dữ liệu toàn diện được xử lý dành cho tiếng Việt càng làm phức tạp thêm việc phát triển và đánh giá các mô hình tóm tắt. Đề án này nhằm mục đích khám phá và ứng dụng các kỹ thuật NLP tiên tiến, đặc biệt là mô hình BERT, nhằm giải quyết bài toán tóm tắt văn bản tin tức Tiếng Việt, nâng cao hiệu quả và độ chính xác của các công cụ tóm tắt tiếng Việt.2 Các nghiên cứu liên quan 1.1 Thảo luận các nghiên cứu về tóm tắt văn bản trên thế giới Tóm tắt văn bản là một nhiệm vụ quan trọng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), đã chứng kiến những tiến bộ đáng kể nhờ nỗ lực của các nhà nghiên cứu trên toàn thế giới. Những nỗ lực nghiên cứu này kéo dài trong nhiều thập kỷ, các phương pháp đã chuyển đổi từ các hệ thống dựa trên quy tắc sang các phương pháp học máy và học sâu phức tạp.

Phần này cung cấp cái nhìn tổng quan về những phát triển này, nhấn mạnh các nghiên cứu then chốt, những đột phá về công nghệ và bối cảnh phát triển của lĩnh vực tóm tắt văn bản trên thế giới. Cách tiếp cận dựa trên quy tắc trong những ngày khởi đầu Bước đột phá đầu tiên trong lĩnh vực tóm tắt văn bản được đánh dấu bằng các hệ thống dựa trên quy tắc vào cuối thế kỷ 20. Các hệ thống này dựa trên các quy tắc 7 ngôn ngữ được xác định trước để xác định các câu hoặc cụm từ chính để đưa vào bản tóm tắt. Một công trình quan trọng trong giai đoạn này là của Luhn (1958), người đã đề xuất một phương pháp dựa trên tần suất của các từ quan trọng [15], đặt nền móng cho việc tóm tắt văn bản tự động.

Đột phá với học máy Sự ra đời của học máy đã mang lại sự thay đổi lớn trong nghiên cứu ở lĩnh vực tóm tắt văn bản. Các kỹ thuật như Máy vectơ hỗ trợ (SVM) và cây quyết định đã được sử dụng để phân loại các câu dựa trên khả năng chúng được đưa vào bản tóm tắt. Công trình của Kupiec, Pedersen và Chen (1995) về một thuật toán tóm tắt văn bản có thể huấn luyện được [12] đã đánh dấu cột mốc quan trọng, cho thấy tiềm năng của học máy trong việc tự động hóa quá trình tóm tắt. Cuộc cách mạng học sâu Thập kỷ vừa qua đã có nhiều thay đổi nhờ cuộc cách mạng học sâu.

Sự ra đời của các mô hình khung tuần tự (seq2seq) của Sutskever, Vinyals và Le (2014) [18] cũng như sự phát triển của các cơ chế chú ý (attention) và mô hình biến đổi (Transformer) sau đó đã cải thiện đáng kể chất lượng trong cả bài toán tóm tắt trích xuất và tóm tắt tóm lược. Đáng chú ý là mô hình BERT của Devlin et al. (2018) [10] và GPT của OpenAI đã thiết lập ra các tiêu chuẩn mới trong việc tạo các bản tóm tắt mạch lạc và phù hợp với ngữ cảnh. Sự xuất hiện của mã hoá ngữ cảnh (Contextual Embeddings) và các mô hình biến đổi (Transformer) Khái niệm mã hoá ngữ cảnh, được giới thiệu bởi các mô hình như BERT (Devlin và cộng sự, 2018) [10] và ELMo (Peters và cộng sự, 2018) [16], đã thay đổi cách tiếp cận trong việc hiểu các sắc thái ngữ nghĩa của văn bản, mang lại lợi ích đáng kể cho các nhiệm vụ tóm tắt tóm lược nói riêng và Xử lý ngôn ngữ tự Nhiên nói chung.

Các mô hình biến đổi (Transformer), với cơ chế tự chú ý (self-attention), đã cải tiến hơn nữa khả năng nắm bắt bản chất của văn bản qua các chuỗi dài, khiến chúng đặc biệt phù hợp để ứng dụng trong tóm tắt các văn bản phức tạp. Lĩnh vực tóm tắt văn bản đã được nghiên cứu từ lâu trên thế giới, đi từ việc sử 8 dụng các cách xử lý dựa trên quy tắc, tới sự phát triển các mô hình học máy tiên tiến ngày nay, đã cho thấy sự phát triển mạnh mẽ và tầm quan trọng của lĩnh vực này.2 Thảo luận một số nghiên cứu về tóm tắt văn bản tại Việt Nam Tại Việt Nam, lĩnh vực tóm tắt văn bản cũng nhận được nhiều chú ý trong thời gian gần đây. Các nghiên cứu mới nhất tập trung vào việc áp dụng các kỹ thuật NLP tiên tiến vào giải quyết bài toán. Phần này nêu bật những nghiên cứu chính ở Việt Nam đã góp phần đáng kể vào sự tiến bộ của công nghệ tóm tắt văn bản Tiếng Việt.

Sử dụng các mô hình khung tuần tự Trong nghiên cứu “Tóm tắt văn bản tiếng Việt tự động với mô hình Sequence- to-Sequence” của Lâm Quang Tường, Phạm Thế Phi và Đỗ Đức Hào, các nhà nghiên cứu đã sử dụng phương pháp học sâu để tự động hóa việc tóm tắt văn bản cho Tiếng Việt [5].