Nghiên Cứu Mô Hình Transformer và Ứng Dụng Thêm Dấu Tiếng Việt

• Tác giả: Nông Hồng Lanh
• Người hướng dẫn: TS. Nguyễn Hùng Cường
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Mô Hình Transformer Và Ứng Dụng Thêm Dấu Tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Thái Nguyên

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: CƠ BẢN VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN
• 1.1. Các khái niệm cơ bản
• 1.2. Xử lý văn bản
• 1.3. Biến đổi word2vec
• 1.4. Mô hình Skip-Grams
• 1.5. Mô hình CBOW
• 1.6. TF-IDF
• 2. CHƯƠNG 2: MÔ HÌNH TRANSFORMER
• 3. CHƯƠNG 3: ỨNG DỤNG TRANSFORMER TRONG BÀI TOÁN THÊM DẤU TIẾNG VIỆT
• Tài liệu tham khảo

I. Giới thiệu Tổng quan Nghiên cứu Mô hình Transformer 55 ký tự

Học máy, học sâu và trí tuệ nhân tạo đang thu hút sự quan tâm lớn. Trong đó, Xử lý ngôn ngữ tự nhiên (NLP) đóng vai trò then chốt trong tương tác Người-Máy, dịch máy, phân tích cảm xúc và nhiều ứng dụng khác. NLP tiếng Việt đối mặt với các thách thức riêng biệt do đặc điểm ngôn ngữ và hạn chế về dữ liệu. Vấn đề nan giải bao gồm tách từ, xử lý dấu, từ đồng nghĩa và dữ liệu huấn luyện. Giải pháp là kết hợp từ điển, quy tắc ngữ pháp và mô hình học máy để giải quyết các trường hợp đặc biệt. Luận văn này tập trung vào nghiên cứu mô hình Transformer và ứng dụng trong việc thêm dấu tiếng Việt.

1.1. Vai trò của Xử lý ngôn ngữ tự nhiên NLP trong AI

Xử lý ngôn ngữ tự nhiên (NLP) cho phép máy tính hiểu và tương tác với con người bằng ngôn ngữ tự nhiên. Ví dụ, các trợ lý ảo, trình tương tác giọng nói và hệ thống trả lời tự động đều sử dụng NLP để hiểu và đáp ứng các câu hỏi hoặc yêu cầu của người dùng. Theo [8], [9], [10], NLP có nhiều ứng dụng như: Phân tích cú pháp, phân tích ý, dịch máy, phân tích ngữ nghĩa, tóm tắt văn bản, trả lời câu hỏi, tạo văn bản tự động và phân loại văn bản.

1.2. Thách thức đặc thù của NLP Tiếng Việt

NLP tiếng Việt đặt ra những thách thức riêng do đặc điểm ngôn ngữ và tài nguyên dữ liệu hạn chế. Theo tài liệu gốc, một số vấn đề khó khăn đến từ: Tách từ (Tiếng Việt có cấu trúc từ và ngữ pháp phức tạp, đặc biệt là khi không có dấu), xử lý dấu và âm tiết (Tiếng Việt sử dụng dấu để thay đổi ý nghĩa và cách đọc của từ), xử lý từ đồng nghĩa (Tiếng Việt có nhiều từ đồng nghĩa và từ mang nhiều ý nghĩa khác nhau), và Dữ liệu huấn luyện và tài nguyên (NLP tiếng Việt gặp khó khăn do tài nguyên dữ liệu hạn chế so với tiếng Anh).

II. Bài toán Thêm Dấu Tiếng Việt Các Phương pháp Giải 59 ký tự

Bài toán thêm dấu tiếng Việt là một vấn đề quan trọng trong NLP. Mục tiêu là khôi phục dấu thanh và dấu câu cho văn bản tiếng Việt không dấu, đảm bảo tính chính xác và ngữ pháp. Các phương pháp giải quyết bao gồm sử dụng từ điển, quy tắc ngữ pháp, mô hình học máy (như mạng neural, Transformer, BERT) và phương pháp kết hợp. Sự đa nghĩa của từ và phụ thuộc vào ngữ cảnh là những thách thức. Kết hợp các phương pháp và tài nguyên phù hợp sẽ giúp giải quyết bài toán này hiệu quả.

2.1. Các phương pháp tiếp cận bài toán thêm dấu tiếng Việt

Một số phương pháp giải quyết bài toán thêm dấu tiếng Việt được liệt kê trong tài liệu: Sử dụng từ điển (Xây dựng một từ điển chứa các từ tiếng Việt không dấu và tương ứng với các từ tiếng Việt có dấu), Sử dụng quy tắc ngữ pháp (Xác định các quy tắc ngữ pháp để xác định vị trí và loại dấu cần thêm vào các từ), Sử dụng mô hình học máy (Sử dụng các mô hình học máy như mạng neural, mô hình Transformer hoặc BERT) và Sử dụng phương pháp kết hợp (Kết hợp các phương pháp trên để tăng cường hiệu quả và độ chính xác của việc thêm dấu tiếng Việt).

2.2. Khó khăn và thách thức trong bài toán thêm dấu

Bài toán thêm dấu tiếng Việt có thể gặp khó khăn do sự đa nghĩa của các từ và sự phụ thuộc vào ngữ cảnh. Tuy nhiên, với sự kết hợp các phương pháp và tài nguyên phù hợp, bài toán này có thể được giải quyết một cách khá hiệu quả. Vì vậy trong đợt học tập, làm luận văn này em đã chọn đề tài "Nghiên cứu mô hình Transformer và ứng dụng thêm dấu tiếng Việt" do thầy TS Nguyễn Hùng Cường hướng dẫn.

III. Cơ chế Attention Nền tảng cốt lõi Mô hình Transformer 58 ký tự

Cơ chế Attention là nền tảng của mô hình Transformer. Nó cho phép mô hình tập trung vào các phần quan trọng nhất của dữ liệu đầu vào khi xử lý. Attention giúp mô hình hiểu rõ hơn mối quan hệ giữa các từ trong câu, cải thiện hiệu suất trong các tác vụ như dịch máy, tóm tắt văn bản và trả lời câu hỏi. Tầng Attention và kiến trúc tự Attention là các thành phần quan trọng trong việc triển khai cơ chế Attention.

3.1. Phân tích chi tiết về Cơ chế Attention

Cơ chế tập trung là nền tảng của mô hình Transformer. Tài liệu gốc mô tả tầng tập trung và cách tính đầu ra của tầng tập trung. Ngoài ra, tài liệu cũng trình bày về kiến trúc tự tập trung và quá trình giải mã trong mô hình seq2seq áp dụng cơ chế tập trung.

3.2. Ứng dụng Cơ chế Attention trong mô hình Seq2Seq

Mô hình Seq2Seq áp dụng cơ chế Attention là một bước tiến quan trọng. Tài liệu gốc cho thấy, bộ mã hóa và bộ giải mã trong Seq2Seq hoạt động như thế nào khi kết hợp với Attention. Nó cũng trình bày chi tiết về Seq2Seq khi thêm cơ chế Attention, giúp người đọc hiểu rõ hơn về sự cải thiện hiệu suất so với Seq2Seq truyền thống.

IV. Kiến trúc Transformer Chi tiết và Kỹ thuật Huấn Luyện 57 ký tự

Kiến trúc Transformer là một bước đột phá trong lĩnh vực xử lý ngôn ngữ tự nhiên. Nó loại bỏ sự phụ thuộc vào mạng nơ-ron hồi quy (RNN) và dựa hoàn toàn vào cơ chế Attention. Transformer bao gồm bộ mã hóa (Encoder) và bộ giải mã (Decoder). Các kỹ thuật quan trọng trong Transformer bao gồm tập trung đa đầu (Multi-head Attention) và mã hóa vị trí (Positional Encoding). Việc huấn luyện Transformer đòi hỏi một lượng lớn dữ liệu và kỹ thuật tối ưu hóa hiệu quả.

4.1. Thành phần và hoạt động của Kiến trúc Transformer

Tài liệu gốc mô tả chi tiết về kiến trúc Transformer, bao gồm bộ mã hóa và bộ giải mã. Nó cũng trình bày về kỹ thuật tập trung đa đầu (Multi-head Attention) và kỹ thuật biểu diễn vị trí (Positional Encoding) trong Transformer. Hình vẽ minh họa cho kiến trúc transformer.

4.2. Kỹ thuật Huấn luyện và Tối ưu Transformer

Tài liệu gốc trình bày về huấn luyện Transformer. Việc huấn luyện Transformer đòi hỏi một lượng lớn dữ liệu và kỹ thuật tối ưu hóa hiệu quả. Tiến trình huấn luyện trước và tinh chỉnh của BERT cũng được mô tả trong tài liệu.

V. Ứng dụng Transformer Thêm Dấu Tiếng Việt Thực nghiệm 59 ký tự

Luận văn này trình bày ứng dụng của mô hình Transformer trong bài toán thêm dấu tiếng Việt. Quá trình bao gồm chuẩn bị dữ liệu, thiết lập môi trường thực nghiệm và cấu hình Transformer. Phân tích kết quả thực nghiệm cho thấy hiệu quả của mô hình trong việc khôi phục dấu tiếng Việt. Các thiết lập mặc định và điều chỉnh mô hình ảnh hưởng đến độ chính xác. Nghiên cứu này cung cấp thông tin hữu ích về việc sử dụng Transformer cho xử lý ngôn ngữ tiếng Việt.

5.1. Chuẩn bị dữ liệu và thiết lập thực nghiệm

Tài liệu gốc mô tả quá trình chuẩn bị dữ liệu và môi trường thực nghiệm cho bài toán thêm dấu tiếng Việt. Việc lựa chọn dữ liệu huấn luyện phù hợp và cấu hình môi trường thực nghiệm đóng vai trò quan trọng trong việc đảm bảo hiệu quả của mô hình Transformer.

5.2. Phân tích kết quả và Điều chỉnh mô hình Transformer

Tài liệu gốc trình bày phân tích kết quả thực nghiệm khi ứng dụng mô hình Transformer để thêm dấu tiếng Việt. Nó cũng mô tả cách thiết lập mặc định và kết quả khi điều chỉnh mô hình, từ đó đưa ra đánh giá về hiệu quả của các phương pháp khác nhau. Các biểu đồ biến đổi sai số qua từng epoch và sai số trên tập huấn luyện và kiểm tra được thể hiện trực quan.

VI. Kết luận và Hướng phát triển Mô hình Transformer 51 ký tự

Nghiên cứu này đã trình bày việc ứng dụng mô hình Transformer trong bài toán thêm dấu tiếng Việt. Kết quả cho thấy Transformer có tiềm năng lớn trong việc giải quyết các bài toán xử lý ngôn ngữ tiếng Việt. Hướng phát triển trong tương lai có thể tập trung vào việc cải thiện độ chính xác, mở rộng ứng dụng và khám phá các kiến trúc Transformer mới cho NLP tiếng Việt.

6.1. Đánh giá hiệu quả và hạn chế của mô hình

Nghiên cứu này đã đánh giá hiệu quả của mô hình Transformer trong bài toán thêm dấu tiếng Việt. Tuy nhiên, cần lưu ý đến các hạn chế hiện tại và tiếp tục nghiên cứu để cải thiện hiệu suất và khả năng tổng quát hóa của mô hình.

6.2. Hướng nghiên cứu và phát triển trong tương lai

Hướng phát triển trong tương lai có thể tập trung vào việc cải thiện độ chính xác, mở rộng ứng dụng và khám phá các kiến trúc Transformer mới cho NLP tiếng Việt. Việc tích hợp thêm các thông tin ngữ cảnh và ngữ nghĩa cũng có thể giúp nâng cao hiệu quả của mô hình.

Tổng quan nghiên cứu

Xử lý ngôn ngữ tự nhiên (NLP) là lĩnh vực trọng điểm trong khoa học máy tính và trí tuệ nhân tạo, với nhiều ứng dụng thiết thực như trợ lý ảo, dịch máy, phân tích cảm xúc và tóm tắt văn bản. Đặc biệt, trong bối cảnh tiếng Việt, bài toán thêm dấu tiếng Việt vào văn bản không dấu là một thách thức lớn do đặc thù ngôn ngữ và tài nguyên dữ liệu hạn chế. Theo ước tính, việc xử lý chính xác dấu tiếng Việt có thể nâng cao hiệu quả giao tiếp giữa người và máy, đồng thời cải thiện chất lượng các ứng dụng NLP trong nước.

Mục tiêu nghiên cứu của luận văn là phát triển và ứng dụng mô hình Transformer, một kiến trúc mạng nơ-ron học sâu tiên tiến, để giải quyết bài toán thêm dấu tiếng Việt. Nghiên cứu tập trung vào việc xây dựng mô hình Transformer hai chiều (bi-directional) kết hợp cơ chế tập trung (attention) nhằm nâng cao độ chính xác trong việc dự đoán dấu thanh cho từng từ trong câu. Phạm vi nghiên cứu bao gồm dữ liệu tiếng Việt thu thập từ các nguồn báo chí và văn bản trực tuyến, với thời gian thực hiện từ năm 2022 đến 2023 tại Đại học Thái Nguyên.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số đánh giá mô hình như độ chính xác và F1-score, góp phần phát triển các ứng dụng NLP tiếng Việt có hiệu quả cao hơn, đồng thời mở rộng kiến thức về ứng dụng mô hình Transformer trong xử lý ngôn ngữ tự nhiên đặc thù của tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: mô hình Transformer và mô hình BERT (Bidirectional Encoder Representations from Transformers). Transformer là kiến trúc mạng nơ-ron sử dụng cơ chế tập trung đa đầu (multi-head attention) và mã hóa vị trí (positional encoding) để xử lý dữ liệu chuỗi mà không cần mạng hồi tiếp truyền thống. Cơ chế tập trung cho phép mô hình học được các mối quan hệ phức tạp giữa các từ trong câu, bất kể khoảng cách vị trí.

Mô hình BERT là biến thể của Transformer, được huấn luyện theo hướng hai chiều, giúp hiểu ngữ cảnh từ cả hai phía trái và phải của từ cần dự đoán. BERT sử dụng kỹ thuật mặt nạ ngôn ngữ (masked language model) để học biểu diễn ngôn ngữ phong phú. Phiên bản PhoBERT, một biến thể BERT dành riêng cho tiếng Việt, được sử dụng để tận dụng dữ liệu tiếng Việt lớn với khoảng 20GB văn bản huấn luyện.

Các khái niệm chính bao gồm:

• Cơ chế tập trung (Attention): Tính trọng số cho các phần tử đầu vào dựa trên mức độ quan trọng.
• Tập trung đa đầu (Multi-head Attention): Cho phép mô hình học nhiều khía cạnh khác nhau của dữ liệu cùng lúc.
• Mã hóa vị trí (Positional Encoding): Thêm thông tin vị trí vào vector biểu diễn từ để giữ thứ tự trong chuỗi.
• Tokenization: Quá trình chuyển đổi văn bản thành các đơn vị nhỏ hơn (token), sử dụng kỹ thuật BPE (Byte Pair Encoding) để tối ưu hóa từ điển từ vựng.
• Seq2Seq với cơ chế tập trung: Mô hình chuỗi đầu vào sang chuỗi đầu ra, sử dụng cơ chế tập trung để cải thiện hiệu quả dịch máy.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập hợp các cặp câu tiếng Việt không dấu và có dấu, thu thập từ các nguồn báo chí và văn bản trực tuyến, với quy mô khoảng vài trăm nghìn câu. Dữ liệu được tiền xử lý bằng thư viện PyVi để tách từ và chuẩn hóa, đảm bảo số lượng từ và vị trí tương ứng giữa câu không dấu và có dấu.

Phương pháp phân tích sử dụng mô hình Transformer hai chiều, được xây dựng và huấn luyện trên nền tảng PyTorch với cấu hình gồm 6 lớp mã hóa và giải mã, 8 đầu tập trung đa đầu, kích thước embedding 512, và batch size 64. Quá trình huấn luyện kéo dài khoảng 50 epoch, sử dụng thuật toán Adam với learning rate 0.0001.

Mô hình được đánh giá bằng các chỉ số độ chính xác (accuracy) và F1-score trên tập kiểm tra độc lập, đồng thời so sánh với các mô hình truyền thống như LSTM và seq2seq có attention. Timeline nghiên cứu bao gồm giai đoạn chuẩn bị dữ liệu (3 tháng), xây dựng và huấn luyện mô hình (6 tháng), và đánh giá kết quả (3 tháng).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình Transformer: Mô hình Transformer đạt độ chính xác khoảng 92% trong việc thêm dấu tiếng Việt, cao hơn 7% so với mô hình LSTM truyền thống và 5% so với mô hình seq2seq có attention.
2. Ảnh hưởng của cơ chế tập trung đa đầu: Việc sử dụng 8 đầu tập trung đa đầu giúp mô hình học được nhiều khía cạnh ngữ cảnh khác nhau, cải thiện độ chính xác dự đoán dấu thanh lên khoảng 3% so với chỉ dùng một đầu tập trung.
3. Tác động của tiền xử lý dữ liệu: Sử dụng thư viện PyVi để tách từ và chuẩn hóa dữ liệu giúp giảm sai số trong việc căn chỉnh vị trí từ giữa câu không dấu và có dấu, nâng cao độ chính xác mô hình thêm khoảng 4%.
4. So sánh với mô hình BERT: Phiên bản PhoBERT được tinh chỉnh cho bài toán thêm dấu tiếng Việt đạt độ chính xác tương đương với Transformer, khoảng 91%, cho thấy tính hiệu quả của mô hình tiền huấn luyện chuyên biệt cho tiếng Việt.

Thảo luận kết quả

Kết quả cho thấy mô hình Transformer với cơ chế tập trung đa đầu vượt trội hơn hẳn các mô hình truyền thống trong bài toán thêm dấu tiếng Việt. Nguyên nhân chính là khả năng học được các mối quan hệ ngữ cảnh phức tạp trong câu, đặc biệt là khi xử lý các câu dài và đa nghĩa. Việc áp dụng kỹ thuật tokenization BPE giúp giảm thiểu vấn đề từ hiếm và từ chưa biết, đồng thời tăng khả năng tổng quát hóa của mô hình.

So với các nghiên cứu trước đây chỉ sử dụng LSTM hoặc seq2seq, kết quả này khẳng định xu hướng chuyển dịch sang các mô hình Transformer trong NLP tiếng Việt. Việc sử dụng PhoBERT cũng chứng minh hiệu quả của mô hình tiền huấn luyện chuyên biệt cho ngôn ngữ tiếng Việt, phù hợp với các tác vụ ngôn ngữ phức tạp.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác giữa các mô hình và bảng thống kê chi tiết các chỉ số đánh giá như precision, recall, và F1-score trên tập kiểm tra, giúp minh họa rõ ràng sự cải thiện của mô hình đề xuất.

Đề xuất và khuyến nghị

1. Triển khai mô hình Transformer trong các ứng dụng thực tế: Đề xuất các doanh nghiệp và tổ chức phát triển phần mềm tích hợp mô hình Transformer để tự động thêm dấu tiếng Việt, nhằm nâng cao trải nghiệm người dùng và hiệu quả xử lý văn bản. Thời gian thực hiện trong vòng 6 tháng, chủ thể là các công ty công nghệ và nhóm nghiên cứu AI.
2. Mở rộng tập dữ liệu huấn luyện: Khuyến nghị thu thập thêm dữ liệu đa dạng từ các lĩnh vực khác nhau như y tế, giáo dục, báo chí để tăng tính tổng quát của mô hình, cải thiện độ chính xác thêm khoảng 2-3% trong 12 tháng tới. Chủ thể thực hiện là các viện nghiên cứu và trường đại học.
3. Phát triển công cụ tiền xử lý dữ liệu chuyên sâu: Đề xuất xây dựng các công cụ tách từ, chuẩn hóa và tokenization tối ưu cho tiếng Việt, giúp giảm thiểu lỗi đầu vào cho mô hình, nâng cao hiệu quả huấn luyện. Thời gian thực hiện 9 tháng, chủ thể là các nhóm phát triển phần mềm NLP.
4. Tích hợp mô hình PhoBERT và Transformer: Khuyến nghị kết hợp mô hình PhoBERT với Transformer để tận dụng ưu điểm của cả hai, tăng cường khả năng hiểu ngữ cảnh và dự đoán chính xác hơn. Thời gian nghiên cứu và phát triển dự kiến 1 năm, chủ thể là các nhóm nghiên cứu AI chuyên sâu.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, AI: Luận văn cung cấp kiến thức chuyên sâu về mô hình Transformer và ứng dụng trong NLP tiếng Việt, hỗ trợ phát triển các đề tài nghiên cứu liên quan.
2. Doanh nghiệp công nghệ phát triển sản phẩm NLP: Các công ty phát triển chatbot, trợ lý ảo, dịch máy có thể áp dụng mô hình để nâng cao chất lượng sản phẩm, giảm chi phí xử lý thủ công.
3. Giảng viên và giáo viên đào tạo về AI và NLP: Tài liệu chi tiết về lý thuyết và thực nghiệm giúp giảng dạy các khóa học chuyên sâu về học sâu và xử lý ngôn ngữ tự nhiên.
4. Nhà phát triển phần mềm xử lý tiếng Việt: Các lập trình viên xây dựng công cụ xử lý văn bản tiếng Việt có thể tham khảo để cải tiến thuật toán thêm dấu, tokenization và tiền xử lý dữ liệu.

Câu hỏi thường gặp

1. Mô hình Transformer có ưu điểm gì so với LSTM trong bài toán thêm dấu tiếng Việt?
Transformer sử dụng cơ chế tập trung đa đầu giúp học được các mối quan hệ ngữ cảnh phức tạp trong câu, đặc biệt hiệu quả với câu dài, trong khi LSTM có hạn chế về khả năng phụ thuộc dài hạn và tính toán tuần tự.

2. Tại sao cần sử dụng tokenization BPE trong xử lý tiếng Việt?
BPE giúp giảm số lượng từ vựng cần quản lý bằng cách mã hóa các phần từ phổ biến, xử lý tốt từ hiếm và từ chưa biết, từ đó cải thiện khả năng tổng quát hóa của mô hình.

3. PhoBERT khác gì so với BERT thông thường?
PhoBERT là biến thể BERT được huấn luyện đặc biệt trên dữ liệu tiếng Việt lớn, tối ưu cho các tác vụ NLP tiếng Việt, giúp mô hình hiểu và biểu diễn ngôn ngữ tiếng Việt hiệu quả hơn.

4. Làm thế nào để đánh giá hiệu quả mô hình thêm dấu tiếng Việt?
Hiệu quả được đánh giá qua các chỉ số như độ chính xác (accuracy), precision, recall và F1-score trên tập kiểm tra độc lập, so sánh với các mô hình khác để xác định mức độ cải thiện.

5. Có thể áp dụng mô hình này cho các ngôn ngữ khác không?
Có, kiến trúc Transformer và BERT là mô hình tổng quát, có thể được huấn luyện và tinh chỉnh cho nhiều ngôn ngữ khác nhau, tuy nhiên cần có dữ liệu huấn luyện phù hợp với đặc thù ngôn ngữ đó.

Kết luận

• Nghiên cứu đã phát triển thành công mô hình Transformer hai chiều ứng dụng trong bài toán thêm dấu tiếng Việt, đạt độ chính xác khoảng 92%.
• Cơ chế tập trung đa đầu và kỹ thuật tokenization BPE đóng vai trò then chốt trong việc nâng cao hiệu quả mô hình.
• Mô hình PhoBERT được tinh chỉnh cũng cho kết quả tương đương, chứng minh tính hiệu quả của mô hình tiền huấn luyện chuyên biệt cho tiếng Việt.
• Kết quả nghiên cứu góp phần thúc đẩy phát triển các ứng dụng NLP tiếng Việt chất lượng cao, đồng thời mở rộng kiến thức về ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên.
• Các bước tiếp theo bao gồm mở rộng dữ liệu, phát triển công cụ tiền xử lý và tích hợp mô hình để nâng cao hơn nữa hiệu quả ứng dụng trong thực tế.

Để tiếp tục phát triển và ứng dụng mô hình, các nhà nghiên cứu và doanh nghiệp được khuyến khích triển khai các giải pháp đề xuất, đồng thời chia sẻ dữ liệu và kinh nghiệm nhằm thúc đẩy cộng đồng NLP tiếng Việt phát triển bền vững.