Nghiên cứu ứng dụng học sâu vào dịch từ vựng mà không cần dữ liệu song ngữ

Luận văn thạc sĩ phân tích máy tính ứng dụng học sâu vào dịch từ vựng mà không cần dữ liệu song ngữ, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Người hướng dẫn: PGS.TS Quang
• Trường học: HCM University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Ứng Dụng Học Sâu Trong Dịch Từ Vựng Không Cần Dữ Liệu Song Ngữ
• Loại tài liệu: thesis
• Năm xuất bản: 2021
• Địa điểm: HCM

Mục lục chi tiết

• NHIỆM VỤ LUẬN VĂN THẠC SĨ
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC MÃ CHƯƠNG TRÌNH
• DANH MỤC CHỮ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tổng quan
• 1.2. Tính ứng dụng của đề tài
• 1.3. Mục tiêu và giới hạn của đề tài
• 1.4. Cấu trúc của luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH LIÊN QUAN
• 2.1. Sutskever, "Exploiting similarities among languages for machine translation"
• 2.2. Lin, "Normalized word embedding and orthogonal transform for bilingual word translation"
• 2.3. Smith, "Massively multilingual word embeddings"
• 2.4. Jégou, "Word translation without parallel data"
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN)
• 3.1.1. Giới thiệu
• 3.1.2. Các hàm kích hoạt
• 3.1.3. Hàm chi phí mất mát
• 3.1.4. Các kỹ thuật xử lý với mạng nơ-ron
• 3.2. Mô hình Word Embedding
• 3.2.1. Véc-tơ One-hot
• 3.2.2. Mô hình Word2Vec
• 3.2.3. Mô hình FastText
• 3.3. Phương pháp phân tích Singular Value Decomposition (SVD)
• 3.4. Vấn đề trực giao Procrustes và cách giải quyết
• 3.5. Quá trình hoạt động khi huấn luyện GAN
• 4. CHƯƠNG 4: PHƯƠNG PHÁP HIỆN THỰC HỆ THỐNG
• 4.1. Tổng hợp dữ liệu và xử lý dữ liệu
• 4.1.1. Huấn luyện word2vec cho các tập corpus đơn ngữ
• 4.1.2. Huấn luyện fasttext cho tập corpus đơn ngữ
• 4.2. Ngôn ngữ và thư viện
• 4.3. Xây dựng mô hình Mapper
• 4.4. Các tham số tham gia quá trình huấn luyện GAN
• 4.5. Chiến lược huấn luyện GAN
• 4.5.1. Cập nhật Learning Rate qua từng epoch
• 4.5.2. Sử dụng Smoothing Label
• 4.5.3. Trực giao hóa ma trận
• 4.6. Độ đo khoảng cách giữa từ được sinh ra và từ của ngôn ngữ đích
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 5.1. Kết quả bộ từ điển Anh - Việt sinh ra từ Word2vec
• 5.2. Kết quả bộ từ điển Anh - Pháp sinh ra từ Word2vec
• 5.3. Kết quả bộ từ điển Anh - Pháp sinh ra từ FastText
• 5.4. Đánh giá mô hình
• 5.5. Ảnh hưởng của chất lượng corpus và kích thước từ vựng đến kết quả
• 5.6. Ảnh hưởng của cấu trúc từ vựng của ngôn ngữ đến kết quả
• 5.7. Ảnh hưởng của các loại Word Embedding đến kết quả
• 5.8. Ảnh hưởng của tính toán Procrustes đến kết quả
• 6. CHƯƠNG 6: TỔNG KẾT VÀ ĐỊNH HƯỚNG TƯƠNG LAI
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Trong thời đại công nghệ thông tin hiện nay, học sâu đã trở thành một công cụ mạnh mẽ trong nhiều lĩnh vực, đặc biệt là trong dịch máy. Một trong những thách thức lớn nhất trong dịch từ vựng là việc thiếu dữ liệu song ngữ. Các nghiên cứu gần đây đã chỉ ra rằng việc sử dụng dữ liệu không giám sát có thể giúp xây dựng từ điển song ngữ mà không cần đến dữ liệu song ngữ. Điều này mở ra nhiều cơ hội mới cho việc phát triển các mô hình dịch tự động hiệu quả hơn. Mục tiêu của bài viết này là khám phá các phương pháp sử dụng mô hình ngôn ngữ để giải quyết vấn đề dịch từ vựng mà không cần đến dữ liệu song ngữ.

1.1. Tầm quan trọng của từ vựng trong dịch thuật

Từ vựng là một phần thiết yếu trong bất kỳ ngôn ngữ nào. Việc dịch chính xác từ vựng không chỉ ảnh hưởng đến độ chính xác của bản dịch mà còn ảnh hưởng đến ý nghĩa tổng thể của văn bản. Sự phát triển của các phương pháp học máy và học sâu đã tạo ra những bước tiến đáng kể trong việc cải thiện độ chính xác của dịch ngôn ngữ. Tuy nhiên, việc thiếu dữ liệu song ngữ vẫn là một rào cản lớn. Các mô hình như Word2Vec và FastText đã được sử dụng để tạo ra các không gian nhúng từ vựng, giúp cải thiện khả năng dịch mà không cần đến dữ liệu song ngữ. Điều này cho thấy sự cần thiết của việc nghiên cứu các phương pháp mới trong lĩnh vực này.

II. Các phương pháp học sâu trong dịch từ vựng

Để giải quyết vấn đề thiếu dữ liệu song ngữ, các phương pháp học sâu như Generative Adversarial Networks (GAN) đã được áp dụng. GAN cho phép tạo ra các mô hình dịch từ vựng bằng cách đồng bộ hóa không gian nhúng từ của các ngôn ngữ khác nhau. Việc sử dụng học không giám sát giúp giảm thiểu sự phụ thuộc vào dữ liệu song ngữ, từ đó mở rộng khả năng dịch cho nhiều ngôn ngữ khác nhau. Một trong những thách thức lớn là cách thức ánh xạ giữa các không gian nhúng từ khác nhau. Phương pháp Orthogonal Procrustes đã được áp dụng để điều chỉnh các không gian nhúng này, tạo ra một mô hình dịch từ vựng hiệu quả hơn.

2.1. Mô hình Word2Vec và FastText

Mô hình Word2Vec và FastText đã chứng minh được hiệu quả trong việc tạo ra các không gian nhúng từ vựng. Word2Vec sử dụng hai kiến trúc chính là Continuous Bag of Words (CBOW) và Skip-gram để học từ vựng từ một tập hợp lớn các văn bản. Trong khi đó, FastText mở rộng Word2Vec bằng cách sử dụng các subword, cho phép mô hình hiểu rõ hơn về cấu trúc từ. Điều này rất quan trọng trong việc dịch từ vựng, đặc biệt là khi làm việc với các ngôn ngữ có cấu trúc từ phức tạp. Việc áp dụng các mô hình này trong việc dịch từ vựng không cần dữ liệu song ngữ đã cho thấy những kết quả khả quan.

III. Đánh giá và ứng dụng thực tiễn

Việc áp dụng học sâu trong dịch từ vựng không cần dữ liệu song ngữ không chỉ giúp cải thiện độ chính xác trong dịch thuật mà còn mở ra nhiều cơ hội mới trong nghiên cứu ngôn ngữ. Các mô hình học sâu có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ giáo dục đến công nghiệp. Việc phát triển các mô hình này có thể giúp giảm thiểu chi phí và thời gian cần thiết cho việc dịch thuật, đồng thời nâng cao khả năng tiếp cận thông tin cho người dùng. Sự phát triển của các công nghệ này cũng đặt ra nhiều câu hỏi về tính chính xác và đạo đức trong việc sử dụng AI trong dịch thuật.

3.1. Tiềm năng tương lai của dịch máy

Dịch máy đang bước vào một giai đoạn mới với sự phát triển nhanh chóng của công nghệ AI. Các mô hình học sâu không ngừng được cải tiến, mở ra những khả năng mới trong việc dịch thuật. Trong tương lai, việc phát triển các mô hình dịch từ vựng không cần dữ liệu song ngữ sẽ trở nên phổ biến hơn, giúp giải quyết các vấn đề trong dịch thuật đa ngôn ngữ. Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác và khả năng hiểu ngữ cảnh của các mô hình này, từ đó nâng cao chất lượng dịch thuật.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và toàn cầu hóa thông tin, rào cản ngôn ngữ vẫn là thách thức lớn đối với việc chia sẻ tri thức nhân loại. Theo ước tính từ các tổ chức ngôn ngữ học quốc tế, thế giới có hơn 7.000 ngôn ngữ nhưng hơn 90% trong số đó là các ngôn ngữ nghèo tài nguyên (low-resource languages), hoàn toàn thiếu hụt các kho ngữ liệu song ngữ quy mô lớn để huấn luyện các hệ thống dịch máy truyền thống. Các mô hình dịch thuật kinh điển thường đòi hỏi hàng triệu cặp câu song ngữ đối sánh với chi phí xây dựng tốn kém hàng trăm nghìn USD. Nhằm giải quyết triệt để bài toán này, luận văn thạc sĩ chuyên ngành Khoa học Máy tính thực hiện năm 2021 tại Trường Đại học Bách khoa – Đại học Quốc gia Thành phố Hồ Chí Minh đã tập trung nghiên cứu giải pháp dịch từ vựng tự động mà không cần bất kỳ ngữ liệu song ngữ nào.

Mục tiêu cốt lõi của công trình là xây dựng thành công bộ từ điển song ngữ chuẩn xác giữa các cặp ngôn ngữ độc lập như Anh – Việt và Anh – Pháp thông qua việc ánh xạ không gian nhúng từ (word embeddings) đơn ngữ trong không gian vector 300 chiều. Nghiên cứu khai thác sức mạnh của mạng đối kháng tạo sinh kết hợp với nghiệm trực giao Procrustes để tự động căn chỉnh phân bố ngữ nghĩa. Kết quả thử nghiệm thực tế chứng minh mô hình đạt độ chính xác ấn tượng lên tới 97% trên tập mẫu đánh giá, mở ra hướng đi đột phá giúp tiết kiệm 100% chi phí thu thập ngữ liệu song ngữ và đẩy nhanh tiến trình bảo tồn ngôn ngữ thiểu số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên 2 nền tảng lý thuyết lớn của trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên:

1. Lý thuyết biểu diễn ngữ nghĩa phân bố và không gian nhúng từ: Các mô hình như Word2Vec (gồm kiến trúc CBOW và Skip-gram) và FastText giả định rằng các từ xuất hiện trong ngữ cảnh tương đồng sẽ có vị trí gần nhau trong không gian vector đa chiều. Đặc biệt, cấu trúc hình học của không gian ngữ nghĩa giữa các ngôn ngữ nhân loại có tính chất đồng hình (isomorphic) cao, cho phép thiết lập phép biến đổi tuyến tính qua lại.
2. Lý thuyết trò chơi Minimax và Mạng đối kháng tạo sinh (GAN): Mô hình gồm mạng sinh (Mapper/Generator) đóng vai trò biến đổi không gian từ ngôn ngữ nguồn sang không gian ngôn ngữ đích, và mạng phân biệt (Discriminator) cố gắng nhận diện nguồn gốc của vector. Hai mạng cạnh tranh liên tục để tối ưu hóa hàm mục tiêu cực tiểu - cực đại.
3. Bài toán trực giao Procrustes: Định lý đại số tuyến tính của Schönemann từ năm 1966 chứng minh rằng việc tìm ma trận quay tối ưu nhằm khớp hai tập điểm có thể giải quyết chính xác thông qua phép phân tích suy biến giá trị đơn lẻ (Singular Value Decomposition - SVD).

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu đơn ngữ thuần túy được trích xuất và xử lý từ kho dữ liệu mở Wikipedia (tiếng Anh, tiếng Pháp, tiếng Việt) và tập ngữ liệu báo chí tiếng Việt BinhVQ với quy mô hơn 1.000.000 câu văn bản. Cỡ mẫu từ vựng được chọn lọc thông qua phương pháp lấy mẫu theo ngưỡng tần suất xuất hiện, loại bỏ toàn bộ các từ có tần số xuất hiện dưới 5 lần (min_count = 5) nhằm loại bỏ nhiễu và đảm bảo chất lượng biểu diễn ngữ nghĩa. Đối với FastText, các đoạn ký tự con (sub-words) được chia tách theo kích thước n-gram từ 3 đến 6 ký tự.

Lý do lựa chọn phương pháp phân tích kết hợp giữa mạng GAN và thuật toán trực giao Procrustes là nhằm tận dụng khả năng học phân bố không giám sát của GAN để tìm ra điểm khởi tạo ma trận ánh xạ ban đầu, sau đó dùng phép phân tích SVD trong Procrustes để tinh chỉnh ma trận quay trực giao, bảo toàn nguyên vẹn độ dài Euclid và khoảng cách góc giữa các từ. Quá trình huấn luyện sử dụng framework PyTorch trên hệ thống GPU chuyên dụng, mạng phân biệt được cấu hình gồm các tầng ẩn 2048 nơ-ron kết hợp hàm kích hoạt LeakyReLU và kỹ thuật làm mịn nhãn (Smoothing Label từ 0.1 đến 0.9). Toàn bộ timeline thực nghiệm kéo dài qua 25 epoch lặp với chiến lược suy giảm tốc độ học (learning rate decay) linh hoạt dựa trên ngưỡng đo lường khoảng cách CSLS (Cross-Domain Similarity Local Scaling).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận 4 phát hiện quan trọng có giá trị học thuật và ứng dụng cao:

1. Độ chính xác vượt trội của bộ từ điển Anh – Việt: Mô hình đã tự động sinh ra hàng chục nghìn cặp từ vựng tương đương chính xác giữa tiếng Anh và tiếng Việt với độ chuẩn xác đạt 97% trên tập mẫu kiểm tra ngẫu nhiên. Các thuật ngữ đa âm tiết và từ ngữ mang tính trừu tượng cao như "sustainable" (bền vững), "mechanisms" (cơ chế), "contract" (hợp đồng) đều được ánh xạ trọn vẹn.
2. Hiệu quả tối ưu hóa vượt bậc của phép tinh chỉnh Procrustes: Việc kết hợp giải thuật Procrustes sau khi huấn luyện GAN đã giúp tăng độ chính xác của ma trận chuyển đổi thêm 15% đến 20% so với việc chỉ sử dụng duy nhất mạng GAN thông thường.
3. Tính ưu việt của FastText đối với từ chưa biết (OOV): Việc phân rã n-gram từ 3 đến 6 ký tự của FastText đã giúp giảm thiểu hơn 12% lỗi dịch đối với các biến thể hình thái từ phức tạp so với mô hình Word2Vec truyền thống.
4. Sự hội tụ ổn định của hàm mất mát đối kháng: Nhờ áp dụng kỹ thuật làm mịn nhãn kết hợp trực giao hóa ma trận trọng số theo hệ số beta = 0.01, giá trị hàm mất mát (loss) của mạng phân biệt và mạng sinh đạt trạng thái cân bằng bền vững chỉ sau 25 epoch huấn luyện mà không gặp hiện tượng sụp đổ phân bố (mode collapse).

Thảo luận kết quả

Nguyên nhân cốt lõi giúp phương pháp học không giám sát đạt hiệu quả cao nằm ở tính chất bất biến hình học của các ngôn ngữ. Khi được biểu diễn trong không gian 300 chiều, mối quan hệ giữa các khái niệm phổ quát (như gia đình, thời gian, không gian) luôn tạo thành các cụm hình học tương tự nhau giữa mọi nền văn hóa. Do đó, ma trận biến đổi tuyến tính trực giao hoàn toàn có khả năng xoay và phản chiếu phân bố nguồn khớp hoàn hảo vào phân bố đích mà không làm méo mó cấu trúc nội tại.

Trong các báo cáo phân tích thực nghiệm, dữ liệu nghiên cứu được trực quan hóa vô cùng sinh động thông qua biểu đồ phân tán không gian t-SNE 2 chiều. Biểu đồ thể hiện rõ nét sự biến đổi vị trí: ban đầu các cụm vector tiếng Anh (điểm đỏ) và tiếng Việt (điểm tím) nằm tách biệt hoàn toàn ở hai nửa không gian, nhưng sau 25 epoch tối ưu hóa, các điểm dữ liệu đỏ đã xoay và hòa nhập đồng nhất với các điểm tím. Bên cạnh đó, đồ thị đường biểu diễn độ suy giảm hàm loss qua từng chu kỳ cũng minh chứng rõ ràng cho tốc độ hội tụ nhanh chóng của mô hình.

Đề xuất và khuyến nghị

Dựa trên những phát hiện mang tính đột phá từ đề tài, các giải pháp và khuyến nghị chiến lược được đề xuất như sau:

1. Mở rộng phạm vi thử nghiệm cho 5 đến 10 ngôn ngữ dân tộc thiểu số tại Việt Nam: Các viện nghiên cứu ngôn ngữ và trung tâm công nghệ thông tin cần áp dụng ngay khung kiến trúc này để tự động biên soạn từ điển song ngữ cho các tiếng hiếm (như tiếng Chăm, Ba Na, Ê Đê), hướng tới mục tiêu nâng cao điểm BLEU của các hệ thống dịch máy lên thêm 3 đến 5 điểm trong vòng 12 tháng.
2. Tối ưu hóa kiến trúc nhúng từ ngữ cảnh (Contextual Embeddings): Đội ngũ kỹ sư trí tuệ nhân tạo nên tích hợp các mô hình ngôn ngữ lớn và kiến trúc Transformer đa ngữ để xử lý triệt để hiện tượng từ đa nghĩa, đặt mục tiêu giảm tỷ lệ lỗi chuyển dịch ngữ cảnh xuống dưới 2% trong thời gian 6 tháng.
3. Triển khai ứng dụng số hóa từ điển tự động cho ngành giáo dục: Các cơ quan xuất bản và nền tảng EdTech cần xây dựng phần mềm tự động trích xuất từ vựng chuyên ngành, giúp cắt giảm 80% thời gian và chi phí số hóa dữ liệu từ điển trong giai đoạn 2026 – 2027.
4. Chuẩn hóa quy trình xử lý ngữ liệu đơn ngữ quy mô lớn: Các tổ chức phát triển AI cần thiết lập tiêu chuẩn làm sạch dữ liệu văn bản với quy mô trên 50 triệu câu, kết hợp chuẩn hóa ma trận trực giao và độ đo khoảng cách CSLS để gia tăng độ ổn định của mô hình thêm 5% đến 7% trong vòng 9 tháng tới.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu này mang lại giá trị thực tiễn và học thuật to lớn cho 4 nhóm đối tượng trọng tâm:

1. Học viên cao học, nghiên cứu sinh ngành Khoa học Máy tính và Trí tuệ Nhân tạo: Nắm vững phương pháp luận xây dựng mạng nơ-ron học sâu không giám sát, kỹ thuật tối ưu hóa đối kháng GAN và cách ứng dụng đại số tuyến tính nâng cao vào xử lý ngôn ngữ tự nhiên.
2. Kỹ sư Xử lý Ngôn ngữ Tự nhiên (NLP Engineers) và Chuyên gia AI: Tham khảo mã nguồn kiến trúc Mapper – Discriminator và quy trình tính toán Procrustes trên PyTorch để triển khai các pipeline xây dựng từ điển song ngữ tự động, phục vụ cho các sản phẩm dịch thuật thương mại.
3. Các nhà ngôn ngữ học và chuyên gia bảo tồn văn hóa: Khai thác công nghệ trích xuất từ điển tự động từ dữ liệu văn bản đơn ngữ để nghiên cứu, bảo tồn và phục hồi các ngôn ngữ ít phổ biến mà không phụ thuộc vào chuyên gia đối dịch song ngữ.
4. Giảng viên và nhà nghiên cứu tại các trường đại học khối công nghệ: Sử dụng luận văn làm tài liệu giảng dạy chuyên đề học sâu, minh họa sinh động cho các khái niệm Word Embedding, bài toán trực giao và kỹ thuật đánh giá CSLS trong không gian đa chiều.

Câu hỏi thường gặp

1. Tại sao mô hình có thể dịch chính xác từ vựng mà không cần bất kỳ ngữ liệu song ngữ nào? Mô hình khai thác tính chất đồng hình trong cấu trúc hình học của không gian ngữ nghĩa 300 chiều giữa các ngôn ngữ. Mạng GAN đóng vai trò tìm kiếm phép quay sơ bộ để khớp hai phân bố điểm độc lập, sau đó thuật toán Procrustes tinh chỉnh độ chính xác mà không đòi hỏi bất kỳ cặp từ đối ứng nào làm dữ liệu mồi.

2. Thước đo khoảng cách CSLS có ưu thế gì vượt trội so với khoảng cách Cosine truyền thống? Trong không gian vector nhiều chiều thường xuất hiện hiện tượng điểm trung tâm (Hubness Problem), khiến một số từ trở thành láng giềng gần nhất của hàng trăm từ khác. Độ đo CSLS mở rộng công thức bằng cách trừ đi khoảng cách trung bình đến k láng giềng gần nhất, giúp loại bỏ các điểm nhiễu và nâng cao độ chính xác dịch thuật thêm khoảng 15%.

3. Sự khác biệt cốt lõi giữa Word2Vec và FastText trong mô hình này là gì? Word2Vec gán mỗi từ nguyên vẹn thành một vector duy nhất nên hoàn toàn bất lực trước các từ mới nằm ngoài từ điển (tỷ lệ OOV cao). Ngược lại, FastText chia tách từ thành các đoạn n-gram từ 3 đến 6 ký tự, giúp mô hình nắm bắt được hình thái gốc từ và dịch chính xác các biến thể ngữ pháp với độ chính xác cao hơn 12%.

4. Vai trò then chốt của bài toán trực giao Procrustes sau giai đoạn huấn luyện GAN là gì? Mạng GAN giúp đưa hai phân bố ngôn ngữ về cùng một vùng không gian nhưng ma trận ánh xạ vẫn có thể gây biến dạng nhẹ. Phép biến đổi trực giao Procrustes thông qua phân tích SVD giúp chuẩn hóa ma trận chuyển đổi thành ma trận quay thuần túy, bảo toàn khoảng cách góc và củng cố độ chính xác tổng thể lên đến 97%.

5. Cần cấu hình phần cứng và thời gian bao lâu để huấn luyện hoàn chỉnh mô hình này? Mô hình được tối ưu hóa trên nền tảng PyTorch với kiến trúc mạng nơ-ron gọn nhẹ gồm các tầng ẩn 2048 chiều. Quá trình huấn luyện hội tụ rất nhanh, chỉ mất khoảng vài giờ trên một GPU tiêu chuẩn để hoàn thành 25 epoch huấn luyện cho tập từ điển chứa hơn 50.000 từ vựng.

Kết luận

• Xây dựng thành công giải pháp dịch từ vựng song ngữ hoàn toàn tự động không cần dữ liệu song ngữ, đạt độ chính xác lên đến 97% trên cặp ngôn ngữ Anh – Việt.
• Hiện thực hóa thành công sự kết hợp đột phá giữa mạng đối kháng tạo sinh GAN và nghiệm trực giao Procrustes trong không gian vector 300 chiều.
• Khắc phục triệt để hiện tượng điểm nút mật độ cao nhờ ứng dụng thước đo khoảng cách láng giềng đa miền CSLS và kỹ thuật làm mịn nhãn.
• Cung cấp mã nguồn thực nghiệm hoàn chỉnh trên nền tảng PyTorch, mở ra phương pháp tiếp cận kinh tế và hiệu quả cho bài toán dịch máy ngôn ngữ nghèo tài nguyên.
• Định hướng phát triển giai đoạn 2026 – 2027 tập trung mở rộng mô hình sang kiến trúc Transformer ngữ cảnh và áp dụng thực tế cho các ngôn ngữ thiểu số tại Việt Nam; mời các nhà nghiên cứu và kỹ sư NLP cùng khai thác, phát triển bộ giải pháp này để thúc đẩy công nghệ ngôn ngữ nước nhà.