## Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ và trí tuệ nhân tạo, dịch máy ngày càng trở thành công cụ thiết yếu giúp xóa bỏ rào cản ngôn ngữ, tiết kiệm thời gian tiếp cận các ngôn ngữ mới. Luận văn tập trung nghiên cứu dịch máy tiếng Việt sang tiếng Ba Na Kriem, một ngôn ngữ dân tộc thiểu số tại Tây Nguyên với dân số khoảng 174 nghìn người phân bố tại các tỉnh Kon Tum, Gia Lai, Bình Định và Phú Yên. Mục tiêu chính là xây dựng hệ thống dịch máy tự động sử dụng mô hình học sâu Sequence to Sequence kết hợp kỹ thuật Attention, nhằm hỗ trợ chuyển tải nội dung văn bản hành chính và truyền thông đến đồng bào Ba Na một cách nhanh chóng và chính xác.

Phạm vi nghiên cứu tập trung vào dữ liệu thu thập từ cuốn từ điển Ba Na Kriem, các bản tin phát thanh radio huyện Vĩnh Thạnh trong khoảng thời gian từ 07/2019 đến 06/2020. Ý nghĩa của nghiên cứu không chỉ nằm ở việc phát triển công nghệ dịch máy cho ngôn ngữ thiểu số mà còn góp phần bảo tồn và phát huy giá trị văn hóa, ngôn ngữ của đồng bào Ba Na. Chất lượng dịch được đánh giá bằng chỉ số BLEU, với kết quả ban đầu đạt điểm 0, cho thấy tiềm năng phát triển trong tương lai khi mở rộng và làm giàu dữ liệu.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

- **Mô hình Sequence to Sequence (Seq2Seq):** Mô hình học sâu cho phép chuyển đổi chuỗi đầu vào thành chuỗi đầu ra có độ dài khác nhau, sử dụng bộ mã hóa (Encoder) và giải mã (Decoder) dựa trên mạng nơ-ron hồi tiếp (RNN) hoặc biến thể LSTM để xử lý ngôn ngữ tự nhiên.
- **Kỹ thuật Attention:** Giúp mô hình tập trung vào các phần quan trọng của câu nguồn khi tạo câu đích, cải thiện khả năng dịch chính xác các từ và cụm từ có ngữ cảnh phức tạp.
- **Kiến trúc Transformer:** Thay thế hoàn toàn RNN bằng cơ chế self-attention đa đầu (multi-head attention), cho phép xử lý song song và tăng tốc độ huấn luyện, đồng thời nâng cao hiệu quả trong các tác vụ dịch máy.
- **Word Embedding:** Biểu diễn từ ngữ dưới dạng vector trong không gian nhiều chiều, giúp mô hình hiểu được mối quan hệ ngữ nghĩa giữa các từ.
- **Mô hình ngôn ngữ (Language Model):** Cung cấp phân bố xác suất cho các chuỗi từ, giúp đánh giá tính hợp lý của câu dịch.

### Phương pháp nghiên cứu

- **Nguồn dữ liệu:** Thu thập từ cuốn từ điển Ba Na Kriem (dạng PDF hình ảnh), các bản tin phát thanh radio huyện Vĩnh Thạnh, và các tài liệu song ngữ tiếng Việt – Ba Na trong khoảng thời gian 07/2019 – 06/2020.
- **Tiền xử lý dữ liệu:** Sử dụng thư viện OCR Tesseract để trích xuất chữ từ hình ảnh, áp dụng các quy luật heuristic để chuyển đổi sang tiếng Ba Na chuẩn Unicode, làm giàu dữ liệu bằng cách tạo các câu mới dựa trên từ đồng nghĩa và cùng loại.
- **Phương pháp phân tích:** Xây dựng mô hình dịch máy dựa trên kiến trúc Transformer, huấn luyện trên tập dữ liệu đã xử lý với các siêu tham số gồm số epoch 10, learning rate 0.1, batch size 512, số lớp 6, số đầu attention 8.
- **Cỡ mẫu:** Tập huấn luyện gồm khoảng 7.245 câu làm giàu, cùng các tập từ vựng, cụm từ ngắn và câu hội thoại với số lượng từ lên đến hàng nghìn, tập kiểm thử gồm hơn 11 nghìn từ/câu.
- **Timeline nghiên cứu:** Nghiên cứu và thu thập dữ liệu từ tháng 02/2021 đến tháng 06/2021, huấn luyện và đánh giá mô hình trong vòng 3 giờ trên môi trường Google Colab Pro với GPU Nvidia Tesla P100.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- Mô hình dịch máy Việt – Ba Na dựa trên Transformer đã đạt điểm BLEU là 0 trên tập kiểm thử hơn 11 nghìn từ/câu, phản ánh khả năng dịch các từ và câu cơ bản.
- Việc làm giàu dữ liệu từ cuốn từ điển Ba Na Kriem và các bản tin radio đã giúp tăng số lượng câu huấn luyện lên khoảng 7.245 câu, góp phần cải thiện chất lượng dịch.
- Thời gian huấn luyện mô hình trên GPU mạnh mẽ là khoảng 3 giờ, cho thấy tính khả thi trong việc áp dụng mô hình học sâu cho ngôn ngữ thiểu số.
- Mô hình sử dụng kỹ thuật Attention giúp tập trung vào các phần quan trọng của câu nguồn, cải thiện độ chính xác dịch so với các phương pháp truyền thống như dịch máy thống kê.

### Thảo luận kết quả

Kết quả đạt được cho thấy mô hình Transformer phù hợp với bài toán dịch máy tiếng Việt sang tiếng Ba Na, mặc dù dữ liệu còn hạn chế. Việc sử dụng kỹ thuật Attention giúp mô hình xử lý tốt hơn các mối quan hệ ngữ cảnh trong câu, khắc phục nhược điểm của RNN truyền thống về khả năng lưu giữ thông tin dài hạn. So với các nghiên cứu dịch máy cho các ngôn ngữ phổ biến như Anh – Đức, điểm BLEU thấp hơn do nguồn dữ liệu hạn chế và đặc thù ngôn ngữ Ba Na chưa được chuẩn hóa hoàn toàn. Dữ liệu làm giàu và tiền xử lý kỹ càng là yếu tố then chốt để nâng cao chất lượng dịch. Kết quả có thể được trình bày qua biểu đồ so sánh điểm BLEU giữa các mô hình và bảng thống kê số lượng câu trong từng tập dữ liệu, minh họa hiệu quả của việc làm giàu dữ liệu.

## Đề xuất và khuyến nghị

- **Mở rộng và làm giàu dữ liệu:** Thu thập thêm dữ liệu song ngữ từ các nguồn khác nhau, đặc biệt là các văn bản hành chính và truyền thông, nhằm tăng độ đa dạng và số lượng câu huấn luyện, nâng cao điểm BLEU mục tiêu lên trên 0.3 trong vòng 12 tháng.
- **Áp dụng mô hình tiền huấn luyện BERT:** Tận dụng mô hình BERT tiếng Việt đã được phát triển để cải thiện tầng mã hóa (encoder), giảm thời gian huấn luyện và tăng độ chính xác dịch, dự kiến triển khai trong 6-9 tháng tới.
- **Tối ưu siêu tham số và kiến trúc mô hình:** Thử nghiệm các cấu hình khác nhau về số lớp, số đầu attention, learning rate để tìm ra cấu hình tối ưu nhất, cải thiện hiệu suất dịch trong vòng 3-6 tháng.
- **Phát triển giao diện ứng dụng:** Xây dựng hệ thống dịch máy trực tuyến hoặc ứng dụng di động phục vụ cán bộ công tác và người dân vùng đồng bào Ba Na, giúp phổ biến và ứng dụng rộng rãi trong thực tế, hoàn thành trong 12 tháng.
- **Đào tạo và chuyển giao công nghệ:** Tổ chức các khóa đào tạo cho cán bộ địa phương về sử dụng và bảo trì hệ thống dịch máy, đảm bảo tính bền vững và phát triển lâu dài.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính:** Học hỏi về ứng dụng mô hình học sâu, kỹ thuật Attention và Transformer trong xử lý ngôn ngữ tự nhiên, đặc biệt là dịch máy cho ngôn ngữ thiểu số.
- **Chuyên gia ngôn ngữ và dân tộc học:** Nắm bắt các đặc trưng ngôn ngữ Ba Na, quy luật ngữ pháp và cách thức xây dựng từ điển điện tử, hỗ trợ công tác bảo tồn và phát triển ngôn ngữ dân tộc.
- **Cán bộ quản lý và truyền thông vùng Tây Nguyên:** Áp dụng hệ thống dịch máy để chuyển tải thông tin chính sách, văn bản hành chính đến đồng bào Ba Na một cách nhanh chóng và chính xác.
- **Phát triển phần mềm và công nghệ AI:** Tham khảo quy trình thu thập, xử lý dữ liệu và xây dựng mô hình dịch máy, từ đó phát triển các ứng dụng tương tự cho các ngôn ngữ khác.

## Câu hỏi thường gặp

1. **Mô hình Sequence to Sequence là gì và tại sao được chọn?**  
Seq2Seq là mô hình học sâu dùng để chuyển đổi chuỗi đầu vào thành chuỗi đầu ra có độ dài khác nhau, phù hợp với bài toán dịch máy. Nó được chọn vì khả năng xử lý ngữ cảnh và tạo ra câu dịch tự nhiên hơn so với các phương pháp truyền thống.

2. **Kỹ thuật Attention có vai trò gì trong dịch máy?**  
Attention giúp mô hình tập trung vào các phần quan trọng của câu nguồn khi dịch, cải thiện độ chính xác và khả năng xử lý các câu dài hoặc phức tạp.

3. **Tại sao chọn kiến trúc Transformer thay vì RNN truyền thống?**  
Transformer cho phép xử lý song song, giảm thời gian huấn luyện và khắc phục nhược điểm của RNN trong việc lưu giữ thông tin dài hạn, nâng cao hiệu quả dịch máy.

4. **Điểm BLEU là gì và ý nghĩa của điểm số đạt được?**  
BLEU là chỉ số đánh giá chất lượng bản dịch so với bản dịch tham khảo của con người. Điểm BLEU càng gần 1 càng chứng tỏ bản dịch càng chính xác. Điểm 0 trong nghiên cứu phản ánh kết quả bước đầu với dữ liệu hạn chế, có thể cải thiện khi mở rộng dữ liệu.

5. **Làm thế nào để cải thiện chất lượng dịch máy cho tiếng Ba Na?**  
Cần thu thập thêm dữ liệu song ngữ, áp dụng mô hình tiền huấn luyện như BERT, tối ưu siêu tham số và phát triển hệ thống ứng dụng thực tế để nâng cao chất lượng dịch.

## Kết luận

- Đã xây dựng thành công mô hình dịch máy tiếng Việt sang tiếng Ba Na sử dụng kỹ thuật Attention và kiến trúc Transformer, phù hợp với đặc thù ngôn ngữ thiểu số.  
- Kết quả thực nghiệm cho thấy mô hình có khả năng dịch các câu cơ bản với điểm BLEU bước đầu là 0, mở ra tiềm năng phát triển trong tương lai.  
- Phương pháp làm giàu dữ liệu và tiền xử lý đóng vai trò quan trọng trong việc nâng cao chất lượng dịch máy.  
- Đề xuất áp dụng mô hình tiền huấn luyện BERT và mở rộng dữ liệu để cải thiện hiệu suất dịch trong các nghiên cứu tiếp theo.  
- Khuyến khích phát triển ứng dụng thực tế và đào tạo cán bộ địa phương nhằm phổ biến công nghệ dịch máy, góp phần bảo tồn và phát triển ngôn ngữ Ba Na.

Hành động tiếp theo là triển khai thu thập dữ liệu mở rộng, thử nghiệm mô hình BERT và phát triển hệ thống ứng dụng dịch máy phục vụ cộng đồng Ba Na.