Ứng dụng Kỹ thuật Học Máy trong Xây dựng Mở rộng Kho Ngữ liệu Bana Kriêm

• Tác giả: Phan Trọng Nghiệp
• Người hướng dẫn: TS. Võ Gia Nghĩa
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa Học Dữ Liệu Ứng Dụng
• Đề tài: Ứng Dụng Kỹ Thuật Học Máy Trong Xây Dựng Mở Rộng Kho Ngữ Liệu Bana Kriêm
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2023
• Địa điểm: Bình Định

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Một số đặc điểm của tiếng Bana
• 1.2. Người Bana
• 1.3. Từ điển Bana Kriêm
• 1.4. Một số quy luật của tiếng Bana
• 1.5. Tình hình nghiên cứu
• 1.5.1. Tình hình nghiên cứu ngoài nước
• 1.5.2. Tình hình nghiên cứu trong nước
• 1.5.2.1. Tình hình nghiên cứu trong tỉnh Bình Định
• 1.5.3. Tình hình nghiên cứu ngôn ngữ tiếng Bana Kriêm
• 2. CHƯƠNG 2: GIẢI PHÁP CHUYỂN ĐỔI VĂN BẢN TỪ PDF SANG DẠNG SỐ
• 2.1. Tổng quan về Tesseract
• 2.2. Tiền xử lý ảnh
• 2.3. Thư viện Tesseract
• 2.4. Cách Tesseract hoạt động
• 2.5. Hạn chế của Tesseract
• 2.6. Công cụ Pytesseract
• 2.7. Thư viện OpenCV
• 2.8. Tổng quan về thuật giải Heuristic
• 2.9. Heuristic dùng để làm gì
• 2.10. Ưu điểm của thuật giải Heuristic
• 2.11. Phương pháp xây dựng thuật giải Heuristic
• 2.12. Tìm kiếm kinh nghiệm (Heuristic Search)
• 2.13. Phương pháp tiếp cận
• 2.14. Phương pháp thu thập dữ liệu
• 2.15. Phương pháp làm giàu dữ liệu (data augmentation)
• 2.16. Phương pháp tiền xử lý dữ liệu
• 2.17. Các mô hình huấn luyện
• 3. CHƯƠNG 3: NHỮNG NỘI DUNG NGHIÊN CỨU ĐỀ XUẤT GIẢI PHÁP XÂY DỰNG MỞ RỘNG KHO NGỮ LIỆU BANA KRIÊM VÀ KẾT QUẢ ĐẠT ĐƯỢC
• 3.1. Nguồn ngữ liệu
• 3.2. Nội dung nghiên cứu đề xuất giải pháp xây dựng mở rộng kho ngữ liệu Bana Kriêm
• 3.3. Thu thập, xử lý và lưu trữ dữ liệu mẫu
• 3.4. Xây dựng kho ngữ liệu Bana Kriêm
• 3.5. Nghiên cứu và xây dựng giải pháp dịch Việt-Bana làm giàu dữ liệu, sử dụng các phương pháp học sâu
• 3.6. Kết quả đạt được
• 3.6.1. Dữ liệu đã thu thập
• 3.6.2. Bộ ngữ liệu tiếng Bana Kriêm
• 3.6.3. Mô hình nhận dạng văn bản từ hình ảnh
• 3.7. Xử lý vấn đề mất cân bằng tài nguyên và vay mượn từ trong bài toán dịch máy Việt - Bana
• 3.8. Giải pháp dịch tự động từ tiếng Việt sang Bana Kriêm
• DANH MỤC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ CỦA TÁC GIẢ
• DANH MỤC TÀI LIỆU THAM KHẢO
• QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (BẢN SAO)

I. Tổng Quan Ứng Dụng Học Máy Cho Ngữ Liệu Bana Kriêm

Việt Nam có 54 dân tộc anh em, nhiều dân tộc thiểu số (DTTS) có chữ viết riêng. Bảo vệ sự đa dạng văn hóa, ngôn ngữ là vấn đề quan trọng. Văn hóa truyền thống DTTS là di sản quý giá, làm phong phú văn hóa Việt Nam. Giữ gìn, phát huy bản sắc văn hóa DTTS là nhiệm vụ cấp thiết để phát triển bền vững. Thách thức lớn là nguy cơ mất ngôn ngữ truyền thống, linh hồn văn hóa. Đảng, Nhà nước và nhiều địa phương có chính sách khuyến khích, bảo tồn văn hóa dân tộc, chú trọng tiếng nói, chữ viết. Dân số Bana khá lớn, nhưng nguồn tài liệu dạng văn bản của ngôn ngữ này rất hiếm. Phiên dịch tài liệu Việt-Bana còn hạn chế, gây cản trở tiếp cận thông tin, tri thức mới. Các phương ngữ Bana khác biệt, đặc biệt giữa Bana Kon Tum, Gia Lai (An Khê) và Bana Bình Định (Bana Kriêm). Người Bana Kriêm giữ được nhiều nét văn hoá đặc thù. Lưu giữ, bảo tồn văn hóa truyền thống là rất cần thiết.

1.1. Vai Trò Quan Trọng Của Ngữ Liệu Trong Văn Hóa Bana

Ngữ liệu đóng vai trò then chốt trong việc bảo tồn và phát triển văn hóa Bana Kriêm. Nó không chỉ là phương tiện giao tiếp mà còn là kho tàng lưu giữ tri thức, lịch sử và các giá trị văn hóa truyền thống. Việc thiếu hụt ngữ liệu dạng văn bản gây khó khăn cho việc truyền bá văn hóa, giáo dục và nghiên cứu về ngôn ngữ Bana Kriêm. Việc xây dựng và mở rộng kho ngữ liệu Bana Kriêm là yếu tố sống còn để bảo tồn và phát huy bản sắc văn hóa của cộng đồng này. Ngữ liệu giúp lưu giữ các câu chuyện cổ, bài hát, nghi lễ và các phong tục tập quán đặc trưng, từ đó giúp thế hệ trẻ hiểu rõ hơn về nguồn gốc và bản sắc văn hóa của dân tộc.

1.2. Vì Sao Ứng Dụng Học Máy Là Giải Pháp Hiệu Quả

Kỹ thuật học máy cung cấp các công cụ và phương pháp hiệu quả để tự động hóa quá trình xây dựng và mở rộng kho ngữ liệu. Các thuật toán học máy có thể được sử dụng để trích xuất thông tin từ các nguồn khác nhau, chẳng hạn như bản ghi âm, video và văn bản viết tay, và chuyển đổi chúng thành dạng văn bản số. Hơn nữa, học máy có thể giúp cải thiện độ chính xác và nhất quán của ngữ liệu, đồng thời giảm chi phí và thời gian cần thiết để xây dựng và duy trì kho ngữ liệu. Việc ứng dụng học máy còn giúp tạo ra các công cụ hỗ trợ dịch thuật, học tập và nghiên cứu ngôn ngữ Bana Kriêm, từ đó thúc đẩy sự phát triển của ngôn ngữ và văn hóa này.

II. Thách Thức Xây Dựng Kho Ngữ Liệu Bana Kriêm Hiệu Quả

Đề tài “Ứng dụng kỹ thuật học máy trong xây dựng mở rộng kho ngữ liệu Bana Kriêm” là cần thiết. Nó nhằm xây dựng mở rộng kho ngữ liệu, bảo tồn tiếng nói, chữ viết, góp phần lưu giữ bản sắc văn hóa. Đồng thời, nó tạo ra phương tiện dịch thuật, giao tiếp giúp đồng bào DTTS tiếp cận thông tin, tri thức mới và thích ứng với sự phát triển. Nghiên cứu này tổng quan cách tiếp cận dựa trên kỹ thuật Học Sâu (Deep Learning). Bên cạnh khả năng áp dụng công nghệ nhận dạng ký tự quang học (OCR), việc nghiên cứu phương pháp xử lý ngôn ngữ Bana và sử dụng mô hình ngôn ngữ để sửa lỗi chính tả là công việc chính yếu. Từ đó đưa ra cách tiếp cận, xây dựng chiến lược phù hợp ở công việc hậu xử lý nhằm giúp giảm độ lỗi của quá trình OCR ban đầu.

2.1. Khó khăn trong Thu Thập và Số Hóa Tài Liệu Gốc

Một trong những thách thức lớn nhất là thu thập các tài liệu gốc bằng tiếng Bana Kriêm. Do văn hóa truyền miệng vẫn còn phổ biến, số lượng tài liệu dạng văn bản còn hạn chế. Các tài liệu hiện có thường ở dạng bản in cũ, chất lượng kém, hoặc nằm rải rác ở các địa phương khác nhau. Quá trình số hóa các tài liệu này cũng gặp nhiều khó khăn do chất lượng hình ảnh thấp, chữ viết không đồng đều và thiếu các công cụ hỗ trợ phù hợp. Để giải quyết vấn đề này, cần có sự phối hợp chặt chẽ giữa các nhà nghiên cứu, cộng đồng địa phương và các tổ chức văn hóa để thu thập, bảo quản và số hóa các tài liệu gốc một cách hiệu quả.

2.2. Vấn Đề Xử Lý và Sửa Lỗi Văn Bản Sau OCR

Ngay cả khi sử dụng các công nghệ OCR tiên tiến, việc chuyển đổi hình ảnh thành văn bản số vẫn có thể mắc lỗi, đặc biệt là đối với các ngôn ngữ có cấu trúc phức tạp và ít tài nguyên như Bana Kriêm. Các lỗi thường gặp bao gồm nhận dạng sai ký tự, lỗi chính tả và lỗi ngữ pháp. Để đảm bảo chất lượng của ngữ liệu, cần có các phương pháp xử lý và sửa lỗi văn bản hiệu quả. Các phương pháp này có thể bao gồm sử dụng mô hình ngôn ngữ, thuật toán sửa lỗi chính tả và sự tham gia của người bản ngữ để kiểm tra và chỉnh sửa văn bản.

III. Phương Pháp Học Máy Để Nhận Dạng Ngữ Liệu Bana Kriêm

Mục tiêu của đề tài là xây dựng phương thức trích xuất thông tin từ hình ảnh để sinh ra ký tự, văn bản số thông qua nhận dạng ký tự quang học (OCR) cho tiếng Bana Kriêm. Ở bước sau trích xuất, đề xuất kỹ thuật huấn luyện mô hình ngôn ngữ để sửa sai lỗi chính tả kí tự trên văn bản được sinh ra. Sau cùng, thực hiện so sánh kết quả ở bước trích xuất thông tin văn bản từ hình ảnh và kết quả sau khi qua mô hình sửa lỗi để áp dụng mô hình đạt hiệu quả nhất. Qua đó, ứng dụng để xây dựng mở rộng kho ngữ liệu Bana Kriêm.

3.1. Sử Dụng Mô Hình OCR Optical Character Recognition Tiên Tiến

Việc áp dụng các mô hình OCR tiên tiến như Tesseract, CRAFT, STAR, ASTER, EAST đóng vai trò quan trọng trong việc chuyển đổi hình ảnh chứa văn bản Bana Kriêm thành dạng văn bản số. Cần nghiên cứu và lựa chọn mô hình phù hợp nhất với đặc điểm của chữ viết Bana Kriêm, đồng thời tinh chỉnh các tham số để đạt được độ chính xác cao nhất. Bên cạnh đó, việc kết hợp các kỹ thuật tiền xử lý ảnh như loại bỏ nhiễu, tăng độ tương phản và xoay ảnh cũng có thể giúp cải thiện hiệu suất của mô hình OCR. Kết quả OCR thô sau đó sẽ được tiếp tục xử lý bằng các phương pháp khác để sửa lỗi và hoàn thiện.

3.2. Xây Dựng Mô Hình Ngôn Ngữ Để Sửa Lỗi Chính Tả

Sau khi văn bản được trích xuất từ hình ảnh, cần sử dụng mô hình ngôn ngữ để phát hiện và sửa lỗi chính tả. Mô hình ngôn ngữ có thể được huấn luyện trên một tập dữ liệu lớn các văn bản Bana Kriêm đã được chuẩn hóa, từ đó học được các quy tắc ngữ pháp và chính tả của ngôn ngữ này. Các mô hình ngôn ngữ phổ biến bao gồm mô hình n-gram, mô hình Markov ẩn và mô hình mạng nơ-ron hồi quy (RNN). Việc lựa chọn và tinh chỉnh mô hình ngôn ngữ phù hợp có thể giúp cải thiện đáng kể độ chính xác của văn bản đã được trích xuất.

IV. Ứng Dụng Thuật Giải Heuristic Để Tối Ưu OCR Bana Kriêm

Hiện nay, các bài toán về nhận dạng văn bản đã có nhiều nghiên cứu được công bố. Tuy nhiên, kết quả của các bài toán này cần phải cải thiện nhiều để có thể áp dụng cho các dạng văn bản đặc thù. Đặc biệt hơn, với ngôn ngữ hướng đến áp dụng là tiếng Bana Kriêm, việc nghiên cứu, vận dụng và tích hợp các mô hình ngôn ngữ tiếng Bana Kriêm vào các nghiên cứu sẵn có là một thách thức. Hơn nữa, việc tích hợp các thành phần sẵn có hoặc được nghiên cứu phát triển thành một ứng dụng thực tế cũng đòi hỏi nhiều nỗ lực. Với sự phát triển gần đây của học máy, đặc biệt là các mô hình deep learning, đề tài hướng đến các nghiên cứu cụ thể như sau: Vận dụng và phát triển các mô hình học máy phù hợp cho các bài toán nhận dạng văn bản, dịch máy tiếng Bana Kriêm. Xây dựng các mô hình ngôn ngữ đặc trưng cho tiếng Bana Kriêm để kết hợp với các mô hình học máy trên, hướng đến các sản phẩm trí tuệ nhân tạo đặc thù cho ngôn ngữ Bana Kriêm.

4.1. Tối Ưu Hóa Kết Quả OCR Với Thuật Toán Heuristic

Thuật toán Heuristic có thể được sử dụng để tối ưu hóa kết quả OCR bằng cách sửa các lỗi phổ biến dựa trên kinh nghiệm và tri thức về ngôn ngữ Bana Kriêm. Ví dụ, thuật toán có thể sửa các lỗi nhận dạng sai ký tự dựa trên ngữ cảnh của từ, hoặc sửa các lỗi chính tả phổ biến dựa trên quy tắc phát âm và biến đổi âm vị. Ưu điểm của thuật toán Heuristic là đơn giản, dễ triển khai và có thể cải thiện đáng kể độ chính xác của kết quả OCR trong một số trường hợp nhất định. Tuy nhiên, thuật toán Heuristic cũng có những hạn chế, chẳng hạn như khó xử lý các lỗi phức tạp và yêu cầu tri thức chuyên gia về ngôn ngữ Bana Kriêm.

4.2. Ứng Dụng Tìm Kiếm Kinh Nghiệm Heuristic Search

Phương pháp tìm kiếm kinh nghiệm (Heuristic Search) có thể được sử dụng để tìm kiếm các giải pháp tốt nhất cho bài toán sửa lỗi OCR. Phương pháp này bắt đầu với một kết quả OCR ban đầu và sau đó sử dụng các thuật toán Heuristic để tạo ra các kết quả OCR mới. Các kết quả OCR mới được đánh giá dựa trên một hàm mục tiêu, và kết quả tốt nhất được chọn làm kết quả cuối cùng. Phương pháp tìm kiếm kinh nghiệm có thể giúp tìm ra các giải pháp tốt hơn so với việc chỉ sử dụng một thuật toán Heuristic duy nhất. Tuy nhiên, phương pháp này cũng có thể tốn nhiều thời gian và tài nguyên tính toán.

V. Kết Quả Nghiên Cứu và Ứng Dụng Thực Tiễn Mô Hình

Với các phân tích trên, đề tài hướng đến các nội dung công việc cụ thể như sau: Chuyển tài liệu từ dạng hình ảnh/scanned sang dạng văn bản. Thu thập dữ liệu dịch thuật Việt-Bana Kriêm hỗ trợ quá trình dịch máy, làm giàu dữ liệu và xây dựng mở rộng kho ngữ liệu Bana Kriêm. Đề tài này giúp củng cố kiến thức khoa học trong việc nghiên cứu về mô hình nhận dạng văn bản hình ảnh bằng kỹ thuật Học Sâu Deep Learning. Thông qua đó, có thể ứng dụng được các phương pháp ―state of the art‖ - thịnh hành nhất - vào mô hình để xử lý cho ngôn ngữ cụ thể là tiếng Bana giúp mang tính ứng dụng vào thực tiễn.

5.1. Xây Dựng Kho Ngữ Liệu và So Sánh Các Mô Hình Dịch

Việc xây dựng một kho ngữ liệu phong phú và đa dạng là nền tảng quan trọng cho các nghiên cứu về dịch máy và xử lý ngôn ngữ tự nhiên. Kho ngữ liệu có thể bao gồm các văn bản, câu, cụm từ và từ vựng tiếng Bana Kriêm, cũng như các bản dịch sang tiếng Việt và các ngôn ngữ khác. Sau khi xây dựng kho ngữ liệu, có thể tiến hành so sánh hiệu suất của các mô hình dịch khác nhau, chẳng hạn như mô hình dựa trên quy tắc, mô hình thống kê và mô hình mạng nơ-ron. Kết quả so sánh có thể giúp lựa chọn mô hình dịch phù hợp nhất cho tiếng Bana Kriêm.

5.2. Giải Quyết Vấn Đề Mất Cân Bằng Tài Nguyên trong Dịch Máy

Một trong những thách thức lớn trong dịch máy là vấn đề mất cân bằng tài nguyên, tức là sự khác biệt về số lượng dữ liệu có sẵn cho các ngôn ngữ khác nhau. Đối với các ngôn ngữ ít tài nguyên như Bana Kriêm, việc thu thập đủ dữ liệu để huấn luyện mô hình dịch hiệu quả là rất khó khăn. Để giải quyết vấn đề này, có thể sử dụng các kỹ thuật như tăng cường dữ liệu (data augmentation), học chuyển giao (transfer learning) và học đa ngôn ngữ (multilingual learning). Các kỹ thuật này có thể giúp tận dụng dữ liệu từ các ngôn ngữ giàu tài nguyên để cải thiện hiệu suất của mô hình dịch cho tiếng Bana Kriêm.

VI. Kết Luận Và Hướng Phát Triển Ứng Dụng Học Máy

Với việc nghiên cứu và xử lý trực tiếp trên cuốn Từ Điển Tiếng Bana (Bơhnar Kriêm do Sở Khoa học và Công nghệ (Ủy ban nhân dân tỉnh Bình Định) và Viện Ngôn ngữ học (Viện Khoa học xã hội Bana Nam) hợp tác thực hiện, tác giả đã có thể thực hiện một đề tài với tính ứng dụng cao giúp đóng góp vào việc bảo tồn ngôn ngữ dân tộc và bảo tồn văn bản số cho từ ngữ tiếng Bana thông qua cuốn từ điển này. Ngoài ra, việc thực hiện mô hình sửa lỗi này có tính tổng quát cao và có thể được dùng lại cho các nghiên cứu liên quan về xử lý ngôn ngữ tiếng Bana sau này.

6.1. Tổng Kết Các Thành Tựu Nghiên Cứu Đạt Được

Luận văn đã trình bày một cách tổng quan về việc ứng dụng kỹ thuật học máy trong xây dựng và mở rộng kho ngữ liệu Bana Kriêm. Các phương pháp OCR, thuật toán Heuristic và mô hình ngôn ngữ đã được nghiên cứu và áp dụng để chuyển đổi hình ảnh thành văn bản số, sửa lỗi chính tả và cải thiện chất lượng ngữ liệu. Kết quả nghiên cứu cho thấy rằng các kỹ thuật học máy có thể đóng góp quan trọng vào việc bảo tồn và phát huy ngôn ngữ và văn hóa Bana Kriêm.

6.2. Đề Xuất Hướng Nghiên Cứu Mở Rộng Trong Tương Lai

Trong tương lai, có thể mở rộng nghiên cứu theo các hướng sau: Phát triển các công cụ hỗ trợ dịch thuật tự động giữa tiếng Việt và tiếng Bana Kriêm; Xây dựng các ứng dụng học tập ngôn ngữ Bana Kriêm dựa trên công nghệ học máy; Nghiên cứu và phát triển các mô hình ngôn ngữ tiên tiến hơn để cải thiện độ chính xác của việc sửa lỗi chính tả và phân tích ngữ nghĩa; Tích hợp các công cụ và ứng dụng đã phát triển vào một nền tảng duy nhất để cung cấp một giải pháp toàn diện cho việc bảo tồn và phát huy ngôn ngữ và văn hóa Bana Kriêm.

Tổng quan nghiên cứu

Ngôn ngữ Bana Kriêm là một trong những ngôn ngữ dân tộc thiểu số thuộc nhóm ngôn ngữ Môn-Khmer, được sử dụng chủ yếu tại tỉnh Bình Định và một số khu vực Tây Nguyên. Theo số liệu Tổng điều tra dân số và nhà ở năm 2019, dân số người Bana khoảng 286.910 người, trong đó người Bana Kriêm chiếm tỷ lệ đáng kể tại Bình Định. Tuy nhiên, nguồn tài liệu văn bản tiếng Bana Kriêm còn rất hạn chế do truyền thống văn hóa chủ yếu dựa trên truyền miệng. Việc bảo tồn và phát triển ngôn ngữ này là nhiệm vụ cấp thiết nhằm giữ gìn bản sắc văn hóa dân tộc và tạo điều kiện tiếp cận tri thức mới cho cộng đồng.

Luận văn tập trung nghiên cứu ứng dụng kỹ thuật học máy, đặc biệt là các mô hình học sâu (Deep Learning), trong việc xây dựng và mở rộng kho ngữ liệu tiếng Bana Kriêm. Mục tiêu chính là phát triển phương thức trích xuất thông tin từ hình ảnh tài liệu chữ viết Bana Kriêm thông qua công nghệ nhận dạng ký tự quang học (OCR), đồng thời đề xuất mô hình ngôn ngữ để sửa lỗi chính tả sau khi trích xuất. Phạm vi nghiên cứu tập trung vào các tài liệu chữ viết tiếng Bana Kriêm dạng in và số hóa, đặc biệt là cuốn từ điển Bana Kriêm do Sở Khoa học và Công nghệ tỉnh Bình Định phối hợp với Viện Ngôn ngữ học thực hiện.

Nghiên cứu có ý nghĩa quan trọng trong việc bảo tồn ngôn ngữ và văn hóa dân tộc thiểu số, đồng thời góp phần phát triển các công cụ dịch thuật tự động giữa tiếng Việt và Bana Kriêm, giúp đồng bào tiếp cận thông tin và tri thức hiện đại. Kết quả nghiên cứu dự kiến sẽ hỗ trợ nâng cao hiệu quả chuyển đổi tài liệu từ dạng hình ảnh sang văn bản số, giảm thiểu lỗi nhận dạng và mở rộng kho ngữ liệu phục vụ cho các ứng dụng xử lý ngôn ngữ tự nhiên sau này.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: nhận dạng ký tự quang học (OCR) và dịch máy với học sâu (Neural Machine Translation - NMT).

1. Nhận dạng ký tự quang học (OCR):
   OCR là công nghệ chuyển đổi hình ảnh chứa văn bản thành dữ liệu văn bản số có thể xử lý tự động. Luận văn ứng dụng mô hình Tesseract OCR phiên bản 4.0 trở lên, kết hợp mạng LSTM để nhận dạng chữ viết tiếng Bana Kriêm từ hình ảnh tài liệu. Các mô hình hỗ trợ như CRAFT, STAR-Net, ASTER và EAST được tham khảo để cải thiện nhận diện vùng chữ và xử lý các ảnh có góc nghiêng, biến dạng.

2. Dịch máy với học sâu (NMT):
   NMT sử dụng mạng nơ-ron nhân tạo để mô hình hóa xác suất có điều kiện giữa câu nguồn và câu đích, cho phép dịch tự động văn bản giữa tiếng Việt và Bana Kriêm. Luận văn áp dụng các mô hình sequence-to-sequence với cơ chế Attention, bao gồm các kiến trúc như Transformer, BERT-fused NMT và mô hình TBMP (Transformer with BERT-fused and Masked Pointer Generator). Các khái niệm chính bao gồm:

   • Bộ mã hóa (Encoder) và bộ giải mã (Decoder)
   • Cơ chế Attention toàn cục và cục bộ
   • Học chuyển đổi (Transfer Learning) để xử lý ngôn ngữ ít tài nguyên
   • Hậu xử lý (Post-editing) để cải thiện chất lượng dịch

3. Các khái niệm chuyên ngành:

   • Optical Character Recognition (OCR)
   • Word Error Rate (WER), Char Error Rate (CER)
   • Long Short-Term Memory (LSTM)
   • Neural Machine Translation (NMT)
   • Heuristic Search (tìm kiếm kinh nghiệm)
   • Data Augmentation (làm giàu dữ liệu)

Phương pháp nghiên cứu

Luận văn sử dụng phương pháp nghiên cứu định lượng kết hợp thực nghiệm kỹ thuật học máy trên dữ liệu thực tế.

• Nguồn dữ liệu:
  Dữ liệu chính bao gồm các hình ảnh quét từ cuốn từ điển tiếng Bana Kriêm và các tài liệu chữ viết tiếng Bana dạng in khác. Dữ liệu dịch song ngữ Việt-Bana được thu thập để huấn luyện mô hình dịch máy. Tổng số mẫu dữ liệu khoảng vài nghìn trang tài liệu, được xử lý tiền xử lý ảnh và làm giàu dữ liệu bằng các kỹ thuật nhân bản dữ liệu (data augmentation).

• Phương pháp phân tích:

  • Tiền xử lý ảnh sử dụng thư viện OpenCV và thuật toán heuristic để cải thiện chất lượng ảnh đầu vào, giảm nhiễu và chuẩn hóa hình ảnh.
  • Áp dụng mô hình Tesseract OCR để nhận dạng ký tự từ hình ảnh, sau đó sử dụng mô hình ngôn ngữ học sâu để sửa lỗi chính tả và cải thiện độ chính xác văn bản số.
  • Huấn luyện mô hình dịch máy với học sâu dựa trên kiến trúc Transformer kết hợp BERT-fused và cơ chế Masked Pointer Generator nhằm nâng cao chất lượng dịch Việt-Bana.
  • So sánh hiệu quả các mô hình nhận dạng và dịch máy dựa trên các chỉ số WER, CER và BLEU.

• Timeline nghiên cứu:

  • Thu thập và tiền xử lý dữ liệu: 3 tháng
  • Xây dựng và huấn luyện mô hình OCR, sửa lỗi: 4 tháng
  • Phát triển mô hình dịch máy và đánh giá: 4 tháng
  • Tổng hợp kết quả, hoàn thiện luận văn: 2 tháng

Phương pháp nghiên cứu được lựa chọn nhằm đảm bảo tính khả thi và hiệu quả trong việc xử lý ngôn ngữ Bana Kriêm, một ngôn ngữ ít tài nguyên, đồng thời tận dụng các kỹ thuật học sâu hiện đại để đạt kết quả tối ưu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả nhận dạng ký tự bằng Tesseract OCR:
   Sau khi áp dụng tiền xử lý ảnh và thuật toán heuristic sửa lỗi, độ chính xác nhận dạng ký tự tăng từ khoảng 75% lên trên 90%. Tỷ lệ lỗi ký tự (CER) giảm đáng kể, từ khoảng 25% xuống còn dưới 10%. Kết quả này cho thấy việc kết hợp kỹ thuật tiền xử lý và mô hình ngôn ngữ học sâu giúp cải thiện đáng kể chất lượng văn bản số từ hình ảnh.

2. Mô hình sửa lỗi chính tả:
   Mô hình ngôn ngữ học sâu được huấn luyện trên dữ liệu Bana Kriêm giúp giảm lỗi chính tả sau OCR khoảng 60% so với văn bản thô. Việc sử dụng mô hình học sâu có khả năng học được các quy luật ngôn ngữ đặc thù của tiếng Bana Kriêm, từ đó sửa lỗi hiệu quả hơn các phương pháp heuristic truyền thống.

3. Kết quả dịch máy Việt-Bana Kriêm:
   Mô hình dịch máy với kiến trúc Transformer kết hợp BERT-fused và Masked Pointer Generator đạt điểm BLEU khoảng 28-35% trên bộ dữ liệu thử nghiệm. So với các mô hình dịch máy thống kê truyền thống, mô hình học sâu cho kết quả dịch mượt mà và chính xác hơn, đặc biệt trong việc xử lý các câu dài và phức tạp.

4. Xây dựng kho ngữ liệu Bana Kriêm mở rộng:
   Qua quá trình thu thập, xử lý và dịch thuật, kho ngữ liệu Bana Kriêm được mở rộng lên khoảng 20.000 câu và 50.000 từ vựng, tăng gấp đôi so với kho dữ liệu ban đầu. Kho ngữ liệu này có thể phục vụ cho các nghiên cứu và ứng dụng xử lý ngôn ngữ tự nhiên tiếp theo.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc ứng dụng kỹ thuật học máy, đặc biệt là các mô hình học sâu, có thể giải quyết hiệu quả các thách thức trong nhận dạng và xử lý ngôn ngữ Bana Kriêm, một ngôn ngữ ít tài nguyên và có đặc thù riêng biệt. Việc cải thiện chất lượng OCR thông qua tiền xử lý ảnh và mô hình sửa lỗi giúp giảm đáng kể sai sót, tạo nền tảng vững chắc cho các bước xử lý tiếp theo.

So sánh với các nghiên cứu quốc tế về nhận dạng văn bản và dịch máy cho các ngôn ngữ thiểu số, kết quả đạt được tương đương hoặc vượt trội, đặc biệt trong bối cảnh dữ liệu đầu vào có chất lượng không đồng đều và nguồn tài nguyên hạn chế. Việc xây dựng kho ngữ liệu mở rộng không chỉ góp phần bảo tồn ngôn ngữ mà còn tạo điều kiện phát triển các ứng dụng trí tuệ nhân tạo phục vụ cộng đồng Bana Kriêm.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh tỷ lệ lỗi ký tự trước và sau khi áp dụng mô hình sửa lỗi, bảng so sánh điểm BLEU giữa các mô hình dịch máy, và biểu đồ tăng trưởng số lượng câu và từ vựng trong kho ngữ liệu qua các giai đoạn nghiên cứu.

Đề xuất và khuyến nghị

1. Tăng cường thu thập và làm giàu dữ liệu:
   Chủ động phối hợp với các cộng đồng Bana Kriêm để thu thập thêm tài liệu văn bản, ghi âm và dịch thuật nhằm mở rộng kho ngữ liệu. Mục tiêu tăng số lượng câu và từ vựng lên gấp 3 trong vòng 2 năm. Chủ thể thực hiện: các viện nghiên cứu ngôn ngữ, trường đại học và tổ chức văn hóa.

2. Phát triển hệ thống OCR chuyên biệt cho tiếng Bana Kriêm:
   Nâng cấp mô hình OCR hiện tại bằng cách tích hợp thêm các kỹ thuật học sâu mới và thuật toán tiền xử lý ảnh nâng cao để cải thiện độ chính xác nhận dạng trên các tài liệu có chất lượng kém. Mục tiêu giảm tỷ lệ lỗi ký tự xuống dưới 5% trong 1 năm. Chủ thể thực hiện: nhóm nghiên cứu công nghệ thông tin và khoa học dữ liệu.

3. Xây dựng công cụ dịch máy song ngữ Việt-Bana Kriêm:
   Triển khai ứng dụng dịch tự động hỗ trợ cộng đồng Bana Kriêm tiếp cận thông tin và giao tiếp hiệu quả hơn. Mục tiêu phát hành phiên bản thử nghiệm trong 18 tháng. Chủ thể thực hiện: các nhóm phát triển phần mềm và trung tâm nghiên cứu ngôn ngữ.

4. Tổ chức đào tạo và nâng cao nhận thức về bảo tồn ngôn ngữ:
   Tổ chức các khóa đào tạo, hội thảo cho cán bộ, giáo viên và cộng đồng về ứng dụng công nghệ trong bảo tồn và phát triển ngôn ngữ Bana Kriêm. Mục tiêu nâng cao nhận thức và kỹ năng sử dụng công nghệ trong 2 năm. Chủ thể thực hiện: các cơ quan văn hóa, giáo dục và tổ chức phi chính phủ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu ngôn ngữ và văn hóa dân tộc thiểu số:
   Luận văn cung cấp cơ sở dữ liệu và phương pháp nghiên cứu hiện đại, hỗ trợ công tác bảo tồn và phát triển ngôn ngữ Bana Kriêm cũng như các ngôn ngữ thiểu số khác.

2. Chuyên gia công nghệ thông tin và khoa học dữ liệu:
   Các kỹ thuật học máy, xử lý ảnh và mô hình học sâu được trình bày chi tiết, có thể áp dụng cho các bài toán nhận dạng văn bản và dịch máy trong các ngôn ngữ ít tài nguyên.

3. Cơ quan quản lý văn hóa và giáo dục:
   Thông tin về đặc điểm ngôn ngữ, văn hóa và các giải pháp công nghệ giúp hoạch định chính sách bảo tồn và phát triển ngôn ngữ dân tộc hiệu quả hơn.

4. Cộng đồng người Bana Kriêm và các tổ chức hỗ trợ:
   Luận văn cung cấp công cụ và kho ngữ liệu mở rộng giúp cộng đồng duy trì và phát huy bản sắc văn hóa, đồng thời tiếp cận tri thức hiện đại qua các ứng dụng dịch thuật và số hóa tài liệu.

Câu hỏi thường gặp

1. Tại sao cần ứng dụng học máy trong xây dựng kho ngữ liệu Bana Kriêm?
   Học máy giúp tự động hóa quá trình nhận dạng và xử lý văn bản từ hình ảnh, giảm sai sót và tăng hiệu quả so với phương pháp thủ công, đặc biệt với ngôn ngữ ít tài nguyên như Bana Kriêm.

2. Mô hình OCR nào được sử dụng và hiệu quả ra sao?
   Mô hình Tesseract OCR phiên bản 4.0 kết hợp mạng LSTM được sử dụng, đạt độ chính xác nhận dạng trên 90% sau khi áp dụng tiền xử lý và sửa lỗi, phù hợp với đặc thù tài liệu Bana Kriêm.

3. Làm thế nào để xử lý lỗi chính tả sau khi nhận dạng văn bản?
   Luận văn đề xuất mô hình ngôn ngữ học sâu được huấn luyện trên dữ liệu Bana Kriêm để tự động phát hiện và sửa lỗi chính tả, giảm lỗi ký tự khoảng 60% so với văn bản thô.

4. Kết quả dịch máy giữa tiếng Việt và Bana Kriêm có đạt chất lượng cao không?
   Mô hình dịch máy học sâu đạt điểm BLEU khoảng 28-35%, cho kết quả dịch mượt mà và chính xác hơn so với các mô hình truyền thống, phù hợp với đặc điểm ngôn ngữ và dữ liệu hiện có.

5. Kho ngữ liệu Bana Kriêm mở rộng có thể ứng dụng vào những lĩnh vực nào?
   Kho ngữ liệu phục vụ cho nghiên cứu ngôn ngữ, phát triển công cụ dịch thuật, giáo dục ngôn ngữ, bảo tồn văn hóa và các ứng dụng trí tuệ nhân tạo liên quan đến xử lý ngôn ngữ tự nhiên.

Kết luận

• Ứng dụng kỹ thuật học máy, đặc biệt học sâu, đã nâng cao hiệu quả nhận dạng và xử lý văn bản tiếng Bana Kriêm từ hình ảnh tài liệu.
• Mô hình sửa lỗi chính tả giúp giảm đáng kể sai sót sau quá trình OCR, tạo nền tảng cho các bước xử lý tiếp theo.
• Mô hình dịch máy học sâu đạt điểm BLEU khả quan, mở ra cơ hội phát triển công cụ dịch tự động cho ngôn ngữ ít tài nguyên.
• Kho ngữ liệu Bana Kriêm được mở rộng đáng kể, góp phần bảo tồn và phát triển ngôn ngữ dân tộc thiểu số.
• Các bước tiếp theo bao gồm mở rộng dữ liệu, hoàn thiện mô hình và phát triển ứng dụng thực tiễn phục vụ cộng đồng.

Luận văn kêu gọi các nhà nghiên cứu, cơ quan quản lý và cộng đồng cùng hợp tác để phát huy giá trị nghiên cứu, bảo tồn ngôn ngữ Bana Kriêm và ứng dụng công nghệ hiện đại trong phát triển văn hóa dân tộc.