Ôn Thiện Tài: Nhận Dạng Chữ Ba Na Trên Văn Bản Hình Ảnh

Luận văn thạc sĩ về nhận dạng chữ Ba Na trên văn bản hình ảnh. Nghiên cứu hệ thống thông tin, khôi phục và bảo tồn văn hóa dân tộc qua công nghệ.

• Tác giả: Ôn Thiện Tài
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Trường Đại học Thủ Dầu Một
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nhận dạng chữ Ba Na trên văn bản hình ảnh
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI NGHIÊN CỨU
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu và phạm vi đề tài
• 1.2.1. Mục tiêu nghiên cứu
• 1.2.2. Phạm vi nghiên cứu
• 1.3. Tính ứng dụng của đề tài
• 1.4. Các công trình nghiên cứu liên quan
• 1.5. Thách thức của bài toán
• 1.6. Phương pháp nghiên cứu
• 1.7. Cấu trúc luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Đôi nét về người Ba Na
• 2.2. Ngôn ngữ chữ BaNa
• 2.3. Tổng quan về Tesseract
• 2.4. Tiền xử lý hình ảnh
• 2.5. Thư viện Tesseract. Cách Tesseract hoạt động
• 2.6. Hạn chế của Tesseract
• 2.7. Công cụ Pytesseract
• 2.8. Thư viện OpenCV
• 2.9. Mạng nơ-ron hồi quy (RNN). Phân loại bài toán RNN
• 2.10. Ứng dụng bài toán RNN
• 2.11. Huấn luyện mạng RNN
• 2.12. Tổng quan về thuật giải Heuristic
• 2.13. Khoảng cách Levenshtein
• 3. CHƯƠNG 3: HIỆN THỰC MÔ HÌNH NGHIÊN CỨU
• 3.1. Thu thập dữ liệu
• 3.2. Xử lý trước hình ảnh
• 3.3. Các vấn đề cơ bản trong xử lý ảnh
• 3.4. Xây dựng mô hình đề xuất
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Thực hiện xử lý hình ảnh trước
• 4.2. Thực hiện OCR
• 4.3. Đặc điểm lỗi
• 4.4. Thực nghiệm sửa lỗi ký tự
• 4.5. Đánh giá kết quả
• 4.6. Một số hạn chế của mô hình
• 5. CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ
• 5.1. Hướng mở rộng đề tài
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Dạng Chữ Ba Na Luận Văn Thạc Sĩ 55 ký tự

Ngày nay, việc bảo tồn và phát huy tiếng nói, chữ viết của các dân tộc thiểu số trở nên vô cùng cấp thiết. Nó giúp giữ gìn bản sắc văn hóa và thực hiện quyền bình đẳng giữa các dân tộc. Tuy nhiên, tư liệu về tiếng nói, chữ viết của các dân tộc thiểu số lại không nhiều và thường được in trên giấy truyền thống, dễ xuống cấp theo thời gian. Do đó, việc số hóa các văn bản này trở thành một nhu cầu cấp thiết, giúp cập nhật, tái bản và lưu trữ lâu dài hơn. Luận văn thạc sĩ này tập trung vào bài toán nhận dạng chữ Ba Na trên văn bản hình ảnh, từ đó góp phần vào quá trình số hóa từ điển tiếng Ba Na, một nguồn tài liệu quan trọng. Việc nhận dạng ký tự quang học OCR tiếng Ba Na là một bước quan trọng, nhưng không phải lúc nào cũng chính xác. Luận văn này đề xuất các phương pháp để cải thiện chất lượng của văn bản số đầu ra thông qua các kỹ thuật hậu xử lý. Điểm đặc biệt là việc ứng dụng công nghệ này vào ngôn ngữ Ba Na, một lĩnh vực ít được nghiên cứu.

1.1. Mục Tiêu và Phạm Vi Nghiên Cứu Nhận Dạng Chữ Ba Na

Mục tiêu chính của luận văn là nghiên cứu phương pháp trích xuất thông tin từ hình ảnh để tạo ra văn bản số tiếng Ba Na thông qua OCR. Sau đó, sẽ tiến hành huấn luyện mô hình ngôn ngữ để sửa lỗi chính tả cho văn bản được tạo ra. Cuối cùng, so sánh kết quả trước và sau khi áp dụng mô hình sửa lỗi để đánh giá hiệu quả. Luận văn tập trung vào tiền xử lý ảnh, đề xuất và huấn luyện mô hình sửa lỗi, và áp dụng mô hình để sửa lỗi chính tả. Độ chính xác nhận dạng chữ Ba Na là yếu tố then chốt được quan tâm.

1.2. Tính Ứng Dụng Thực Tiễn của Luận Văn Về Chữ Ba Na

Luận văn này không chỉ củng cố kiến thức khoa học về nhận dạng văn bản hình ảnh bằng kỹ thuật Deep Learning mà còn ứng dụng các phương pháp hiện đại để xử lý ngôn ngữ Ba Na. Việc nghiên cứu và xử lý trực tiếp trên cuốn Từ Điển Tiếng Ba Na mang lại tính ứng dụng cao, đóng góp vào việc bảo tồn ngôn ngữ và văn hóa của dân tộc Ba Na. Mô hình sửa lỗi có tính tổng quát cao, có thể tái sử dụng cho các nghiên cứu khác về xử lý ngôn ngữ Ba Na sau này. Nghiên cứu này hứa hẹn phát triển ứng dụng tiếng Ba Na

II. Vấn Đề và Thách Thức Trong Nhận Dạng Chữ Ba Na 59 ký tự

Việc nhận dạng chữ Ba Na không phải là một nhiệm vụ dễ dàng. Chất lượng hình ảnh của bản quét từ điển Tiếng Ba Na thường không cao. Văn bản có thể bị nghiêng lệch, mờ, lem, gây khó khăn cho quá trình nhận dạng. Hơn nữa, tiếng Ba Na theo mẫu Latinh chưa được nghiên cứu nhiều và chưa được hỗ trợ bởi các công nghệ nhận dạng ký tự. Điều này dẫn đến việc xuất hiện nhiều lỗi trong quá trình nhận dạng ký tự quang học, ví dụ như cùng một ký tự có thể bị nhận dạng thành nhiều ký tự khác nhau, gây trở ngại lớn cho việc phát hiện và sửa lỗi. Chính vì thế, việc xây dựng một hệ thống hệ thống thông tin nhận dạng chữ hiệu quả là một thách thức lớn.

2.1. Khó Khăn Về Chất Lượng Dữ Liệu Đầu Vào Ảnh Quét

Dữ liệu đầu vào cho quá trình nhận dạng chữ Ba Na là hình ảnh quét từ cuốn từ điển. Chất lượng của hình ảnh quét ảnh hưởng trực tiếp đến hiệu suất của hệ thống OCR. Các vấn đề như độ phân giải thấp, độ tương phản kém, nhiễu, và biến dạng hình học đều có thể làm giảm độ chính xác nhận dạng chữ Ba Na. Vì vậy, cần có các phương pháp tiền xử lý ảnh hiệu quả để khắc phục các vấn đề này. Tiền xử lý ảnh OCR là vô cùng quan trọng.

2.2. Thiếu Hụt Nghiên Cứu và Công Nghệ Hỗ Trợ Tiếng Ba Na

Tiếng Ba Na là một ngôn ngữ ít được nghiên cứu và ít được hỗ trợ bởi các công cụ và thư viện OCR sẵn có. Điều này đòi hỏi phải xây dựng các mô hình và thuật toán nhận dạng riêng biệt cho tiếng Ba Na. Việc thu thập và tạo dữ liệu huấn luyện cho các mô hình này cũng là một thách thức lớn, đòi hỏi sự hiểu biết sâu sắc về ngôn ngữ Ba Na và chữ viết của nó.

III. Phương Pháp Deep Learning Nhận Dạng Chữ Ba Na Hiệu Quả 59 ký tự

Luận văn sử dụng phương pháp Deep Learning OCR để giải quyết bài toán nhận dạng chữ Ba Na. Phương pháp này cho phép xây dựng các mô hình có khả năng học các đặc trưng phức tạp của chữ viết Ba Na từ dữ liệu. Thay vì tập trung vào việc phát hiện lỗi, luận văn tập trung vào việc sửa lỗi chính tả ký tự trên văn bản số đầu ra. Mô hình ngôn ngữ được xử lý ở mức ký tự, kết hợp với các phương pháp hỗ trợ để chọn ra phương pháp phù hợp với từng loại từ trong cuốn từ điển. Các kết quả sẽ được đánh giá để chọn lựa phương thức đạt hiệu suất sửa lỗi tốt nhất. Phương pháp này hứa hẹn nâng cao hiệu suất OCR một cách đáng kể.

3.1. Xây Dựng Mô Hình Ngôn Ngữ cho Sửa Lỗi Chính Tả

Mô hình ngôn ngữ đóng vai trò quan trọng trong việc sửa lỗi chính tả. Nó cung cấp thông tin về tần suất xuất hiện của các ký tự, từ và cụm từ trong ngôn ngữ Ba Na. Mô hình ngôn ngữ có thể được xây dựng dựa trên các kỹ thuật Machine Learning OCR, chẳng hạn như mạng nơ-ron hồi quy (RNN) hoặc biến đổi (Transformer). Mô hình sẽ dự đoán ký tự hoặc từ chính xác dựa trên ngữ cảnh xung quanh.

3.2. Tối Ưu Hóa Mô Hình và Đánh Giá Kết Quả Sửa Lỗi

Sau khi xây dựng mô hình ngôn ngữ, cần phải tối ưu hóa các tham số của mô hình để đạt được hiệu suất tốt nhất. Các kỹ thuật tối ưu hóa khác nhau có thể được sử dụng, chẳng hạn như gradient descent hoặc Adam. Sau đó, cần đánh giá kết quả sửa lỗi của mô hình trên một tập dữ liệu kiểm tra độc lập. Đánh giá OCR cần được tiến hành một cách khách quan.

IV. Ứng Dụng Hệ Thống Nhận Dạng Chữ Ba Na Trong Thực Tế 58 ký tự

Luận văn này không chỉ dừng lại ở lý thuyết mà còn hướng đến việc ứng dụng hệ thống thông tin nhận dạng chữ vào thực tế. Việc số hóa từ điển tiếng Ba Na là một ứng dụng quan trọng, giúp bảo tồn và phổ biến kiến thức về ngôn ngữ Ba Na. Ngoài ra, hệ thống có thể được sử dụng để số hóa các tài liệu cổ, sách báo, và các văn bản khác viết bằng tiếng Ba Na, góp phần vào việc bảo tồn văn hóa và tri thức của dân tộc Ba Na. Phát triển ứng dụng tiếng Ba Na là một hướng đi đầy tiềm năng.

4.1. Số Hóa Tài Liệu Cổ và Từ Điển Tiếng Ba Na

Việc số hóa các tài liệu cổ và từ điển tiếng Ba Na giúp bảo tồn các thông tin quý giá này khỏi sự mất mát do thời gian và điều kiện bảo quản. Các tài liệu số hóa có thể được truy cập dễ dàng hơn, chia sẻ rộng rãi hơn, và được sử dụng cho các mục đích nghiên cứu và giáo dục. Tạo cơ sở dữ liệu chữ viết Ba Na là yếu tố quan trọng.

4.2. Phát Triển Ứng Dụng Hỗ Trợ Học Tập và Dịch Thuật

Hệ thống nhận dạng chữ Ba Na có thể được sử dụng để phát triển các ứng dụng hỗ trợ học tập và dịch thuật tiếng Ba Na. Các ứng dụng này có thể giúp người học dễ dàng tra cứu từ vựng, tìm hiểu ngữ pháp, và dịch các văn bản tiếng Ba Na sang các ngôn ngữ khác. Việc phát triển ứng dụng di động tiếng Ba Na sẽ mang lại nhiều lợi ích cho cộng đồng.

V. Kết Luận Hướng Phát Triển Nhận Dạng Chữ Ba Na 57 ký tự

Luận văn thạc sĩ này đã trình bày một phương pháp hiệu quả để nhận dạng chữ Ba Na trên văn bản hình ảnh, sử dụng kỹ thuật Deep Learning. Mô hình sửa lỗi chính tả được đề xuất đã cải thiện đáng kể chất lượng của văn bản số đầu ra, góp phần vào việc số hóa từ điển tiếng Ba Na. Trong tương lai, hướng phát triển chính là tiếp tục nghiên cứu và cải tiến mô hình sửa lỗi, mở rộng phạm vi ứng dụng của hệ thống, và bản địa hóa công nghệ OCR cho tiếng Ba Na để phù hợp với các văn bản có định dạng và chất lượng khác nhau.

5.1. Nghiên Cứu và Cải Tiến Mô Hình Sửa Lỗi Chính Tả

Để nâng cao hiệu quả của hệ thống, cần tiếp tục nghiên cứu và cải tiến mô hình sửa lỗi chính tả. Các kỹ thuật tiên tiến hơn trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) có thể được áp dụng, chẳng hạn như mô hình Transformer hoặc các mô hình dựa trên attention. Việc bổ sung dữ liệu huấn luyện cũng có thể giúp cải thiện độ chính xác của mô hình.

5.2. Mở Rộng Phạm Vi Ứng Dụng và Hợp Tác Nghiên Cứu

Hệ thống nhận dạng chữ Ba Na có thể được mở rộng để xử lý các loại văn bản khác nhau, chẳng hạn như văn bản viết tay, văn bản có phông chữ đặc biệt, hoặc văn bản có độ phân giải thấp. Việc hợp tác với các chuyên gia về ngôn ngữ Ba Na và các nhà nghiên cứu trong lĩnh vực OCR cũng có thể mang lại những kết quả đột phá.

Nội dung chính

Tổng quan nghiên cứu

Việc bảo tồn và phát huy tiếng nói, chữ viết của các dân tộc thiểu số là một nhiệm vụ cấp thiết nhằm giữ gìn bản sắc văn hóa và thực hiện quyền bình đẳng giữa các dân tộc. Theo ước tính, người Ba Na có dân số khoảng 287 nghìn người, cư trú chủ yếu tại các tỉnh Tây Nguyên như Gia Lai, Kon Tum, Bình Định và Phú Yên. Tuy nhiên, các tài liệu về tiếng nói, chữ viết của dân tộc này chủ yếu được lưu trữ dưới dạng sách báo in trên giấy truyền thống, dễ bị hư hỏng theo thời gian, gây khó khăn trong việc cập nhật, sửa chữa và trao đổi thông tin.

Mục tiêu nghiên cứu của luận văn là phát triển một hệ thống nhận dạng chữ Ba Na trên văn bản hình ảnh, chuyển đổi các tài liệu in truyền thống thành văn bản số có thể lưu trữ lâu dài và dễ dàng xử lý. Nghiên cứu tập trung vào việc áp dụng công nghệ nhận dạng ký tự quang học (OCR) kết hợp với mô hình ngôn ngữ để sửa lỗi chính tả trong văn bản số đầu ra, nhằm nâng cao độ chính xác và chất lượng dữ liệu số hóa.

Phạm vi nghiên cứu bao gồm việc xử lý hình ảnh từ cuốn từ điển tiếng Ba Na, xây dựng và huấn luyện mô hình sửa lỗi chính tả dựa trên mô hình ngôn ngữ mức ký tự, đồng thời áp dụng các kỹ thuật hậu xử lý nhằm cải thiện kết quả nhận dạng. Nghiên cứu được thực hiện trong bối cảnh dữ liệu thu thập từ các tài liệu gốc tại tỉnh Bình Định và Gia Lai, trong khoảng thời gian gần đây.

Ý nghĩa của nghiên cứu được thể hiện qua việc góp phần bảo tồn ngôn ngữ và văn hóa dân tộc Ba Na, đồng thời cung cấp một giải pháp công nghệ có thể áp dụng cho các ngôn ngữ thiểu số khác, hỗ trợ số hóa và lưu trữ tài liệu hiệu quả hơn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Nhận dạng ký tự quang học (OCR): Công nghệ chuyển đổi hình ảnh chứa văn bản thành dữ liệu văn bản số. Trong nghiên cứu, thư viện Tesseract OCR được sử dụng, đặc biệt phiên bản hỗ trợ tiếng Việt để nhận dạng chữ Ba Na do sự tương đồng về bảng chữ cái La tinh.

• Mạng nơ-ron hồi quy (RNN) và LSTM: Mô hình học sâu được áp dụng để xây dựng mô hình ngôn ngữ mức ký tự, giúp sửa lỗi chính tả trong văn bản số. LSTM được chọn vì khả năng ghi nhớ thông tin dài hạn, phù hợp với xử lý chuỗi ký tự.

• Thuật toán Heuristic: Phương pháp suy nghiệm được sử dụng để hỗ trợ sửa lỗi ký tự dựa trên các quy tắc và kinh nghiệm, giúp tăng hiệu quả sửa lỗi cho mô hình ngôn ngữ.

• Khoảng cách Levenshtein: Được dùng làm thước đo để đánh giá sự khác biệt giữa chuỗi ký tự, hỗ trợ trong việc phát hiện và sửa lỗi chính tả.

Các khái niệm chính bao gồm: OCR, RNN, LSTM, Heuristic, khoảng cách Levenshtein, tiền xử lý hình ảnh, và mô hình ngôn ngữ mức ký tự.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ cuốn từ điển tiếng Ba Na (Bơhnar Kriêm) do Sở Khoa học và Công nghệ tỉnh Bình Định phối hợp Viện Ngôn ngữ học Ba Na Nam thực hiện, cùng với sổ tay phương ngữ tiếng Ba Na của Sở Giáo dục và Đào tạo Gia Lai. Dữ liệu bao gồm hình ảnh quét các trang sách, bảng chữ cái tiếng Ba Na với nhiều cỡ chữ và font chữ khác nhau.

Phương pháp nghiên cứu gồm các bước:

1. Tiền xử lý hình ảnh: Lọc nhiễu, nâng cao độ tương phản, chuyển đổi sang ảnh thang xám và ảnh nhị phân, chỉnh sửa biến dạng và nghiêng lệch để chuẩn bị cho bước nhận dạng ký tự.

2. Nhận dạng ký tự quang học (OCR): Sử dụng thư viện Pytesseract (phiên bản tiếng Việt) để trích xuất văn bản số từ hình ảnh đã xử lý.

3. Xây dựng mô hình sửa lỗi chính tả: Huấn luyện mô hình ngôn ngữ dựa trên mạng LSTM ở mức ký tự, kết hợp với thuật toán Heuristic để sửa các lỗi ký tự phổ biến trong văn bản số.

4. Đánh giá và so sánh kết quả: So sánh chất lượng văn bản số trước và sau khi áp dụng mô hình sửa lỗi, sử dụng các chỉ số về tỷ lệ lỗi ký tự và độ chính xác nhận dạng.

Cỡ mẫu dữ liệu được chia theo tỷ lệ 80% cho huấn luyện và 20% cho kiểm thử. Phương pháp chọn mẫu dựa trên tập dữ liệu hình ảnh thu thập được từ các tài liệu gốc. Phân tích kết quả được thực hiện thông qua thống kê lỗi ký tự và trực quan hóa bằng biểu đồ so sánh.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Chất lượng hình ảnh ảnh hưởng lớn đến kết quả OCR: Qua xử lý tiền đề, hình ảnh được chuyển sang thang xám và loại bỏ nhiễu giúp tăng độ rõ nét, từ đó nâng cao hiệu suất nhận dạng. Kết quả cho thấy tỷ lệ lỗi ký tự giảm khoảng 15% so với dữ liệu gốc chưa xử lý.

2. Tesseract tiếng Việt có thể áp dụng cho tiếng Ba Na với độ chính xác tương đối: Mặc dù không hỗ trợ trực tiếp tiếng Ba Na, thư viện này vẫn nhận dạng được phần lớn ký tự do sự tương đồng bảng chữ cái La tinh. Tuy nhiên, tỷ lệ lỗi ký tự vẫn còn khoảng 20% do các ký tự đặc thù của tiếng Ba Na bị nhận dạng sai.

3. Mô hình ngôn ngữ LSTM giúp giảm lỗi chính tả đáng kể: Sau khi áp dụng mô hình sửa lỗi dựa trên LSTM kết hợp thuật toán Heuristic, tỷ lệ lỗi ký tự giảm xuống còn khoảng 7%, tức cải thiện hơn 65% so với kết quả OCR thô.

4. Thuật toán Heuristic hỗ trợ hiệu quả trong việc sửa các lỗi lặp lại và lỗi đặc thù: Việc kết hợp mô hình ngôn ngữ với các quy tắc Heuristic giúp sửa các lỗi phổ biến như thay thế sai nguyên âm, thiếu dấu, hoặc ký tự bị biến đổi, nâng cao độ chính xác tổng thể.

Thảo luận kết quả

Nguyên nhân chính của các lỗi nhận dạng ký tự là do chất lượng hình ảnh đầu vào không đồng đều, bao gồm hiện tượng mờ, lem, nghiêng lệch và nhiễu nền. Việc tiền xử lý hình ảnh đóng vai trò quan trọng trong việc cải thiện chất lượng dữ liệu đầu vào cho OCR. Kết quả này phù hợp với các nghiên cứu trước đây về ảnh hưởng của tiền xử lý đến hiệu quả nhận dạng.

Việc sử dụng thư viện Tesseract tiếng Việt cho tiếng Ba Na là một giải pháp thực tiễn trong bối cảnh thiếu công cụ hỗ trợ trực tiếp cho ngôn ngữ này. Tuy nhiên, do đặc thù riêng biệt của tiếng Ba Na, các lỗi nhận dạng vẫn còn tồn tại, đòi hỏi bước hậu xử lý để sửa lỗi.

Mô hình LSTM thể hiện ưu thế vượt trội trong việc xử lý chuỗi ký tự và sửa lỗi chính tả, nhờ khả năng ghi nhớ thông tin dài hạn và học được các quy luật ngôn ngữ. Sự kết hợp với thuật toán Heuristic giúp mô hình linh hoạt hơn trong việc xử lý các lỗi đặc thù, từ đó nâng cao hiệu quả sửa lỗi.

Kết quả có thể được trình bày qua biểu đồ so sánh tỷ lệ lỗi ký tự giữa OCR thô và sau khi áp dụng mô hình sửa lỗi, minh họa sự cải thiện rõ rệt về chất lượng văn bản số. Bảng thống kê các ký tự lỗi phổ biến cũng giúp làm rõ các điểm yếu của bước nhận dạng ban đầu và hiệu quả của bước sửa lỗi.

Đề xuất và khuyến nghị

1. Tăng cường chất lượng hình ảnh đầu vào: Áp dụng các kỹ thuật tiền xử lý nâng cao như lọc nhiễu chuyên sâu, chỉnh sửa biến dạng và cân bằng độ sáng để cải thiện chất lượng hình ảnh trước khi OCR, nhằm giảm tỷ lệ lỗi ký tự. Chủ thể thực hiện: các nhà nghiên cứu và kỹ thuật viên xử lý ảnh; Thời gian: 3-6 tháng.

2. Phát triển mô hình ngôn ngữ chuyên biệt cho tiếng Ba Na: Thu thập thêm dữ liệu văn bản tiếng Ba Na để huấn luyện mô hình LSTM hoặc các mô hình học sâu khác nhằm nâng cao khả năng nhận diện và sửa lỗi chính tả. Chủ thể thực hiện: nhóm nghiên cứu AI và ngôn ngữ học; Thời gian: 6-12 tháng.

3. Tích hợp thuật toán Heuristic linh hoạt hơn: Xây dựng bộ quy tắc Heuristic mở rộng, có khả năng tự động cập nhật dựa trên dữ liệu mới, giúp mô hình sửa lỗi thích ứng với các biến thể ngôn ngữ và lỗi mới phát sinh. Chủ thể thực hiện: nhà phát triển phần mềm; Thời gian: 4-8 tháng.

4. Ứng dụng hệ thống vào các thư viện và cơ sở lưu trữ tài liệu: Triển khai hệ thống nhận dạng và sửa lỗi chữ Ba Na trên quy mô lớn để số hóa các tài liệu dân tộc thiểu số, góp phần bảo tồn văn hóa và hỗ trợ nghiên cứu. Chủ thể thực hiện: các tổ chức văn hóa, thư viện; Thời gian: 12-18 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu ngôn ngữ học dân tộc thiểu số: Luận văn cung cấp phương pháp và công cụ hỗ trợ số hóa, bảo tồn ngôn ngữ Ba Na, giúp nghiên cứu sâu hơn về ngôn ngữ và văn hóa dân tộc.

2. Chuyên gia công nghệ thông tin và trí tuệ nhân tạo: Tài liệu trình bày ứng dụng thực tiễn của các mô hình học sâu (LSTM, RNN) và thuật toán Heuristic trong xử lý ngôn ngữ tự nhiên, đặc biệt cho các ngôn ngữ ít được hỗ trợ.

3. Các tổ chức bảo tồn văn hóa và thư viện số: Hướng dẫn kỹ thuật số hóa tài liệu truyền thống, giúp lưu trữ và bảo tồn lâu dài các tài liệu quý giá của dân tộc thiểu số.

4. Sinh viên và học viên cao học chuyên ngành hệ thống thông tin, xử lý ảnh và NLP: Cung cấp một case study thực tế về xây dựng hệ thống nhận dạng và sửa lỗi văn bản hình ảnh, từ đó phát triển kỹ năng nghiên cứu và ứng dụng công nghệ.

Câu hỏi thường gặp

1. Tại sao phải sử dụng mô hình ngôn ngữ LSTM để sửa lỗi chính tả?
   Mô hình LSTM có khả năng ghi nhớ thông tin dài hạn trong chuỗi ký tự, giúp dự đoán và sửa lỗi chính tả hiệu quả hơn so với các mô hình truyền thống. Ví dụ, LSTM có thể nhận biết nguyên âm bị thiếu hoặc sai vị trí dựa trên ngữ cảnh xung quanh.

2. Tại sao không sử dụng trực tiếp thư viện Tesseract cho tiếng Ba Na?
   Hiện tại Tesseract chưa hỗ trợ trực tiếp tiếng Ba Na, do đó sử dụng phiên bản tiếng Việt là giải pháp thay thế khả thi nhờ sự tương đồng bảng chữ cái. Tuy nhiên, điều này dẫn đến một số lỗi nhận dạng cần được sửa bằng mô hình hậu xử lý.

3. Thuật toán Heuristic đóng vai trò gì trong hệ thống?
   Heuristic giúp bổ sung các quy tắc và kinh nghiệm để sửa các lỗi ký tự lặp lại hoặc đặc thù mà mô hình ngôn ngữ có thể bỏ sót, từ đó nâng cao độ chính xác tổng thể của văn bản số.

4. Làm thế nào để cải thiện chất lượng hình ảnh đầu vào?
   Có thể áp dụng các kỹ thuật như lọc nhiễu, cân bằng độ sáng, chỉnh sửa nghiêng lệch và tăng độ tương phản để làm rõ nét hình ảnh, giúp OCR nhận dạng chính xác hơn.

5. Hệ thống có thể áp dụng cho các ngôn ngữ thiểu số khác không?
   Có thể, với điều kiện thu thập đủ dữ liệu và xây dựng mô hình ngôn ngữ phù hợp. Phương pháp kết hợp OCR, mô hình LSTM và Heuristic có tính tổng quát cao, có thể được điều chỉnh cho các ngôn ngữ khác.

Kết luận

• Luận văn đã phát triển thành công hệ thống nhận dạng chữ Ba Na trên văn bản hình ảnh, kết hợp OCR và mô hình ngôn ngữ LSTM để sửa lỗi chính tả.
• Kết quả thực nghiệm cho thấy tỷ lệ lỗi ký tự giảm từ khoảng 20% xuống còn 7% sau khi áp dụng mô hình sửa lỗi.
• Nghiên cứu góp phần bảo tồn ngôn ngữ và văn hóa dân tộc Ba Na thông qua số hóa tài liệu truyền thống.
• Hệ thống có thể mở rộng ứng dụng cho các ngôn ngữ thiểu số khác và các nghiên cứu xử lý ngôn ngữ tự nhiên liên quan.
• Các bước tiếp theo bao gồm nâng cao chất lượng dữ liệu đầu vào, mở rộng bộ dữ liệu huấn luyện và phát triển thuật toán Heuristic linh hoạt hơn.

Để tiếp tục phát triển và ứng dụng hệ thống, các nhà nghiên cứu và tổ chức có thể liên hệ để hợp tác triển khai, góp phần bảo tồn và phát huy giá trị văn hóa dân tộc qua công nghệ hiện đại.

Trích đoạn nội dung tài liệu

Chương 1, giới thiệu tổng quan toàn bộ nội dung đề tài “Nhận dạng chữ Ba Na trên văn bản hình ảnh” gồm: mục tiêu và phạm vi đề tài, tính ứng dụng của đề tài, các công trình nghiên cứu liên quan, thách thức của bài toán, Phương pháp nghiên cứu và cấu trúc luận văn. 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Đôi nét về người Ba Na Người Ba Na (Bahnar; các tên gọi khác: Jơ Lơng, Rơ Ngao, Glar, Tơ Lô, Bơ Nâm, Krem, Roh, Con Kde) là một dân tộc trong số 54 dân tộc tại Ba Na Nam. - [4] Người Ba Na cư trú chủ yếu ở vùng Tây Nguyên và cao nguyên trung phần Ba Na Nam, có dân số xấp xỉ 287 nghìn người năm 2019.

Theo tổng điều tra dân số và nhà ở người Ba Na ở Ba Na cư trú tại 51 trên tổng số 63 tỉnh, thành phố. Người Ba Na cư trú tập trung tại các tỉnh: • Gia Lai (104.997 người, chiếm 11,8% dân số toàn tỉnh và 45,9% tổng số người Ba Na tại Ba Na Nam), • Kon Tum (99.416 người, chiếm 12,5% dân số toàn tỉnh và 43,7% tổng số người Ba Na tại Ba Na Nam), • Bình Định (18.175 người, chiếm 8,0% tổng số người Ba Na tại Ba Na Nam), • Phú Yên (4.145 người, chiếm 1,8 % tổng số người Ba Na tại Ba Na Nam). Người Ba Na có nhiều tên gọi khác nhau theo nơi cư trú hay phong tục tập quán mỗi vùng. Người Ba Na là dân tộc bản địa Ba Na Nam có từ lâu đời tập trung ở các vùng Tây Nguyên điển hình là hai tỉnh Kon Tum, Gia Lai đây được coi là bản địa cũng như địa bàn cư trú của người Ba Na Tại Mỹ có một số người Ba Na nhập cư theo diện HO.

Tiếng Ba Na liên quan đến tiếng Kinh. Người Ba Na nói tiếng Ba Na thuộc Ngữ chi Ba Na là một ngôn ngữ thuộc Ngữ hệ Nam Á (hay còn gọi ngôn ngữ Môn-Khmer), cùng với đó là Ngữ chi Ba Na và Ngữ chi Ba Na-Mường được xếp vào ngôn ngữ Môn-Khmer. Ngôn ngữ chữ BaNa Tiếng Ba Na là ngôn ngữ của người Ba Na, sắc tộc thiểu số ở miền trung Ba Na Nam. – [4] (Theo Bách khoa toàn thư mở Wikipedia) 6 Tiếng Ba Na còn ít được nghiên cứu.

Hiện nó được xếp loại là nhóm Bắc Ba Na, thuộc Ngữ chi Bahnar, Ngữ hệ Nam Á. Ngôn ngữ này có 9 nguyên âm về chất, hơn nữa còn phân biệt độ dài nguyên âm. Năm 1861, chữ Ba Na viết theo mẫu tự la tinh. 1: Bộ bảng chữ cái Tiếng Ba Na (Nguồn tác giả) 2.

Tổng quan về Tesseract Nhận dạng ký tự quang học (tiếng Anh: Optical Character Recognition, viết tắt là OCR), là loại phần mềm máy tính được tạo ra để chuyển các hình ảnh của chữ viết tay hoặc chữ đánh máy (thường được quét bằng máy scanner) thành các văn bản tài liệu. OCR được hình thành từ một lĩnh vực nghiên cứu về nhận dạng mẫu, trí tuệ nhận tạo và thị giác máy tính - [6]. Đây là một công nghệ phổ biến để nhận dạng văn bản bên trong hình ảnh, chẳng hạn như tài liệu và ảnh được quét. Công nghệ OCR được sử dụng để chuyển đổi hầu như bất kỳ loại hình ảnh nào có chứa văn bản viết (đánh máy, viết tay hoặc in) thành dữ liệu văn bản có thể đọc được bằng máy.

Những dữ liệu được sinh ra từ việc nhận dạng ký tự quang học có thể được sử dụng cho rất nhiều việc, ví dụ như: số hóa các văn bản, tài liệu cũ, sách báo, dịch sang các ngôn ngữ khác, hoặc kiểm tra và xác minh vị trí văn bản,… Công nghệ OCR trở nên phổ biến vào đầu những năm 1990 khi cố gắng số hóa các tờ báo lịch sử. Kể từ đó, công nghệ đã trải qua một số cải tiến. Ngày nay, các giải pháp cung cấp độ chính xác OCR gần như hoàn hảo. 7 Một ví dụ về OCR như hình dưới : Hình 2.

2: OCR trên một tờ giấy cũ và chuyển đổi sang văn bản số OCR là một quy trình thường bao gồm một số quy trình phụ để thực hiện chính xác nhất có thể [7]. Các quy trình phụ thường bao gồm: 2. Tiền xử lý hình ảnh • Cục bộ hóa văn bản: phân tách tài liệu các yếu tố (dòng, từ, ký tự .) • Phân đoạn ký tự: xác định các tính năng đặc trưng cho các phần tử được phân cách của một tài liệu. • Nhận dạng ký tự: nhận biết và xác định từng phần tử.

Nó được thực hiện dựa trên các tính năng được trích xuất. • Hậu xử lý: Nó có thể là tự động hoặc thủ công Tất nhiên, các quy trình phụ trong danh sách trên có thể khác nhau, nhưng đây là những bước gần như cần thiết để tiếp cận nhận dạng ký tự tự động. Trong phần mềm OCR, mục đích chính là xác định và nắm bắt tất cả các từ duy nhất bằng các ngôn ngữ khác nhau từ các ký tự văn bản viết. 3: Quá trình OCR (Optical Character Recognition process) 8 Nguồn: [7] 2.

Thư viện Tesseract Tesseract - một công cụ OCR mã nguồn mở đang phổ biến hiện nay. Nó giúp tiết kiệm thời gian và công sức của con người. Nó hoạt động tự động trích xuất văn bản từ một hình ảnh, tồn tại trong nhiều loại phông chữ và bị bóp méo theo mọi cách. Nhận dạng ký tự quang học (OCR), ban đầu được phát triển tại Hewlett Packard từ năm 1984 đến năm 1994, là một nguồn mở (theo Giấy phép Apache 2.0) quang ngoại tuyến công cụ nhận dạng ký tự.

Bristol, lần đầu tiên bắt đầu phát triển Tesseract như một dự án nghiên cứu tiến sĩ trong HP Labs. Năm 1995, Tesseract được gửi đến Đại học Nevada, Les Vegas (UNLV). Đến năm 2005, Tesseract đã được phát hành bởi Hewlett Packard và Đại học Nevada, Las Vegas và hiện tại nó được tài trợ và duy trì một phần bởi Google. Tesseract với phiên bản 3.x khi nó bắt đầu hỗ trợ nhiều định dạng hình ảnh và dần dần bổ sung một số lượng lớn các tập lệnh (ngôn ngữ).x dựa trên các thuật toán thị giác máy tính truyền thống.

Trong vài năm qua, các phương pháp dựa trên Deep Learning đã vượt qua các kỹ thuật máy học truyền thống nhờ một lợi nhuận rất lớn về độ chính xác trong nhiều lĩnh vực của Thị giác máy tính. Nhận dạng chữ viết tay là một trong những ví dụ nổi bật. Đến phiên bản 4.x trở đi, Tesseract đã triển khai một công cụ nhận dạng dựa trên Bộ nhớ Ngắn hạn Dài hạn (LSTM). LSTM là một loại Mạng thần kinh tái diễn (RNN).

9 Hiện tại, Tesseract đã được hỗ trợ trên ba hệ điều hành Linux , của Windows và Mac OS X. Thư viện Tesseract cũng hỗ trợ rất nhiều ngôn ngữ lập trình, như: Java, C/C++, Python, … 2. Cách Tesseract hoạt động Tesseract 3.x phụ thuộc vào quy trình nhiều giai đoạn, ở đó chúng ta có thể phân biệt qua các bước: • Tìm từ • Tìm dòng • Phân loại kí tự Việc tìm kiếm từ được thực hiện bằng cách sắp xếp các dòng văn bản thành các đốm màu, các dòng và vùng được phân tích để tìm cao độ cố định hoặc văn bản theo tỷ lệ. Các dòng văn bản được chia thành các từ khác nhau tùy theo loại khoảng cách ký tự.

Việc nhận dạng sẽ được tiến hành như một quá trình hai lần. Trong lần vượt qua đầu tiên, một nỗ lực được thực hiện để nhận ra lần lượt từng từ. Mỗi từ đạt yêu cầu được chuyển đến bộ phân loại thích ứng làm dữ liệu huấn luyện. Sau đó, trình phân loại thích ứng sẽ có cơ hội nhận dạng chính xác hơn văn bản ở dưới trang (Hình 2.

4: Kiến trúc Tesseract OCR 2. Hạn chế của Tesseract Tesseract hoạt động tốt nhất khi có sự phân đoạn rõ ràng của từ nền khỏi văn bản nền. Trong thực tế, có thể cực kỳ khó khăn để đảm bảo các loại thiết lập này. Có nhiều lý do khiến chúng ta không nhận được đầu ra chất lượng tốt từ Tesseract như việc hình ảnh bị nhiễu trên nền.

Chất lượng hình ảnh (kích thước, độ tương phản, độ sáng) càng 10 tốt thì kết quả nhận dạng càng tốt. Nó đòi hỏi một chút xử lý trước để cải thiện kết quả OCR, hình ảnh cần được chia tỷ lệ thích hợp, có độ tương phản hình ảnh nhiều nhất có thể và văn bản phải được căn chỉnh theo chiều ngang. Tesseract OCR khá mạnh nhưng có những hạn chế sau: • OCR không chính xác như một số giải pháp thương mại có sẵn • Không hoạt động tốt với hình ảnh bị ảnh hưởng bởi hiện vật bao gồm tắc một phần, phối cảnh méo mó và nền phức tạp. • Nó có thể không nhận dạng được (vô nghĩa) và báo cáo đây là đầu ra OCR.

• Không phải lúc nào việc phân tích thứ tự đọc tự nhiên của tài liệu cũng tốt. Ví dụ: nó có thể không nhận ra rằng một tài liệu chứa hai cột và có thể cố gắng nối văn bản giữa các cột. • Bản quét chất lượng kém có thể tạo ra OCR chất lượng kém. Công cụ Pytesseract Để phục vụ cho việc thực hiện bài toán, tôi sẽ sử dụng công cụ chính là Pytesseract.

Pytesseract là một công cụ nhận dạng ký tự quang học (OCR) dành cho ngôn ngữ lập trình Python - [7]. Tức là, nó sẽ nhận ra và “đọc” văn bản được nhúng trong hình ảnh. Pytesseract là một trình bao bọc cho công cụ Tesseract-OCR của Google. Nó cũng hữu ích như một tập lệnh gọi độc lập đối với Tesseract, vì nó có thể đọc tất cả các loại hình ảnh được hỗ trợ bởi thư viện hình ảnh Pillow và Leptonica, bao gồm jpeg, png, gif, bmp, tiff và các loại khác.

Ngoài ra, nếu được sử dụng làm script, Python- tesseract sẽ in văn bản được nhận dạng thay vì ghi nó vào tệp. Thư viện OpenCV OpenCV (Open Source Computer Vision) là một thư viện mã nguồn mở về thị giác máy với hơn 500 hàm và hơn 2500 các thuật toán đã được tối ưu về xử lý ảnh, và các vấn đề liên quan tới thị giác máy. OpenCV được thiết kế một cách tối ưu, sử dụng tối đa sức mạnh của các dòng chip đa li… để thực hiện các phép tính toán trong thời gian thực, nghĩa là tốc độ đáp ứng của nó có thể đủ nhanh cho các ứng dụng thông thường. OpenCV là thư viện được thiết kế để chạy trên nhiều nền tảng khác nhau (cross- platform), nghĩa là nó có thể chạy trên hệ điều hành Window, Linux, Mac, iOS… Thư viện OpenCV ban đầu được sự hỗ trợ từ Intel, sau đó được hỗ trợ bở Willow Garage, một phòng thí nghiệm chuyên nghiên cứu về công nghệ robot.