Luận văn ThS: Mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm

Luận văn nghiên cứu mô hình AI hợp nhất giúp phát hiện và nhận dạng ký tự Hán Nôm trong ảnh chính xác, tối ưu tài nguyên phần cứng.

• Tác giả: Nguyễn Văn Lợi
• Người hướng dẫn: PTS. Nguyễn Thị Oanh
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Mô hình AI Nhận dạng Chữ Hán Nôm

Mô hình AI nhận dạng chữ Hán Nôm đrappresenta một bước tiến quan trọng trong lĩnh vực xử lý ảnh và trí tuệ nhân tạo. Hán Nôm là hệ thống chữ viết cổ xưa của Việt Nam, kết hợp giữa chữ Hán và các ký tự độc quyền. Việc phát triển công nghệ nhận dạng tự động cho chữ Hán Nôm giúp bảo tồn và khai thác các tài liệu lịch sử quý giá. Luận văn thạc sĩ từ Đại học Bách khoa Hà Nội đã đề xuất một mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm, kết hợp các kỹ thuật mạng nơ-ron hiện đại. Mô hình này không chỉ cải thiện độ chính xác mà còn giảm thiểu tiêu hao tài nguyên phần cứng, tạo ra một giải pháp thực tiễn cho các ứng dụng thực tế.

1.1. Bối cảnh Lịch sử và Tầm quan trọng

Chữ Hán Nôm là di sản văn hóa độc đáo của dân tộc Việt, được sử dụng từ thế kỷ 10-20. Nhiều tài liệu lịch sử, sách vở cổ kính vẫn còn sử dụng hệ thống chữ viết này. Tuy nhiên, việc đọc, phiên dịch và số hóa các tài liệu này đòi hỏi công sức khổng lồ. Mô hình AI nhận dạng giúp tự động hóa quá trình này, bảo tồn di sản văn hóa một cách hiệu quả và hiện đại.

1.2. Mục tiêu và Ý nghĩa Nghiên cứu

Mục tiêu chính của nghiên cứu là phát triển một mô hình nhân tạo thông minh có khả năng phát hiện và nhận dạng chữ Hán Nôm trong các ảnh kỹ thuật số. Mô hình được thiết kế để hoạt động với độ chính xác cao, tối ưu hóa chi phí tính toán, và có khả năng mở rộng cho các ngôn ngữ khác. Điều này mở ra nhiều ứng dụng thực tiễn trong bảo tồn tài liệu, giáo dục và nghiên cứu lịch sử.

II. Kiến trúc và Công nghệ Nền tảng của Mô hình

Mô hình hợp nhất phát hiện và nhận dạng chữ Hán Nôm được xây dựng dựa trên các kiến trúc mạng nơ-ron sâu tiên tiến. Mô hình kết hợp các ưu điểm từ những kiến trúc phổ biến như CRNN, CRAFT, FOTS, EAST và TextBoxes++. Tuy nhiên, các cải tiến đáng kể đã được thực hiện để tối ưu hóa hiệu suất cho chữ Hán Nôm cụ thể. Các thành phần chính bao gồm mạng Convolutional Neural Network (CNN) để trích xuất đặc trưng, Region of Interest (RoI) pooling để chuẩn hóa dữ liệu, và các lớp xử lý dữ liệu chuyên biệt. Cấu trúc này cho phép mô hình hoạt động hiệu quả ngay cả khi các ký tự có hình dạng phức tạp và định hướng khác nhau.

2.1. Mạng Nơ ron Convolutional trong Phát hiện Ký tự

Mạng CNN đóng vai trò trung tâm trong việc trích xuất các đặc trưng hình ảnh quan trọng. Mô hình sử dụng các lớp tích chập với kernel kích thước khác nhau để phát hiện các mẫu từ đơn giản đến phức tạp. Qua các lớp pooling và Batch Normalization, mô hình giảm kích thước dữ liệu đồng thời duy trì thông tin quan trọng. Các cải tiến bao gồm sử dụng Automatic Mixed Precision (AMP) để tăng tốc độ xử lý mà không làm giảm độ chính xác.

2.2. Cơ chế RoI Pooling và Xử lý Dữ liệu

RoI pooling cho phép mô hình xử lý các vùng ảnh có kích thước khác nhau một cách hiệu quả. Điều này đặc biệt quan trọng vì chữ Hán Nôm có thể xuất hiện với các kích thước và tỷ lệ khác nhau trong ảnh. Mô hình sử dụng các kỹ thuật sampling và interpolation tiên tiến để chuẩn hóa các vùng quan tâm trước khi nhận dạng. Các cải tiến này giúp tăng tính ổn định và độ chính xác của hệ thống.

III. Quá trình Huấn luyện và Đánh giá Mô hình

Quá trình phát triển mô hình AI nhận dạng chữ Hán Nôm bao gồm các giai đoạn huấn luyện và đánh giá chi tiết. Nghiên cứu sử dụng hai tập dữ liệu chính: Chinese Synthetic String dataset và Chinese Street View Text dataset. Các tập dữ liệu này được lựa chọn vì sự tương đồng giữa chữ Hán và chữ Hán Nôm. Trong quá trình huấn luyện, mô hình được tối ưu hóa bằng cách điều chỉnh các siêu tham số, sử dụng các kỹ thuật augmentation dữ liệu và áp dụng các phương pháp regularization. Kết quả đánh giá cho thấy mô hình đạt độ chính xác cao trong cả phát hiện và nhận dạng ký tự. Ngoài ra, thời gian xử lý được tối ưu hóa, giúp mô hình có thể chạy trên các thiết bị có tài nguyên hạn chế.

3.1. Tập Dữ liệu và Chuẩn bị Dữ liệu

Các tập dữ liệu được sử dụng bao gồm hình ảnh chữ Hán tổng hợp và ảnh thực tế từ các biển báo đường phố. Dữ liệu được tiền xử lý, chuẩn hóa và augmentation để tăng độ đa dạng. Các kỹ thuật như rotation, scaling, brightness adjustment được áp dụng để giúp mô hình học được các đặc trưng bất biến. Bước chuẩn bị dữ liệu này rất quan trọng cho sự thành công của mô hình nhận dạng.

3.2. Kết quả và So sánh Hiệu suất

Mô hình hợp nhất đạt kết quả vượt trội so với các mô hình cơ bản. Độ chính xác trong phát hiện ký tự đạt trên 85%, trong khi độ chính xác nhận dạng đạt trên 90%. Mô hình cũng cho thấy sự cải thiện đáng kể về tốc độ xử lý, giảm 30% thời gian so với các mô hình gốc. So sánh với CRAFT và CRAFTS cho thấy mô hình đề xuất có hiệu suất tốt hơn với chi phí tính toán thấp hơn.

IV. Ứng dụng Thực tiễn và Phương hướng Phát triển Tương lai

Mô hình AI phát hiện và nhận dạng chữ Hán Nôm hiện đã được phát triển thành một hệ thống hoàn chỉnh với khả năng ứng dụng cao. Hệ thống có thể được tích hợp vào các ứng dụng số hóa tài liệu, bảo tồn di sản văn hóa, và hỗ trợ nghiên cứu lịch sử. Những ứng dụng thực tiễn bao gồm tự động hóa việc nhập dữ liệu từ tài liệu cổ, tạo bản kỹ thuật số của các sách vở lịch sử, và phát triển các công cụ hỗ trợ học tập. Nhóm nghiên cứu đã lên kế hoạch phát triển phần mô-đun dịch, mở rộng hệ thống cho tiếng Việt và các ngôn ngữ khác, và xây dựng mô hình thu gọn cho thiết bị di động. Việc phát triển nền tảng dịch vụ dựa trên đám mây sẽ giúp mô hình trở nên dễ tiếp cận hơn cho người dùng rộng rãi.

4.1. Các Ứng dụng Hiện tại và Tiềm năng

Mô hình nhận dạng chữ Hán Nôm có thể được ứng dụng trong số hóa thư viện, xây dựng kho dữ liệu tài liệu cổ, và phát triển công cụ tra cứu tài liệu thông minh. Các museum và viện bảo tàng có thể sử dụng hệ thống để số hóa bộ sưu tập của họ. Ngoài ra, mô hình cũng hỗ trợ học tập tiếng Việt cổ và giáo dục lịch sử. Tiềm năng ứng dụng rất lớn với sự phát triển của công nghệ AI.

4.2. Hướng Phát triển và Cải tiến Trong Tương lai

Các kế hoạch tương lai bao gồm phát triển module dịch tích hợp, mở rộng mô hình cho tiếng Việt và ngôn ngữ khác, và tạo phiên bản tối ưu cho thiết bị di động. Xây dựng nền tảng dịch vụ API sẽ cho phép tích hợp dễ dàng vào các ứng dụng khác. Nghiên cứu sẽ tiếp tục cải tiến độ chính xác, khả năng xử lý text có định hướng tùy ý, và mở rộng hỗ trợ cho các hình dạng ký tự phức tạp.

Trích đoạn nội dung tài liệu

HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY MASTER THESIS Unified Model of Detection and Recognition for Han Nom Characters NGUYỄN VĂN LỢI loi.vn Information Systems Supervisor: PhD. Nguyễn Thị Oanh Signature School: SOICT HÀ NỘI, 03/2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ và tên tác giả luận văn: Nguyễn Văn Lợi Đề tài luận văn: Mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm Chuyên ngành: Hệ thống thông tin Mã số SV: CBC19016 Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 24/04/2021 với các nội dung sau: - Đính chính thêm nội dung về sơ đồ tổng thể cho hệ thống và tiêu đề luận văn Ngày 03 tháng 05 năm 2021 Giáo viên hướng dẫn Tác giả luận văn TS. Nguyễn Thị Oanh Nguyễn Văn Lợi CHỦ TỊCH HỘI ĐỒNG PGS. Phạm Văn Hải Lời cảm ơn Bằng lòng biết ơn sâu sắc, tôi xin được gửi lời cảm ơn chân thành nhất tới TS.

Nguyễn Thị Oanh, người đã giúp tôi rất nhiều trong khoảng thời gian vừa qua, từ việc chỉ bảo tận tình lý thuyết, kỹ năng cũng như thái độ cần thiết để tôi có thể hoàn thành tốt nhất công trình luận văn thạc sĩ này. Trong quá trình thực hiện luận văn, cô luôn là người nhiệt tình, chu đáo và hỗ trợ hết mình, giúp tôi vượt qua những chặng đường, những khoảng thời gian khó khăn nhất. Đồng thời tôi xin gửi lời cảm ơn sâu sắc nhất đến gia đình và bạn bè đã luôn là hậu phương vững chắc hỗ trợ tôi trong suốt thời gian vừa qua, là một nguồn động lực to lớn giúp tôi có được thành công ngày hôm nay. Tôi xin chân thành cảm ơn! Hà Nội, ngày 03 tháng 05 năm 2021 HỌC VIÊN Ký và ghi rõ họ tên Nguyễn Văn Lợi Tóm tắt nội dung luận văn Trong luận văn thạc sĩ này, đầu tiên tôi sẽ trình bày bài toán, vấn đề mà tôi đang quan tâm cũng chính là vấn đề mà tôi sẽ giải quyết đó là vấn đề về phát hiện và nhận dạng các dãy ký tự Hán Nôm có trong ảnh kỹ thuật số bất kỳ.

Cụ thể, tôi sẽ trình bày về bối cảnh lịch sử hình thành vấn đề, lý do cũng như động lực thúc đẩy tôi nghiên cứu về vấn đề. Sau đó tôi sẽ trình bày bài toán, định nghĩa vấn đề một cách cụ thể. Ở trong luận văn này, tôi có sử dụng kết hợp các phương pháp nghiên cứu khoa học, các phương pháp thực hiện phổ biến như: phương pháp phân tích – tổng hợp, phương pháp so sánh, phương pháp dùng số liệu, phương pháp liệt kê. Các phương pháp sẽ được áp dụng xen kẽ, thường xuyên, đầy đủ và đúng đắn xuyên suốt nội dung trình bày trong luận văn.

Ví dụ như việc áp dụng cả bốn phương pháp thực hiện nghiên cứu trong giai đoạn tìm hiểu các nghiên cứu, các đề tài liên quan và so sánh tìm ra đề xuất giải pháp phù hợp. Cũng có thể thấy sự hiện diện của phương pháp phân tích – tổng hợp, so sánh,. trong quá trình trình bày, mô tả chi tiết giải pháp đề xuất cũng như quá trình cài đặt thực nghiệm, đánh giá, so sánh kết quả và những phát triển định hướng trong tương lai. Để nói chi tiết hơn, mô hình mà tôi đề xuất là một mô hình mạng nơ-ron được lấy cảm ứng từ những mô hình phát hiện và nhận dạng ký tự hiệu quả và phổ biến hiện nay ví dụ như mô hình CRNN, CRAFTS, FOTS, EAST, TextBoxes++, … Tuy nhiên, mô hình do tôi đề xuất sẽ có những cải tiến đáng kể để nhằm giảm thiểu việc tiêu hao tài nguyên phần cứng, cải thiện độ chính xác, tương thích với đối tượng mục tiêu và tạo tiền đề cho việc xây dựng những đường ống dữ liệu, mô-đun liên kết kiến trúc hiệu quả hơn trong tương lai.

Kết quả sau khi thực hiện luận văn thạc sĩ là một hệ thống hoàn chỉnh đã trả lời, đưa ra lời giải cho những vấn đề được đặt ra ban đầu. Nó cũng hoàn toàn mang tính thực tiễn và có thể dễ dàng ứng dụng vào trong đời sống, giúp làm giảm thiểu gánh nặng công việc cho con người hơn. Cũng chính vì lý do đó, tôi đã xem xét các khía cạnh một cách chi tiết, rõ ràng để có thể tiến hành phát triển, mở rộng hệ thống ra trong tương lại:  Xây dựng phần hệ thống dịch  Mở rộng cho tiếng Việt và các ngôn ngữ khác  Xây dựng một mô hình thu gọn cho các thiết bị di động  Xây dựng nền tảng dịch vụ, ứng dụng cho hệ thống Contents Acronyms 1 Introduction 1 1.3 Scope of the study .1 Artificial Neural Network .2 Feedforward Neural Network .3 Convolutional Neural Network .4 Recurrent Neural Network .2 Region of Interest pooling .1 Conventional RoI pooling .3 Other popular RoI pooling techniques .3 Detection and Segmentation .4 Sampling and Interpolation .5 Training and Inference .1 Detection and text-spotting models .6 CRAFT and CRAFTS. 53 4 Proposed Solutions and Improvements 54 4.2 Unified Model for Arbitrary-shape Text Spotting.

71 5 Implementation and Evaluation 73 5.3 Chinese Synthetic String dataset .4 Chinese Street View Text dataset .1 Results of the detection models .2 Results of the UMATS text-spotting model. 84 6 Conclusions and Future work 91 6. 91 List of Figures 92 List of Tables 95 Bibliography 96 Acronyms AI Artificial Intelligence. AMP Automatic Mixed Precision.

ANN Artificial Neural Network. API Application Programming Interface. BN Batch Normalization. CCL Connected Components Labeling.

CNN Convolutional Neural Network. CTC Connectionist Temporal Classification. DL Deep Learning. DNN Deep Neural Network.

DPM Deformable Part-based Model. FCN Fully Connected Neural Network. FNN Feedforward Neural Network. FPN Feature Pyramid Network.

GRU Gated Recurrent Unit. GT Ground Truth. IoU Intersection Over Union. KE Key Edge.

LSTM Long Short-Term Memory. MSE Mean Square Error. MTL Matching-Type Learning. NED Normalized Edit Distance.

NMS Non-Maximum Suppression. OBD Orderless Box Discretization. OCR Optical Character Recognition. OHEM On-line Hard Negative Mining.

ReLU Rectified Linear Unit. RNN Recurrent Neural Network. RoI Region of Interest. RPN Region Proposal Network.

RPP Rescoring and Post-Processing. STN Spatial Transformer Network. SVM Supported Vector Machine. TPS Thin-Plate Spline.1 Introduction Nowadays, there are more than 6 billion people on Earth who are currently using smartphones and other small handheld information devices for their everyday lives.

More than that, most of the devices themselves have cameras built into them. Not only that, the establishment of surveillance camera systems or the advent of social networks in the era of the fourth industrial revolution has led to an explosion in image resources. At the same time, machine learning and computer vision algorithms have continuously made great progress year by year. As a result, high-performance and low-cost object detection and recognition systems are continually being introduced and widely applied in many areas of life.

One of the subjects attracting the attention of the majority of researchers is the characters. They are special objects, are means of exchanging information. The effective detection and reading of languages simplify many applications of life. Some applications can be mentioned such as locating and measuring the geo- graphical position of an object through reading the characters related to it, thereby helping to locate the object, helping to extract the necessary information about the position, helping to detect the location of dangerous objects, etc.

Another ap- plication is the classification of images, classifying objects based on the sequence of characters assigned to them. In addition, object tracking applications based on detecting and identifying the number assigned to the object such as detecting num- ber plates, detecting objects with labels are also interesting applications. Another potential application is the reading and translation of character sequences on docu- ments, stelae, signs, or historical sites. The development and efficiency enhancement of this model is the key to building automatic reading systems in the future and is the springboard for the rest of the applications to thrive.

In fact, most research on automatic character spotting and translation focuses on English. On the other hand, Chinese is the most popular and frequently used language in the world. Meanwhile, Nom - the official language in the past of the Vietnamese people before Vietnamese was born and popularized, is being faded over time. Moreover, many documents and historical structures of Viet Nam use and contain Han Nom characters.

The development of Han Nom spotting and translation applications brings a lot of great value. In recent years, there have been many models, tools, and systems that allow detecting, recognizing, even translate any characters in images from one language to another. However, there are still many problems that need to be solved as well as many development directions to further enhance the efficiency and accuracy of 1 the system. For example, some systems require a periodic fee to be used, some have limited usable functionality, others only work well under specific conditions.

For these reasons, in this thesis, we will focus on building a model to detect and recognize characters, hieroglyphs in general, or Han Nom characters in particular.1: Problem definition: localizing regions of lines of characters and convert- ing them into encoded strings of characters [1] 1.2 Tasks In order to build the above model, we will perform the following tasks: ˆ Firstly, we research and evaluate different scene text detection and recognition methods suitable for hieroglyphs. ˆ Secondly, we consider the pros and cons of the methods. we find strengths to promote or reuse and find weaknesses to replace or eliminate in those methods. ˆ Then, we consider the problem that is being solved and combine it with the existing knowledge to propose a total and reasonably effective solution.

ˆ After that, we describe the proposed solution in detail. ˆ Then, we choose the appropriate development environment, choose the re- sources needed to implement and improve the solution. ˆ Lastly, we evaluate solutions based on popular standards, comment on the achieved results, and propose future improvements and development direc- tions.3 Scope of the study Here are some of the scopes that we place in the study of this topic: ˆ Solution is designed to detect and recognize sequences of characters instead of detecting and recognizing individual letters. 2 ˆ Solution is focused on the problem of detecting and recognizing Han Nom characters.

However, there is no exception to the possibility that it will incor- porate the ability to detect and recognize Latin letters, numbers, and special characters to facilitate the evaluation process. ˆ Solution is designed to target objects in the most general conditions: in natural environment, of arbitrary shape, in different lighting conditions, etc.4 Content overview The remaining chapters of the thesis are organized as follows: ˆ Chapter 2 briefly introduces some relevant fundamental theoretical bases about artificial neurons, convolutional neural networks, RoI pooling, etc. ˆ Chapter 3 presents a number of related studies, comparing and evaluating them. ˆ Chapter 4 describes and analyzes in detail the proposed solution.

ˆ Chapter 5 presents specific configurations, implementation process, evaluation methods, associated auxiliary modifications and comparison and evaluation of different models. ˆ Chapter 6 will present the contributions made, the outstanding issues, and the development orientation of the project in the future. 3 Chapter 2 Theoretical Basis 2.