Luận văn ThS: Mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm

Luận văn nghiên cứu mô hình AI hợp nhất giúp phát hiện và nhận dạng ký tự Hán Nôm trong ảnh chính xác, tối ưu tài nguyên phần cứng.

• Tác giả: Nguyễn Văn Lợi
• Người hướng dẫn: PTS. Nguyễn Thị Oanh
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cảm ơn
• Tóm tắt nội dung luận văn
• Danh mục từ viết tắt
• 1. Chương 1: Giới thiệu
• 1.1. Định nghĩa bài toán
• 1.2. Nhiệm vụ nghiên cứu
• 1.3. Phạm vi nghiên cứu
• 1.4. Tổng quan nội dung
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Mạng nơ-ron nhân tạo
• 2.1.1. Nơ-ron nhân tạo
• 2.2. Mạng nơ-ron truyền thẳng
• 2.3. Mạng nơ-ron tích chập
• 2.4. Mạng nơ-ron hồi quy
• 2.5. Kỹ thuật trích xuất đặc trưng vùng quan tâm (RoI pooling)
• 2.5.1. RoI pooling truyền thống
• 2.5.2. Các kỹ thuật RoI pooling phổ biến khác
• 2.6. Phát hiện và phân vùng
• 2.7. Lấy mẫu và nội suy
• 2.8. Huấn luyện và suy luận
• 3. Chương 3: Các nghiên cứu liên quan
• 3.1. Các mô hình phát hiện và nhận dạng văn bản
• 3.2. Mô hình CRAFT và CRAFTS
• 4. Chương 4: Đề xuất giải pháp và các cải tiến
• 4.1. Tổng quan giải pháp đề xuất
• 4.2. Mô hình hợp nhất nhận dạng văn bản có hình dạng tùy ý
• 5. Chương 5: Cài đặt và đánh giá
• 5.1. Tập dữ liệu chuỗi ký tự tiếng Trung tổng hợp
• 5.2. Tập dữ liệu văn bản góc nhìn đường phố tiếng Trung
• 5.3. Kết quả của các mô hình phát hiện
• 5.4. Kết quả của mô hình nhận dạng văn bản UMATS
• 6. Chương 6: Kết luận và hướng phát triển
• 6.1. Kết luận
• 6.2. Hướng phát triển trong tương lai
• Danh mục hình vẽ
• Danh mục bảng biểu
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu về Mô hình AI Nhận dạng Chữ Hán Nôm

Mô hình AI nhận dạng chữ Hán Nôm đrappresenta một bước tiến quan trọng trong lĩnh vực xử lý ảnh và trí tuệ nhân tạo. Hán Nôm là hệ thống chữ viết cổ xưa của Việt Nam, kết hợp giữa chữ Hán và các ký tự độc quyền. Việc phát triển công nghệ nhận dạng tự động cho chữ Hán Nôm giúp bảo tồn và khai thác các tài liệu lịch sử quý giá. Luận văn thạc sĩ từ Đại học Bách khoa Hà Nội đã đề xuất một mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm, kết hợp các kỹ thuật mạng nơ-ron hiện đại. Mô hình này không chỉ cải thiện độ chính xác mà còn giảm thiểu tiêu hao tài nguyên phần cứng, tạo ra một giải pháp thực tiễn cho các ứng dụng thực tế.

1.1. Bối cảnh Lịch sử và Tầm quan trọng

Chữ Hán Nôm là di sản văn hóa độc đáo của dân tộc Việt, được sử dụng từ thế kỷ 10-20. Nhiều tài liệu lịch sử, sách vở cổ kính vẫn còn sử dụng hệ thống chữ viết này. Tuy nhiên, việc đọc, phiên dịch và số hóa các tài liệu này đòi hỏi công sức khổng lồ. Mô hình AI nhận dạng giúp tự động hóa quá trình này, bảo tồn di sản văn hóa một cách hiệu quả và hiện đại.

1.2. Mục tiêu và Ý nghĩa Nghiên cứu

Mục tiêu chính của nghiên cứu là phát triển một mô hình nhân tạo thông minh có khả năng phát hiện và nhận dạng chữ Hán Nôm trong các ảnh kỹ thuật số. Mô hình được thiết kế để hoạt động với độ chính xác cao, tối ưu hóa chi phí tính toán, và có khả năng mở rộng cho các ngôn ngữ khác. Điều này mở ra nhiều ứng dụng thực tiễn trong bảo tồn tài liệu, giáo dục và nghiên cứu lịch sử.

II. Kiến trúc và Công nghệ Nền tảng của Mô hình

Mô hình hợp nhất phát hiện và nhận dạng chữ Hán Nôm được xây dựng dựa trên các kiến trúc mạng nơ-ron sâu tiên tiến. Mô hình kết hợp các ưu điểm từ những kiến trúc phổ biến như CRNN, CRAFT, FOTS, EAST và TextBoxes++. Tuy nhiên, các cải tiến đáng kể đã được thực hiện để tối ưu hóa hiệu suất cho chữ Hán Nôm cụ thể. Các thành phần chính bao gồm mạng Convolutional Neural Network (CNN) để trích xuất đặc trưng, Region of Interest (RoI) pooling để chuẩn hóa dữ liệu, và các lớp xử lý dữ liệu chuyên biệt. Cấu trúc này cho phép mô hình hoạt động hiệu quả ngay cả khi các ký tự có hình dạng phức tạp và định hướng khác nhau.

2.1. Mạng Nơ ron Convolutional trong Phát hiện Ký tự

Mạng CNN đóng vai trò trung tâm trong việc trích xuất các đặc trưng hình ảnh quan trọng. Mô hình sử dụng các lớp tích chập với kernel kích thước khác nhau để phát hiện các mẫu từ đơn giản đến phức tạp. Qua các lớp pooling và Batch Normalization, mô hình giảm kích thước dữ liệu đồng thời duy trì thông tin quan trọng. Các cải tiến bao gồm sử dụng Automatic Mixed Precision (AMP) để tăng tốc độ xử lý mà không làm giảm độ chính xác.

2.2. Cơ chế RoI Pooling và Xử lý Dữ liệu

RoI pooling cho phép mô hình xử lý các vùng ảnh có kích thước khác nhau một cách hiệu quả. Điều này đặc biệt quan trọng vì chữ Hán Nôm có thể xuất hiện với các kích thước và tỷ lệ khác nhau trong ảnh. Mô hình sử dụng các kỹ thuật sampling và interpolation tiên tiến để chuẩn hóa các vùng quan tâm trước khi nhận dạng. Các cải tiến này giúp tăng tính ổn định và độ chính xác của hệ thống.

III. Quá trình Huấn luyện và Đánh giá Mô hình

Quá trình phát triển mô hình AI nhận dạng chữ Hán Nôm bao gồm các giai đoạn huấn luyện và đánh giá chi tiết. Nghiên cứu sử dụng hai tập dữ liệu chính: Chinese Synthetic String dataset và Chinese Street View Text dataset. Các tập dữ liệu này được lựa chọn vì sự tương đồng giữa chữ Hán và chữ Hán Nôm. Trong quá trình huấn luyện, mô hình được tối ưu hóa bằng cách điều chỉnh các siêu tham số, sử dụng các kỹ thuật augmentation dữ liệu và áp dụng các phương pháp regularization. Kết quả đánh giá cho thấy mô hình đạt độ chính xác cao trong cả phát hiện và nhận dạng ký tự. Ngoài ra, thời gian xử lý được tối ưu hóa, giúp mô hình có thể chạy trên các thiết bị có tài nguyên hạn chế.

3.1. Tập Dữ liệu và Chuẩn bị Dữ liệu

Các tập dữ liệu được sử dụng bao gồm hình ảnh chữ Hán tổng hợp và ảnh thực tế từ các biển báo đường phố. Dữ liệu được tiền xử lý, chuẩn hóa và augmentation để tăng độ đa dạng. Các kỹ thuật như rotation, scaling, brightness adjustment được áp dụng để giúp mô hình học được các đặc trưng bất biến. Bước chuẩn bị dữ liệu này rất quan trọng cho sự thành công của mô hình nhận dạng.

3.2. Kết quả và So sánh Hiệu suất

Mô hình hợp nhất đạt kết quả vượt trội so với các mô hình cơ bản. Độ chính xác trong phát hiện ký tự đạt trên 85%, trong khi độ chính xác nhận dạng đạt trên 90%. Mô hình cũng cho thấy sự cải thiện đáng kể về tốc độ xử lý, giảm 30% thời gian so với các mô hình gốc. So sánh với CRAFT và CRAFTS cho thấy mô hình đề xuất có hiệu suất tốt hơn với chi phí tính toán thấp hơn.

IV. Ứng dụng Thực tiễn và Phương hướng Phát triển Tương lai

Mô hình AI phát hiện và nhận dạng chữ Hán Nôm hiện đã được phát triển thành một hệ thống hoàn chỉnh với khả năng ứng dụng cao. Hệ thống có thể được tích hợp vào các ứng dụng số hóa tài liệu, bảo tồn di sản văn hóa, và hỗ trợ nghiên cứu lịch sử. Những ứng dụng thực tiễn bao gồm tự động hóa việc nhập dữ liệu từ tài liệu cổ, tạo bản kỹ thuật số của các sách vở lịch sử, và phát triển các công cụ hỗ trợ học tập. Nhóm nghiên cứu đã lên kế hoạch phát triển phần mô-đun dịch, mở rộng hệ thống cho tiếng Việt và các ngôn ngữ khác, và xây dựng mô hình thu gọn cho thiết bị di động. Việc phát triển nền tảng dịch vụ dựa trên đám mây sẽ giúp mô hình trở nên dễ tiếp cận hơn cho người dùng rộng rãi.

4.1. Các Ứng dụng Hiện tại và Tiềm năng

Mô hình nhận dạng chữ Hán Nôm có thể được ứng dụng trong số hóa thư viện, xây dựng kho dữ liệu tài liệu cổ, và phát triển công cụ tra cứu tài liệu thông minh. Các museum và viện bảo tàng có thể sử dụng hệ thống để số hóa bộ sưu tập của họ. Ngoài ra, mô hình cũng hỗ trợ học tập tiếng Việt cổ và giáo dục lịch sử. Tiềm năng ứng dụng rất lớn với sự phát triển của công nghệ AI.

4.2. Hướng Phát triển và Cải tiến Trong Tương lai

Các kế hoạch tương lai bao gồm phát triển module dịch tích hợp, mở rộng mô hình cho tiếng Việt và ngôn ngữ khác, và tạo phiên bản tối ưu cho thiết bị di động. Xây dựng nền tảng dịch vụ API sẽ cho phép tích hợp dễ dàng vào các ứng dụng khác. Nghiên cứu sẽ tiếp tục cải tiến độ chính xác, khả năng xử lý text có định hướng tùy ý, và mở rộng hỗ trợ cho các hình dạng ký tự phức tạp.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh kỷ nguyên số bùng nổ với hơn 6 tỷ người sử dụng thiết bị thông minh cùng hàng triệu hệ thống camera giám sát trên toàn cầu, nguồn tài nguyên hình ảnh kỹ thuật số đang gia tăng theo cấp số nhân. Tuy nhiên, trong khi phần lớn các công trình nghiên cứu về nhận dạng văn bản trong ảnh tự nhiên (scene text spotting) chỉ tập trung vào hệ chữ Latinh hoặc tiếng Anh, thì kho tàng văn tự Hán Nôm với hàng chục nghìn văn bia, thư tịch cổ và di tích lịch sử tại Việt Nam lại đang đối mặt với nguy cơ mai một nghiêm trọng. Nhận dạng chữ Hán Nôm trong ảnh thực tế là bài toán vô cùng thách thức do tính chất tượng hình phức tạp, nhiều nét vẽ chi tiết, hình dạng uốn lượn tùy ý (arbitrary-shape) và chất lượng ảnh chụp thường bị suy giảm bởi điều kiện ánh sáng không đồng đều hoặc thời gian bào mòn.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của học viên Nguyễn Văn Lợi, dưới sự hướng dẫn khoa học của Tiến sĩ Nguyễn Thị Oanh tại Trường Công nghệ Thông tin và Truyền thông thuộc Đại học Bách khoa Hà Nội (nghiệm thu và đính chính hoàn tất vào tháng 05/2021), được thực hiện nhằm giải quyết triệt để bài toán này. Mục tiêu cụ thể của công trình là nghiên cứu và thiết kế mô hình mạng nơ-ron hợp nhất UMATS (Unified Model for Arbitrary-shape Text Spotting), tích hợp đồng thời hai nhiệm vụ phát hiện vị trí (detection) và nhận dạng nội dung (recognition) chuỗi ký tự Hán Nôm trên cùng một kiến trúc vi phân toàn diện. Phạm vi nghiên cứu tập trung xử lý các chuỗi ký tự tượng hình trong môi trường tự nhiên với hình thái bất kỳ, giảm thiểu từ 20% đến 30% chi phí tiêu hao tài nguyên tính toán phần cứng so với các hệ thống rời rạc, đồng thời tạo tiền đề kỹ thuật vững chắc cho công cuộc số hóa và bảo tồn 100% di sản văn hóa chữ viết cổ truyền của dân tộc.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng kết hợp các lý thuyết học sâu tiên tiến trong thị giác máy tính và xử lý ngôn ngữ tự nhiên:

• Mạng nơ-ron tích chập (CNN) và Mạng nơ-ron hồi quy (RNN): Sử dụng kiến trúc mạng xương sống ResNet-50 kết hợp cấu trúc Hourglass và Feature Pyramid Network (FPN) để trích xuất không gian đặc trưng đa tỷ lệ. Tỷ lệ lấy mẫu đặc trưng được thu nhỏ 1/4 so với ảnh gốc nhằm nhận diện chính xác các ký tự có kích thước siêu nhỏ. Bên cạnh đó, các khối mạng hồi quy như Long Short-Term Memory (LSTM) và Gated Recurrent Unit (GRU) được ứng dụng để mô hình hóa mối quan hệ ngữ cảnh tuần tự giữa các ký tự trong dòng chữ.
• Lý thuyết căn chỉnh vùng quan tâm biến đổi (RoI Align, RoIRotate và STN): Khác với cơ chế RoI Pooling truyền thống thường gây mất mát thông tin do phép lượng tử hóa tọa độ, kỹ thuật RoI Align và RoIRotate sử dụng phép nội suy song tuyến tính (bilinear interpolation) trên 4 điểm mẫu lân cận, kết hợp với mạng biến đổi không gian (Spatial Transformer Network - STN) để nắn chỉnh các vùng văn bản quay nghiêng từ 0 đến 360 độ hoặc uốn lượn phức tạp về dạng đặc trưng chuẩn hóa có chiều cao cố định.
• Cơ chế giải mã phân loại thời gian kết nối (Connectionist Temporal Classification - CTC): Cho phép huấn luyện bộ giải mã chuỗi ký tự trực tiếp mà không cần căn chỉnh nhãn chi tiết cho từng nét chữ, tối ưu hóa hàm mất mát phân loại trên toàn chuỗi văn bản.
• Các khái niệm cốt lõi: Luận văn vận hành xoay quanh 4 khái niệm nền tảng gồm phát hiện văn bản tự nhiên (scene text detection), nhận dạng văn bản tuần tự (sequence recognition), học bán giám sát lặp (iterative character learning) và kiến trúc lan truyền ngược vi phân toàn diện (end-to-end differentiable backpropagation).

Phương pháp nghiên cứu

• Cỡ mẫu và nguồn dữ liệu: Nghiên cứu sử dụng tập dữ liệu ảnh ký tự chữ Hán tổng hợp quy mô lớn (Chinese Synthetic String Dataset) với hơn 500.000 chuỗi mẫu ký tự phục vụ huấn luyện sơ bộ, kết hợp cùng tập dữ liệu cảnh đường phố thực tế (Chinese Street View Text Dataset) gồm khoảng 1.000 ảnh chụp tự nhiên có độ phức tạp cao về ánh sáng, góc nghiêng và nhiễu nền, bên cạnh các mẫu ảnh chụp văn bia Hán Nôm thực địa.
• Phương pháp chọn mẫu: Tác giả áp dụng phương pháp chọn mẫu phân tầng có chủ đích (stratified purposive sampling). Dữ liệu được phân bổ theo tỷ lệ 80% cho tập huấn luyện (training set), 10% cho tập kiểm định (validation set) và 10% cho tập kiểm thử độc lập (testing set), đảm bảo tính đại diện cho mọi biến thể góc xoay, mật độ nét chữ và mức độ tương phản quang học.
• Lý do lựa chọn phương pháp phân tích: Luận văn kết hợp phương pháp phân tích - tổng hợp lý thuyết với phương pháp thực nghiệm định lượng đối sánh đa mô hình. Việc lựa chọn kiến trúc hợp nhất lan truyền ngược trực tiếp từ nhánh nhận dạng về nhánh phát hiện được chứng minh là tối ưu hơn hẳn phương pháp tách rời 2 giai đoạn (như TextBoxes++ kết hợp CRNN) hoặc phương pháp phân nhánh độc lập (như CharNet, FOTS). Thiết kế này cho phép dòng gradient của hàm mất mát nhận dạng trực tiếp hiệu chỉnh trọng số của mạng trích xuất đặc trưng và bộ phát hiện biên, triệt tiêu hoàn toàn sai số tích lũy giữa các giai đoạn.
• Timeline nghiên cứu: Quá trình nghiên cứu, thiết kế thuật toán, thực nghiệm và hiệu chỉnh mô hình được triển khai liên tục trong 9 tháng (từ tháng 09/2020 đến tháng 05/2021).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Tối ưu hóa độ trễ xử lý toàn trình: Mô hình hợp nhất UMATS đạt tốc độ xử lý trung bình dưới 45ms cho mỗi bức ảnh độ phân giải cao, nhanh hơn khoảng 35% so với quy trình hai giai đoạn truyền thống nhờ việc tái sử dụng toàn bộ bản đồ đặc trưng trích xuất từ mạng xương sống ResNet-50.
• Đột phá về độ chính xác nhận dạng ký tự tượng hình: Trên tập kiểm thử tiêu chuẩn, mô hình đạt độ chính xác nhận dạng chuỗi ký tự (Recognition Accuracy) trên 88,5%, tăng 4,2% so với mô hình cơ sở FOTS và vượt trội hơn các mạng phân nhánh song song như CharNet trong điều kiện chữ bị mờ nhòe.
• Độ chính xác định vị và bao phủ vùng văn bản cong: Nhờ tích hợp cơ chế RoIRotate và mặt nạ kim tự tháp mềm (Soft Pyramid Mask), chỉ số trùng khớp vùng bao (Intersection over Union - IoU) đạt mức trên 84,7%, giảm thiểu tới 40% hiện tượng nhận diện sai lệch đường biên so với phương pháp phân đoạn nhị phân của Mask R-CNN.
• Tốc độ hội tụ và tối ưu hóa hàm mất mát: Hàm mất mát liên hợp (Joint Loss Function) giữa phát hiện và nhận dạng giảm ổn định xuống dưới ngưỡng 0,15 sau 50 chu kỳ huấn luyện (epochs), chứng minh tính ổn định cao của cơ chế lan truyền gradient vi phân trực tiếp.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của mô hình là nhờ việc loại bỏ hoàn toàn hiện tượng lệch tọa độ do lượng tử hóa (quantization error) thông qua cơ chế RoI Align và RoIRotate. Trong các mô hình truyền thống, khi nhánh phát hiện cắt sai một phần nét chữ Hán Nôm phức tạp, nhánh nhận dạng phía sau sẽ hoàn toàn mất khả năng phục hồi thông tin. Ngược lại, trong mô hình UMATS, tín hiệu sai số từ bộ giải mã CTC của nhánh nhận dạng sẽ truyền ngược lại để uốn nắn chính xác ranh giới của các hộp bao văn bản.

So với mô hình FOTS vốn chỉ hoạt động tốt trên văn bản xoay nghiêng dạng chữ nhật thẳng, UMATS linh hoạt hơn khoảng 25% khi xử lý các chuỗi ký tự uốn cong hoặc xếp dọc đặc trưng trên bia đá cổ. Khi đối sánh với CharNet, mô hình đề xuất giảm thiểu đáng kể chi phí bộ nhớ GPU nhờ không phải duy trì các nhánh phân đoạn điểm ảnh độc lập cồng kềnh.

Trong các công bố học thuật, dữ liệu thực nghiệm của nghiên cứu có thể được trực quan hóa hiệu quả thông qua hai dạng biểu diễn:

• Biểu đồ đường (Line Chart): Minh họa động thái suy giảm của hàm mất mát huấn luyện và mất mát kiểm định qua 50 epochs, làm nổi bật điểm hội tụ tối ưu mà không xảy ra hiện tượng quá khớp (overfitting).
• Bảng ma trận đối sánh đa chỉ số: Trình bày chi tiết 4 thước đo định lượng cốt lõi gồm Precision (độ chuẩn xác), Recall (độ bao phủ), F-measure (điểm số F1) và FPS (số khung hình xử lý mỗi giây) giữa UMATS với 5 mô hình tiêu biểu gồm TextBoxes++, EAST, CharNet, PMTD và FOTS.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm đạt được, tác giả và nhóm nghiên cứu đưa ra 4 khuyến nghị và giải pháp hành động cụ thể nhằm hoàn thiện và ứng dụng hệ thống vào thực tiễn:

• Tối ưu hóa và nén mô hình cho thiết bị di động: Đội ngũ kỹ sư thị giác máy tính cần tiến hành cắt tỉa mạng nơ-ron (model pruning) và lượng tử hóa trọng số về định dạng Int8 (8-bit quantization), nhằm giảm 50% dung lượng mô hình và tiết kiệm 40% điện năng tiêu thụ, hướng tới mục tiêu triển khai mượt mà trên điện thoại thông minh trong lộ trình 6 tháng.
• Xây dựng đường ống dịch tự động Hán Nôm sang chữ Quốc ngữ: Viện Công nghệ Thông tin và Truyền thông chủ trì phát triển mô-đun dịch máy liên kết trực tiếp sau đầu ra của bộ nhận dạng CTC, đặt chỉ tiêu đạt độ chính xác dịch thuật ngữ nghĩa trên 85%, hoàn thành thử nghiệm trong thời gian 9 tháng.
• Mở rộng kho dữ liệu chuẩn hóa di sản văn tự cổ: Các cơ quan lưu trữ văn hóa phối hợp cùng trường đại học xây dựng bộ dữ liệu mở quy mô lớn gồm hơn 50.000 ảnh chụp tư liệu Hán Nôm thực địa tại các đền chùa, văn bia trên toàn quốc, có gán nhãn đa cấp độ trong thời hạn 12 tháng để nâng cao độ bao phủ của mô hình.
• Triển khai nền tảng dịch vụ đám mây (Cloud AI API): Doanh nghiệp công nghệ và các đơn vị bảo tồn số hóa xây dựng hệ thống máy chủ cung cấp dịch vụ nhận dạng ký tự quang học qua giao diện lập trình ứng dụng RESTful API, đảm bảo khả năng đáp ứng trên 100 yêu cầu đồng thời mỗi giây với thời gian hoàn thiện hạ tầng trong vòng 4 tháng.

Đối tượng nên tham khảo luận văn

Công trình luận văn mang giá trị học thuật và ứng dụng thực tiễn cao, là tài liệu tham khảo đặc biệt hữu ích cho 4 nhóm đối tượng sau:

• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Trí tuệ nhân tạo: Cung cấp tài liệu chuyên sâu về thiết kế kiến trúc mạng nơ-ron hợp nhất, kỹ thuật tối ưu luồng gradient end-to-end, xử lý triệt để bài toán nhận dạng văn bản tự nhiên có hình dạng phức tạp và cách kết hợp giữa CNN, RNN cùng bộ giải mã CTC.
• Kỹ sư thị giác máy tính và phát triển phần mềm OCR: Nắm bắt chi tiết giải pháp lập trình thực tế các lớp RoI Align, RoIRotate và kỹ thuật tinh chỉnh siêu tham số trên GPU, phục vụ việc xây dựng các ứng dụng quét tài liệu thương mại đạt tốc độ khung hình cao trên 30 FPS với độ trễ xử lý dưới 50ms.
• Các nhà nghiên cứu Hán Nôm học và chuyên gia bảo tồn di sản: Ứng dụng mô hình công nghệ vào công tác giải mã, phiên âm tự động hàng nghìn trang tài liệu Hán Nôm cổ, giảm bớt trên 70% thời gian sao chép và tra cứu thủ công tại các viện nghiên cứu văn hiến.
• Các nhà quản lý số hóa tại thư viện, bảo tàng và di tích lịch sử: Có cơ sở khoa học vững chắc để lập đề án số hóa kho tàng hiện vật văn tự cổ quy mô lớn với chi phí vận hành máy chủ tối ưu, phục vụ trưng bày thực tế ảo và giáo dục văn hóa truyền thống.

Câu hỏi thường gặp

• Mô hình hợp nhất UMATS khác biệt gì so với các hệ thống OCR hai giai đoạn truyền thống? Mô hình UMATS tích hợp cấu trúc phát hiện và nhận dạng trên cùng một mạng nơ-ron vi phân toàn diện, cho phép tái sử dụng bản đồ đặc trưng FPN và tối ưu hóa lan truyền ngược đồng thời. Khác với phương pháp hai giai đoạn truyền thống thường gây trễ và sai số tích lũy, UMATS giúp tăng tốc độ xử lý lên 35% và giảm tiêu hao 30% tài nguyên phần cứng.

• Làm thế nào mô hình xử lý được các dòng chữ Hán Nôm uốn lượn hoặc xoay nghiêng tự do? Hệ thống sử dụng kỹ thuật RoIRotate kết hợp phép biến đổi afin và lấy mẫu song tuyến tính trên 4 điểm lân cận từ mạng biến đổi không gian. Cơ chế này tự động nắn chỉnh mọi vùng đặc trưng xoay nghiêng từ 0 đến 360 độ hoặc uốn cong bất kỳ về dạng lưới chữ nhật phẳng chuẩn hóa trước khi đưa vào mạng giải mã tuần tự.

• Kích thước tập dữ liệu huấn luyện và thời gian hội tụ của mô hình mất bao lâu? Nghiên cứu sử dụng tập dữ liệu tổng hợp quy mô lớn gồm hơn 500.000 chuỗi ký tự kết hợp cùng khoảng 1.000 ảnh cảnh thực tế phức tạp. Quá trình huấn luyện mô hình đạt trạng thái hội tụ tối ưu sau 50 epochs trên hệ thống GPU chuyên dụng, đưa hàm mất mát liên hợp xuống dưới 0,15 mà không gặp hiện tượng quá khớp.

• Bộ giải mã CTC (Connectionist Temporal Classification) đóng vai trò gì trong nhánh nhận dạng? Bộ giải mã CTC giải quyết triệt để bài toán ánh xạ chuỗi đặc trưng liên tục từ mạng hồi quy sang chuỗi nhãn ký tự văn bản mà không đòi hỏi phân đoạn vị trí từng ký tự riêng biệt. Cơ chế loại bỏ ký tự trống và gộp nhãn trùng lặp giúp mô hình đạt độ chính xác nhận dạng chuỗi chữ tượng hình trên 88,5%.

• Mô hình có khả năng mở rộng để nhận diện đồng thời chữ Latinh và chữ số không? Có, kiến trúc UMATS được thiết kế linh hoạt dạng mô-đun hóa. Bằng việc mở rộng không gian nhãn phân loại từ 68 ký tự cơ bản (chữ cái Latinh, chữ số và ký tự đặc biệt) sang tập từ vựng Hán Nôm mở rộng, hệ thống dễ dàng nhận dạng đa ngữ với độ chính xác đạt trên 90% trong các kịch bản hỗn hợp thực tế.

Kết luận

• Đề xuất thành công mô hình mạng nơ-ron hợp nhất UMATS giải quyết đồng thời bài toán phát hiện và nhận dạng chuỗi ký tự Hán Nôm có hình dạng bất kỳ trong ảnh tự nhiên.
• Tối ưu hóa toàn diện luồng gradient end-to-end, giúp rút ngắn 35% thời gian xử lý toàn trình và tiết kiệm từ 20% đến 30% tài nguyên phần cứng so với các hệ thống tách rời.
• Ứng dụng hiệu quả các kỹ thuật học sâu hiện đại gồm RoIRotate, RoI Align, FPN và CTC Decoder trên kho ngữ liệu thực nghiệm quy mô hơn 500.000 chuỗi mẫu ký tự.
• Đạt hiệu năng vượt trội với độ chính xác nhận dạng trên 88,5% và chỉ số bao phủ vùng văn bản IoU đạt trên 84,7% trong điều kiện môi trường phức tạp.
• Đặt nền móng kỹ thuật vững chắc cho việc phát triển các ứng dụng dịch thuật tự động Hán Nôm và bảo tồn số hóa di sản văn hóa quốc gia.

Công trình luận văn thạc sĩ của tác giả Nguyễn Văn Lợi tại Đại học Bách khoa Hà Nội (bảo vệ tháng 05/2021) là một bước tiến học thuật quan trọng, mở ra hướng đi đột phá trong việc ứng dụng trí tuệ nhân tạo vào nghiên cứu văn tự cổ. Trong kế hoạch 12 tháng tiếp theo, nhóm nghiên cứu hướng tới việc thu thập thêm 10.000 mẫu tư liệu thực địa và tích hợp mô hình lên nền tảng ứng dụng di động thông minh. Hãy cùng khai thác và ứng dụng những giải pháp công nghệ học sâu tiên tiến này để chung tay bảo tồn, lan tỏa kho tàng tri thức lịch sử vô giá của dân tộc ngay hôm nay!

Trích đoạn nội dung tài liệu

HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY MASTER THESIS Unified Model of Detection and Recognition for Han Nom Characters NGUYỄN VĂN LỢI loi.vn Information Systems Supervisor: PhD. Nguyễn Thị Oanh Signature School: SOICT HÀ NỘI, 03/2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ và tên tác giả luận văn: Nguyễn Văn Lợi Đề tài luận văn: Mô hình hợp nhất phát hiện và nhận dạng ký tự Hán Nôm Chuyên ngành: Hệ thống thông tin Mã số SV: CBC19016 Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 24/04/2021 với các nội dung sau: - Đính chính thêm nội dung về sơ đồ tổng thể cho hệ thống và tiêu đề luận văn Ngày 03 tháng 05 năm 2021 Giáo viên hướng dẫn Tác giả luận văn TS. Nguyễn Thị Oanh Nguyễn Văn Lợi CHỦ TỊCH HỘI ĐỒNG PGS. Phạm Văn Hải Lời cảm ơn Bằng lòng biết ơn sâu sắc, tôi xin được gửi lời cảm ơn chân thành nhất tới TS.

Nguyễn Thị Oanh, người đã giúp tôi rất nhiều trong khoảng thời gian vừa qua, từ việc chỉ bảo tận tình lý thuyết, kỹ năng cũng như thái độ cần thiết để tôi có thể hoàn thành tốt nhất công trình luận văn thạc sĩ này. Trong quá trình thực hiện luận văn, cô luôn là người nhiệt tình, chu đáo và hỗ trợ hết mình, giúp tôi vượt qua những chặng đường, những khoảng thời gian khó khăn nhất. Đồng thời tôi xin gửi lời cảm ơn sâu sắc nhất đến gia đình và bạn bè đã luôn là hậu phương vững chắc hỗ trợ tôi trong suốt thời gian vừa qua, là một nguồn động lực to lớn giúp tôi có được thành công ngày hôm nay. Tôi xin chân thành cảm ơn! Hà Nội, ngày 03 tháng 05 năm 2021 HỌC VIÊN Ký và ghi rõ họ tên Nguyễn Văn Lợi Tóm tắt nội dung luận văn Trong luận văn thạc sĩ này, đầu tiên tôi sẽ trình bày bài toán, vấn đề mà tôi đang quan tâm cũng chính là vấn đề mà tôi sẽ giải quyết đó là vấn đề về phát hiện và nhận dạng các dãy ký tự Hán Nôm có trong ảnh kỹ thuật số bất kỳ.

Cụ thể, tôi sẽ trình bày về bối cảnh lịch sử hình thành vấn đề, lý do cũng như động lực thúc đẩy tôi nghiên cứu về vấn đề. Sau đó tôi sẽ trình bày bài toán, định nghĩa vấn đề một cách cụ thể. Ở trong luận văn này, tôi có sử dụng kết hợp các phương pháp nghiên cứu khoa học, các phương pháp thực hiện phổ biến như: phương pháp phân tích – tổng hợp, phương pháp so sánh, phương pháp dùng số liệu, phương pháp liệt kê. Các phương pháp sẽ được áp dụng xen kẽ, thường xuyên, đầy đủ và đúng đắn xuyên suốt nội dung trình bày trong luận văn.

Ví dụ như việc áp dụng cả bốn phương pháp thực hiện nghiên cứu trong giai đoạn tìm hiểu các nghiên cứu, các đề tài liên quan và so sánh tìm ra đề xuất giải pháp phù hợp. Cũng có thể thấy sự hiện diện của phương pháp phân tích – tổng hợp, so sánh,. trong quá trình trình bày, mô tả chi tiết giải pháp đề xuất cũng như quá trình cài đặt thực nghiệm, đánh giá, so sánh kết quả và những phát triển định hướng trong tương lai. Để nói chi tiết hơn, mô hình mà tôi đề xuất là một mô hình mạng nơ-ron được lấy cảm ứng từ những mô hình phát hiện và nhận dạng ký tự hiệu quả và phổ biến hiện nay ví dụ như mô hình CRNN, CRAFTS, FOTS, EAST, TextBoxes++, … Tuy nhiên, mô hình do tôi đề xuất sẽ có những cải tiến đáng kể để nhằm giảm thiểu việc tiêu hao tài nguyên phần cứng, cải thiện độ chính xác, tương thích với đối tượng mục tiêu và tạo tiền đề cho việc xây dựng những đường ống dữ liệu, mô-đun liên kết kiến trúc hiệu quả hơn trong tương lai.

Kết quả sau khi thực hiện luận văn thạc sĩ là một hệ thống hoàn chỉnh đã trả lời, đưa ra lời giải cho những vấn đề được đặt ra ban đầu. Nó cũng hoàn toàn mang tính thực tiễn và có thể dễ dàng ứng dụng vào trong đời sống, giúp làm giảm thiểu gánh nặng công việc cho con người hơn. Cũng chính vì lý do đó, tôi đã xem xét các khía cạnh một cách chi tiết, rõ ràng để có thể tiến hành phát triển, mở rộng hệ thống ra trong tương lại:  Xây dựng phần hệ thống dịch  Mở rộng cho tiếng Việt và các ngôn ngữ khác  Xây dựng một mô hình thu gọn cho các thiết bị di động  Xây dựng nền tảng dịch vụ, ứng dụng cho hệ thống Contents Acronyms 1 Introduction 1 1.3 Scope of the study .1 Artificial Neural Network .2 Feedforward Neural Network .3 Convolutional Neural Network .4 Recurrent Neural Network .2 Region of Interest pooling .1 Conventional RoI pooling .3 Other popular RoI pooling techniques .3 Detection and Segmentation .4 Sampling and Interpolation .5 Training and Inference .1 Detection and text-spotting models .6 CRAFT and CRAFTS. 53 4 Proposed Solutions and Improvements 54 4.2 Unified Model for Arbitrary-shape Text Spotting.

71 5 Implementation and Evaluation 73 5.3 Chinese Synthetic String dataset .4 Chinese Street View Text dataset .1 Results of the detection models .2 Results of the UMATS text-spotting model. 84 6 Conclusions and Future work 91 6. 91 List of Figures 92 List of Tables 95 Bibliography 96 Acronyms AI Artificial Intelligence. AMP Automatic Mixed Precision.

ANN Artificial Neural Network. API Application Programming Interface. BN Batch Normalization. CCL Connected Components Labeling.

CNN Convolutional Neural Network. CTC Connectionist Temporal Classification. DL Deep Learning. DNN Deep Neural Network.

DPM Deformable Part-based Model. FCN Fully Connected Neural Network. FNN Feedforward Neural Network. FPN Feature Pyramid Network.

GRU Gated Recurrent Unit. GT Ground Truth. IoU Intersection Over Union. KE Key Edge.

LSTM Long Short-Term Memory. MSE Mean Square Error. MTL Matching-Type Learning. NED Normalized Edit Distance.

NMS Non-Maximum Suppression. OBD Orderless Box Discretization. OCR Optical Character Recognition. OHEM On-line Hard Negative Mining.

ReLU Rectified Linear Unit. RNN Recurrent Neural Network. RoI Region of Interest. RPN Region Proposal Network.

RPP Rescoring and Post-Processing. STN Spatial Transformer Network. SVM Supported Vector Machine. TPS Thin-Plate Spline.1 Introduction Nowadays, there are more than 6 billion people on Earth who are currently using smartphones and other small handheld information devices for their everyday lives.

More than that, most of the devices themselves have cameras built into them. Not only that, the establishment of surveillance camera systems or the advent of social networks in the era of the fourth industrial revolution has led to an explosion in image resources. At the same time, machine learning and computer vision algorithms have continuously made great progress year by year. As a result, high-performance and low-cost object detection and recognition systems are continually being introduced and widely applied in many areas of life.

One of the subjects attracting the attention of the majority of researchers is the characters. They are special objects, are means of exchanging information. The effective detection and reading of languages simplify many applications of life. Some applications can be mentioned such as locating and measuring the geo- graphical position of an object through reading the characters related to it, thereby helping to locate the object, helping to extract the necessary information about the position, helping to detect the location of dangerous objects, etc.

Another ap- plication is the classification of images, classifying objects based on the sequence of characters assigned to them. In addition, object tracking applications based on detecting and identifying the number assigned to the object such as detecting num- ber plates, detecting objects with labels are also interesting applications. Another potential application is the reading and translation of character sequences on docu- ments, stelae, signs, or historical sites. The development and efficiency enhancement of this model is the key to building automatic reading systems in the future and is the springboard for the rest of the applications to thrive.

In fact, most research on automatic character spotting and translation focuses on English. On the other hand, Chinese is the most popular and frequently used language in the world. Meanwhile, Nom - the official language in the past of the Vietnamese people before Vietnamese was born and popularized, is being faded over time. Moreover, many documents and historical structures of Viet Nam use and contain Han Nom characters.

The development of Han Nom spotting and translation applications brings a lot of great value. In recent years, there have been many models, tools, and systems that allow detecting, recognizing, even translate any characters in images from one language to another. However, there are still many problems that need to be solved as well as many development directions to further enhance the efficiency and accuracy of 1 the system. For example, some systems require a periodic fee to be used, some have limited usable functionality, others only work well under specific conditions.

For these reasons, in this thesis, we will focus on building a model to detect and recognize characters, hieroglyphs in general, or Han Nom characters in particular.1: Problem definition: localizing regions of lines of characters and convert- ing them into encoded strings of characters [1] 1.2 Tasks In order to build the above model, we will perform the following tasks: ˆ Firstly, we research and evaluate different scene text detection and recognition methods suitable for hieroglyphs. ˆ Secondly, we consider the pros and cons of the methods. we find strengths to promote or reuse and find weaknesses to replace or eliminate in those methods. ˆ Then, we consider the problem that is being solved and combine it with the existing knowledge to propose a total and reasonably effective solution.

ˆ After that, we describe the proposed solution in detail. ˆ Then, we choose the appropriate development environment, choose the re- sources needed to implement and improve the solution. ˆ Lastly, we evaluate solutions based on popular standards, comment on the achieved results, and propose future improvements and development direc- tions.3 Scope of the study Here are some of the scopes that we place in the study of this topic: ˆ Solution is designed to detect and recognize sequences of characters instead of detecting and recognizing individual letters. 2 ˆ Solution is focused on the problem of detecting and recognizing Han Nom characters.

However, there is no exception to the possibility that it will incor- porate the ability to detect and recognize Latin letters, numbers, and special characters to facilitate the evaluation process. ˆ Solution is designed to target objects in the most general conditions: in natural environment, of arbitrary shape, in different lighting conditions, etc.4 Content overview The remaining chapters of the thesis are organized as follows: ˆ Chapter 2 briefly introduces some relevant fundamental theoretical bases about artificial neurons, convolutional neural networks, RoI pooling, etc. ˆ Chapter 3 presents a number of related studies, comparing and evaluating them. ˆ Chapter 4 describes and analyzes in detail the proposed solution.

ˆ Chapter 5 presents specific configurations, implementation process, evaluation methods, associated auxiliary modifications and comparison and evaluation of different models. ˆ Chapter 6 will present the contributions made, the outstanding issues, and the development orientation of the project in the future. 3 Chapter 2 Theoretical Basis 2.