Tổng quan nghiên cứu
Chữ Nôm là khối di sản văn hóa thiêng liêng đúc kết hơn 10 thế kỷ lịch sử, tư tưởng và tri thức của dân tộc Việt Nam với kho tàng đồ sộ ước tính vượt mốc 25.000 ký tự cổ. Tuy nhiên, trong bối cảnh hiện đại với hơn 90 triệu người sử dụng tiếng Việt, số lượng chuyên gia có thể đọc hiểu và biên dịch chữ Nôm ước tính chưa đầy 100 người trên toàn cầu. Thực trạng này đặt ra nguy cơ mai một nghiêm trọng nguồn tri thức lịch sử lưu trữ trên hàng vạn bia đá, gia phả, văn sắc và mộc bản cổ. Việc xây dựng một hệ thống nhận dạng ký tự quang học chuyên biệt cho chữ Nôm (Nôm-OCR) trở thành bài toán khoa học cấp thiết của ngành công nghệ thông tin nhằm tự động hóa quá trình số hóa và cứu vãn các di sản văn hóa quý giá.
Mục tiêu trọng tâm của nghiên cứu là xây dựng giải pháp nhận dạng ký tự chữ Hán - Nôm đạt độ chính xác cao dựa trên phương pháp phân rã và trích chọn đặc trưng gốc từ (radicals), kết hợp với mô hình xác suất Entropy cực đại (Maximum Entropy Model - MEM). Đề tài giới hạn phạm vi nghiên cứu thực nghiệm trên bộ dữ liệu chuẩn NOM-DB0 gồm 495 ký tự mẫu đại diện, thực hiện trong giai đoạn 2012–2015 tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội. Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc thu hẹp không gian phân lớp từ hàng vạn ký tự phức tạp về tập cơ sở chỉ gồm hơn 300 gốc từ, qua đó nâng tỷ lệ nhận dạng thành công vượt ngưỡng 90,00%, tạo tiền đề kỹ thuật vững chắc để tích hợp công cụ dịch tự động trên các thiết bị di động thông minh phục vụ khảo cổ, bảo tồn và du lịch văn hóa.
Cơ sở lý thuyết và phương pháp nghiên cứu
Khung lý thuyết áp dụng
Nghiên cứu được xây dựng dựa trên nền tảng thị giác máy tính và lý thuyết xử lý ảnh hình thái học (Mathematical Morphology), trọng tâm là phép biến đổi Hit-or-Miss do nhà toán học Jean Serra đề xuất năm 1982. Phép biến đổi này sử dụng cặp phần tử cấu trúc kép nhằm cô lập chính xác trục chính của ký tự, loại bỏ điểm ảnh biên và tạo ra khung xương chuẩn (skeleton) mà không làm biến dạng hình thái nguyên bản. Bên cạnh đó, luận văn áp dụng giải pháp xấp xỉ đoạn thẳng đa giác và vi phân đồ thị để xác định các thuộc tính hình học then chốt như điểm giao (junction points), điểm tự do (free end points) cùng các hướng nét cơ bản (nét ngang, nét đứng, nét xiên 25 độ và 45 độ).
Về mặt ngôn ngữ học tính toán, đề tài kế thừa lý thuyết phân loại 9 đồ hình cấu trúc chữ Nôm của Đặng Đức và Trần Xuân Ngọc Lan, từ đó chuẩn hóa và mở rộng thành mô hình 10 kiểu kiến trúc hình học (loại đơn, trái - phải, trên - dưới, bao trái, bao phải, xung quanh...). Để giải quyết bài toán phân lớp dữ liệu phức tạp, nghiên cứu tích hợp mô hình phân loại Máy véc-tơ hỗ trợ kết hợp phân cụm K-means (KSVM) và mô hình Entropy cực đại (MEM), giúp tối ưu hóa việc phân bổ trọng số xác suất điểm đen (PD) và chuỗi đặc trưng gốc từ.
Phương pháp nghiên cứu
Bộ dữ liệu thực nghiệm được trích xuất từ kho mẫu NOM-DB0 chứa 495 chữ Nôm chuẩn, sau đó được nhân bản và tiền xử lý qua 6 biến thể phông chữ in phổ biến (gồm HanNomA, HanNomB, NomNaTong) để tạo ra tập dữ liệu 2.970 mẫu ảnh với các kích thước chuẩn hóa 24x24 pixel và 90x90 pixel. Phương pháp chọn mẫu phân tầng (stratified sampling) được áp dụng nhằm đảm bảo tính đại diện cho cả nhóm chữ thuần Nôm (chiếm 4.232 ký tự trong bảng mã Unicode) và nhóm chữ Nôm trùng hình với chữ Hán (5.067 ký tự theo chuẩn quốc tế ISO 10646). Lý do lựa chọn cỡ mẫu này xuất phát từ nhu cầu kiểm chứng độ ổn định của thuật toán trên các cấu trúc đồ hình đa dạng trước khi mở rộng ra toàn bộ bảng mã quốc tế.
Quy trình phân tích dữ liệu trải qua 3 giai đoạn chặt chẽ:
- Giai đoạn tiền xử lý: Thực hiện nhị phân hóa ảnh, áp dụng thuật toán Hit-or-Miss rút khung xương và thuật toán lọc nhiễu loại bỏ nét thừa dưới 3 pixel.
- Giai đoạn trích chọn gốc từ: Phân đoạn hình học dựa trên 10 mẫu kiến trúc để bóc tách các thành phần gốc từ cơ sở, xây dựng cơ sở dữ liệu tri thức RaNom-DB0.
- Giai đoạn phân lớp và nhận dạng: Ứng dụng mô hình MEM và KSVM để khớp chuỗi đặc trưng gốc từ, ánh xạ kết quả phân loại sang mã định danh Unicode chuẩn. Toàn bộ chu trình nghiên cứu và tối ưu giải thuật được hoàn tất trong timeline 2012–2015.
Kết quả nghiên cứu và thảo luận
Những phát hiện chính
Quá trình kiểm thử thực nghiệm trên hệ thống máy tính chuyên dụng đã mang lại nhiều phát hiện định lượng quan trọng về hiệu năng của các giải thuật nhận dạng ký tự:
Thứ nhất, mô hình phân loại đa tầng KSVM kết hợp trích chọn đặc trưng phân bố xác suất điểm đen (PD) đạt hiệu quả vượt trội khi nâng độ phân giải ảnh lên 90x90 pixel với kích thước lưới phân vùng 5x5. Tại cấu hình tối ưu với số cụm K=20, mô hình đạt độ chính xác nhận dạng 87,62% và chạm mốc 90,20% đối với tập kiểm thử đơn lẻ. Phân tích toán học cho thấy việc chia 2 lớp giúp giảm thiểu số lượng bộ phân loại SVM từ 124.750 bộ (ở mô hình One-Versus-One truyền thống trên 500 mẫu) xuống chỉ còn 6.190 bộ ở mô hình KSVM, tương đương mức cắt giảm chi phí tính toán hơn 20 lần.
Thứ hai, phương pháp nhận dạng dựa trên khoảng cách soạn thảo chuỗi (String Edit-Distance) trên tập 2.685 mẫu huấn luyện và 495 mẫu nhận dạng đạt tỷ lệ nhận dạng chính xác trung bình 82,00% qua 6 lượt kiểm thử chéo. Trong đó, tập thử nghiệm HanNomA_0_0 đạt kết quả cao nhất với tỷ lệ 90,00% (nhận dạng đúng 439/493 ký tự), trong khi tập HanNomB_0_1 đạt 78,00% (349/495 ký tự).
Thứ ba, mô hình nhận dạng dựa trên phân tách gốc từ và mô hình MEM chứng minh tính ưu việt rõ nét khi phân loại chính xác các kiểu ký tự phức tạp (mẫu 8, 9, 10 có cấu trúc bao viền), duy trì độ chính xác nhận dạng thành phần gốc từ trên 92,50% và đưa tỷ lệ nhận dạng chữ Nôm tổng thể đạt trên 90,00%, vượt xa phương pháp mạng nơ-ron truyền thẳng cổ điển vốn chỉ đạt trung bình 73,55%.
Thảo luận kết quả
Khi phân tích sâu về cơ chế giải thuật, sự chênh lệch hiệu năng giữa các phương pháp phản ánh rõ nét tính chất đặc thù của văn tự tượng hình. Mạng nơ-ron truyền thẳng (MLP) với vector đầu vào 576 đặc trưng (từ ảnh 24x24 pixel) rất dễ rơi vào trạng thái cực trị địa phương hoặc gặp hiện tượng liệt mạng (trọng số tăng vọt làm tràn bộ nhớ và xuất hiện giá trị NaN). Do đó, tỷ lệ chính xác của mạng nơ-ron dao động không ổn định từ 71,27% đến 89,00%.
Dữ liệu thực nghiệm khi được biểu diễn qua bảng so sánh tổng hợp cho thấy rõ thứ bậc hiệu năng: KSVM dẫn đầu với 90,20%, phương pháp khoảng cách soạn thảo đạt 82,00%, và mạng nơ-ron dừng lại ở mức 73,55%. Biểu đồ phân tích sai số cũng chỉ ra rằng việc cố định kích thước lưới 10x10 trong phép tính khoảng cách soạn thảo làm phát sinh lỗi phân lớp đối với các ký tự có trên 10 nét dọc hoặc 10 nét ngang. Ngược lại, phương pháp tiếp cận theo gốc từ xử lý triệt để bài toán này nhờ cơ chế tách độc lập từng thành phần cấu tạo, biến bài toán nhận dạng một chữ phức tạp thành việc nhận diện các gốc từ đơn giản kết hợp vị trí không gian tương đối. Kết quả này mở ra tiềm năng ứng dụng trực tiếp thuật toán vào phần mềm OCR thương mại hóa với độ trễ xử lý thấp.
Đề xuất và khuyến nghị
Nhằm hoàn thiện và đưa giải pháp Nôm-OCR vào ứng dụng thực tiễn quy mô lớn, luận văn đề xuất 4 nhóm giải pháp kỹ thuật và triển khai cụ thể:
- Mở rộng cơ sở dữ liệu gốc từ RaNom-DB0: Tiến hành thu thập, chuẩn hóa và gán nhãn cho toàn bộ hơn 300 loại gốc từ trên toàn bộ 9.229 ký tự chữ Nôm đã được Tổ chức Chuẩn hóa Quốc tế (ISO) công nhận. Đơn vị chủ trì là Viện Nghiên cứu Hán Nôm phối hợp cùng nhóm nghiên cứu công nghệ thông tin, đặt mục tiêu hoàn thành trong timeline 12 tháng với chỉ tiêu bao phủ 100% các biến thể dị thể.
- Tối ưu hóa thuật toán tinh chỉnh khung xương: Tích hợp các bộ lọc thích nghi đa hướng nhằm chuẩn hóa nét nghiêng 25 độ và 45 độ, giảm sai số gãy nét xuống dưới 2,00% khi xử lý ảnh quét từ tài liệu bia đá có độ tương phản thấp. Kỹ sư xử lý ảnh chịu trách nhiệm tối ưu mã nguồn trong vòng 6 tháng.
- Xây dựng module hậu xử lý ngôn ngữ tự nhiên: Thiết lập mô hình ngôn ngữ N-gram kết hợp từ điển Hán Nôm cổ để kiểm tra ngữ cảnh câu sau bước nhận dạng gốc từ, đặt mục tiêu nâng độ chính xác tổng thể toàn bài từ 90,20% lên trên 96,50% trong thời gian 18 tháng.
- Phát triển ứng dụng OCR di động và chuyển giao công nghệ: Đóng gói giải pháp Nôm-OCR thành ứng dụng chạy trên hệ điều hành Android và iOS, phục vụ chuyển đổi ảnh chụp thời gian thực tại các di tích lịch sử. Đơn vị thực hiện là Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội phối hợp các Ban Quản lý Di tích Quốc gia trong thời hạn 24 tháng.
Đối tượng nên tham khảo luận văn
Nội dung nghiên cứu của luận văn mang giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng trọng tâm:
- Nhà nghiên cứu và học viên cao học ngành Khoa học Máy tính / Trí tuệ Nhân tạo: Nắm vững kỹ thuật trích xuất khung xương Hit-or-Miss, giải thuật tối ưu hóa KSVM phân lớp đa tầng và mô hình Entropy cực đại (MEM) ứng dụng trong xử lý ảnh tài liệu cổ.
- Cán bộ nghiên cứu Hán Nôm và chuyên gia Ngôn ngữ học: Tiếp cận hệ thống phân loại 10 kiểu đồ hình kiến trúc chữ Nôm và cơ sở dữ liệu tri thức gốc từ RaNom-DB0 nhằm phục vụ công tác giám định, tra cứu dị bản và giải mã văn bản cổ.
- Kỹ sư phát triển phần mềm di động và hệ thống nhúng: Tham khảo cấu trúc thuật toán gọn nhẹ, tối ưu hóa bộ nhớ và tài nguyên tính toán để phát triển các ứng dụng quét, dịch chữ Nôm trực tiếp bằng camera trên điện thoại thông minh.
- Cơ quan quản lý văn hóa, bảo tàng và thư viện số: Định hình chiến lược chuyển đổi số di sản văn hóa, ứng dụng phần mềm OCR tự động để phục chế, lưu trữ hàng vạn tư liệu mộc bản, sắc phong và văn bia lịch sử.
Câu hỏi thường gặp
-
Tại sao nghiên cứu lại lựa chọn nhận dạng chữ Nôm dựa trên gốc từ thay vì nhận dạng nguyên chữ?
Chữ Nôm có quy mô hơn 25.000 ký tự với cấu trúc cực kỳ phức tạp và nhiều nét dính, khiến việc nhận dạng nguyên chữ dễ gây bùng nổ không gian mẫu và học quá khít (overfitting). Việc phân rã ký tự thành hơn 300 gốc từ cơ bản giúp tối ưu hóa bộ nhớ tính toán và nâng độ chính xác nhận dạng lên trên 90,20%.
-
Phép biến đổi Hit-or-Miss có ưu điểm gì trong việc trích xuất khung xương chữ Nôm?
Phép biến đổi Hit-or-Miss sử dụng đồng thời hai phần tử cấu trúc để xử lý cả đối tượng nét và phần bù nền ảnh. Kỹ thuật này giúp loại bỏ chính xác các điểm ảnh nhiễu biên, duy trì nguyên vẹn tính liên tục của cấu trúc topo và hỗ trợ lọc bỏ các cạnh thừa có chiều dài dưới 3 pixel.
-
Giải thuật KSVM giải quyết bài toán suy giảm tốc độ xử lý của SVM truyền thống như thế nào?
KSVM chia bài toán phân lớp thành hai giai đoạn: lớp thứ nhất dùng thuật toán K-means phân cụm dữ liệu (K=20), lớp thứ hai áp dụng mô hình One-Versus-One trên từng cụm. Cơ chế này giúp giảm số lượng máy phân loại từ 124.750 xuống 6.190 bộ trên tập 500 mẫu, giảm chi phí tính toán hơn 20 lần.
-
Tập dữ liệu thực nghiệm NOM-DB0 được xây dựng và chuẩn hóa ra sao?
Bộ dữ liệu gồm 495 ký tự chữ Nôm chuẩn thuộc nhiều cấu trúc hình học khác nhau, được tạo sinh thành 2.970 mẫu ảnh với các kích thước 24x24 pixel và 90x90 pixel trên 6 phông chữ (HanNomA, HanNomB, NomNaTong). Tập mẫu đảm bảo độ bao phủ trên toàn bộ 10 kiểu đồ hình kiến trúc.
-
Hệ thống xử lý như thế nào đối với các ký tự Nôm có nét bị mờ hoặc dính liền?
Luận văn áp dụng quy trình làm mịn khung xương bằng xấp xỉ đoạn thẳng đa giác kết hợp phân tích đường cắt theo trục tọa độ ngang và dọc. Thuật toán phân cụm nét dựa trên các hướng nét đặc trưng (L, M, S, U) giúp tách rời chính xác các gốc từ dính với tỷ lệ sai số phân đoạn dưới 8,00%.
Kết luận
- Chuẩn hóa thành công hệ thống cấu trúc chữ Nôm thành 10 kiểu đồ hình hình học và thiết lập cơ sở dữ liệu gốc từ RaNom-DB0 gồm hơn 300 thành phần cơ sở.
- Cài đặt hoàn chỉnh thuật toán trích xuất khung xương bằng phép biến đổi Hit-or-Miss kết hợp kỹ thuật xấp xỉ đa giác để loại bỏ nét thừa dưới 3 pixel.
- Đề xuất và thực nghiệm thành công mô hình nhận dạng chữ Nôm dựa trên gốc từ kết hợp MEM và KSVM, đạt độ chính xác từ 87,62% đến 90,20%.
- Chứng minh tính vượt trội về độ chính xác và tốc độ xử lý của giải pháp đề xuất so với mạng nơ-ron (73,55%) và khoảng cách soạn thảo văn bản (82,00%).
- Đặt nền móng kỹ thuật vững chắc cho lộ trình 12–24 tháng tới nhằm hoàn thiện hệ thống Nôm-OCR toàn diện cho 9.229 ký tự chuẩn Unicode phục vụ bảo tồn di sản số.
Luận văn thạc sĩ của tác giả Nguyễn Thanh Bình là công trình khoa học tiên phong, giải quyết xuất sắc nút thắt công nghệ trong bài toán nhận dạng văn tự cổ Việt Nam. Quý độc giả, nhà nghiên cứu và các đơn vị công nghệ quan tâm vui lòng tham khảo chi tiết toàn văn tài liệu để ứng dụng mô hình Nôm-OCR vào các dự án số hóa di sản và phát triển phần mềm tra cứu văn hóa lịch sử ngay hôm nay!