Tổng quan nghiên cứu

Chữ Nôm là di sản văn hóa phi vật thể và bằng chứng lịch sử ghi lại toàn bộ tiến trình phát triển văn hóa, tư tưởng, khoa học của dân tộc Việt Nam suốt 10 thế kỷ, từ thế kỷ X đến thế kỷ XX. Đặc biệt, trong suốt 24 năm từ 1788 đến 1802 dưới triều đại Tây Sơn, toàn bộ văn kiện hành chính đều được ghi nhận bằng văn tự này. Hiện nay, kho tàng di sản còn lưu giữ gần 800 tên sách Nôm tại Viện Nghiên cứu Hán Nôm, trong đó các lĩnh vực Văn chương, Tâm linh và Y học chiếm tới 66% tổng số tài liệu. Tuy nhiên, chỉ khoảng 300 đầu sách đã được xác định chính xác niên đại. Với số lượng ước tính lên đến 25.000 chữ Nôm từng được sử dụng và hơn 10.000 chữ thuần Nôm tự tạo không trùng dạng với chữ Hán, việc tiếp cận và giải mã nguồn tri thức này đang đối mặt với nguy cơ mai một nghiêm trọng do số lượng chuyên gia tinh thông Hán Nôm ngày càng suy giảm.

Trước bối cảnh đó, xây dựng hệ thống nhận dạng ký tự quang học chữ Nôm (Nôm-OCR) trở thành nhiệm vụ cấp thiết của ngành Công nghệ thông tin nhằm tự động hóa quá trình số hóa và khai phá văn bản cổ. Luận văn thạc sĩ chuyên ngành Công nghệ phần mềm tại Đại học Công nghệ – Đại học Quốc gia Hà Nội đã đề xuất giải pháp đột phá: ứng dụng mô hình kết hợp thuật toán phân cụm K-Means và Máy véc-tơ hỗ trợ (Support Vector Machine – KSVM) để giải quyết bài toán phân loại đa lớp phức tạp. Nghiên cứu thực nghiệm trực tiếp trên tập dữ liệu chuẩn NOM-DB0 gồm 495 ký tự Nôm thông dụng với tổng cộng 14.850 mẫu ảnh quét ở độ phân giải trên 300 DPI. Ý nghĩa then chốt của công trình thể hiện qua metric tối ưu hóa: thuật toán KSVM giúp giảm số lượng bộ phân loại nhị phân SVM hơn 20 lần so với phương pháp One-Versus-One truyền thống, mở ra lộ trình khả thi để xây dựng các ứng dụng nhận dạng và tra cứu chữ Nôm tự động trên máy tính và thiết bị di động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết học thống kê (Statistical Learning Theory) và mô hình Máy véc-tơ hỗ trợ (SVM) do Vladimir Vapnik đề xuất năm 1995. SVM hướng đến việc tìm kiếm một siêu phẳng tối ưu có khoảng lề phân cách (margin) cực đại nhằm cực tiểu hóa cận trên của sai số kỳ vọng. Để xử lý các tập dữ liệu không thể phân tách tuyến tính hoàn toàn trong thực tế, tác giả tích hợp kỹ thuật lề mềm (Soft Margin) của Corinna Cortes và Vapnik (1995) cùng các hàm nhân phi tuyến (Kernel Trick) như hàm cơ sở xuyên tâm (Radial Basis Function – RBF) và hàm đa thức, cho phép ánh xạ không gian đặc trưng ban đầu sang không gian nhiều chiều để phân tách dữ liệu hiệu quả.

Đối với bài toán phân loại đa lớp, nghiên cứu kế thừa kỹ thuật One-Versus-One (OVO) do John Platt và Nello Cristianini phát triển, đồng thời kết hợp với thuật toán phân cụm K-Means của MacQueen (1967) có độ phức tạp tính toán là $O(t \cdot d \cdot n)$, trong đó $t$ là số vòng lặp, $d$ là số chiều đặc trưng và $n$ là số lượng mẫu. Bốn khái niệm trọng tâm xuyên suốt mô hình gồm:

  1. Không gian đặc trưng trọng số vùng (Zoning Feature Space): Phản ánh phân bố xác suất điểm đen trên ảnh nhị phân.
  2. Mẫu đại diện tâm cụm (Centroid Prototype): Giảm tải số lượng phần tử đưa vào huấn luyện phân cụm sơ bộ.
  3. Bộ phân lớp tầng một (First Class - FC): Phân chia không gian mẫu thành $k$ cụm độc lập bằng mô hình OVOF.
  4. Bộ phân lớp tầng hai (Second Class - SC): Nhận dạng chi tiết từng ký tự trong từng cụm thông qua hệ thống OVOS.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được xây dựng từ tập văn bản tác phẩm Truyện Kiều đã được chuẩn hóa mã Unicode (gồm các tập ký tự Extension A và Extension B với 4.232 chữ thuần Nôm). Tác giả đã thiết lập bộ dữ liệu NOM-DB0 với cỡ mẫu 14.850 ảnh chữ Nôm đơn lẻ từ 495 ký tự có tần suất xuất hiện trên 10 lần trong tác phẩm. Phương pháp chọn mẫu có chủ đích bao phủ 3 phông chữ tiêu chuẩn (Hán Nôm A, Hán Nôm B, Nôm Na Tông), 2 kiểu chữ (thường và đậm), cùng 5 chế độ quét đa dạng về độ tương phản, ánh sáng và độ nhiễu. Dữ liệu được chia thành 11.880 mẫu huấn luyện (tương đương 80%) và 2.970 mẫu kiểm thử (tương đương 20%) với tiêu chuẩn kích thước tối thiểu $120 \times 120$ pixel và độ phân giải quét từ 300 DPI trở lên.

Lý do lựa chọn phương pháp phân tích hai tầng KSVM xuất phát từ hạn chế cố hữu của SVM: khi số lượng lớp $n$ tăng lên 495, phương pháp OVO truyền thống đòi hỏi tới 122.265 bộ phân loại nhị phân, gây quá tải bộ nhớ và kéo dài thời gian huấn luyện. Bằng cách áp dụng trích chọn đặc trưng trọng số vùng (Zoning) kết hợp xác suất điểm đen (Probability Distribution of Black Pixels - PD) trên lưới ô vuông $u \times v$ (chẳng hạn lưới $3 \times 3$), mô hình KSVM phân đoạn không gian bài toán thành các bài toán con có quy mô nhỏ hơn rất nhiều. Quy trình nghiên cứu được triển khai thực nghiệm trên nền tảng .NET và thư viện thị giác máy tính Emgu CV (OpenCV), thực hiện trên hệ thống máy tính trang bị vi xử lý Intel Core 2 Duo 2.00GHz với 2GB RAM.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm thuật toán KSVM trên tập dữ liệu NOM-DB0 đã mang lại các kết quả nổi bật:

Thứ nhất, mô hình KSVM giải quyết triệt để sự bùng nổ số lượng bộ phân loại của SVM đa lớp. Theo công thức tính toán lý thuyết và thực nghiệm, với số lượng lớp $n = 500$ và số cụm phân tách $k = 20$, số lượng bộ phân loại SVM cần thiết giảm từ 124.750 bộ xuống chỉ còn 6.190 bộ (bao gồm 190 bộ phân loại cho tầng phân cụm FC và $20 \times 300 = 6.000$ bộ phân loại cho tầng nhận dạng SC). Điều này tương đương mức cắt giảm chi phí tính toán hơn 20,15 lần so với mô hình OVO chuẩn.

Thứ hai, độ chính xác nhận dạng của KSVM thể hiện tính vượt trội và ổn định trên tập kiểm thử 2.970 mẫu ảnh có độ mờ và nhiễu cao. Kết quả phân lớp của SVM kết hợp hàm nhân RBF vượt xa các nghiên cứu trước đây trên cùng bộ dữ liệu: cao hơn đáng kể so với mô hình mạng nơ-ron nhân tạo truyền thẳng huấn luyện bằng lan truyền ngược (vốn chỉ đạt độ chính xác trên 70% và mất hàng ngày để huấn luyện) và cải thiện rõ rệt so với phương pháp khoảng cách soạn thảo (String Edit Distance, đạt mức 82%).

Thứ ba, nghiên cứu chứng minh độ phân giải ảnh và kích thước lưới trích chọn đặc trưng có tương quan mật thiết tới hiệu năng nhận dạng. Khi sử dụng lưới đặc trưng mật độ điểm đen $3 \times 3$ với kích thước ảnh chữ từ $120 \times 120$ pixel trở lên, mô hình đạt được sự cân bằng tối ưu giữa việc mô tả cấu trúc phức tạp của chữ Nôm (vốn có thể lên tới 37 nét) và khả năng triệt tiêu nhiễu bề mặt do quá trình in quét nhiều lần.

Thảo luận kết quả

Thành công của thuật toán KSVM nằm ở cơ chế phân tầng thông minh "chia để trị". Việc sử dụng K-Means trên tập mẫu đại diện giúp xác định tâm cụm một cách khách quan dựa trên phân bố tự nhiên của dữ liệu hình ảnh, loại bỏ sự gán nhãn chủ quan. Tầng FC sử dụng bộ phân loại OVOF đảm bảo phân tách chính xác các nhóm ký tự có cấu trúc hình học tương đồng trước khi chuyển giao cho tầng SC nhận diện chi tiết từng biến thể chữ.

Dữ liệu thực nghiệm của nghiên cứu có thể được tổng hợp trực quan qua ba dạng biểu đồ và bảng phân tích:

  • Bảng so sánh số lượng bộ phân loại: Trình bày tương quan giữa các phương pháp OVR, OVO chuẩn và KSVM khi số lớp $n$ tăng từ 100 đến 1.000 ký tự.
  • Biểu đồ đường biểu diễn mối quan hệ giữa kích thước lưới trích chọn đặc trưng và độ chính xác: Minh họa sự biến thiên của tỷ lệ nhận dạng chính xác khi thay đổi độ phân giải lưới từ $2 \times 2$, $3 \times 3$ đến $8 \times 8$.
  • Biểu đồ cột phân tích tỷ lệ sai số: Phân định rõ sai số phát sinh tại tầng phân cụm sơ cấp (FC) so với tầng nhận dạng chi tiết (SC) trên 5 chế độ quét tài liệu.

So với các hệ thống OCR chữ tượng hình thương mại như ABBYY FineReader 11 hay mã nguồn mở Tesseract (vốn phụ thuộc vào cấu trúc cây k-d và bộ trích chọn đặc trưng đa giác đơn giản), giải thuật KSVM thể hiện ưu thế vượt trội trong việc xử lý các ký tự chữ Nôm tự tạo phức tạp mà các bộ OCR tiếng Trung hoặc tiếng Nhật không thể bao quát.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và thực nghiệm của luận văn, bốn giải pháp mang tính hành động cao được đề xuất nhằm hoàn thiện hệ thống Nôm-OCR trong giai đoạn tiếp theo:

  1. Nâng cấp thuật toán phân cụm tại tầng thứ nhất (FC): Áp dụng phương pháp trích chọn đặc trưng đa tỷ lệ (Multi-scale Feature Extraction) kết hợp đánh giá trọng số đường nét để tăng độ chính xác phân cụm sơ bộ lên trên 95%. Mục tiêu hoàn thành trong vòng 12 tháng do nhóm nghiên cứu xử lý ảnh và trí tuệ nhân tạo chủ trì thực hiện.

  2. Mở rộng quy mô cơ sở dữ liệu huấn luyện lên NOM-DB1: Thu thập và chuẩn hóa hơn 2.160 ký tự Nôm phổ biến xuất hiện trong toàn bộ 3.254 câu thơ của Truyện Kiều với đầy đủ 4 định dạng (thường, nghiêng, đậm, nghiêng đậm). Thời gian triển khai dự kiến trong 18 tháng, phối hợp giữa các nhà nghiên cứu công nghệ và chuyên gia Viện Nghiên cứu Hán Nôm.

  3. Phát triển mô đun hậu xử lý tích hợp từ điển ngữ cảnh: Xây dựng bộ lọc ngôn ngữ dựa trên mô hình N-gram kết hợp kho từ điển 12.000 chữ của Giáo sư Nguyễn Quang Hồng, hướng đến việc tự động sửa lỗi chính tả sau nhận dạng, giúp giảm tỷ lệ nhận dạng sai xuống dưới 3%. Nhiệm vụ do các kỹ sư phần mềm triển khai trong thời gian 15 tháng.

  4. Đóng gói sản phẩm và triển khai ứng dụng Nôm-OCR di động: Tối ưu hóa mô hình KSVM để tích hợp vào ứng dụng di động trên nền tảng Android và iOS, cho phép chụp ảnh quét văn bia, câu đối tại các di tích lịch sử và tra cứu nghĩa tức thời theo thời gian thực dưới 1,5 giây mỗi ký tự. Lộ trình thương mại hóa và phục vụ cộng đồng thực hiện trong vòng 24 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo học thuật và ứng dụng thực tiễn giá trị cho 4 nhóm đối tượng trọng tâm:

  • Nghiên cứu sinh và sinh viên ngành Trí tuệ nhân tạo, Thị giác máy tính: Nắm vững phương pháp thiết kế kiến trúc phân loại đa tầng kết hợp K-Means và SVM, giải quyết triệt để bài toán bùng nổ không gian lớp trong nhận dạng mẫu lớn.
  • Kỹ sư phát triển phần mềm OCR và xử lý ảnh số: Tham khảo quy trình trích chọn đặc trưng trọng số vùng (Zoning), kỹ thuật nhị phân hóa tài liệu cổ và phương pháp tích hợp thư viện Emgu CV trong môi trường .NET.
  • Nhà nghiên cứu Hán Nôm và chuyên gia bảo tồn di sản văn hóa: Hiểu rõ tiềm năng công nghệ số hóa tự động, từ đó phối hợp xây dựng các bộ ngữ liệu chuẩn và khai thác kho tàng gần 800 đầu sách cổ cùng hệ thống văn bia trên toàn quốc.
  • Các cơ quan lưu trữ quốc gia, thư viện và bảo tàng số: Tham khảo tiêu chuẩn quét tài liệu (tối thiểu 300 DPI, kích thước ký tự $120 \times 120$ pixel) nhằm thiết lập quy trình số hóa chuẩn quốc tế cho các tài liệu Hán Nôm quý hiếm.

Câu hỏi thường gặp

Tại sao chữ Nôm lại khó nhận dạng quang học hơn chữ Hán và chữ Latin?
Chữ Latin chỉ gồm khoảng 26 chữ cái với cấu trúc đơn giản, trong khi chữ Nôm có tới hơn 25.000 ký tự với cấu trúc khối vuông có thể lên đến 37 nét ghép từ hai chữ Hán (thanh phù và nghĩa phù). Ngoài ra, hơn 10.000 chữ thuần Nôm không hề có trong cơ sở dữ liệu chữ Hán chuẩn, khiến các bộ OCR tiếng Trung hiện hành không thể nhận dạng chính xác.

Thuật toán KSVM giải quyết bài toán bùng nổ số lượng bộ phân loại của SVM như thế nào?
Thay vì huấn luyện toàn bộ $n(n-1)/2$ bộ phân loại OVO, KSVM chia bài toán thành 2 giai đoạn: K-Means phân nhóm dữ liệu thành $k$ cụm, sau đó SVM phân loại trong từng cụm. Với $n=500$ lớp và $k=20$ cụm, số bộ phân loại giảm từ 124.750 xuống còn 6.190 bộ, tức giảm hơn 20 lần khối lượng tính toán.

Tập dữ liệu thực nghiệm NOM-DB0 được xây dựng theo tiêu chuẩn nào?
NOM-DB0 bao gồm 14.850 mẫu ảnh của 495 ký tự Nôm xuất hiện trên 10 lần trong Truyện Kiều. Mẫu được tạo từ 3 bộ phông chữ tiêu chuẩn (Hán Nôm A, Hán Nôm B, Nôm Na Tông), in ở độ phân giải trên 300 DPI và quét thử nghiệm ở 5 chế độ ánh sáng, độ nét khác nhau để mô phỏng nhiễu thực tế.

Phương pháp trích chọn đặc trưng trọng số vùng (Zoning/PD) có ưu điểm gì?
Phương pháp chia ảnh ký tự thành lưới ô vuông $u \times v$ (chẳng hạn $3 \times 3$) và tính toán phân bố xác suất điểm đen trên từng ô. Phương pháp này có chi phí tính toán thấp, trích xuất nhanh véc-tơ đặc trưng cố định và có khả năng chống chịu tốt với hiện tượng đứt nét hoặc dính nét do nhiễu quét quang học.

Mô hình nghiên cứu có thể ứng dụng trực tiếp cho tài liệu scan cổ và văn bia không?
Ở giai đoạn hiện tại, mô hình xử lý tối ưu trên tập ảnh ký tự đã được cắt rời chuẩn hóa. Để ứng dụng trên bản scan sách cổ hoặc ảnh chụp bia đá thực tế, hệ thống cần bổ sung mô đun phân tích bố cục trang, khử nhiễu nền giấy xơ và phân tách dòng chữ trước khi đưa vào bộ nhận dạng KSVM.

Kết luận

  • Luận văn đã giải quyết thành công bài toán nhận dạng ký tự quang học cho chữ Nôm thông qua thuật toán đề xuất KSVM kết hợp K-Means và Máy véc-tơ hỗ trợ (SVM).
  • Cắt giảm số lượng bộ phân loại nhị phân hơn 20 lần so với mô hình OVO truyền thống, tối ưu hóa triệt để tài nguyên tính toán và thời gian huấn luyện mô hình.
  • Xây dựng thành công cơ sở dữ liệu mẫu chuẩn NOM-DB0 gồm 14.850 ảnh chữ Nôm đơn lẻ từ 495 ký tự phổ biến trong Truyện Kiều trên 3 phông chữ và 5 chế độ quét.
  • Kết quả nhận dạng vượt trội so với các kỹ thuật mạng nơ-ron nhân tạo lan truyền ngược và phương pháp khoảng cách soạn thảo, tạo nền móng vững chắc cho hệ thống Nôm-OCR toàn diện.
  • Lộ trình phát triển tiếp theo tập trung mở rộng kho dữ liệu NOM-DB1 với hơn 2.160 ký tự trong 18 tháng và phát triển ứng dụng di động Nôm-OCR phục vụ bảo tồn văn hóa trong 24 tháng tới. Các nhà nghiên cứu và đơn vị số hóa quan tâm có thể khai thác mô hình này để chung tay bảo tồn kho tàng tri thức lịch sử của dân tộc.