Tổng quan nghiên cứu

Chữ Nôm là thành tựu văn hóa đặc sắc, đóng vai trò là phương tiện văn tự duy nhất ghi lại tiếng nói và lịch sử dân tộc Việt Nam suốt 10 thế kỷ, từ thế kỷ 10 đến thế kỷ 20. Trong suốt 24 năm từ năm 1788 đến năm 1802 dưới triều đại Tây Sơn, toàn bộ văn bản hành chính quốc gia đều được ban hành bằng chữ Nôm. Kho tàng di sản hiện nay còn lưu giữ gần 800 đầu sách chữ Nôm tại Viện Nghiên cứu Hán Nôm, trong đó các lĩnh vực văn chương, tâm linh và y học chiếm tới 66% tổng số tư liệu. Tuy nhiên, mới chỉ có khoảng 300 đầu sách xác định được niên đại chính xác và ước tính có khoảng 25.000 ký tự chữ Nôm từng được sử dụng trên thực tế.

Thực trạng suy giảm số lượng chuyên gia tinh thông chữ Nôm đang đặt ra nguy cơ mai một nghiêm trọng nguồn tri thức lịch sử quý báu. Bài toán số hóa tự động thông qua công nghệ nhận dạng ký tự quang học (OCR) cho chữ Nôm trở thành nhiệm vụ cấp thiết của ngành công nghệ thông tin. Nghiên cứu tập trung giải quyết bài toán nhận dạng chữ Nôm đơn lẻ từ ảnh quét tài liệu sang mã Unicode chuẩn, nhằm phục vụ công tác tra cứu tự động và bảo tồn di sản văn hóa số.

Ý nghĩa học thuật và thực tiễn của công trình thể hiện qua việc xây dựng thuật toán phân loại hiệu năng cao, mở đường cho các ứng dụng nhận dạng văn bản cổ trên thiết bị di động và hệ thống tra cứu bảo tàng, giảm hơn 80% thời gian xử lý thủ công của các nhà nghiên cứu lịch sử.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng Lý thuyết học thống kê của Vladimir Vapnik (1995) với trọng tâm là mô hình Máy véc-tơ hỗ trợ (Support Vector Machine - SVM). SVM hoạt động dựa trên nguyên lý cực đại hóa khoảng cách lề (margin) giữa các siêu phẳng phân cách, giúp tối thiểu hóa cận trên của sai số kỳ vọng thay vì chỉ tối thiểu hóa sai số kinh nghiệm. Để xử lý tính chất phân tách phi tuyến của dữ liệu hình ảnh, mô hình tích hợp kỹ thuật hàm nhân (Kernel trick) thỏa mãn điều kiện Mercer, ánh xạ không gian giả thiết n-chiều sang không gian đặc trưng d-chiều có số chiều cao hơn hoặc vô hạn.

Trong bài toán nhận dạng đa lớp với hàng trăm ký tự, mô hình triển khai chiến lược phân loại Một-đối-Một (One-Versus-One - OvO). Đồng thời, nguyên lý chia để trị được áp dụng thông qua thuật toán phân cụm K-Means, đóng vai trò là tầng phân nhóm sơ bộ nhằm giảm thiểu độ phức tạp tính toán trước khi đưa vào các bộ phân loại SVM chi tiết.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm sử dụng bộ dữ liệu mẫu NOM-DB0 được chuẩn hóa độc lập. Cỡ mẫu nghiên cứu bao gồm 495 lớp ký tự chữ Nôm phổ biến, mỗi ký tự gồm 24 mẫu ảnh đại diện đã được cắt biên và khử nhiễu tiền xử lý, tạo nên tập dữ liệu tổng cộng 11.880 ảnh mẫu nhị phân chuẩn hóa kích thước. Phương pháp chọn mẫu tập trung vào các ký tự xuất hiện với tần suất cao trong các tác phẩm kinh điển như Truyện Kiều bản in năm 1866 kết hợp các mẫu chữ chuẩn hóa từ kho dữ liệu số NomNa.

Phương pháp phân tích trích chọn đặc trưng sử dụng kỹ thuật phân vùng trọng số lưới (Zoning). Ảnh ký tự được chia thành lưới 3x3 ô vuông để tính toán mật độ điểm đen và phân bố xác suất điểm đen, tạo thành véc-tơ đặc trưng cố định. Lý do lựa chọn mô hình phân cấp KSVM kết hợp K-Means và SVM OvO là nhằm khắc phục triệt để hạn chế bùng nổ số lượng bộ phân loại bậc hai của SVM thuần túy khi số lớp n đạt 495, đồng thời duy trì độ chính xác tối ưu trong từng cụm nhỏ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đối sánh hiệu năng phân loại trên tập dữ liệu NOM-DB0 đã ghi nhận 4 phát hiện quan trọng:

  • Mạng nơ-ron nhân tạo truyền thẳng (ANN) huấn luyện bằng thuật toán lan truyền ngược kết hợp kiểm chứng chéo K-Fold chỉ đạt độ chính xác khiêm tốn khoảng 70%, đồng thời thời gian huấn luyện kéo dài nhiều ngày do không gian trọng số quá lớn.
  • Phương pháp cấu trúc dựa trên so khớp khoảng cách soạn thảo (String Edit Distance) đạt tỷ lệ nhận dạng khoảng 82%, nhưng gặp hạn chế lớn khi hình thái chữ bị nhiễu nét hoặc đứt đoạn.
  • Mô hình phân cấp KSVM đề xuất đạt độ chính xác vượt trội trên 88%, rút ngắn thời gian huấn luyện và nhận dạng xuống hơn 60% so với phương pháp SVM OvO đơn tầng truyền thống.
  • Thống kê ngôn ngữ học chỉ ra tỷ lệ chữ Nôm tự tạo chiếm tới 44,3% trong các tác phẩm thế kỷ 20, trong khi các chữ mượn nguyên dạng chữ Hán giảm từ 89,5% ở thế kỷ 15 xuống 55,7%. Điều này lý giải vì sao các phần mềm thương mại như ABBYY FineReader 11 hay Readiris Pro 11 (đạt 98% trên chữ Hán) đều suy giảm nghiêm trọng độ chính xác khi nhận dạng chữ Nôm thuần Việt.

Thảo luận kết quả

Nguyên nhân chính giúp thuật toán KSVM đạt hiệu năng vượt trội là việc phân chia không gian 495 lớp thành các cụm đại diện thông qua K-Means ở giai đoạn 1, sau đó sử dụng SVM OvO để tinh chỉnh ranh giới quyết định ở giai đoạn 2. Điều này giải quyết bài toán mất cân bằng mẫu nghiêm trọng của mô hình Một-đối-Phần còn lại (OvR).

Dữ liệu thực nghiệm có thể được mô tả trực quan qua ma trận nhầm lẫn đa chiều, thể hiện rõ các cụm chữ có cấu trúc bộ thủ tương đồng như bộ Thủy, bộ Mộc hay bộ Tâm. Biểu đồ phân bố mật độ điểm đen lưới 3x3 minh chứng rằng các đặc trưng thống kê vùng có khả năng phân biệt hình học tốt hơn các đặc trưng số nét đơn thuần. Kết quả này khẳng định nhận dạng chữ tượng hình phức tạp bắt buộc phải kết hợp giữa phương pháp học máy thống kê và cấu trúc phân tầng.

Đề xuất và khuyến nghị

  • Mở rộng quy mô cơ sở dữ liệu ký tự: Viện Nghiên cứu Hán Nôm cùng các trường đại học cần liên kết triển khai thu thập thêm 20.000 ký tự Nôm hiếm gặp, nâng tổng số mẫu ảnh số hóa lên trên 100.000 mẫu chuẩn trước năm 2025.
  • Tích hợp mạng học sâu vào mô hình phân cấp: Nhóm nghiên cứu công nghệ thông tin cần tiếp tục phát triển kiến trúc mạng nơ-ron tích chập (CNN) kết hợp cùng KSVM, hướng tới mục tiêu nâng độ chính xác nhận dạng đạt mốc 95% trong 12 tháng tới.
  • Phát triển ứng dụng OCR di động thời gian thực: Các doanh nghiệp phần mềm phối hợp cơ quan văn hóa xây dựng ứng dụng quét ảnh dịch tự động chữ Nôm trên điện thoại thông minh, phục vụ khách tham quan di tích và nhà nghiên cứu thực địa trong vòng 2 năm.
  • Hoàn thiện mã hóa chuẩn quốc tế: Bộ Thông tin và Truyền thông chủ trì đề xuất với tổ chức ISO bổ sung hơn 2.200 ký tự Nôm tự tạo còn lại vào không gian mã Unicode Extension C/D nhằm tạo nền tảng đồng bộ dữ liệu số toàn cầu.

Đối tượng nên tham khảo luận văn

  • Nhà nghiên cứu Hán Nôm và sử học: Cung cấp phương pháp tiếp cận khoa học dữ liệu để tự động hóa quá trình giải mã, tra cứu kho thư tịch cổ gồm 25.000 ký tự Nôm nhanh chóng.
  • Kỹ sư thị giác máy tính và trí tuệ nhân tạo: Cung cấp thiết kế chi tiết về giải thuật phân lớp phân cấp KSVM, kỹ thuật trích chọn đặc trưng phân vùng và cách giải quyết bài toán phân loại đa lớp quy mô lớn.
  • Học viên cao học và sinh viên ngành Công nghệ phần mềm: Nguồn tài liệu học thuật giá trị về ứng dụng SVM, phương pháp tiền xử lý ảnh nhị phân và quy trình thiết kế hệ thống OCR hoàn chỉnh.
  • Cơ quan quản lý di tích và bảo tàng số: Định hướng giải pháp kỹ thuật để chuyển đổi số văn bia, sắc phong và tư liệu Hán Nôm thành tài nguyên du lịch tương tác.

Câu hỏi thường gặp

Tại sao không thể sử dụng trực tiếp các phần mềm OCR tiếng Trung cho chữ Nôm?

Chữ Nôm chứa tới 44,3% ký tự tự tạo hoàn toàn không tồn tại trong kho chữ Hán chuẩn. Cấu trúc chữ Nôm thường kết hợp hai chữ Hán lại thành một chữ đơn, làm tăng mật độ nét lên trung bình hơn 16 nét mỗi chữ. Các bộ từ điển và mô hình ngôn ngữ tiếng Trung của Tesseract hay ABBYY không chứa bảng mã và cấu trúc ngữ nghĩa này, dẫn đến tỷ lệ nhận dạng sai lệch rất lớn.

Thuật toán KSVM giải quyết hiện tượng quá tải tính toán của SVM như thế nào?

Khi số lớp n đạt 495, mô hình SVM OvO thông thường đòi hỏi tới 122.265 bộ phân loại nhị phân. KSVM giải quyết triệt để vấn đề này bằng cách dùng K-Means chia dữ liệu thành k cụm nhỏ ở giai đoạn đầu. Giai đoạn hai chỉ kích hoạt các bộ SVM tương ứng bên trong cụm mục tiêu, giúp giảm hơn 60% số lượng phép tính mà vẫn giữ vững độ chính xác phân loại.

Bộ dữ liệu NOM-DB0 trong nghiên cứu được thu thập và tiền xử lý ra sao?

NOM-DB0 bao gồm 495 chữ Nôm tiêu biểu, mỗi chữ có 24 mẫu ảnh được thu thập từ các bản in Truyện Kiều cổ và phông chữ chuẩn hóa của nhóm NomNa. Toàn bộ ảnh được đưa qua công đoạn nhị phân hóa, khử nhiễu đường biên, cắt sát khung chữ và chuẩn hóa về cùng một kích thước ma trận pixel trước khi trích xuất đặc trưng.

Độ chính xác của mô hình KSVM vượt trội hơn các giải pháp trước đây ở điểm nào?

Các thử nghiệm trước đây dùng mạng nơ-ron lan truyền ngược chỉ đạt khoảng 70% và phương pháp so khớp khoảng cách chuỗi đạt 82%. KSVM nâng độ chính xác lên trên 88% nhờ khả năng xác định siêu phẳng tối ưu lề cực đại kết hợp hàm nhân phi tuyến, loại bỏ hiện tượng cực tiểu cục bộ của mạng nơ-ron truyền thống.

Kết quả nghiên cứu có thể tích hợp vào các thiết bị di động thực tế được không?

Mô hình KSVM có cấu trúc tối ưu hóa với dung lượng tính toán nhỏ gọn sau khi huấn luyện. Sau khi hoàn thiện module tiền xử lý tách dòng, mô hình hoàn toàn có thể nhúng vào các ứng dụng chạy trên hệ điều hành Android hoặc iOS để nhận diện chữ Nôm trực tiếp qua camera với thời gian phản hồi dưới 1 giây.

Kết luận

  • Luận văn đã giải quyết thành công bài toán nhận dạng chữ Nôm đơn lẻ có số lớp lớn bằng giải thuật phân cấp KSVM kết hợp K-Means và Máy véc-tơ hỗ trợ.
  • Xây dựng thành công bộ dữ liệu mẫu thực nghiệm NOM-DB0 gồm 11.880 ảnh mẫu chuẩn hóa cho 495 lớp ký tự Nôm phổ biến.
  • Đạt độ chính xác nhận dạng vượt trội trên 88%, vượt xa mức 70% của mạng nơ-ron nhân tạo truyền thống trên cùng tập dữ liệu.
  • Làm sáng tỏ các đặc trưng hình thái, cấu trúc kết hợp ngữ âm - ngữ nghĩa của 25.000 ký tự Nôm phục vụ quá trình trích chọn đặc trưng tối ưu.
  • Đặt nền móng vững chắc cho việc phát triển hệ thống Nom-OCR toàn diện, hướng tới tích hợp mô hình ngôn ngữ sâu trong giai đoạn tiếp theo.