Tổng quan nghiên cứu

Chữ Nôm là hệ thống chữ viết tượng hình cổ truyền của dân tộc Việt Nam, hình thành từ thế kỷ thứ 6 và phát triển cực thịnh từ thế kỷ 11 đến cuối thế kỷ 18. Trong suốt hơn 12 thế kỷ lịch sử, kho tàng văn tự Nôm đã lưu giữ trọn vẹn các giá trị văn hóa, lịch sử, văn học và pháp luật của dân tộc. Hiện nay, kho tàng này chứa hơn 9.000 ký tự chuẩn, trong đó mã Unicode đã tích hợp 5.067 chữ trùng hình với chữ Hán, 4.232 chữ thuần Nôm và hơn 2.200 chữ đang được đề xuất bổ sung. Tuy nhiên, sự phổ biến của chữ Quốc ngữ từ thế kỷ 19 đã khiến số lượng chuyên gia đọc hiểu được chữ Nôm ngày càng giảm sút, dẫn đến nguy cơ hàng triệu trang tư liệu quý tại các đình, chùa, viện nghiên cứu bị mai một.

Vấn đề cốt lõi mà đề tài tập trung giải quyết là xây dựng giải pháp trích chọn đặc trưng hiệu quả cho bài toán nhận dạng ký tự quang học (OCR) chữ Nôm. Cấu trúc chữ Nôm có độ phức tạp cao, nhiều nét lồng ghép và tính dị thể lớn, khiến các thuật toán nhận dạng truyền thống dành cho chữ Latinh hoặc chữ Hán nguyên bản bộc lộ nhiều hạn chế. Mục tiêu cụ thể của luận văn là nghiên cứu, cải tiến và hoàn thiện phương pháp trích chọn đặc trưng từ khung xương (skeleton) và giả khung (pseudo-skeleton), kết hợp kỹ thuật mã hóa biểu đồ tần suất (histogram) với thuật toán tính khoảng cách soạn thảo (String Edit-Distance) để nâng cao độ chính xác nhận dạng.

Nghiên cứu được triển khai trong phạm vi ngành Công nghệ thông tin tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội vào năm 2013. Kết quả thực nghiệm mang lại ý nghĩa học thuật và ứng dụng to lớn: phương pháp cải tiến giúp tăng độ chính xác nhận dạng thêm 12% so với phương pháp gốc, đạt tỷ lệ nhận dạng chính xác lên đến 82%, đặt nền móng kỹ thuật vững chắc cho việc phát triển các ứng dụng tra cứu di sản Hán Nôm tự động trên máy tính và thiết bị di động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng kết hợp giữa các mô hình trí tuệ nhân tạo, xử lý ảnh số và lý thuyết cấu trúc ngôn ngữ học Hán Nôm:

  • Lý thuyết kiến trúc chữ Nôm: Kế thừa nghiên cứu của Dương Quảng Hàm, Đào Duy Anh và phân loại 9 kiểu đồ án kiến trúc chữ Nôm của Đặng Đức cùng Trần Xuân Ngọc Lan. Cấu trúc chữ được phân rã thành các thành phần hình thái: khối trên - dưới, trái - phải, và các dạng cấu trúc bao quanh phức tạp.
  • Mô hình mạng nơ-ron xung kép (Pulse-Coupled Neural Network - PCNN): Dựa trên mô hình sóng tự kích thích (Autowaves) mô phỏng hiện tượng đồng cỏ cháy để làm mỏng ảnh và rút trích khung xương chính xác. Mạng thiết lập với các tham số ngưỡng cơ sở T_Ah = 1,5, T_Bh = 15 và hệ số liên kết nội bộ Beta = 1,5.
  • Thuật toán khoảng cách soạn thảo chuỗi (String Edit-Distance): Ứng dụng thuật toán quy hoạch động Levenshtein cải tiến để đo lường độ tương đồng giữa hai chuỗi đặc trưng thông qua chi phí tối thiểu của các phép biến đổi (chèn, xóa, thay thế).
  • Mô hình cực đại hóa Entropy (Maximum Entropy Model - MEM): Sử dụng làm khung phân tích xác suất có điều kiện đối với các tập đặc trưng trích xuất.

Các khái niệm kỹ thuật trọng tâm bao gồm: nhị phân hóa ảnh 1-bit, trích xuất khung xương ảnh, rút trích giả khung bằng phép toán logic, biểu đồ tần suất chiếu ngang - dọc (Horizontal/Vertical Histogram) và chuỗi mã hóa đặc trưng 5 thành phần (gồm điểm ảnh tương đối, chuỗi nhãn phân đoạn L-M-S-U với trọng số tương ứng 4-2-1-0, và vector trọng số phân đoạn).

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm tập mẫu hàng nghìn ảnh ký tự Nôm được quét từ văn bản gốc và chuẩn hóa thành định dạng ảnh Bitmap 1-bit đen trắng. Phương pháp chọn mẫu là chọn mẫu phân tầng có chủ đích, bao gồm đầy đủ 9 kiểu đồ hình kiến trúc chữ Nôm từ các tác phẩm kinh điển như Truyện Kiều, Lục Vân Tiên và thơ Hồ Xuân Hương từ thế kỷ 17 đến đầu thế kỷ 20. Cỡ mẫu đảm bảo tính đại diện cho cả chữ đơn giản lẫn chữ phức tạp có trên 20 nét.

Phương pháp phân tích được thiết kế theo quy trình 4 giai đoạn logic:

  1. Tiền xử lý và tách ký tự: Chuẩn hóa kích thước, khử nhiễu và sử dụng kỹ thuật dò biên tự động để tách riêng từng ký tự.
  2. Trích chọn khung xương và giả khung: Áp dụng mạng PCNN với 4 điều kiện lan truyền xung H1, H2, V1, V2 để lấy khung xương; đồng thời áp dụng chuỗi 3 phép toán logic nhị phân gồm Dịch điểm ảnh (Shift), Phép Và (AND) và Phép Hoặc loại trừ (XOR) để trích xuất giả khung.
  3. Mã hóa Histogram kết hợp ô lưới: Rút trích histogram theo chiều ngang và dọc, áp dụng thuật toán Douglas-Peucker xấp xỉ nét thẳng và đưa cấu trúc ô lưới vào biểu đồ để phản ánh chân thực vị trí nét chữ.
  4. Huấn luyện và nhận dạng bằng String Edit-Distance: Chuyển đổi toàn bộ đặc trưng thành chuỗi ký hiệu và tính toán ma trận chi phí biến đổi tối ưu.

Lý do lựa chọn phương pháp phân tích này là nhằm khắc phục triệt để điểm yếu tính toán ma trận quá nặng của mạng nơ-ron truyền thống, đồng thời vượt trội hơn thư viện Tesseract OCR vốn không thể trích xuất đủ số chiều không gian đặc trưng của chữ tượng hình. Timeline nghiên cứu được tiến hành bài bản từ khâu mô hình hóa, lập trình thuật toán trên nền tảng C# và hoàn thành nghiệm thu thực nghiệm vào năm 2013.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh trên cùng một bộ cơ sở dữ liệu chữ Nôm chuẩn hóa đã chỉ ra 4 phát hiện kỹ thuật mang tính đột phá:

  • Hiệu quả của việc đưa ô lưới vào mã hóa Histogram: Khi cài đặt lại thuật toán String Edit-Distance nguyên bản dựa trên giả khung, độ chính xác ban đầu chỉ đạt mức khoảng 60%. Sau khi tác giả cải tiến phương pháp bằng cách chia ô lưới trên histogram của khung xương và giả khung để phản ánh chính xác các nét ngang - dọc, độ chính xác nhận dạng đã tăng vọt thêm 12%, đạt mức 72% trên tập giả khung và chạm ngưỡng 82% trên tập khung xương.
  • Sự vượt trội của trích xuất khung xương bằng PCNN: Khung xương rút trích qua mạng PCNN phản ánh trung thực trục chính của nét chữ hơn so với giả khung. Kết quả nhận dạng qua chuỗi đặc trưng khung xương đạt 82%, cao hơn 10% so với độ chính xác 72% của phương pháp giả khung logic.
  • Hiệu năng so sánh giữa các mô hình nhận dạng: Thử nghiệm đối sánh giữa 4 kỹ thuật nhận dạng chính cho thấy: mô hình Vector hỗ trợ (SVM) trên lưới điểm ảnh đạt độ chính xác 92%; mô hình mạng nơ-ron truyền ngược với đầu vào 24x24 pixel đạt 81% đến 82%; phương pháp khoảng cách soạn thảo chuỗi đạt 82%; mô hình Maximum Entropy đạt 63%; trong khi thư viện mã nguồn mở Tesseract OCR cho kết quả rất thấp và không phù hợp với chữ tượng hình.
  • Tối ưu hóa thời gian xử lý của phương pháp logic: Kỹ thuật trích xuất giả khung bằng 3 phép toán logic (Shift, AND, XOR) cho tốc độ thực thi nhanh gấp 3 lần so với mạng PCNN lặp xung, mang lại sự cân bằng lý tưởng giữa tốc độ xử lý và độ chính xác (72%) trên các hệ thống giới hạn phần cứng.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp phương pháp đề xuất đạt độ chính xác cao là việc giải quyết thành công bài toán bảo toàn cấu trúc không gian của chữ Nôm. Chữ Nôm được cấu thành từ hai phần chính là hình tố âm và hình tố nghĩa, với mật độ nét phân bố không đồng đều. Thuật toán gốc của các tác giả quốc tế khi áp dụng cho chữ Hán chỉ chia histogram thành các phân đoạn thô (G1, G2...), dễ làm mất liên kết giữa các nét cắt ngang và dọc. Việc bổ sung hệ thống ô lưới và phân loại nét xiên 25 độ, 45 độ, nét đứng và nét ngang qua thuật toán Douglas-Peucker đã giúp bảo toàn trọn vẹn đặc trưng hình học của chữ.

Khi so sánh với mô hình mạng nơ-ron truyền thẳng (24x24 nơ-ron đầu vào, 16 nơ-ron đầu ra), phương pháp String Edit-Distance có ưu điểm vượt trội là không đòi hỏi quá trình huấn luyện trọng số ma trận kéo dài hàng giờ và tránh được hiện tượng kẹt tại điểm cực tiểu địa phương. Dữ liệu thực nghiệm được hệ thống hóa qua bảng ma trận chuyển đổi chi phí chuỗi và biểu đồ phân phối độ chính xác nhận dạng, chứng minh tính ổn định tuyệt đối của giải thuật khi kích thước ký tự bị co giãn hoặc biến dạng nhẹ.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và thực nghiệm, luận văn đưa ra 4 nhóm khuyến nghị hành động cụ thể nhằm hoàn thiện và ứng dụng công nghệ OCR chữ Nôm vào thực tiễn:

  • Tối ưu hóa thuật toán song song hóa mạng PCNN: Các kỹ sư xử lý ảnh và công nghệ phần mềm cần tái cấu trúc thuật toán lan truyền xung kép trên GPU bằng công nghệ CUDA. Mục tiêu cụ thể là giảm 30% thời gian trích xuất khung xương xuống dưới 50ms cho mỗi ký tự, hoàn thành trong vòng 6 tháng.
  • Mở rộng kho ngữ liệu số hóa Hán Nôm chuẩn quốc gia: Đề nghị Viện Nghiên cứu Hán Nôm chủ trì phối hợp cùng các trường đại học công nghệ xây dựng bộ dữ liệu huấn luyện mở quy mô lớn, mở rộng từ 9.000 ký tự hiện tại lên hơn 12.000 biến thể văn bản khắc gỗ và bản viết tay cổ. Mục tiêu đạt độ bao phủ từ điển trên 95% trong lộ trình 12 tháng.
  • Tích hợp mô-đun xử lý ngữ nghĩa và phân tích văn cảnh: Nhóm phát triển phần mềm cần bổ sung mô-đun xử lý ngôn ngữ tự nhiên (NLP) dựa trên từ điển Hán - Việt và mô hình ngôn ngữ ngữ cảnh sau pha nhận dạng ký tự. Mục tiêu nâng độ chính xác nhận dạng toàn văn bản từ 82% lên trên 90%, thực hiện trong thời gian 9 tháng.
  • Đóng gói giải pháp thành ứng dụng di động thông minh: Các doanh nghiệp công nghệ số cần thương mại hóa thuật toán trích xuất giả khung logic vào ứng dụng di động gọn nhẹ, cho phép du khách và nhà nghiên cứu quét ảnh chụp bia đá, sắc phong tại di tích và nhận kết quả dịch nghĩa tự động trong vòng 1 đến 2 giây, triển khai trong 12 tháng tới.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu học thuật và kỹ thuật giá trị cao dành cho 4 nhóm đối tượng trọng tâm sau:

  • Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Trí tuệ nhân tạo: Nắm bắt phương pháp luận nghiên cứu thực nghiệm, kỹ thuật xử lý ảnh nhị phân chuyên sâu, mô hình mạng nơ-ron xung kép PCNN và cách thức ứng dụng thuật toán String Edit-Distance vào xử lý mẫu ký tự phức tạp, giúp tiết kiệm ít nhất 40% thời gian xây dựng mô hình OCR mới.
  • Kỹ sư phát triển phần mềm thị giác máy tính và OCR: Tham khảo trực tiếp mã nguồn, thuật toán tối ưu hóa logic (Shift, AND, XOR) và giải thuật Douglas-Peucker để xây dựng các module nhận dạng ký tự quang học siêu nhẹ, vận hành mượt mà trên hệ thống nhúng với dung lượng RAM dưới 50MB.
  • Các nhà nghiên cứu Hán Nôm và bảo tồn di sản văn hóa: Hiểu rõ quy trình số hóa tư liệu cổ và khả năng ứng dụng công nghệ thông tin trong việc giải mã tự động hơn 5.000 tài liệu lịch sử quý giá, từ đó phối hợp hiệu quả với các chuyên gia kỹ thuật.
  • Giảng viên và sinh viên ngành Công nghệ thông tin: Sử dụng làm học liệu tham khảo chất lượng cao cho các môn học Xử lý ảnh, Nhận dạng mẫu và Công nghệ phần mềm với hơn 10 ca thực nghiệm chi tiết và hệ thống sơ đồ thuật toán chuẩn mực.

Câu hỏi thường gặp

Đóng góp mới nhất về mặt kỹ thuật của luận văn này là gì?
Luận văn đã cải tiến phương pháp mã hóa histogram bằng cách đưa cấu trúc ô lưới vào biểu đồ tần suất của khung xương và giả khung. Cải tiến này giúp phản ánh chính xác tương quan giữa các nét ngang và nét dọc của chữ Nôm, nâng độ chính xác nhận dạng theo thuật toán khoảng cách soạn thảo chuỗi tăng thêm 12%, đạt mức 82%.

Tại sao thư viện Tesseract OCR lại không hiệu quả đối với chữ Nôm?
Tesseract OCR sử dụng vector xấp xỉ đa giác kết hợp thuật toán phân lớp k láng giềng gần nhất (k-NN), vốn được thiết kế tối ưu cho chữ Latinh ít nét. Cấu trúc chữ Nôm gồm hơn 9.000 ký tự tượng hình phức tạp với nhiều bộ thủ lồng ghép khiến không gian đặc trưng của Tesseract bị quá tải, dẫn đến tỷ lệ nhận dạng sai lệch rất cao.

Sự khác biệt căn bản giữa khung xương PCNN và giả khung logic là gì?
Khung xương PCNN là trục chính giữa của nét chữ được trích xuất qua mạng nơ-ron mô phỏng đồng cỏ cháy, cho độ chính xác cao (82%) nhưng tốn tài nguyên tính toán. Giả khung là đường viền biên được trích xuất nhanh chóng qua 3 phép toán logic (Shift 1 pixel, AND, XOR), tiết kiệm bộ nhớ và đạt độ chính xác 72%.

Chuỗi đặc trưng mã hóa của một chữ Nôm gồm những thành phần nào?
Mỗi ký tự sau khi xử lý được biểu diễn bằng một vector chuỗi gồm 5 thành phần: điểm ảnh tương đối của toàn bộ ký tự, chuỗi ký hiệu phân đoạn histogram dọc, chuỗi ký hiệu phân đoạn histogram ngang (gồm các nhãn L, M, S, U tương ứng trọng số 4, 2, 1, 0), cùng 2 giá trị tổng trọng số phân đoạn tương ứng.

Thuật toán trong luận văn có khả năng chạy thời gian thực trên điện thoại không?
Hoàn toàn khả thi. Phương pháp trích xuất giả khung dựa trên các phép toán logic cơ bản trên ảnh nhị phân kích thước chuẩn hóa 24x24 pixel có độ phức tạp thuật toán thấp, thời gian xử lý dưới 100ms mỗi ký tự, hoàn toàn tương thích với phần cứng của các dòng điện thoại thông minh hiện nay.

Kết luận

  • Hoàn thiện giải pháp trích chọn đặc trưng toàn diện: Luận văn đã xây dựng thành công quy trình trích xuất đặc trưng chữ Nôm dựa trên mạng nơ-ron xung kép PCNN, trích xuất giả khung bằng phép toán logic và mã hóa biểu đồ histogram đa hướng.
  • Đột phá về độ chính xác: Cải tiến đưa cấu trúc ô lưới vào histogram đã giúp tăng 12% hiệu năng nhận dạng, đưa độ chính xác của phương pháp String Edit-Distance từ 60% lên 82% trên tập dữ liệu thực nghiệm chuẩn.
  • Giá trị học thuật và thực tiễn sâu sắc: Đề tài cung cấp cơ sở lý thuyết vững chắc cho bài toán OCR chữ tượng hình tại Việt Nam, mở ra hướng ứng dụng công nghệ cao trong bảo tồn hơn 9.000 ký tự văn tự cổ của dân tộc.
  • Định hướng phát triển rõ ràng: Lộ trình 12 tháng tiếp theo tập trung vào việc tích hợp mô-đun phân tích ngữ nghĩa tự nhiên, mở rộng cơ sở dữ liệu lên 12.000 mẫu chữ và tối ưu hóa giải pháp trên nền tảng di động.
  • Kêu gọi hành động: Các tổ chức nghiên cứu, trường đại học và doanh nghiệp công nghệ cần đẩy mạnh hợp tác liên ngành để sớm thương mại hóa công cụ OCR chữ Nôm, đưa kho tàng di sản văn hóa nghìn năm của cha ông hồi sinh mạnh mẽ trong kỷ nguyên số.