Tổng quan nghiên cứu

Chữ Nôm là thành tựu văn hóa tiêu biểu của dân tộc Việt Nam, giữ vai trò phương tiện duy nhất ghi chép lịch sử, tư tưởng và văn học dân tộc từ thế kỷ X đến đầu thế kỷ XX, với cứ liệu khảo cổ sớm nhất được ghi nhận trên quả chuông Vân Bản đúc năm 1076 thời nhà Lý. Hiện nay, kho tàng văn tự Hán Nôm đã được chuẩn hóa quốc tế trong bộ mã ký tự Unicode và ISO 10646 với 5.067 ký tự trùng hình với chữ Hán, 4.232 chữ thuần Nôm và hơn 2.200 chữ đang trong tiến trình đề xuất bổ sung. Tuy nhiên, việc tiếp cận khối di sản đồ sộ này gặp rào cản lớn do thế hệ hiện đại không còn sử dụng phổ biến văn tự tượng hình, đặt ra yêu cầu cấp thiết cho ngành Công nghệ thông tin trong việc số hóa và phát triển các hệ thống nhận dạng ký tự quang học chuyên dụng.

Vấn đề cốt lõi của nghiên cứu nhận dạng chữ Nôm trước đây nằm ở việc các công cụ nhận dạng chỉ giới hạn trên máy tính để bàn (PC), yêu cầu đầu vào là ảnh đơn ký tự đã qua nhị phân hóa và cắt ghép thủ công. Khi mở rộng bài toán nhận dạng sang môi trường thiết bị di động thông qua camera, chất lượng ảnh đầu vào suy giảm nghiêm trọng bởi các yếu tố ngoại cảnh như rung lắc quang học, điều kiện ánh sáng không đồng đều, độ nghiêng của góc chụp và độ phức tạp của trang tài liệu cổ.

Nghiên cứu của học viên Nguyễn Văn Bách được thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội nhằm giải quyết toàn diện bài toán tiền xử lý ảnh chữ Nôm trên nền tảng Android. Mục tiêu cụ thể của luận văn là thiết lập pipeline tiền xử lý ảnh tự động bao gồm: nhị phân hóa thích nghi, phát hiện và hiệu chỉnh góc nghiêng, phân đoạn tách rời ký tự đơn lẻ từ ảnh tài liệu nhiều chữ, đồng thời triển khai kiến trúc Client-Server thông qua giao thức truyền thông tiêu chuẩn. Kết quả nghiên cứu tạo tiền đề trực tiếp để hoàn thiện ứng dụng di động cho phép người dùng chụp ảnh văn bản Nôm thực tế và nhận lại kết quả phiên âm, giải nghĩa tiếng Việt theo thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết nhận dạng mẫu (Pattern Recognition) và xử lý ảnh số (Digital Image Processing). Kiến trúc nhận dạng ký tự quang học (OCR) chuẩn được vận dụng gồm 4 pha xử lý tuần tự: tiền xử lý, trích chọn đặc trưng, phân loại nhận dạng và hậu xử lý dựa trên từ điển ngôn ngữ.

+------------------+     +------------------------+     +------------------------+     +-------------------+
| 1. Tiền xử lý    | --> | 2. Trích chọn đặc trưng| --> | 3. Phân loại nhận dạng | --> | 4. Hậu xử lý      |
| (Lọc, Otsu, Skew)|     |    (Tập Vector mẫu)    |     |    (Mô hình SVM/ANN)   |     |    (Từ điển Nôm)  |
+------------------+     +------------------------+     +------------------------+     +-------------------+

Khung lý thuyết tiền xử lý tập trung vào ba khối kiến thức chính:

  • Lý thuyết biến đổi không gian điểm ảnh và hàm mật độ xác suất (Histogram): Ứng dụng các hàm ánh xạ tuyến tính, hàm logarit $s = c \cdot \log(1+r)$ và biến đổi theo luật năng lượng (Power-law/Gamma correction) $s = c \cdot r^\gamma$ để kéo giãn dải động của mức xám từ khoảng 0 đến 255, cải thiện độ tương phản cục bộ giữa nét chữ và nền giấy cổ.
  • Lý thuyết nhị phân hóa ngưỡng toàn cục tối ưu Otsu: Dựa trên nguyên lý thống kê tối thiểu hóa phương sai trong lớp (within-class variance) hoặc tối đa hóa phương sai giữa các lớp (between-class variance) của hai phân phối điểm ảnh tiền cảnh (chữ viết) và hậu cảnh (nền giấy).
  • Toán tử hình thái học số học (Mathematical Morphology): Ứng dụng các phép co (erosion), phép giãn (dilation), phép mở (opening), phép đóng (closing) và thuật toán làm mỏng tìm khung xương (skeletonization) với phần tử cấu trúc ma trận $3 \times 3$ nhằm khử nhiễu đốm, làm mịn biên và hàn gắn các đứt gãy trên nét khắc văn bản.

Phương pháp nghiên cứu

Nghiên cứu kết hợp phương pháp nghiên cứu lý thuyết thuật toán với phương pháp thực nghiệm phát triển phần mềm trên hệ điều hành Android. Dữ liệu thực nghiệm được kế thừa và mở rộng từ tập cơ sở dữ liệu chuẩn NOM-DB0 gồm 495 ký tự chữ Nôm do phòng thí nghiệm Hệ thống nhúng (LES) xây dựng, kết hợp cùng bộ mẫu ảnh chụp thực tế bằng camera điện thoại thông minh ở các độ phân giải và điều kiện ánh sáng thực địa khác nhau.

Quy trình nghiên cứu được triển khai theo các bước:

  1. Phân tích đặc trưng hình thái văn bản Nôm (cấu trúc gióng hàng, gióng cột đặc thù của chữ khối vuông, khoảng cách giữa các dòng và cột rộng hơn so với chữ Latinh).
  2. Xây dựng thuật toán ước lượng góc xoay dựa trên vector biên trái cải tiến từ mô hình của Bieniecki, Grabowski và Rozenberg.
  3. Thiết kế giải thuật phân đoạn ký tự dựa trên biểu đồ hình chiếu ngang và dọc (Projection Histogram).
  4. Thiết lập kiến trúc mạng phân tán Client-Server sử dụng Web Service với giao thức SOAP 1.1 (Simple Object Access Protocol). Thiết bị di động đảm nhiệm toàn bộ khâu chụp ảnh và tiền xử lý, sau đó truyền tải ảnh bitmap nhị phân đơn ký tự lên máy chủ xử lý tác vụ nhận dạng nặng và nhận kết quả văn bản giải nghĩa tiếng Việt.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và đánh giá định lượng trên bộ dữ liệu ảnh mẫu đã mang lại 4 kết quả then chốt:

  • Tối ưu hóa nhị phân hóa bằng thuật toán Otsu: Giải thuật tính toán ngưỡng tối ưu dựa trên phân tích phương sai nội lớp đã chứng minh tính ưu việt vượt trội so với các phương pháp chọn ngưỡng trung bình hoặc ngưỡng cố định. Trong ví dụ ma trận điểm ảnh thực nghiệm kích thước $6 \times 6$, thuật toán tự động dò tìm qua các mức xám từ 0 đến 5 và xác định chính xác ngưỡng cắt tối ưu tại $T = 3$, nơi tổng phương sai nội lớp giữa nền ($W_b = 0.4637, \sigma_b^2 = 17$) và nội dung ($W_f = 0.5152, \sigma_f^2 = 19$) đạt giá trị cực tiểu là 0.4909, giúp tách triệt để nền giấy mà không làm biến dạng cấu trúc nét chữ.
  • Khắc phục lỗi xác định góc nghiêng văn bản chữ thưa: Thuật toán phát hiện độ nghiêng truyền thống của Bieniecki thường bị sai lệch khi khoảng cách giữa các dòng chữ lớn, khiến độ dời trung bình $dx$ tăng cao. Bằng cách định nghĩa lại phương nghiêng dựa trên vị trí trọng tâm và quét tìm điểm biên trái ngoài cùng, thuật toán đề xuất đã nhận diện chính xác các góc lệch xoay $\alpha$ trong khoảng từ -15 độ đến +15 độ mà không bị ảnh hưởng bởi mật độ ký tự phân bố không đồng đều.
  • Phân đoạn chính xác ký tự qua kỹ thuật chiếu Histogram 2 chiều: Nhờ đặc thù chữ Nôm được bố cục theo từng ô vuông độc lập, phương pháp chiếu Histogram theo trục ngang giúp xác định chính xác các đường phân chia dòng văn bản. Sau khi cắt dòng, phép chiếu Histogram theo trục dọc tiếp tục cô lập từng chữ cái thành các khung bao (bounding box) chuẩn kích thước $32 \times 32$ hoặc $64 \times 64$ điểm ảnh với độ chính xác đạt trên 94% trên các mẫu tài liệu in rõ nét.
  • Tối ưu hóa hiệu năng hệ thống qua mô hình phân tán Client-Server: Việc phân tách tác vụ giúp giảm hơn 70% khối lượng tính toán trên vi xử lý của điện thoại Android năm 2014. Thời gian phản hồi từ lúc chụp ảnh, thực hiện chuỗi tiền xử lý cục bộ, gửi gói tin SOAP đến khi hiển thị nghĩa tiếng Việt trên giao diện Client được duy trì ổn định dưới 2,5 giây trong môi trường mạng tiêu chuẩn.

Thảo luận kết quả

Các kết quả thực nghiệm cho thấy vai trò quyết định của khâu tiền xử lý đối với độ chính xác của toàn bộ chu trình OCR. Trong các công trình nghiên cứu trước đây của nhóm LES, mô hình phân loại sử dụng máy vector hỗ trợ (Support Vector Machine - SVM) của Trần Nghi Phú đạt độ chính xác lên tới 96% trên tập 495 ký tự NOM-DB0, nhưng kết quả này chỉ đạt được khi đầu vào là ảnh chuẩn nhân tạo. Khi đối mặt với ảnh chụp camera thực tế có độ tương phản dao động và góc chụp lệch, độ chính xác nhận dạng giảm mạnh nếu không có bộ tiền xử lý chuyên biệt.

Dữ liệu thực nghiệm về sự tương quan giữa độ nhiễu và độ chính xác nhận dạng có thể được mô hình hóa trực quan qua biểu đồ đường và bảng phân tích phương sai. Cụ thể, khi áp dụng bộ lọc trung vị (Median Filter) ma trận $3 \times 3$, các điểm nhiễu muối tiêu (salt-and-pepper) có giá trị cực trị bị triệt tiêu hoàn toàn (ví dụ dãy điểm ảnh lân cận gồm 9 giá trị được sắp xếp thứ tự: 100, 115, 119, 120, 121, 122, 125, 134, 145 sẽ lấy giá trị trung vị chính xác là 121 thay thế cho điểm trung tâm). Điều này giúp giữ nguyên độ sắc nét của các nét phẩy, nét mác mảnh trong chữ Nôm mà các bộ lọc làm mịn Gauss thông thường dễ làm mờ.

Tuy nhiên, nghiên cứu cũng chỉ ra hạn chế của thuật toán nhị phân hóa toàn cục Otsu khi xử lý các tài liệu cổ bị ố vàng loang lổ cục bộ hoặc ảnh chụp có bóng sụp (shadow) không đều. Trong trường hợp này, việc áp dụng duy nhất một giá trị ngưỡng cho toàn bộ bức ảnh có thể làm mất nét ở vùng tối hoặc giữ lại nhiễu nền ở vùng quá sáng. Đây là cơ sở thực nghiệm quan trọng để định hướng tích hợp các thuật toán xác định ngưỡng thích nghi cục bộ (Local Adaptive Thresholding) trong các phiên bản kế tiếp.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm và những hạn chế kỹ thuật còn tồn tại, luận văn đưa ra 4 khuyến nghị cụ thể nhằm nâng cao hiệu năng hệ thống nhận dạng chữ Nôm trên thiết bị di động:

+---------------------------------------------------------------------------------------------------------+
|                                    LỘ TRÌNH ĐỀ XUẤT VÀ KHUYẾN NGHỊ                                      |
+------------------------------------+------------------------------------+-------------------------------+
| Giải pháp kỹ thuật                 | Chỉ tiêu mục tiêu (Target Metric)  | Thời gian & Đơn vị thực hiện  |
+------------------------------------+------------------------------------+-------------------------------+
| 1. Tích hợp trích đặc trưng tại App| Giảm 50% băng thông truyền tải     | 6 tháng (Nhóm phát triển phần |
|    (Edge Feature Extraction)       | Độ trễ phản hồi < 1,0 giây         | mềm ứng dụng di động)         |
| 2. Nâng cấp giải thuật nhị phân    | Tăng độ nhận diện vùng tối > 15%   | 9 tháng (Nhóm nghiên cứu xử   |
|    hóa thích nghi cục bộ (Sauvola) | Khử bóng nghiêng mặt phẳng 3D      | lý ảnh và thị giác máy tính)  |
| 3. Mở rộng kho dữ liệu huấn luyện  | Bao phủ 100% (9.299+ chữ Nôm)      | 12-18 tháng (Viện Hán Nôm &   |
|    chuẩn Unicode / ISO 10646       | Đạt độ chính xác tổng thể > 95%    | Phòng nghiên cứu hệ thống)    |
| 4. Chuyển đổi giao thức SOAP 1.1   | Tiết kiệm 35% dung lượng header    | 3 tháng (Kỹ sư kiến trúc hạ   |
|    sang kiến trúc RESTful / gRPC   | Hỗ trợ đồng thời 1.000+ kết nối    | tầng mạng và dịch vụ máy chủ) |
+------------------------------------+------------------------------------+-------------------------------+
  • Tích hợp trích chọn đặc trưng cục bộ ngay trên thiết bị di động: Thay vì truyền tải toàn bộ ảnh bitmap qua môi trường mạng, ứng dụng Android cần thực hiện trích xuất vector đặc trưng trực tiếp tại thiết bị và chỉ gửi mảng số liệu đặc trưng lên Server. Giải pháp này giúp cắt giảm hơn 50% băng thông truyền tải dữ liệu, giảm độ trễ phản hồi xuống dưới 1,0 giây, giao cho nhóm kỹ sư phần mềm di động hoàn thiện trong vòng 6 tháng.
  • Nâng cấp giải thuật nhị phân hóa và xử lý sai lệch mặt phẳng chụp: Bổ sung thuật toán nhị phân hóa thích nghi cục bộ (như phương pháp Niblack hoặc Sauvola) kết hợp biến đổi phối cảnh (Perspective Transform) nhằm giải quyết triệt để trường hợp chụp lệch không vuông góc với mặt phẳng trang sách, nâng cao tỷ lệ nhận diện ảnh suy biến thêm 15% trong vòng 9 tháng do nhóm nghiên cứu thị giác máy tính chủ trì.
  • Mở rộng cơ sở dữ liệu nhận dạng vượt ngoài tập NOM-DB0: Khẩn trương tiến hành dán nhãn, số hóa và huấn luyện mở rộng tập dữ liệu từ 495 ký tự mẫu ban đầu lên toàn bộ hơn 9.299 ký tự thuần Nôm và ký tự trùng Hán đã được chuẩn hóa trong ISO 10646. Lộ trình thực hiện cần kéo dài từ 12 đến 18 tháng với sự phối hợp chặt chẽ giữa các chuyên gia ngôn ngữ học Hán Nôm và kỹ sư trí tuệ nhân tạo.
  • Tối ưu hóa kiến trúc truyền thông và chuẩn dịch vụ Web: Chuyển đổi giao thức SOAP 1.1 vốn nặng về cấu trúc XML sang chuẩn RESTful API định dạng JSON hoặc gRPC nhị phân nhẹ hơn, giúp tiết kiệm 35% dung lượng gói tin truyền tải trên hạ tầng mạng di động 3G/4G/5G, triển khai bởi nhóm hạ tầng máy chủ trong thời hạn 3 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu chuyên khảo có giá trị học thuật và ứng dụng thực tiễn cao, đặc biệt hữu ích cho 4 nhóm đối tượng sau:

  • Học viên cao học và nhà nghiên cứu chuyên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Cung cấp cơ sở lý thuyết chi tiết, công thức toán học và mã nguồn thuật toán xử lý ảnh số chuyên biệt cho văn tự tượng hình, làm tài liệu tham khảo trực tiếp khi nghiên cứu các hệ thống OCR cho ngôn ngữ cổ hoặc ngôn ngữ tượng hình phương Đông.
  • Kỹ sư phát triển phần mềm di động (Android Developers): Cung cấp mô hình kiến trúc phân tán Client-Server chuẩn mực trong việc giải quyết bài toán cân bằng tải tính toán giữa thiết bị biên có tài nguyên hạn chế và máy chủ dịch vụ nhận dạng.
  • Chuyên gia số hóa di sản và cán bộ ngành Hán Nôm học: Nắm bắt quy trình công nghệ và tiềm năng ứng dụng công nghệ thông tin vào công tác bảo tồn, tra cứu nhanh văn bia, thần tích, gia phả chữ Nôm tại các di tích lịch sử ngoài thực địa.
  • Sinh viên chuyên ngành Kỹ thuật Phần mềm và Hệ thống Nhúng: Sử dụng làm tài liệu học tập thực tế về quy trình thiết kế phần mềm hoàn chỉnh, kỹ thuật lập trình tương tác camera, xử lý ma trận điểm ảnh và tối ưu hóa giao thức truyền thông mạng.

Câu hỏi thường gặp

Tại sao luận văn lại lựa chọn thuật toán ngưỡng Otsu thay vì các phương pháp nhị phân hóa khác? Thuật toán Otsu được lựa chọn vì khả năng tự động xác định ngưỡng tối ưu thông qua việc cực tiểu hóa phương sai nội lớp giữa nền và nội dung mà không đòi hỏi tri thức tiên nghiệm về ảnh. Trong thực nghiệm với ảnh mức xám $6 \times 6$, thuật toán tính toán nhanh chóng, cho kết quả tách biên rõ rệt tại ngưỡng $T=3$ với độ phức tạp tính toán thấp, hoàn toàn phù hợp với cấu hình phần cứng của thiết bị di động năm 2014.

Kiến trúc Client-Server đem lại lợi ích cụ thể nào so với xử lý nhận dạng độc lập trên di động? Mô hình Client-Server giải phóng thiết bị di động khỏi tác vụ phân loại mẫu phức tạp đòi hỏi bộ nhớ lớn, giúp giảm hơn 70% tải tính toán. Đồng thời, kiến trúc này cho phép cập nhật, nâng cấp engine nhận dạng và cơ sở dữ liệu mẫu từ 495 ký tự lên hàng nghìn chữ trên máy chủ một cách liên tục mà không yêu cầu người dùng phải cập nhật lại ứng dụng Client.

Thuật toán phát hiện góc nghiêng đề xuất trong luận văn có điểm gì cải tiến so với nghiên cứu của Bieniecki? Thuật toán gốc của Bieniecki dựa vào khoảng cách dời trung bình $dx$ giữa các điểm đen liên tiếp trên biên trái, dẫn đến sai số lớn khi áp dụng vào chữ Nôm vốn có khoảng cách giữa các dòng rất thưa. Luận văn đã cải tiến bằng cách phân loại chiều nghiêng theo trọng tâm và chỉ quét tìm điểm biên ngoài cùng theo hướng thẳng đứng, giúp tính toán chính xác góc xoay trong phạm vi -15 đến +15 độ.

Hạn chế lớn nhất của ứng dụng khi triển khai thực tế trên điện thoại Android là gì? Hạn chế lớn nhất là ứng dụng phụ thuộc hoàn toàn vào kết nối Internet để gửi gói tin SOAP 1.1 lên Web Service nhận dạng, khiến tốc độ xử lý bị ảnh hưởng trực tiếp bởi độ ổn định của mạng di động. Ngoài ra, hệ thống mới chỉ thử nghiệm trên tập dữ liệu đóng NOM-DB0 gồm 495 chữ Nôm và chưa hỗ trợ trường hợp chụp góc nghiêng phối cảnh 3D phức tạp.

Quy trình phân đoạn tách từng chữ Nôm từ ảnh chụp nhiều dòng được thực hiện như thế nào? Quy trình dựa trên phương pháp chiếu Histogram hai bước: đầu tiên chiếu tổng số điểm ảnh đen theo chiều ngang để tìm các khoảng trống cực tiểu nhằm phân tách văn bản thành từng dòng đơn lẻ; sau đó thực hiện chiếu theo chiều dọc trên từng dòng để cô lập từng ký tự thành ảnh bitmap riêng biệt chuẩn kích thước trước khi truyền lên máy chủ.

Kết luận

  • Giải quyết trọn vẹn bài toán tiền xử lý di động: Luận văn đã hoàn thiện chuỗi thuật toán tiền xử lý ảnh chữ Nôm trên hệ điều hành Android bao gồm nhị phân hóa Otsu, khử nhiễu lọc trung vị, hiệu chỉnh góc nghiêng biên trái và phân đoạn ký tự qua biểu đồ chiếu Histogram.
  • Hiện thực hóa mô hình nhận dạng phân tán Client-Server: Xây dựng thành công ứng dụng Android Client kết nối Web Service qua giao thức SOAP 1.1, cho phép chụp ảnh thực tế và hiển thị nghĩa tiếng Việt với độ trễ phản hồi dưới 2,5 giây.
  • Kế thừa và tối ưu hóa hiệu quả thực nghiệm: Tận dụng tối đa tập dữ liệu chuẩn NOM-DB0 gồm 495 chữ và các mô hình học máy đạt độ chính xác 96% trên PC để áp dụng thực tế vào môi trường thiết bị di động.
  • Định hình lộ trình mở rộng quy mô dữ liệu: Đặt nền móng vững chắc để phát triển bộ nhận dạng toàn diện hơn 9.299 ký tự Nôm theo chuẩn Unicode/ISO 10646 và chuyển đổi sang các kiến trúc mạng nơ-ron học sâu trong tương lai.
  • Đóng góp thiết thực cho công tác bảo tồn di sản: Mở ra hướng tiếp cận công nghệ mang tính đột phá, hỗ trợ cộng đồng và các nhà nghiên cứu tra cứu, bảo tồn kho tàng văn tự Hán Nôm cổ của dân tộc một cách tiện lợi ngay trên thiết bị cầm tay.

Hãy tiếp tục tra cứu, trích dẫn học thuật và phát triển mở rộng các mô hình tiền xử lý trong luận văn này nhằm hoàn thiện hệ sinh thái bảo tồn di sản số cho chữ Nôm Việt Nam.