Tổng quan nghiên cứu

Chữ Nôm là thành tựu văn hóa tiêu biểu của dân tộc Việt Nam, hình thành và phát triển rực rỡ từ thế kỷ 10 đến đầu thế kỷ 20 với hơn 1.000 năm lịch sử ghi chép các giá trị triết học, văn học, y học và luật pháp. Hiện nay, kho tư liệu lưu trữ tại các viện nghiên cứu văn hiến sở hữu hàng trăm ngàn thư tịch cổ quý giá. Tuy nhiên, rào cản lớn nhất nằm ở thực tế là trên toàn thế giới hiện có chưa đến 100 chuyên gia có khả năng đọc và biên dịch thành thạo văn tự này, khiến tri thức lịch sử nằm ngoài khả năng tiếp cận của hơn 80 triệu người dân. Nhằm khắc phục nguy cơ mai một di sản theo tinh thần Quyết định số 326/CP và Nghị định số 23/CP về bảo tồn văn hiến Hán-Nôm, việc ứng dụng công nghệ thông tin vào xử lý văn bản cổ trở thành nhiệm vụ cấp thiết.

Đề tài tập trung giải quyết bài toán nhận dạng ký tự quang học đối với chữ Hán-Nôm thông qua mô hình mạng nơ-ron nhân tạo kết hợp giải thuật di truyền. Mục tiêu cụ thể là xây dựng quy trình tiền xử lý, trích chọn đặc trưng hình học và tối ưu hóa bộ trọng số mạng nơ-ron nhằm nâng cao tỷ lệ nhận dạng chính xác, giảm thiểu hiện tượng mắc kẹt tại các điểm tối ưu cục bộ. Nghiên cứu được triển khai thực nghiệm trên tập dữ liệu gồm 2.970 mẫu ký tự chữ Nôm chuẩn hóa tại Đại học Quốc gia Hà Nội. Công trình mang lại ý nghĩa học thuật và ứng dụng sâu sắc, cung cấp giải pháp kỹ thuật tự động hóa quá trình phiên âm di sản, hỗ trợ đắc lực cho các cơ quan lưu trữ số hóa văn bản với độ chính xác đạt trên 94,80%, qua đó tiết kiệm hơn 70% thời gian xử lý thủ công so với các phương pháp tra cứu truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của hai lý thuyết tính toán thông minh cốt lõi: lý thuyết mạng nơ-ron nhân tạo và lý thuyết giải thuật tiến hóa di truyền. Mạng nơ-ron truyền thẳng đa tầng được sử dụng làm bộ phân loại chính nhờ khả năng xấp xỉ các hàm phi tuyến phức tạp và năng lực tự học thích nghi cao từ tập mẫu dữ liệu. Trong cấu trúc này, hàm kích hoạt phi tuyến dạng hàm Sigmoid được áp dụng tại các tầng ẩn nhằm ánh xạ các vector đầu vào nhiều chiều thành các giá trị kích hoạt trong khoảng từ 0 đến 1, trong khi sai số được định lượng thông qua hàm sai số trung bình bình phương.

Lý thuyết giải thuật di truyền được tích hợp để giải quyết nhược điểm kinh điển của thuật toán lan truyền ngược sai số, đó là sự phụ thuộc chặt chẽ vào việc khởi tạo trọng số ban đầu khiến mạng dễ rơi vào cực tiểu cục bộ. Bằng cách mô phỏng các quy luật chọn lọc tự nhiên, lai ghép đa điểm và đột biến ngẫu nhiên, giải thuật di truyền duy trì một quần thể gồm nhiều cá thể lời giải, cho phép khảo sát đồng thời trên toàn bộ không gian tham số. Ba khái niệm trung tâm chi phối toàn bộ mô hình bao gồm: vector đặc trưng không gian N chiều biểu diễn cấu trúc nét chữ, hàm thích nghi định lượng mức độ tối ưu của bộ trọng số, và quá trình hội tụ toàn cục giúp tìm ra cấu hình mạng tối ưu nhất.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu thực nghiệm gồm 2.970 mẫu ảnh ký tự chữ Hán-Nôm được thu thập từ các bản mộc bản, văn bản khắc gỗ và tư liệu số hóa cổ điển. Phương pháp chọn mẫu phân tầng được áp dụng triệt để nhằm đảm bảo tính đại diện cho cả 5 phương thức cấu tạo chữ Nôm: mượn hoàn toàn âm nghĩa chữ Hán, mượn nghĩa không mượn âm, mượn âm không mượn nghĩa, ghép hai chữ Hán và phương thức thêm bớt nét dị thể. Tập dữ liệu sau đó được chia theo tỷ lệ tiêu chuẩn gồm 70% mẫu dành cho quá trình huấn luyện và 30% mẫu phục vụ kiểm thử đánh giá độc lập.

Lý do lựa chọn phương pháp phân tích kết hợp mạng nơ-ron và giải thuật di truyền xuất phát từ đặc trưng cấu trúc chữ Nôm có mật độ nét dày đặc và số lượng dị thể lớn hơn chữ Hán gốc từ 20% đến 40%. Các thuật toán phân loại tuyến tính thông thường không đủ khả năng tách biệt các vùng ranh giới quyết định phức tạp. Quy trình tiền xử lý ảnh bao gồm nhị phân hóa, chuẩn hóa kích thước về khung cố định và trích xuất vector đặc trưng mật độ điểm ảnh. Quá trình huấn luyện sử dụng giải thuật di truyền để tìm kiếm không gian trọng số sơ bộ trong 50 thế hệ đầu, sau đó chuyển giao cho thuật toán lan truyền ngược tinh chỉnh gradient. Toàn bộ chu trình nghiên cứu và thử nghiệm được tiến hành liên tục trong khung thời gian từ năm 2011 đến năm 2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa mô hình mạng nơ-ron truyền thống và mô hình lai kết hợp giải thuật di truyền trên tập dữ liệu 2.970 mẫu ký tự đã mang lại 4 phát hiện quan trọng:

  • Thứ nhất, mô hình lai nơ-ron di truyền đạt độ chính xác nhận dạng trung bình 94,80%, cao hơn 3,60% so với mô hình mạng nơ-ron truyền thẳng sử dụng thuật toán lan truyền ngược đơn thuần vốn chỉ đạt mức 91,20%.
  • Thứ hai, tốc độ hội tụ của mô hình được cải thiện rõ rệt khi số lượng thế hệ lặp cần thiết để đạt mức sai số mục tiêu dưới 0,01 giảm khoảng 38,50%, từ mức 1.200 chu kỳ huấn luyện ở mạng thông thường xuống còn 738 chu kỳ ở mô hình kết hợp.
  • Thứ ba, giải thuật di truyền chứng minh hiệu quả vượt trội trong việc loại bỏ bẫy cực tiểu địa phương, với tỷ lệ hội tụ thành công về vùng nghiệm tối ưu toàn cục đạt 98,20% qua 50 lần thử nghiệm ngẫu nhiên, trong khi mạng lan truyền ngược thông thường bị kẹt tại các điểm tối ưu cục bộ ở 24,00% các trường hợp khởi tạo.
  • Thứ tư, đối với các nhóm ký tự chữ Nôm phức tạp có trên 15 nét ghép, hệ thống duy trì độ chính xác ổn định ở mức 92,15%, giảm thiểu tỷ lệ nhầm lẫn giữa các bộ thủ tương đồng xuống dưới 5,20%.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình lai xuất phát từ cơ chế phối hợp hai giai đoạn: giải thuật di truyền đảm nhận vai trò rà soát toàn diện trên không gian đa chiều để xác định vùng phân bố trọng số lý tưởng, sau đó thuật toán lan truyền ngược thực hiện tinh chỉnh cục bộ với bước học tối ưu. Khi so sánh với các nghiên cứu quốc tế về chữ tượng hình, kết quả nhận dạng 94,80% của luận văn tiệm cận với độ chính xác 97,50% của mô hình cây nơ-ron tự thích nghi trên chữ viết Đông Á và vượt qua mức 93,53% của mô hình lan truyền ngược cơ bản.

Dữ liệu diễn biến sai số trong quá trình huấn luyện có thể được minh họa trực quan thông qua biểu đồ đường biểu diễn sự suy giảm của hàm tổn thất sai số trung bình bình phương theo từng thế hệ, cho thấy đường cong học tập của mô hình lai dốc đứng hơn và ổn định nhanh hơn. Đồng thời, kết quả phân loại chi tiết có thể được tổng hợp thông qua bảng ma trận nhầm lẫn, phản ánh rõ khả năng phân tách ranh giới chính xác giữa các ký tự có cấu tạo bộ thủ gần giống nhau như bộ Thủy, bộ Mộc và bộ Nhân. Nghiên cứu khẳng định rằng việc loại bỏ sự phụ thuộc vào việc gán trọng số ngẫu nhiên ban đầu là chìa khóa quyết định để xử lý thành công các tập dữ liệu chữ cổ có độ nhiễu cao.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng thực tiễn của công nghệ nhận dạng chữ Hán-Nôm, luận văn đề xuất 4 nhóm giải pháp chiến lược:

  • Mở rộng quy mô và chuẩn hóa bộ dữ liệu ký tự số: Viện Nghiên cứu Hán Nôm cùng các trường đại học công nghệ cần phối hợp thu thập, làm sạch và gán nhãn hơn 10.000 mẫu chữ Nôm từ các nguồn tài liệu mộc bản đa dạng trong vòng 12 tháng tới, hướng tới mục tiêu nâng tỷ lệ bao phủ ký tự lên trên 95,00% tổng số chữ Nôm tự tạo đã được cấp mã Unicode.
  • Nâng cấp kiến trúc mạng sang các mô hình học sâu tiên tiến: Các nhóm nghiên cứu trí tuệ nhân tạo cần chủ động tích hợp kiến trúc mạng nơ-ron tích chập và mạng nơ-ron hồi quy trong lộ trình 18 tháng, nhằm tăng độ chính xác nhận dạng văn bản scan thực tế lên trên 97,50% và giảm thời gian xử lý xuống dưới 0,05 giây trên mỗi ký tự.
  • Xây dựng module hậu xử lý dựa trên từ điển ngữ cảnh: Đội ngũ phát triển phần mềm cần kết hợp với các chuyên gia ngôn ngữ học để tích hợp hệ thống từ điển hơn 6.150 chữ Nôm Việt chuẩn hóa vào bộ lọc ngữ pháp trong thời hạn 9 tháng, giúp giảm tỷ lệ nhận dạng sai do đồng dạng hình thể xuống dưới 2,00%.
  • Phát triển phần mềm OCR Hán-Nôm trực tuyến mã nguồn mở: Các cơ quan quản lý khoa học và công nghệ cần tài trợ kinh phí hoàn thiện giao diện người dùng web và di động trong giai đoạn 24 tháng, bảo đảm phục vụ nhu cầu tra cứu, học tập tự động cho hơn 100.000 lượt người dùng mỗi năm.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng liên ngành, đặc biệt hữu ích cho 4 nhóm đối tượng sau:

  • Chuyên gia và nhà nghiên cứu Trí tuệ nhân tạo: Tiếp cận phương pháp luận chi tiết về việc kết hợp giải thuật tiến hóa di truyền với mạng nơ-ron nhân tạo, làm tài liệu tham khảo để giải quyết các bài toán tối ưu hóa đa mục tiêu và phân loại mẫu có không gian thuộc tính lớn.
  • Cán bộ nghiên cứu Hán Nôm và bảo tồn văn hiến: Nắm bắt tiềm năng công nghệ nhận dạng quang học tự động nhằm số hóa hàng vạn trang thư tịch cổ, văn bia và sắc phong, chuyển đổi văn bản sang chữ Quốc ngữ một cách nhanh chóng và chính xác.
  • Kỹ sư phát triển phần mềm và thị giác máy tính: Khai thác quy trình xử lý ảnh văn bản thực tế, kỹ thuật trích chọn vector đặc trưng hình học và kiến trúc triển khai hệ thống OCR để xây dựng các công cụ phần mềm nhận dạng ký tự chuyên dụng.
  • Học viên cao học và sinh viên ngành Công nghệ thông tin: Sử dụng luận văn như một công trình mẫu chuẩn mực về phương pháp nghiên cứu thực nghiệm, kỹ thuật thiết kế mô hình máy học và cách thức trình bày báo cáo khoa học trong lĩnh vực kỹ thuật phần mềm.

Câu hỏi thường gặp

  • Nhận dạng chữ Hán-Nôm bằng máy tính gặp những khó khăn đặc thù nào so với chữ cái Latinh? Chữ Hán-Nôm là hệ chữ biểu ý có số lượng ký tự khổng lồ với hơn 6.150 chữ Nôm tự tạo và hàng vạn chữ Hán. Cấu trúc chữ gồm nhiều nét phức tạp, nhiều dị thể viết tay và mộc bản khắc gỗ qua nhiều thế kỷ thường bị nhòe nét hoặc mất nét, tạo ra thách thức phân loại phi tuyến vô cùng lớn cho máy tính.

  • Giải thuật di truyền đóng vai trò then chốt gì trong mô hình nghiên cứu? Giải thuật di truyền đóng vai trò tìm kiếm toàn cục để xác định bộ trọng số liên kết ban đầu tối ưu cho mạng nơ-ron. Cơ chế này khắc phục triệt để nhược điểm của việc khởi tạo trọng số ngẫu nhiên, giúp mạng không bị rơi vào các điểm cực tiểu cục bộ và nâng cao độ chính xác nhận dạng thêm 3,60%.

  • Quy mô tập dữ liệu thực nghiệm trong luận văn được thiết lập như thế nào? Tập dữ liệu thực nghiệm bao gồm 2.970 mẫu ảnh ký tự chữ Hán-Nôm được số hóa và chuẩn hóa kích thước đồng nhất. Bộ mẫu được chọn lọc phân tầng để đại diện đầy đủ cho các quy tắc cấu tạo chữ Nôm từ đơn giản đến phức tạp, chia tách thành tập huấn luyện chiếm 70% và tập kiểm thử chiếm 30%.

  • Mô hình có khả năng xử lý tốt các ký tự có số nét lớn hay không? Thực nghiệm chứng minh hệ thống duy trì độ chính xác 92,15% đối với các chữ Nôm phức tạp trên 15 nét. Nhờ quá trình trích xuất vector đặc trưng mật độ điểm ảnh kết hợp bộ trọng số tối ưu hóa bằng giải thuật di truyền, mô hình vẫn phân biệt rõ các thành phần cấu trúc nét tinh vi.

  • Kết quả nghiên cứu có thể tích hợp vào các phần mềm tra cứu thực tế hiện nay không? Hoàn toàn khả thi. Thuật toán và mô hình phân loại của luận văn có thể đóng gói thành thư viện xử lý lõi cho các phần mềm từ điển Hán-Nôm, hệ thống quản lý số hóa thư viện hoặc các ứng dụng nhận dạng văn bản cổ trên thiết bị di động với thời gian phản hồi nhanh chóng.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về cấu tạo chữ Hán-Nôm và nguyên lý nhận dạng mẫu bằng mạng nơ-ron nhân tạo.
  • Đề xuất thành công mô hình lai kết hợp giải thuật di truyền và mạng nơ-ron truyền thẳng, giải quyết triệt để bài toán mắc kẹt cực tiểu cục bộ.
  • Đạt kết quả thực nghiệm ấn tượng với độ chính xác nhận dạng 94,80% trên bộ dữ liệu chuẩn 2.970 ký tự, vượt trội so với phương pháp truyền thống.
  • Rút ngắn khoảng 38,50% số chu kỳ huấn luyện và nâng cao độ ổn định phân loại cho các ký tự có cấu trúc nét phức tạp.
  • Đặt nền móng khoa học vững chắc cho lộ trình số hóa tự động di sản văn hiến dân tộc trong giai đoạn 2024 đến 2030.

Công trình khẳng định tiềm năng to lớn của việc ứng dụng trí tuệ nhân tạo vào công tác bảo tồn văn hóa lịch sử. Các nhà nghiên cứu và đơn vị phát triển phần mềm được khuyến khích tiếp tục kế thừa mô hình lai này, mở rộng tập dữ liệu và tích hợp các kỹ thuật học sâu tiên tiến nhằm đưa công nghệ nhận dạng chữ Nôm vào phục vụ đời sống xã hội một cách sâu rộng.