Chương 1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG CHỮ VIẾT Chương này trình bày một cách tổng thể về vấn đề nhận dạng chữ viết nói chung và nhận dạng công thức toán học (ME) nói riêng bằng việc sử dụng các mô hình máy học và kỹ thuật xử lý ảnh (XLA). Trước tiên sẽ khái quát về đồ án, nêu bật những thách thức, trình bày tình hình nghiên cứu, tiếp đó nói đến mục tiêu cũng như những đóng góp của đồ án này đối với thực tiễn và phần cuối sẽ nêu rõ bố cục của đồ án.1 Giới thiệu Công nghệ thông tin và trí tuệ nhân tạo (AI) đang phát triển mạnh mẽ, đóng vai trò quan trọng trong cuộc cách mạng công nghiệp 4. Việc phát triển các ứng dụng AI đã khai mở tiềm năng trong nhiều lĩnh vực khác nhau, đồng thời tạo ra những đột phá trong việc giải quyết các vấn đề phức tạp, từ đó nâng cao hiệu suất làm việc của con người. Một trong những ứng dụng tiềm năng của AI là trích xuất nội dung từ ảnh và ME cũng không ngoại lệ.
Việc nhận dạng và trích xuất các thành phần của ME từ ảnh đòi hỏi sự kết hợp giữa các kỹ thuật XLA và mô hình học sâu.1: Mô phỏng hệ thống trích xuất ME từ hình ảnh Đồ án được tiến hành với mục tiêu nghiên cứu và phát triển mô hình học sâu tiên tiến, kết hợp với việc sử dụng các kỹ thuật XLA để nhận dạng và trích xuất các thành phần của ME từ ảnh chụp điện thoại (Hình 1. Mô hình này được thiết kế với kỳ vọng đạt được độ chính xác cao và khả năng ứng dụng rộng rãi trong việc trích xuất ME từ các nguồn ảnh khác nhau. Ứng dụng của việc trích xuất ME từ ảnh chụp điện thoại là vô cùng đa dạng và có tiềm năng trong giáo dục, nghiên cứu cũng như các thực tiễn khác. Với việc sử dụng công cụ này, giảng viên, sinh viên hay các nhà nghiên cứu có thể dễ dàng chia sẻ, sao chép và sử dụng các ME mà không cần phải gõ lại từng ký tự.
Điều này giúp tiết kiệm thời gian và công sức, đồng thời giảm thiểu sai sót do việc soạn thảo không đúng hoặc đọc sai các ký tự toán học.2 Thách thức của nhiệm vụ Việc trích xuất ME từ ảnh chụp điện thoại đặt ra nhiều thách thức về độ chính xác và hiệu suất. Dựa theo kết quả phân tích của nghiên cứu do 2 Kukreja và Sakshi thực hiện [5], sự mơ hồ và cấu trúc hai chiều (2D) của các ME luôn là một thách thức trong nhiệm vụ nhận dạng. Song song đó, các thách thức khác có thể bao gồm sự đa dạng về font chữ, kích thước, chiều sáng, nhiễu và các yếu tố khác trong ảnh đầu vào. Đồ án này được thực hiện nhằm giải quyết những thách thức đó bằng cách kết hợp các kỹ thuật XLA với một mô hình học sâu tiên tiến một cách hiệu quả.2: Một số hình ảnh ME để biểu thị 2D trên mặt phẳng 1.3 Tình hình nghiên cứu Trên thế giới hiện nay đã có nhiều công trình nghiên cứu về chủ đề nhận diện ME, các kỹ thuật được sử dụng ngày càng hiện đại và phát huy được thế mạnh riêng, tuy vậy vẫn chưa thực sự triệt để bởi độ chính xác có thể cao nhưng dữ liệu đầu vào chưa được đa dạng, bởi ME có nhiều yếu tố ảnh hưởng đến tiến trình xử lý trích xuất.
Phần này sẽ là tổng quan về một số công trình nghiên cứu gần đây về chủ đề đang nhắc đến. Kukreja và Sakshi [5] đã trình bày tổng quan tài liệu có hệ thống (SLR) về các mô hình máy học để nhận dạng ký hiệu toán học (MSR). Đánh giá phân tích 52 nghiên cứu cho đến năm 2021, tập trung vào các kỹ thuật nhận dạng, chỉ số độ chính xác, phân đoạn, trích xuất đặc trưng và bộ dữ liệu được sử dụng. Kết quả cho thấy Support Vector Machine (SVM) là kỹ thuật 3 chiếm ưu thế nhất, tiếp theo là K-Nearest Neighbor và Convolutional Neural Networks (CNN).
Những thách thức được xác định bao gồm nhu cầu về các mô hình biểu diễn hiệu quả hơn, thiếu các quy tắc rõ ràng để phân đoạn ký hiệu, không có bộ dữ liệu chuẩn và số liệu đo lường độ chính xác cũng như các vấn đề không rõ ràng trong bước tiền xử lý. Nghiên cứu của Wang và Liu [1] đã đề xuất một mô hình mạng nơ-ron sâu gọi là Math Image to LaTeX Sequence (MI2LS) để trích xuất các hình ảnh ME thành chuỗi LaTeX (Hình 1. Mô hình giải quyết ba vấn đề chính: bổ sung mã hóa vị trí dạng sóng cho các bản đồ đặc trưng ảnh để hiểu rõ hơn về mối quan hệ không gian, sử dụng hàm mục tiêu trình tự dựa trên BLEU-score để hiểu tốt hơn mối quan hệ giữa các ký tự trong chuỗi LaTeX và loại bỏ vấn đề thiên hướng thông qua việc huấn luyện theo phản hồi vòng lặp. Mô hình bao gồm một bộ mã hóa CNN, một bộ giải mã RNN và một cơ chế chú ý mềm.
Kết quả thực nghiệm trên tập dữ liệu IM2LATEX-100K [7] cho thấy mô hình đạt hiệu suất vượt trội với điểm BLEU-score, khoảng cách chỉnh sửa ảnh, tỷ lệ khớp chính xác và tỷ lệ khớp chính xác không có khoảng trắng. Mô hình cũng cho thấy tính ổn định hơn khi xử lý các chuỗi LaTeX dài hơn. Quá trình huấn luyện được thực hiện theo quy trình đầu cuối và mô hình tự động học cách phân đoạn các ký tự, hướng quét và ngữ pháp mà không cần nhãn tường minh. Phương pháp được đề xuất đạt độ chính xác cao trong việc dịch hình ảnh ME thành chuỗi LaTeX.
Liu và cộng sự [2] đề xuất mô hình sàng lọc ảnh ME dựa trên tăng cường tương quan đặc trưng. Mô hình này bao gồm mô-đun tăng cường tương quan tính năng (FCE - Hình 1.4) để cải thiện mối tương quan của các đặc trưng ME, mô-đun tổng hợp đa tỷ lệ dải (SMP - Hình 1.5) để xử lý các kích thước hình ảnh không đồng nhất và tập trung vào các đặc trưng công thức ngang và loss-function được cải thiện để cân bằng bộ dữ liệu. Kết quả thực nghiệm 4 Hình 1.3: Kiến trúc bộ mã hóa - giải mã được đề xuất của mạng lưới thần kinh sâu [1] cho thấy độ chính xác của mô hình đề xuất là 89,50%, vượt trội so với các mô hình hiện có bấy giờ. Mô hình cho phép sàng lọc các hình ảnh chứa các ME, có thể tăng tốc độ tạo cơ sở dữ liệu các hình ảnh ME.
Tuy nhiên, có những hạn chế trong trường hợp các phần công thức nhỏ hoặc được nhúng, dẫn đến lỗi phân loại. Trong tương lai sẽ tập trung vào việc cải tiến mô hình và mở rộng cơ sở dữ liệu hình ảnh ME để truy xuất và nhận dạng tốt hơn. Nghiên cứu của Mahdavi và cộng sự [3] đã trình bày mô hình để nhận dạng hình ảnh ME từ các thành phần hoặc ký hiệu được kết nối với nhau, từ đó xây dựng biểu đồ line-of-sight (LOS - Hình 1. Họ đã sử dụng mật độ hình ảnh với kỹ thuật Random Forrest để phát triển ở bước đầu, sau đó chuyển đổi mật độ này thành Convolutional Neural Network (CNN) với nhánh thứ hai để nắm bắt ngữ cảnh cho mỗi hình ảnh đầu vào.
Cấu trúc công thức được trích xuất dưới dạng cây bao trùm có hướng, từ đồ thị LOS có trọng số bằng cách sử dụng thuật toán Edmonds. Kết quả thu được cho các công thức không có ô kẻ hoặc ma trận trong bộ dữ liệu InftyCDB-2 là 90,89% từ 5 Hình 1.4: Cấu trúc mô đun FCE [2] Hình 1.5: Cấu trúc mô đun SMP [2] các thành phần, 93,5% từ các ký hiệu. Khi sử dụng các công cụ từ cuộc thi nhận dạng công thức viết tay CROHME [8], nghiên cứu này có thể biên dịch tất cả các lỗi nhận dạng ký hiệu và cấu trúc để phục vụ cho việc phân tích. Trong bài báo [4], Noya và cộng sự đã trình bày một đề xuất để tạo ra siêu đồ thị từ việc phân tích n-best của ngữ pháp phi ngữ cảnh xác suất 2 chiều 6 Hình 1.6: SLT (trên cùng) và OPT (dưới cùng) biểu diễn cho (a + b)2 [3] (2D-PCFG) cho việc nhận dạng ME (Hình 1.
Siêu đồ thị là một giao diện hiệu quả giữa việc nhận dạng ME với hệ thống lập chỉ mục và tìm kiếm các ME. Cụ thể, bài báo đề xuất một thuật toán để tính toán các cây phân tích cú pháp tốt nhất từ 2D-PCFG, một thuật toán để biểu diễn các cây phân tích cú pháp tốt nhất bằng một biểu diễn gọn gàng dưới dạng siêu đồ thị, và một khung công cụ hình thức để phát triển các thuật toán suy luận (bên trong và bên ngoài) cùng các chiến lược chuẩn hóa siêu đồ thị. Ngoài ra, một số thí nghiệm sơ bộ đã được báo cáo để kiểm tra hiệu suất của các thuật toán đề xuất. Trong tương lai, họ có kế hoạch áp dụng kết quả này vào các vấn đề lập chỉ mục và tìm kiếm các ME trong các bộ sưu tập lớn của hình ảnh số hóa.
Tiếp nối trong bài báo [9], Noya và cộng sự tiếp tục sử dụng thuật toán học phân biệt để ước tính một 2D-PCFG để nhận dạng và truy xuất các ME. Thuật toán sử dụng tiêu chí H làm hàm mục tiêu và các phép biến đổi tăng trưởng làm phương pháp tối ưu hóa. Các kết quả thử nghiệm được trình bày bằng hai bộ dữ liệu: IM2LATEX và IBEM [10]. Kết quả cho thấy thuật toán đề xuất vượt trội so với phương pháp ước lượng dựa trên Viterbi cổ điển trong nhận dạng ME.
Độ chính xác của mô hình giảm đối với các biểu thức dài hơn, nhưng nó vượt trội trong việc tạo ra nhiều giả thuyết và phân tách 7 Hình 1.7: Cây phân tích 3-best solution cho biểu thức đầu vào xx32 + ⃗x và các biểu thức liên quan đến việc diễn giải các 3-best solution này [4] các biểu thức lớn thành các biểu thức con chính xác. Bài báo đề xuất các hướng nghiên cứu trong tương lai về lập chỉ mục xác suất để tìm kiếm các ME và nêu bật tiềm năng của mô hình trong các bộ sưu tập tài liệu khoa học được số hóa. Các kết quả chứng minh tính hiệu quả của thuật toán được đề xuất và hiệu suất so sánh của nó với các mô hình khác trong nhận dạng ME. Công trình nghiên cứu về nhận diện ME đang có nhiều bước tiến quan trọng, sử dụng các kỹ thuật hiện đại như Support Vector Machine (SVM), K-Nearest Neighbor, và Convolutional Neural Networks (CNN).