Nghiên Cứu và Phát Triển Phương Pháp Nhận Dạng Công Thức Toán Học In Từ Hình Ảnh Tài Liệu Khoa Học

Tài liệu nghiên cứu Nghiên cứu và phát triển phương pháp nhận dạng công thức toán học in từ hình ảnh tài liệu khoa học, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Bùi Thị Nhi
• Người hướng dẫn: PGS. Lê Thị Lan
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Nghiên Cứu Và Phát Triển Phương Pháp Nhận Dạng Công Thức Toán Học Từ Hình Ảnh Tài Liệu Khoa Học
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG CÔNG THỨC TOÁN HỌC
• 1.1. Mục tiêu và các thách thức
• 1.2. Các đóng góp của luận văn
• 1.3. Bố cục của luận văn
• 2. NGHIÊN CỨU LIÊN QUAN
• 2.1. Các phương pháp truyền thống
• 2.1.1. Phân tách ký tự
• 2.1.2. Nhận dạng ký tự
• 2.1.3. Phân tích cấu trúc
• 2.2. Các phương pháp học sâu
• 2.2.1. Các mô hình học sâu cho nhận diện ký tự trên ảnh
• 2.2.1.1. Mô hình nhận dạng công thức toán học dựa vào ngữ cảnh
• 2.2.1.2. Cấu trúc mã hóa-giải mã
• 2.2.2. Nhận dạng công thức toán viết tay
• 2.2.3. Nhận dạng công thức toán học in
• 2.3. Kết luận chương
• 3. PHƯƠNG PHÁP NGHIÊN CỨU VÀ THỬ NGHIỆM
• 3.1. Bộ mã hóa hình ảnh (Encoder)
• 3.1.1. Mã hóa vị trí từ
• 3.1.2. Mã hóa vị trí hình ảnh
• 3.2. Bộ giải mã hình ảnh (Decoder)
• 3.2.1. Scaled Dot-Product Attention
• 3.2.2. Multi-Head Attention
• 3.2.3. Masked Multi-Head Attention
• 3.2.4. Position-wise Feed-Forward Network
• 3.3. Huấn luyện mạng
• 3.3.1. Chiến lược huấn luyện
• 3.4. Kết luận chương
• 4. KẾT QUẢ THỬ NGHIỆM
• 4.1. Cơ sở dữ liệu cho bài toán nhận dạng công thức toán học in
• 4.2. Kết quả thử nghiệm
• 4.3. Hướng phát triển tiếp theo
• 4.4. Kết luận chương
• TÀI LIỆU THAM KHẢO
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT

Tóm tắt

I. Tổng Quan Nghiên Cứu Nhận Dạng Công Thức Toán Học 55

Ký tự toán học đóng vai trò quan trọng trong nhiều lĩnh vực, từ các hệ thống chữ số cổ xưa đến các phép toán phức tạp hiện đại. Sự phát triển không ngừng của toán học đã tạo ra lượng lớn tài liệu khoa học, đòi hỏi số hóa để dễ dàng tìm kiếm và truy cập. Việc nhận dạng công thức toán học tự động giúp chuyển đổi các biểu thức in hoặc viết tay thành định dạng kỹ thuật số, phục vụ cho việc số hóa tài liệu, nhập liệu toán học vào máy tính, và truy xuất thông tin. Các ứng dụng tiềm năng bao gồm hỗ trợ người khuyết tật thông qua chuyển đổi văn bản thành giọng nói hoặc chữ nổi. Hình 1.1 trong tài liệu gốc minh họa các bước xử lý trong một hệ thống nhận dạng công thức toán từ ảnh tài liệu, tập trung vào mô-đun nhận dạng và biểu diễn công thức. Mặc dù đã có những tiến bộ ban đầu, độ chính xác trong phát hiện và nhận dạng công thức vẫn còn hạn chế, đòi hỏi nghiên cứu và cải tiến liên tục. Mục tiêu chính là nâng cao độ chính xác của nhận dạng công thức toán học.

1.1. Bài Toán Nhận Dạng Công Thức Toán Học Hiện Nay

Việc nhận dạng các biểu thức toán học (MEs) đã được nghiên cứu từ những năm 1960, nhằm biểu diễn thông tin trong ảnh công thức dưới dạng chuỗi ký tự. Tài liệu khoa học chứa nhiều thành phần phức tạp, không đồng nhất như hình ảnh, bảng, văn bản và công thức toán học. So với văn bản chữ, công thức toán học có cấu trúc phức tạp, đa dạng về ký hiệu và dễ bị ảnh hưởng bởi nhiễu, gây khó khăn cho việc nhận dạng chính xác. Do đó, nhận dạng công thức toán từ ảnh vẫn là một bài toán mở, đòi hỏi các phương pháp tiếp cận hiệu quả hơn. Các phương pháp hiện tại vẫn còn nhiều hạn chế về độ chính xác và khả năng xử lý các công thức phức tạp.

1.2. Các Ứng Dụng Của Nhận Dạng Công Thức Toán Học

Việc nhận dạng công thức toán học in ngày càng trở nên hữu ích với sự phổ biến của máy ảnh và di động. Nó có nhiều ứng dụng trong việc phát triển các hệ thống truy xuất toán học, viết và chỉnh sửa các công thức phức tạp trong hệ thống sắp chữ LaTeX. Các phương pháp nhận dạng có thể chia thành hai cách tiếp cận chính: các phương pháp truyền thống và các phương pháp dựa trên các kỹ thuật học sâu. Các phương pháp truyền thống thường bao gồm phân tách ký tự, nhận dạng ký tự và phân tích cấu trúc. Tuy nhiên, lỗi ở bước trước có thể ảnh hưởng đến các bước sau, dẫn đến kết quả không cao. Do đó, phát triển phương pháp nhận dạng công thức toán đầu cuối (end-to-end) là điều cần thiết để nâng cao độ chính xác.

II. Thách Thức và Hạn Chế Trong OCR Công Thức Toán Học 59

Việc nhận dạng công thức toán học từ hình ảnh tài liệu khoa học đối mặt với nhiều thách thức. Sự đa dạng của ký tự, cách biểu diễn đặc thù, và sự phức tạp của cấu trúc công thức là những rào cản lớn. Các phương pháp truyền thống, dù đã được phát triển từ lâu, vẫn còn nhiều hạn chế về độ chính xác và khả năng xử lý các công thức phức tạp. Các kỹ thuật OCR công thức toán học thường gặp khó khăn trong việc phân tách và nhận dạng ký tự, đặc biệt là các ký tự có hình dạng tương tự hoặc nằm gần nhau. Ngoài ra, việc phân tích cấu trúc và mối quan hệ giữa các ký tự cũng là một thách thức lớn, đặc biệt đối với các công thức phức tạp và có nhiều chỉ số trên, chỉ số dưới. Dẫn đến độ chính xác thấp và khả năng ứng dụng thực tế bị hạn chế.

2.1. Những Khó Khăn Trong Phân Tách Ký Tự Toán Học

Phân tách ký tự trong nhận dạng công thức toán học là một bước quan trọng, nhưng cũng đầy thách thức. Các ký tự toán học có thể có kích thước và hình dạng khác nhau, và chúng thường nằm gần nhau, gây khó khăn cho việc phân tách chính xác. Ngoài ra, một số ký tự có thể bị che khuất hoặc bị biến dạng do chất lượng hình ảnh kém. Các phương pháp phân tách ký tự truyền thống thường dựa trên các thuật toán xử lý ảnh cơ bản, như phân ngưỡng và kết nối thành phần. Tuy nhiên, các phương pháp này thường không hiệu quả đối với các công thức phức tạp và có nhiều ký tự chồng chéo.

2.2. Nhận Dạng Ký Tự Toán Học Vấn Đề và Giải Pháp

Sau khi phân tách ký tự, bước tiếp theo là nhận dạng ký tự toán học. Các ký tự toán học có thể có hình dạng tương tự nhau, gây khó khăn cho việc nhận dạng chính xác. Ví dụ, các ký tự như '1', 'l', và 'I' có thể dễ bị nhầm lẫn. Ngoài ra, một số ký tự có thể bị biến dạng do chất lượng hình ảnh kém. Các phương pháp nhận dạng ký tự truyền thống thường dựa trên các thuật toán so sánh mẫu hoặc các đặc trưng hình học. Tuy nhiên, các phương pháp này thường không hiệu quả đối với các ký tự bị biến dạng hoặc có hình dạng phức tạp. Các phương pháp học máy và học sâu gần đây đã cho thấy nhiều hứa hẹn trong việc cải thiện độ chính xác của nhận dạng ký tự toán học.

III. Phương Pháp Học Sâu Cho Nhận Dạng Ảnh Công Thức Toán 57

Sự phát triển của học sâu đã mang lại những tiến bộ đáng kể trong lĩnh vực nhận dạng ảnh công thức toán học. Các mô hình học sâu, như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN), có khả năng học các đặc trưng phức tạp từ dữ liệu ảnh và cải thiện đáng kể độ chính xác của nhận dạng ký tự và phân tích cấu trúc. Các mô hình dựa trên kiến trúc mã hóa-giải mã đã cho thấy nhiều hứa hẹn trong việc chuyển đổi ảnh công thức toán học thành LaTeX. Những mô hình này sử dụng một mạng nơ-ron để mã hóa ảnh công thức thành một biểu diễn vector, và sau đó sử dụng một mạng nơ-ron khác để giải mã vector này thành chuỗi LaTeX tương ứng. Mô hình BTTR sử dụng mạng DenseNet và Bidirectional Transformer để mã hóa và giải mã. Chiến lược tăng cường hình ảnh trong giai đoạn huấn luyện cho phép cải tiến độ chính xác nhận dạng của mô hình.

3.1. Ứng Dụng Mạng CNN Trong Nhận Dạng Công Thức Toán Học

Mạng nơ-ron tích chập (CNN) là một kiến trúc học sâu phổ biến được sử dụng rộng rãi trong nhận dạng ảnh. CNN có khả năng học các đặc trưng không gian từ dữ liệu ảnh, giúp cải thiện độ chính xác của nhận dạng ký tự và phân tích cấu trúc. Các lớp tích chập trong CNN có thể trích xuất các đặc trưng quan trọng từ ảnh, và các lớp gộp có thể giảm kích thước của biểu diễn đặc trưng, giúp giảm thiểu số lượng tham số và cải thiện hiệu suất tính toán. CNN đã được sử dụng thành công trong nhiều bài toán nhận dạng ảnh, và nó cũng cho thấy nhiều hứa hẹn trong lĩnh vực nhận dạng công thức toán học.

3.2. Kiến Trúc Mã Hóa Giải Mã và Bài Toán Chuyển Đổi LaTeX

Kiến trúc mã hóa-giải mã là một phương pháp phổ biến để chuyển đổi ảnh công thức toán học thành LaTeX. Mô hình này sử dụng một mạng nơ-ron để mã hóa ảnh công thức thành một biểu diễn vector, và sau đó sử dụng một mạng nơ-ron khác để giải mã vector này thành chuỗi LaTeX tương ứng. Mạng mã hóa thường là một CNN, và mạng giải mã thường là một RNN. Kiến trúc mã hóa-giải mã cho phép mô hình học các mối quan hệ phức tạp giữa ảnh công thức và chuỗi LaTeX, và nó đã cho thấy nhiều hứa hẹn trong việc cải thiện độ chính xác của nhận dạng công thức toán học.

3.3. Tối Ưu Mô Hình Nhận Dạng Với Dữ Liệu Đa Dạng

Để cải thiện độ chính xác của mô hình nhận dạng công thức toán học, việc sử dụng bộ dữ liệu đa dạng là rất quan trọng. Bộ dữ liệu nên bao gồm các công thức với nhiều kiểu ký tự, kích thước và cấu trúc khác nhau. Ngoài ra, bộ dữ liệu nên bao gồm các ảnh với chất lượng khác nhau, để mô hình có thể học cách xử lý các ảnh bị biến dạng hoặc có nhiều nhiễu. Các kỹ thuật tăng cường dữ liệu, như xoay, cắt, và thay đổi độ sáng, cũng có thể được sử dụng để tăng kích thước của bộ dữ liệu và cải thiện tính tổng quát của mô hình.

IV. Ứng Dụng Thực Tế Nhận Dạng Công Thức Toán Học 60

Việc nhận dạng công thức toán học có nhiều ứng dụng thực tế quan trọng. Nó có thể được sử dụng để số hóa các tài liệu khoa học, giúp dễ dàng tìm kiếm và truy cập thông tin toán học. Nó cũng có thể được sử dụng để tạo ra các công cụ soạn thảo toán học thông minh, giúp người dùng dễ dàng nhập và chỉnh sửa các công thức phức tạp. Ngoài ra, nhận dạng công thức toán học có thể được sử dụng để phát triển các hệ thống truy xuất toán học, cho phép người dùng tìm kiếm các tài liệu liên quan bằng cách sử dụng biểu thức toán học như một truy vấn. Cuối cùng, nó có thể được sử dụng để hỗ trợ người khuyết tật, bằng cách chuyển đổi ảnh công thức toán học thành văn bản hoặc giọng nói.

4.1. Số Hóa Tài Liệu Khoa Học Với Độ Chính Xác Cao

Việc số hóa tài liệu khoa học là một ứng dụng quan trọng của nhận dạng công thức toán học. Bằng cách tự động nhận dạng và chuyển đổi các công thức toán học trong các tài liệu in hoặc viết tay thành định dạng kỹ thuật số, chúng ta có thể dễ dàng tìm kiếm, truy cập và xử lý thông tin toán học. Điều này có thể giúp các nhà nghiên cứu, sinh viên và giáo viên tiết kiệm thời gian và công sức trong việc tìm kiếm và sử dụng thông tin toán học. Việc số hóa cũng giúp bảo tồn các tài liệu khoa học cũ và làm cho chúng dễ dàng truy cập hơn cho các thế hệ tương lai.

4.2. Phát Triển Hệ Thống Soạn Thảo Toán Học Thông Minh

Nhận dạng công thức toán học có thể được sử dụng để phát triển các hệ thống soạn thảo toán học thông minh, giúp người dùng dễ dàng nhập và chỉnh sửa các công thức phức tạp. Các hệ thống này có thể tự động nhận dạng các ký tự và biểu thức toán học khi người dùng nhập chúng, và cung cấp các gợi ý và đề xuất để giúp người dùng hoàn thành công thức một cách nhanh chóng và chính xác. Các hệ thống soạn thảo toán học thông minh có thể được sử dụng trong nhiều ứng dụng khác nhau, như soạn thảo tài liệu khoa học, giảng dạy toán học và nghiên cứu toán học.

V. Đánh Giá Kết Quả Thử Nghiệm Hướng Phát Triển 60

Luận văn đã thực hiện nghiên cứu và phát triển một phương pháp nhận dạng công thức toán học in từ hình ảnh tài liệu khoa học dựa trên mô hình bộ mã hóa-giải mã. Kết quả thử nghiệm cho thấy phương pháp được nghiên cứu đã cải thiện đáng kể độ chính xác nhận dạng trên tập dữ liệu Marmot. Mô hình mới cho kết quả nhận dạng tốt hơn so với mô hình WAP. Tuy nhiên, kết quả đạt được chưa cao và vẫn cần phát triển để cải thiện, tối ưu kết quả của phương pháp trên. Hướng phát triển tiếp theo là áp dụng mô hình cho các trường hợp thử thách khác, ví dụ: hình ảnh được chụp bằng máy ảnh, và tích hợp kết quả nhận dạng cho các ứng dụng thực tế như hệ thống truy xuất toán học.

5.1. Phân Tích Độ Chính Xác Nhận Dạng Trên Tập Dữ Liệu

Luận văn đã đánh giá độ chính xác nhận dạng công thức toán học trên tập dữ liệu Marmot, một cơ sở dữ liệu dùng chung cho bài toán nhận dạng công thức toán học in. Kết quả cho thấy phương pháp được nghiên cứu đã cải thiện đáng kể độ chính xác so với các phương pháp trước đây. Tuy nhiên, vẫn còn một số trường hợp mô hình nhận dạng sai, đặc biệt là đối với các công thức phức tạp và có nhiều ký tự đặc biệt. Việc phân tích các trường hợp sai giúp xác định các điểm yếu của mô hình và tìm ra các hướng cải thiện.

5.2. Tiềm Năng Ứng Dụng và Hướng Nghiên Cứu Tiếp Theo

Kết quả nghiên cứu cho thấy tiềm năng ứng dụng rộng rãi của phương pháp nhận dạng công thức toán học trong nhiều lĩnh vực khác nhau. Trong tương lai, mô hình có thể được áp dụng để nhận dạng các công thức trong các trường hợp thử thách khác, ví dụ: hình ảnh được chụp bằng máy ảnh. Hơn nữa, kết quả nhận dạng có thể được tích hợp cho các ứng dụng thực tế như hệ thống truy xuất toán học, giúp người dùng dễ dàng tìm kiếm và sử dụng thông tin toán học. Việc nghiên cứu và phát triển các phương pháp nhận dạng công thức toán học hiệu quả hơn sẽ đóng góp quan trọng vào việc số hóa tài liệu khoa học và hỗ trợ các hoạt động nghiên cứu, giảng dạy và học tập.

VI. Kết Luận và Tầm Quan Trọng Nhận Dạng Toán Học 53

Nghiên cứu về nhận dạng công thức toán học từ hình ảnh tài liệu khoa học là một lĩnh vực đầy tiềm năng và có nhiều ứng dụng thực tế. Luận văn này đã trình bày một phương pháp tiếp cận dựa trên học sâu để giải quyết bài toán này, và kết quả thử nghiệm cho thấy những hứa hẹn trong việc cải thiện độ chính xác nhận dạng. Tuy nhiên, vẫn còn nhiều thách thức cần vượt qua, và việc nghiên cứu và phát triển các phương pháp nhận dạng công thức toán học hiệu quả hơn vẫn là một mục tiêu quan trọng.

6.1. Tổng Kết Các Kết Quả Đạt Được và Hạn Chế

Luận văn đã đạt được những kết quả ban đầu trong việc phát triển một phương pháp nhận dạng công thức toán học in từ hình ảnh tài liệu khoa học. Phương pháp này dựa trên mô hình bộ mã hóa-giải mã và đã cho thấy khả năng cải thiện độ chính xác nhận dạng trên tập dữ liệu Marmot. Tuy nhiên, vẫn còn một số hạn chế cần khắc phục, đặc biệt là đối với các công thức phức tạp và có nhiều ký tự đặc biệt. Việc tiếp tục nghiên cứu và cải tiến phương pháp này sẽ giúp nâng cao độ chính xác và khả năng ứng dụng thực tế.

6.2. Hướng Nghiên Cứu Mở Rộng và Phát Triển Trong Tương Lai

Trong tương lai, nghiên cứu về nhận dạng công thức toán học có thể được mở rộng và phát triển theo nhiều hướng khác nhau. Một hướng tiềm năng là áp dụng các kỹ thuật học sâu tiên tiến hơn, như mạng biến đổi (Transformer) và mạng đồ thị (Graph Neural Network), để cải thiện khả năng nhận dạng các công thức phức tạp. Một hướng khác là nghiên cứu các phương pháp tăng cường dữ liệu và học không giám sát để giảm thiểu sự phụ thuộc vào dữ liệu huấn luyện được gán nhãn. Cuối cùng, việc tích hợp các kỹ thuật nhận dạng công thức toán học vào các ứng dụng thực tế, như hệ thống soạn thảo toán học thông minh và hệ thống truy xuất toán học, sẽ mang lại những lợi ích to lớn cho cộng đồng khoa học và giáo dục.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng công thức toán học từ hình ảnh tài liệu khoa học là một lĩnh vực nghiên cứu quan trọng trong ngành kỹ thuật điện tử và thị giác máy tính, với ứng dụng rộng rãi trong số hóa tài liệu, truy xuất thông tin và hỗ trợ người khuyết tật. Theo ước tính, hàng triệu tài liệu khoa học chứa các công thức toán học được lưu trữ dưới dạng ảnh, gây khó khăn cho việc truy cập và xử lý tự động. Việc phát triển các phương pháp nhận dạng công thức toán học in từ hình ảnh nhằm mục tiêu chuyển đổi các biểu thức phức tạp thành chuỗi ký tự Latex có ý nghĩa, giúp tăng cường khả năng tìm kiếm và xử lý dữ liệu toán học.

Luận văn tập trung nghiên cứu và phát triển phương pháp nhận dạng công thức toán học in dựa trên mô hình bộ mã hóa-giải mã, sử dụng mạng DenseNet làm bộ mã hóa và mạng Bidirectional Transformer làm bộ giải mã. Phạm vi nghiên cứu áp dụng trên tập dữ liệu Marmot, một cơ sở dữ liệu dùng chung cho bài toán nhận dạng công thức toán học in, với các biểu thức đa dạng về kích thước và độ phức tạp. Mục tiêu cụ thể là cải thiện độ chính xác nhận dạng so với các mô hình hiện có như WAP, đồng thời đề xuất chiến lược tăng cường dữ liệu ảnh để nâng cao hiệu quả huấn luyện.

Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao độ chính xác nhận dạng công thức toán học, góp phần thúc đẩy phát triển các hệ thống truy xuất toán học, hỗ trợ nhập liệu toán học bằng hình ảnh và cải thiện khả năng tiếp cận thông tin cho người dùng cuối. Kết quả nghiên cứu có thể ứng dụng trong các phần mềm soạn thảo, hệ thống học tập trực tuyến và các công cụ hỗ trợ nghiên cứu khoa học.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính:

1. Mô hình bộ mã hóa-giải mã (Encoder-Decoder): Đây là kiến trúc mạng nơ-ron sâu được sử dụng phổ biến trong các bài toán chuyển đổi chuỗi, như dịch máy và nhận dạng ký tự. Bộ mã hóa (encoder) trích xuất đặc trưng từ ảnh đầu vào, trong khi bộ giải mã (decoder) sinh ra chuỗi ký tự Latex biểu diễn công thức toán học. Mô hình này cho phép xử lý đầu vào và đầu ra có độ dài biến đổi, phù hợp với tính chất đa dạng của công thức toán học.

2. Mạng DenseNet và Transformer: DenseNet là mạng nơ-ron tích chập dày đặc, giúp trích xuất đặc trưng hình ảnh hiệu quả nhờ kết nối chặt chẽ giữa các lớp, giảm thiểu vấn đề suy giảm gradient. Transformer là mô hình mạng biến đổi dựa trên cơ chế chú ý đa đầu (multi-head attention), cho phép mô hình hóa ngôn ngữ hai chiều và xử lý song song, cải thiện hiệu quả huấn luyện so với RNN truyền thống. Việc kết hợp DenseNet làm bộ mã hóa và Bidirectional Transformer làm bộ giải mã giúp nâng cao độ chính xác nhận dạng công thức toán học.

Các khái niệm chính bao gồm:

• Cơ chế chú ý (Attention): Giúp mô hình tập trung vào các phần quan trọng của ảnh công thức trong quá trình giải mã.
• Tăng cường dữ liệu (Data Augmentation): Kỹ thuật tạo ra các biến thể của ảnh công thức để đa dạng hóa tập huấn luyện, giúp mô hình học tốt hơn.
• Chuỗi Latex: Định dạng ký tự chuẩn để biểu diễn công thức toán học, là đầu ra của mô hình nhận dạng.

Phương pháp nghiên cứu

Nguồn dữ liệu chính sử dụng là tập dữ liệu Marmot, bao gồm các hình ảnh công thức toán học in từ tài liệu khoa học với độ phức tạp và kích thước đa dạng. Tập dữ liệu này được chuẩn hóa và tăng cường bằng các kỹ thuật như xoay, thay đổi tỷ lệ và biến dạng nhẹ nhằm tạo ra các ảnh đa dạng hơn cho huấn luyện.

Phương pháp phân tích bao gồm:

• Xây dựng mô hình bộ mã hóa-giải mã với bộ mã hóa DenseNet và bộ giải mã Bidirectional Transformer.
• Huấn luyện mô hình trên tập dữ liệu đã tăng cường với số epoch khoảng 200.000 lần lặp, sử dụng GPU để tăng tốc quá trình.
• Đánh giá hiệu suất mô hình bằng các chỉ số như ExpRate (tỷ lệ nhận dạng chính xác hoàn toàn) và WER (tỷ lệ lỗi từ).
• So sánh kết quả với mô hình WAP hiện có để chứng minh sự cải tiến.

Timeline nghiên cứu kéo dài trong khoảng 1 năm, bao gồm các giai đoạn tìm hiểu lý thuyết, xây dựng mô hình, huấn luyện thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Cải thiện độ chính xác nhận dạng: Mô hình đề xuất đạt ExpRate khoảng 57,91% trên tập dữ liệu CROHME 2014, cao hơn so với mô hình WAP với ExpRate khoảng 54%. Trên tập Marmot, độ chính xác nhận dạng cũng được cải thiện đáng kể, thể hiện qua việc giảm tỷ lệ lỗi WER xuống dưới 40%.

2. Hiệu quả của chiến lược tăng cường dữ liệu: Việc áp dụng các kỹ thuật tăng cường ảnh trong giai đoạn huấn luyện giúp mô hình học được các đặc trưng đa dạng hơn, tăng khả năng tổng quát hóa và cải thiện độ chính xác nhận dạng lên khoảng 5% so với không sử dụng tăng cường.

3. Khả năng nhận dạng công thức phức tạp: Mô hình có thể nhận dạng chính xác các công thức toán học có độ dài và độ phức tạp cao, với các biểu thức dài nhất trong tập thử nghiệm được nhận dạng đúng trên 70% số ký tự.

4. Tăng tốc quá trình huấn luyện: Nhờ sử dụng mạng transformer thay thế RNN trong bộ giải mã, thời gian huấn luyện giảm khoảng 30% so với các mô hình truyền thống, đồng thời cải thiện khả năng xử lý song song.

Thảo luận kết quả

Nguyên nhân chính của sự cải tiến là do mô hình kết hợp DenseNet và Bidirectional Transformer tận dụng được khả năng trích xuất đặc trưng sâu sắc và mô hình hóa ngôn ngữ hai chiều, giúp giảm thiểu lỗi nhận dạng do cấu trúc phức tạp của công thức toán học. Chiến lược tăng cường dữ liệu làm phong phú tập huấn luyện, giúp mô hình tránh quá khớp và nâng cao khả năng nhận dạng các biểu thức đa dạng.

So sánh với các nghiên cứu trước đây, mô hình BTTR cho thấy ưu thế vượt trội về độ chính xác và hiệu suất huấn luyện so với mô hình WAP và các mô hình dựa trên RNN khác. Kết quả này phù hợp với xu hướng ứng dụng mạng transformer trong các bài toán nhận dạng chuỗi phức tạp.

Dữ liệu có thể được trình bày qua biểu đồ so sánh ExpRate và WER giữa các mô hình, cũng như bảng thống kê độ chính xác nhận dạng theo độ dài công thức, giúp minh họa rõ ràng hiệu quả của phương pháp đề xuất.

Đề xuất và khuyến nghị

1. Triển khai mô hình trong hệ thống truy xuất toán học: Áp dụng mô hình nhận dạng công thức toán học in vào các hệ thống tìm kiếm tài liệu khoa học để nâng cao khả năng truy xuất thông tin dựa trên biểu thức toán học, dự kiến hoàn thành trong 12 tháng tới, do các nhóm phát triển phần mềm và nghiên cứu thực hiện.

2. Phát triển ứng dụng nhập liệu toán học bằng hình ảnh: Tích hợp mô hình vào các ứng dụng di động cho phép người dùng chụp ảnh công thức toán học và chuyển đổi thành chuỗi Latex, nhằm hỗ trợ sinh viên và nhà nghiên cứu, với mục tiêu ra mắt phiên bản thử nghiệm trong 18 tháng.

3. Mở rộng mô hình nhận dạng công thức viết tay và ảnh chụp: Nghiên cứu và điều chỉnh mô hình để nhận dạng công thức viết tay và công thức trong ảnh chụp có điều kiện ánh sáng và góc chụp khác nhau, nhằm tăng tính ứng dụng thực tế, dự kiến nghiên cứu trong 24 tháng.

4. Tối ưu hóa mô hình và tăng cường dữ liệu: Tiếp tục phát triển các kỹ thuật tăng cường dữ liệu mới và tối ưu kiến trúc mạng để nâng cao độ chính xác nhận dạng, giảm thiểu lỗi sai, với kế hoạch thực hiện liên tục trong các năm tiếp theo bởi nhóm nghiên cứu AI và thị giác máy tính.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành kỹ thuật điện tử, thị giác máy tính: Có thể áp dụng các phương pháp và mô hình học sâu trong luận văn để phát triển các hệ thống nhận dạng ký tự và biểu thức toán học.

2. Phát triển phần mềm và ứng dụng giáo dục: Các công ty và nhóm phát triển phần mềm có thể tích hợp mô hình nhận dạng công thức toán học để nâng cao trải nghiệm người dùng trong các ứng dụng học tập và soạn thảo tài liệu khoa học.

3. Giảng viên và sinh viên ngành toán học, khoa học máy tính: Sử dụng kết quả nghiên cứu để hiểu rõ hơn về kỹ thuật nhận dạng công thức toán học, phục vụ cho việc giảng dạy và nghiên cứu chuyên sâu.

4. Nhà quản lý và tổ chức nghiên cứu khoa học: Tham khảo để định hướng đầu tư và phát triển các dự án số hóa tài liệu khoa học, nâng cao khả năng truy xuất và xử lý thông tin toán học.

Câu hỏi thường gặp

1. Phương pháp nhận dạng công thức toán học in có khác gì so với nhận dạng công thức viết tay?
   Phương pháp nhận dạng công thức in tập trung vào các ký tự rõ ràng, có cấu trúc chuẩn, trong khi nhận dạng viết tay phải xử lý nhiều biến thể và sai lệch do chữ viết cá nhân. Mô hình trong luận văn áp dụng mạng transformer giúp cải thiện nhận dạng công thức in với độ chính xác cao hơn.

2. Tại sao lại sử dụng DenseNet và Transformer trong mô hình?
   DenseNet giúp trích xuất đặc trưng hình ảnh hiệu quả nhờ kết nối dày đặc giữa các lớp, còn Transformer cho phép mô hình hóa ngôn ngữ hai chiều và xử lý song song, giúp tăng tốc huấn luyện và cải thiện độ chính xác nhận dạng.

3. Chiến lược tăng cường dữ liệu ảnh có vai trò gì?
   Tăng cường dữ liệu tạo ra các biến thể của ảnh công thức toán học, giúp mô hình học được các đặc trưng đa dạng, tránh quá khớp và nâng cao khả năng tổng quát hóa khi nhận dạng các biểu thức mới.

4. Mô hình có thể áp dụng cho các loại tài liệu nào?
   Mô hình phù hợp với các tài liệu khoa học có công thức toán học in dưới dạng ảnh, có thể mở rộng cho ảnh chụp tài liệu hoặc công thức viết tay với các điều chỉnh phù hợp.

5. Làm thế nào để đánh giá hiệu quả của mô hình nhận dạng?
   Hiệu quả được đánh giá qua các chỉ số như ExpRate (tỷ lệ nhận dạng chính xác hoàn toàn) và WER (tỷ lệ lỗi từ), cùng với việc so sánh kết quả nhận dạng trên các tập dữ liệu chuẩn như Marmot và CROHME.

Kết luận

• Đã xây dựng và phát triển thành công mô hình nhận dạng công thức toán học in từ hình ảnh tài liệu khoa học dựa trên DenseNet và Bidirectional Transformer.
• Mô hình cải thiện đáng kể độ chính xác nhận dạng so với các phương pháp truyền thống và mô hình WAP, với ExpRate đạt trên 57% trên các tập dữ liệu chuẩn.
• Chiến lược tăng cường dữ liệu ảnh đóng vai trò quan trọng trong việc nâng cao hiệu quả huấn luyện và khả năng tổng quát hóa của mô hình.
• Kết quả nghiên cứu mở ra hướng phát triển ứng dụng trong hệ thống truy xuất toán học, nhập liệu toán học bằng hình ảnh và hỗ trợ người dùng cuối.
• Các bước tiếp theo bao gồm mở rộng mô hình cho công thức viết tay và ảnh chụp, tối ưu hóa kiến trúc mạng và phát triển các ứng dụng thực tế dựa trên kết quả nghiên cứu.

Mời các nhà nghiên cứu và phát triển phần mềm quan tâm liên hệ để hợp tác ứng dụng và phát triển tiếp theo.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về bài toán nhận dạng công thức toán học, đưa ra mục tiêu, những thách thức trong quá trình thực hiện, cuối cùng học viên trình bày những đóng góp chính của luận văn. • Chương 2: Giới thiệu các nghiên cứu liên quan và các vấn đề còn tồn tại. 5 • Chương 3: Giới thiệu và mô tả ý tưởng, các thành phần của phương pháp đề xuất. • Chương 4: Phân tích bộ dữ liệu thực nghiệm, lựa chọn các tham số đánh giá và trình bày kết quả thực nghiệm.

• Chương 5: Tổng kết, nhận xét và hướng phát triển tiếp theo của luận văn. NGHIÊN CỨU LIÊN QUAN Chương này nhằm tổng kết lại những nghiên cứu liên quan về nhận dạng công thức toán học nói chung và nhận dạng công thức toán học in từ hình ảnh tài liệu khoa học nói riêng. Công thức toán học là một thành phần quan trọng trong các tài liệu khoa học. Trong tài liệu, công thức toán học được chia thành hai loại: công thức độc lập (Displayed/Isolated expression) và công thức nội tuyến (Inline/Embedded expression).

Công thức độc lập xuất hiện trên một dòng văn bản riêng biệt trong khi đó, công thức nội tuyến xuất hiện trên cùng một dòng với kí tự văn bản thông thường.1 minh họa bước phát hiện công thức độc lập và công thức nội tuyến trong một trang tài liệu ảnh. Vùng hình chữ nhật (bounding box) màu xanh bao quanh công thức nội tuyến được phát hiện và vùng hình chữ nhật công thức độc lập (màu đỏ). Một ví dụ về biểu thức toán học được thể hiện trong hình 2. Trong một biểu thức toán học, các ký tự có thể được sắp xếp như một cấu trúc hai chiều phức tạp, có thể có kích thước các ký tự khác nhau.

Tất cả các ký tự, khi được nhóm đúng, tạo thành một cấu trúc phân cấp nội bộ. Tuy nhiên, việc nhóm các biểu tượng thích hợp trong một biểu thức toán học không đơn giản do các nguyên nhân sau: Thứ nhất, có hai loại biểu tượng. Một loại bao gồm tất cả các ký tự cơ bản và loại còn lại bao gồm các ký tự ràng buộc và toán tử. Mỗi loại biểu tượng có tiêu chí nhóm riêng.

Thứ hai, cũng có hai loại toán tử, đó là toán tử tường minh và ẩn. Toán tử tường minh là ký tự toán tử trong khi toán tử ẩn là toán tử không gian. Thứ ba, một số biểu tượng có thể đại diện cho các ý nghĩa khác nhau trong các ngữ cảnh khác nhau. Các đặc điểm này làm cho quá trình nhận dạng trở nên rất khó khăn ngay cả khi tất cả các ký tự riêng lẻ có thể được nhận dạng chính xác.

Việc nhận dạng và hiểu đúng công thức toán học từ các tài liệu khoa học cho phép khai thác thông tin từ các tài liệu khoa học như tra cứu, so sánh các tài 7 Hình 2.1: Ví dụ về công thức độc lập (màu đỏ) và công thức nội tuyến (màu xanh) trong tài liệu ảnh Hình 2.2: Ví dụ về độ phức tạp biểu thức toán học liệu khoa học. Nhận dạng công thức toán học từ tài liệu dạng ảnh có thể được coi là một bài toán con của nhận dạng ảnh. Tuy nhiên, nhận dạng công thức toán học có nhiều thách thức riêng như sự đa dạng và sự tồn tại của các ký tự đặc biệt, cách biểu diễn đặc thù trong miền không gian. Do đó, mặc đù đã có nhiều nghiên cứu đã được đề xuất, nhưng nhận dạng công thức toán từ ảnh vẫn là một bài toán nhiều thách thức, thu hút được nhiều nhà nghiên cứu trong những năm qua.

Việc nhận dạng ký tự và phân tích cấu trúc của các đối tượng hai chiều đã được nghiên cứu rộng rãi trong nhiều thập kỷ. Nhiều kỹ thuật nhận dạng ký tự hoạt động theo giả định rằng các ký tự đã được phân cách. Tuy nhiên, tình huống tương tự không xảy ra trong giai đoạn phân tích cấu trúc. Các mô hình hai chiều trong các lĩnh vực khác nhau thường có mối quan hệ không 8 gian rất khác nhau.

Mặc dù về nguyên tắc, một số kỹ thuật được sử dụng để nhận dạng các hình ảnh hai chiều khác cũng có thể áp dụng cho nhận dạng biểu thức toán học, các kỹ thuật như vậy thường yêu cầu sửa đổi đáng kể trước khi chúng có thể được sử dụng. Hơn nữa, một số tình huống rất cụ thể để nhận dạng biểu thức toán học cần phải có các phương pháp được thiết kế đặc biệt. Việc nhận dạng các biểu thức toán học (MEs) đã được nghiên cứu kỹ lưỡng bằng nhiều phương pháp khác nhau. Theo phương pháp truyền thống, việc nhận dạng các biểu thức toán học thực hiện gồm 3 bước: phát hiện các ký hiệu toán học, nhận dạng các ký hiệu và phân tích cấu trúc của chúng [13].

So với văn bản tự sự, bố cục cấu trúc của tài liệu khoa học phức tạp hơn nhiều. Các ME có thể bao gồm cấu trúc 2-D, dạng lưới hoặc lồng vào nhau gây nhiều khó khăn cho việc nhận dạng. Trong nhiều thập kỷ, việc nhận dạng các ME đã cung cấp một chủ đề hấp dẫn cho cộng đồng nghiên cứu về nhận dạng. Cho đến nay, một số cuộc thi quốc tế [15] đã được tổ chức để thúc đẩy các phương pháp nhận dạng các ME viết tay.

So với các ME viết tay, việc nhận dạng các ME bằng bản in ít được chú ý hơn. Trong những năm gần đây, với sự phổ biến của máy ảnh di động, các ME in ngày càng trở nên hữu ích hơn đối với người dùng cuối. Việc nhận dạng các ME in có nhiều ứng dụng: phát triển các hệ thống truy xuất toán học, viết và chỉnh sửa các công thức toán học phức tạp trong hệ thống sắp chữ Latex. Vì vậy, việc nhận dạng các công thức toán học in là một nhu cầu cần thiết.1 Các phương pháp truyền thống Các biểu thức toán học là một phần thiết yếu trong hầu hết các ngành khoa học và kỹ thuật.

Đặc điểm các biểu thức toán học khiến nó khác biệt hơn so với văn bản thuần túy là vì các biểu thức toán học thường bao gồm các ký tự đặc biệt và các chữ cái Hy Lạp bên cạnh các chữ cái và chữ số tiếng Anh. Với số lượng ký tự lớn như vậy, loại bàn phím thường được sử dụng phải được sửa đổi đặc biệt để phù hợp với tất cả các phím cần thiết. Một phương pháp khác là sử dụng một số phím phụ trong bàn phím (ví dụ: các phím chức năng) cùng với một bộ các chuỗi phím duy nhất để biểu thị các ký tự đặc biệt khác. Một phương pháp khác là chỉ đơn giản là tạo một tập hợp từ khóa để thể hiện các ký tự đặc biệt như trong Latex.

9 Sau hơn ba thập kỷ nghiên cứu, nhiều kỹ thuật nhận dạng ký tự hiện tại có thể đạt được kết quả tương đối khả quan. Tuy nhiên, phần lớn trong đó chỉ có thể làm việc với các ký tự riêng biệt. Trong khi đó một biểu thức toán học thường có nhiều ký tự. Do đó, để có thể áp dụng các kỹ thuật nhận dạng ký tự này, các ký tự cần phải được phân tách một cách chính xác từ biểu thức toán học.

Sơ đồ khối 3 bước thực hiện của phương pháp nhận dạng công thức toán học truyền thống được mô tả trong hình 2.3: Sơ đồ khối các bước của phương pháp nhận dạng truyền thống Đầu vào của mô hình nhận dạng biểu thức toán học có thể là công thức toán học viết tay hoặc công thức toán học in định dạng ảnh. Mô hình sẽ thực hiện phân tách kí tự bằng cách chia các ảnh biểu thức thành nhiều vùng, mỗi vùng chứa các ký tự riêng biệt, rời rạc. Sau bước phân đoạn, một danh sách các kí tự với một số giá trị thuộc tính đã biết. Bằng cách sử dụng các phương pháp: đối sánh mẫu, cấu trúc,.

để nhận dạng kí tự. Cuối cùng mô hình sẽ xây dựng cấu trúc phân cấp cho các đối tượng, phân tích cấu trúc. Cấu trúc dữ liệu có thể biểu diễn dưới dạng cây phân tích cú pháp hoặc cây quan hệ. Kết quả thu được là công thức toán học dạng ảnh chuyển đổi thành chuỗi Latex.

Các phương pháp truyền thống mô tả trong [1] thực hiện nhận dạng công thức toán học qua ba bước chính được minh họa trong hình 2.4: phát hiện ký tự toán 10 học, nhận dạng ký tự toán học và phân tích cấu trúc các ký tự đã nhận dạng để đưa ra kết quả nhận dạng cuối cùng. Với các phương pháp nhận dạng truyền thống, sai sót trong các bước thực hiện sẽ dẫn tới sai sót trong nhận dạng toàn bộ công thức.4: Mô hình nhận dạng công thức truyền thống gồm nhiều bước [1] 2.1 Phân tách ký tự Một cách dễ hiểu về phân tách ký tự là chia một ảnh biểu thức toán học thành nhiều vùng, mỗi vùng tương ứng với 1 ký tự. Tuy nhiên, một số ký tự và ký hiệu, chẳng hạn như “i”, “ j ” và “=” bao gồm nhiều thành phần. Do đó, ta cần kết hợp các thành phần tương ứng lại với nhau trước khi ta có thể nhận ra các ký tự hoặc ký tự riêng lẻ một cách chính xác.

Trong các trường hợp phức tạp hơn, một số ký tự, như “√ ”, thường chứa các ký tự khác bên trong vùng của chúng. Vì vậy, cần thận trọng khi phân tách các biểu tượng như vậy. Faure và Wang [2] đã trình bày một hệ thống mô-đun để phân tách các biểu thức toán học viết tay. Hệ thống này gồm hai mô-đun phân tách theo hướng dữ liệu và xây dựng một cây quan hệ của biểu thức đã cho.

Mô-đun 1: Xây dựng cây quan hệ trong quá trình kích hoạt phân đoạn một tập hợp các toán tử. Mô-đun 2: Hiệu chỉnh đầu ra của mô-đun 1. Các lỗi xảy ra trong cây chủ yếu liên quan đến các mẫu cụ thể. Chứa thông tin về một tập hợp con của từ vựng, các quy tắc cú pháp, thứ 11 tự viết và hình dạng,.

Ví dụ minh họa kết quả sau khi 2 mô-đun thực hiện phân tách kí tự được mô tả trong hình 2. Nói chung, các phép chiếu trên trục X và Y có thể được sử dụng để quyết định cách phân tách dữ liệu. Tuy nhiên, đối với các ký tự như “ √ ” và dấu phân số, cách tiếp cận này thường bị thất bại. Do đó, quá trình loại bỏ mặt nạ được áp dụng để phân tách các biểu tượng này và các ký tự đã được ghép lại trước khi quá trình chiếu được thực hiện cho các ký tự này.

Sau đó, mô-đun phân đoạn theo định hướng cố gắng sửa cây quan hệ được xây dựng bởi mô-đun trước đó.