Luận án tiến sĩ: Nâng cao hiệu quả phát hiện công thức toán học trong ảnh văn bản

• Tác giả: Bui Hai Phong
• Người hướng dẫn: Assoc. Hoang Manh Thang
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Computer Science
• Đề tài: Nâng Cao Hiệu Quả Phát Hiện Công Thức Toán Học Trong Ảnh Văn Bản
• Loại tài liệu: doctoral dissertation
• Năm xuất bản: 2021
• Địa điểm: Hanoi

• DECLARATION OF AUTHORSHIP
• ACKNOWLEDGEMENT
• ABSTRACT
• 1. CONTENT
• 1.1. DECLARATION OF AUTHORSHIP
• 1.2. LIST OF TABLES
• 1.3. LIST OF FIGURES
• 1.4. Objectives of the thesis
• 1.5. Introduction of the ME detection and recognition
• 1.5.1. Introduction of MEs
• 1.5.2. Introduction of ME detection
• 1.5.3. Introduction of ME recognition
• 1.6. Contributions of this thesis
• 1.7. Structure of this thesis
• 1.8. ME detection methods in document images
• 1.8.1. Rule-based detection
• 1.8.2. Handcrafted feature extraction methods for the ME detection
• 1.8.3. Deep neural network for ME detection
• 1.8.3.1. Deep neural networks
• 1.8.3.2. Deep neural network models for ME detection
• 1.8.4. Traditional approaches for ME recognition
• 1.8.5. Neural network approaches for ME recognition
• 1.8.6. Datasets and evaluation metrics
• 1.8.7. Existing systems for ME recognition
• 1.8.8. Summary of the chapter
• 2. THE DETECTION OF MEs USING THE LATE FUSION OF HANDCRAFTED AND DEEP LEARNING FEATURES
• 2.1. Overview of the proposed method
• 2.2. Handcrafted feature extraction for ME detection
• 2.2.1. Handcrafted feature extraction for isolated ME detection
• 2.2.2. Handcrafted feature extraction for inline ME detection
• 2.3. Deep learning method for ME detection
• 2.4. Late fusion of handcrafted and deep learning features for ME detection
• 2.5. Post-processing for ME detection
• 2.6. Performance evaluation of the detection of MEs using different machine learning algorithms
• 2.7. Performance evaluation of the detection of MEs using the fusion of handcrafted and deep learning features with different operations
• 2.8. Performance evaluation of the detection of isolated and inline MEs on different public datasets
• 2.9. Evaluation of the impact of image resolution on the ME detection
• 2.10. Evaluation of the impact of the post-processing
• 2.11. Visualization of extracted features of images using the handcrafted and deep learning feature approaches
• 2.12. Error analysis and discussion
• 2.13. Measurement of execution time
• 2.14. Summary of the chapter
• 3. THE DETECTION OF MEs USING THE COMBINATION OF THE DISTANCE TRANSFORM AND FASTER R-CNN
• 3.1. Overview of the proposed method for ME detection using the DT and the Faster R-CNN
• 3.2. The detection of MEs using the DT and the Faster R-CNN
• 3.2.1. Distance transform of document image
• 3.2.2. ME detection using a Faster R-CNN
• 3.2.3. Region proposal network
• 3.2.4. Fully connected detection network
• 3.3. Loss function of the training Faster R-CNN
• 3.3.1. Loss function of the training process of Faster R-CNN
• 3.4. Evaluation of the impact of the DT and anchor box generation to the performance of the ME detection
• 3.5. Comparison of Faster R-CNN models in ME detection
• 3.6. Comparison of the proposed and state-of-the-art methods used in ME detection
• 3.7. Performance comparison of the proposed method on cross datasets
• 3.8. Illustration of feature extraction of the Resnet-50
• 3.9. Error analysis and discussion
• 3.10. Measurement of execution time
• 3.11. Summary of the chapter
• 4. THE DETECTION AND RECOGNITION OF MEs IN DOCUMENT IMAGES
• 4.1. Overview of the proposed system for the detection and recognition of MEs
• 4.2. ME recognition using the WAP network
• 4.2.1. Watcher module of the WAP network
• 4.2.2. Parser module of the WAP network
• 4.3. Training the WAP network
• 4.4. Performance evaluation of the detection and recognition of MEs
• 4.5. Error analysis and discussion
• 4.6. Measurement of execution time
• 4.7. Summary of the chapter
• ABBREVIATIONS
• LIST OF TABLES
• LIST OF FIGURES

I. Giới thiệu về phát hiện công thức toán học

Công thức toán học (MEs) đóng vai trò quan trọng trong các tài liệu khoa học. Việc phát hiện và nhận diện MEs trong ảnh văn bản là bước thiết yếu cho quá trình số hóa tài liệu. Phát hiện công thức nhằm xác định vị trí của các biểu thức trong tài liệu, trong khi nhận diện công thức chuyển đổi các biểu thức từ định dạng hình ảnh sang chuỗi. MEs được phân loại thành hai loại: biểu thức tách biệt và biểu thức nội tuyến. Biểu thức tách biệt hiển thị trên một dòng riêng, trong khi biểu thức nội tuyến được trộn lẫn với các thành phần khác. Độ chính xác trong việc phát hiện các biểu thức tách biệt đã được cải thiện dần, tuy nhiên, việc phát hiện các biểu thức nội tuyến vẫn là một thách thức lớn. Độ chính xác của việc phát hiện ảnh hưởng trực tiếp đến độ chính xác của việc nhận diện. Nếu phát hiện sai, sẽ dẫn đến lỗi trong nhận diện MEs.

1.1. Tầm quan trọng của công thức toán học trong tài liệu khoa học

Công thức toán học là thành phần không thể thiếu trong các tài liệu khoa học, giúp diễn đạt các khái niệm phức tạp một cách rõ ràng và chính xác. Việc số hóa các tài liệu này không chỉ giúp bảo tồn kiến thức mà còn tạo điều kiện thuận lợi cho việc nghiên cứu và học tập. Nhu cầu về việc phát hiện và nhận diện MEs trong tài liệu ngày càng tăng, đặc biệt trong bối cảnh số hóa tài liệu đang diễn ra mạnh mẽ. Các công nghệ như công nghệ OCR và công nghệ nhận diện hình ảnh đã được áp dụng để cải thiện hiệu quả phát hiện công thức toán học.

II. Phương pháp phát hiện công thức toán học

Nghiên cứu này đề xuất ba đóng góp chính trong việc phát hiện và nhận diện MEs trong ảnh tài liệu khoa học. Đầu tiên, một phương pháp lai hai giai đoạn được đề xuất để phát hiện MEs hiệu quả. Giai đoạn đầu tiên là phân tích bố cục của toàn bộ ảnh tài liệu nhằm cải thiện độ chính xác của việc phân đoạn dòng văn bản và từ. Giai đoạn thứ hai, cả MEs tách biệt và nội tuyến trong ảnh tài liệu được phát hiện. Các đặc trưng được trích xuất từ cả phương pháp thủ công và học sâu nhằm cải thiện độ chính xác phát hiện. Phương pháp thủ công sử dụng Biến đổi Fourier nhanh (FFT) cho ảnh dòng văn bản để phát hiện MEs tách biệt, trong khi các tham số Gaussian của hồ sơ chiếu được áp dụng cho việc phát hiện MEs nội tuyến.

2.1. Phương pháp lai trong phát hiện MEs

Phương pháp lai kết hợp giữa các đặc trưng thủ công và học sâu nhằm tối ưu hóa độ chính xác phát hiện. Các mạng nơ-ron tích chập (CNN) như AlexNet và ResNet đã được tối ưu hóa cho việc phát hiện MEs. Việc kết hợp các đặc trưng thủ công và học sâu dựa trên điểm dự đoán đã cho thấy hiệu quả cao trong việc phát hiện MEs mà không cần sử dụng nhận diện ký tự. Điều này cho phép hệ thống hoạt động trực tiếp trên ảnh MEs mà không cần qua bước nhận diện ký tự, từ đó nâng cao hiệu quả phát hiện.

III. Hệ thống phát hiện và nhận diện công thức toán học

Hệ thống được đề xuất tích hợp cả phát hiện và nhận diện MEs trong ảnh tài liệu. Các MEs trong ảnh tài liệu được phát hiện và nhận diện, với kết quả nhận diện được biểu diễn bằng Latex. Ứng dụng này nhằm hỗ trợ người dùng cuối trong việc sử dụng phát hiện và nhận diện MEs trong ảnh tài liệu một cách thuận tiện. Việc tích hợp này không chỉ giúp cải thiện độ chính xác mà còn tạo ra một quy trình làm việc liền mạch cho người dùng. Hệ thống đã được thử nghiệm trên hai tập dữ liệu công khai (Marmot và GTDB) với độ chính xác đạt được cho các biểu thức tách biệt và nội tuyến lần lượt là 92.90% và 91%. So sánh hiệu suất với các phương pháp truyền thống cho thấy tính hiệu quả của phương pháp đề xuất.

3.1. Tích hợp phát hiện và nhận diện

Việc tích hợp phát hiện và nhận diện MEs trong một hệ thống duy nhất mang lại nhiều lợi ích. Hệ thống không chỉ giúp phát hiện chính xác các MEs mà còn chuyển đổi chúng thành định dạng có thể sử dụng được. Điều này rất quan trọng trong việc số hóa tài liệu khoa học, nơi mà việc truy cập và sử dụng thông tin nhanh chóng là rất cần thiết. Hệ thống đã chứng minh được khả năng hoạt động hiệu quả trong môi trường thực tế, hỗ trợ người dùng trong việc tìm kiếm và sử dụng thông tin toán học một cách dễ dàng.