Luận án tiến sĩ: Nâng cao hiệu quả phát hiện công thức toán học trong ảnh văn bản

Luận án tiến sĩ nghiên cứu nghiên cứu cải thiện kết quả phát hiện công thức toán học trong ảnh văn bản, phát triển phương pháp mới, đánh giá hiệu quả ứng dụng trong lĩnh vực toán

• Tác giả: Bui Hai Phong
• Người hướng dẫn: Assoc. Hoang Manh Thang
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Computer Science
• Đề tài: Nâng Cao Hiệu Quả Phát Hiện Công Thức Toán Học Trong Ảnh Văn Bản
• Loại tài liệu: doctoral dissertation
• Năm xuất bản: 2021
• Địa điểm: Hanoi

Mục lục chi tiết

• DECLARATION OF AUTHORSHIP
• ACKNOWLEDGEMENT
• ABSTRACT
• 1. CONTENT
• 1.1. DECLARATION OF AUTHORSHIP
• 1.2. LIST OF TABLES
• 1.3. LIST OF FIGURES
• 1.4. Objectives of the thesis
• 1.5. Introduction of the ME detection and recognition
• 1.5.1. Introduction of MEs
• 1.5.2. Introduction of ME detection
• 1.5.3. Introduction of ME recognition
• 1.6. Contributions of this thesis
• 1.7. Structure of this thesis
• 1.8. ME detection methods in document images
• 1.8.1. Rule-based detection
• 1.8.2. Handcrafted feature extraction methods for the ME detection
• 1.8.3. Deep neural network for ME detection
• 1.8.3.1. Deep neural networks
• 1.8.3.2. Deep neural network models for ME detection
• 1.8.4. Traditional approaches for ME recognition
• 1.8.5. Neural network approaches for ME recognition
• 1.8.6. Datasets and evaluation metrics
• 1.8.7. Existing systems for ME recognition
• 1.8.8. Summary of the chapter
• 2. THE DETECTION OF MEs USING THE LATE FUSION OF HANDCRAFTED AND DEEP LEARNING FEATURES
• 2.1. Overview of the proposed method
• 2.2. Handcrafted feature extraction for ME detection
• 2.2.1. Handcrafted feature extraction for isolated ME detection
• 2.2.2. Handcrafted feature extraction for inline ME detection
• 2.3. Deep learning method for ME detection
• 2.4. Late fusion of handcrafted and deep learning features for ME detection
• 2.5. Post-processing for ME detection
• 2.6. Performance evaluation of the detection of MEs using different machine learning algorithms
• 2.7. Performance evaluation of the detection of MEs using the fusion of handcrafted and deep learning features with different operations
• 2.8. Performance evaluation of the detection of isolated and inline MEs on different public datasets
• 2.9. Evaluation of the impact of image resolution on the ME detection
• 2.10. Evaluation of the impact of the post-processing
• 2.11. Visualization of extracted features of images using the handcrafted and deep learning feature approaches
• 2.12. Error analysis and discussion
• 2.13. Measurement of execution time
• 2.14. Summary of the chapter
• 3. THE DETECTION OF MEs USING THE COMBINATION OF THE DISTANCE TRANSFORM AND FASTER R-CNN
• 3.1. Overview of the proposed method for ME detection using the DT and the Faster R-CNN
• 3.2. The detection of MEs using the DT and the Faster R-CNN
• 3.2.1. Distance transform of document image
• 3.2.2. ME detection using a Faster R-CNN
• 3.2.3. Region proposal network
• 3.2.4. Fully connected detection network
• 3.3. Loss function of the training Faster R-CNN
• 3.3.1. Loss function of the training process of Faster R-CNN
• 3.4. Evaluation of the impact of the DT and anchor box generation to the performance of the ME detection
• 3.5. Comparison of Faster R-CNN models in ME detection
• 3.6. Comparison of the proposed and state-of-the-art methods used in ME detection
• 3.7. Performance comparison of the proposed method on cross datasets
• 3.8. Illustration of feature extraction of the Resnet-50
• 3.9. Error analysis and discussion
• 3.10. Measurement of execution time
• 3.11. Summary of the chapter
• 4. THE DETECTION AND RECOGNITION OF MEs IN DOCUMENT IMAGES
• 4.1. Overview of the proposed system for the detection and recognition of MEs
• 4.2. ME recognition using the WAP network
• 4.2.1. Watcher module of the WAP network
• 4.2.2. Parser module of the WAP network
• 4.3. Training the WAP network
• 4.4. Performance evaluation of the detection and recognition of MEs
• 4.5. Error analysis and discussion
• 4.6. Measurement of execution time
• 4.7. Summary of the chapter
• ABBREVIATIONS
• LIST OF TABLES
• LIST OF FIGURES

Tóm tắt

I. Giới thiệu về phát hiện công thức toán học

Công thức toán học (MEs) đóng vai trò quan trọng trong các tài liệu khoa học. Việc phát hiện và nhận diện MEs trong ảnh văn bản là bước thiết yếu cho quá trình số hóa tài liệu. Phát hiện công thức nhằm xác định vị trí của các biểu thức trong tài liệu, trong khi nhận diện công thức chuyển đổi các biểu thức từ định dạng hình ảnh sang chuỗi. MEs được phân loại thành hai loại: biểu thức tách biệt và biểu thức nội tuyến. Biểu thức tách biệt hiển thị trên một dòng riêng, trong khi biểu thức nội tuyến được trộn lẫn với các thành phần khác. Độ chính xác trong việc phát hiện các biểu thức tách biệt đã được cải thiện dần, tuy nhiên, việc phát hiện các biểu thức nội tuyến vẫn là một thách thức lớn. Độ chính xác của việc phát hiện ảnh hưởng trực tiếp đến độ chính xác của việc nhận diện. Nếu phát hiện sai, sẽ dẫn đến lỗi trong nhận diện MEs.

1.1. Tầm quan trọng của công thức toán học trong tài liệu khoa học

Công thức toán học là thành phần không thể thiếu trong các tài liệu khoa học, giúp diễn đạt các khái niệm phức tạp một cách rõ ràng và chính xác. Việc số hóa các tài liệu này không chỉ giúp bảo tồn kiến thức mà còn tạo điều kiện thuận lợi cho việc nghiên cứu và học tập. Nhu cầu về việc phát hiện và nhận diện MEs trong tài liệu ngày càng tăng, đặc biệt trong bối cảnh số hóa tài liệu đang diễn ra mạnh mẽ. Các công nghệ như công nghệ OCR và công nghệ nhận diện hình ảnh đã được áp dụng để cải thiện hiệu quả phát hiện công thức toán học.

II. Phương pháp phát hiện công thức toán học

Nghiên cứu này đề xuất ba đóng góp chính trong việc phát hiện và nhận diện MEs trong ảnh tài liệu khoa học. Đầu tiên, một phương pháp lai hai giai đoạn được đề xuất để phát hiện MEs hiệu quả. Giai đoạn đầu tiên là phân tích bố cục của toàn bộ ảnh tài liệu nhằm cải thiện độ chính xác của việc phân đoạn dòng văn bản và từ. Giai đoạn thứ hai, cả MEs tách biệt và nội tuyến trong ảnh tài liệu được phát hiện. Các đặc trưng được trích xuất từ cả phương pháp thủ công và học sâu nhằm cải thiện độ chính xác phát hiện. Phương pháp thủ công sử dụng Biến đổi Fourier nhanh (FFT) cho ảnh dòng văn bản để phát hiện MEs tách biệt, trong khi các tham số Gaussian của hồ sơ chiếu được áp dụng cho việc phát hiện MEs nội tuyến.

2.1. Phương pháp lai trong phát hiện MEs

Phương pháp lai kết hợp giữa các đặc trưng thủ công và học sâu nhằm tối ưu hóa độ chính xác phát hiện. Các mạng nơ-ron tích chập (CNN) như AlexNet và ResNet đã được tối ưu hóa cho việc phát hiện MEs. Việc kết hợp các đặc trưng thủ công và học sâu dựa trên điểm dự đoán đã cho thấy hiệu quả cao trong việc phát hiện MEs mà không cần sử dụng nhận diện ký tự. Điều này cho phép hệ thống hoạt động trực tiếp trên ảnh MEs mà không cần qua bước nhận diện ký tự, từ đó nâng cao hiệu quả phát hiện.

III. Hệ thống phát hiện và nhận diện công thức toán học

Hệ thống được đề xuất tích hợp cả phát hiện và nhận diện MEs trong ảnh tài liệu. Các MEs trong ảnh tài liệu được phát hiện và nhận diện, với kết quả nhận diện được biểu diễn bằng Latex. Ứng dụng này nhằm hỗ trợ người dùng cuối trong việc sử dụng phát hiện và nhận diện MEs trong ảnh tài liệu một cách thuận tiện. Việc tích hợp này không chỉ giúp cải thiện độ chính xác mà còn tạo ra một quy trình làm việc liền mạch cho người dùng. Hệ thống đã được thử nghiệm trên hai tập dữ liệu công khai (Marmot và GTDB) với độ chính xác đạt được cho các biểu thức tách biệt và nội tuyến lần lượt là 92.90% và 91%. So sánh hiệu suất với các phương pháp truyền thống cho thấy tính hiệu quả của phương pháp đề xuất.

3.1. Tích hợp phát hiện và nhận diện

Việc tích hợp phát hiện và nhận diện MEs trong một hệ thống duy nhất mang lại nhiều lợi ích. Hệ thống không chỉ giúp phát hiện chính xác các MEs mà còn chuyển đổi chúng thành định dạng có thể sử dụng được. Điều này rất quan trọng trong việc số hóa tài liệu khoa học, nơi mà việc truy cập và sử dụng thông tin nhanh chóng là rất cần thiết. Hệ thống đã chứng minh được khả năng hoạt động hiệu quả trong môi trường thực tế, hỗ trợ người dùng trong việc tìm kiếm và sử dụng thông tin toán học một cách dễ dàng.

Nội dung chính

Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Trong quá trình số hóa tài liệu khoa học phục vụ lưu trữ, tra cứu và nghiên cứu, việc nhận dạng văn bản thông thường đã đạt được nhiều bước tiến lớn. Tuy nhiên, việc xử lý các tài liệu khoa học chứa mật độ cao các công thức toán học (Mathematical Expressions - MEs) vẫn là một thách thức kỹ thuật phức tạp. Tài liệu khoa học thường có cấu trúc không đồng nhất, bao gồm văn bản, bảng biểu, hình vẽ và các công thức toán học xen lẫn.

Mặc dù các tài liệu định dạng vector (PDF) hỗ trợ trích xuất thông tin cấu trúc tương đối thuận lợi, một khối lượng lớn tài liệu khoa học lịch sử và tài liệu lưu trữ chỉ tồn tại dưới dạng ảnh quét raster. Các kỹ thuật xử lý tài liệu PDF không thể áp dụng trực tiếp cho ảnh raster mà bắt buộc phải thông qua các giải pháp xử lý ảnh và thị giác máy tính. Trong đó, hai nhiệm vụ cốt lõi gồm:

1. Phát hiện vị trí công thức toán học (ME detection) trong trang tài liệu.
2. Nhận dạng nội dung công thức toán học (ME recognition) và chuyển đổi thành chuỗi ký tự có cấu trúc (như mã nguồn LaTeX).

Trong tài liệu, công thức toán học được phân loại thành hai nhóm chính:

• Công thức biệt lập (isolated/displayed expressions): đứng riêng biệt trên một hoặc nhiều dòng độc lập.
• Công thức nội dòng (inline/embedded expressions): nằm xen kẽ trực tiếp trong các dòng văn bản thông thường.

Khoảng trống nghiên cứu lớn nhất nằm ở việc phát hiện công thức nội dòng do sự đa dạng về ký hiệu toán học, cấu trúc không gian phi tuyến tính (chỉ số trên, chỉ số dưới, phân số), kích thước thay đổi (từ một ký tự đơn lẻ đến các biểu thức phức tạp), cũng như sự tương đồng về mặt hình học giữa các biến toán học in nghiêng và văn bản thông thường. Bên cạnh đó, các phương pháp truyền thống phụ thuộc nặng nề vào các hệ thống nhận dạng ký tự quang học (OCR) thương mại hoặc kỹ thuật phân tích bố cục tài liệu nhiều giai đoạn phức tạp, dễ dẫn đến lỗi lan truyền sang giai đoạn nhận dạng.

Mục tiêu và giả thuyết nghiên cứu

Mục tiêu tổng quát của luận án là nghiên cứu, đề xuất các phương pháp và mô hình nhằm nâng cao độ chính xác của việc phát hiện và nhận dạng công thức toán học trong ảnh tài liệu khoa học. Các mục tiêu cụ thể gồm:

1. Phân tích toàn diện các hướng tiếp cận hiện có về phát hiện công thức toán học, từ đó đề xuất các phương pháp mới nhằm nâng cao độ chính xác phát hiện cho cả công thức biệt lập và công thức nội dòng.
2. Thiết kế và hiện thực hóa khung làm việc tích hợp nhằm nâng cao độ chính xác nhận dạng công thức toán học sau khi phát hiện và chuyển đổi kết quả sang định dạng LaTeX phục vụ người dùng cuối.

Các giả thuyết nghiên cứu được xác định:

• Luận án tập trung vào việc phát hiện và nhận dạng các công thức toán học nằm trong phần thân (body) của tài liệu khoa học (các công thức nằm trong bảng biểu hoặc hình vẽ thuộc phạm vi bài toán phân tích bảng/hình ảnh chuyên biệt). Kích thước của công thức không vượt quá kích thước toàn bộ trang tài liệu.
• Tài liệu đầu vào là ảnh quét có độ phân giải cao và không bị nghiêng lệch (non-skew). Đối với tài liệu có độ phân giải thấp hoặc bị nghiêng, các kỹ thuật tiền xử lý chuẩn được giả định áp dụng trước khi đưa vào mô hình phát hiện.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các công thức toán học dạng in (printed MEs) bao gồm công thức biệt lập và công thức nội dòng xuất hiện trong các tài liệu khoa học raster.
• Phạm vi dữ liệu và không gian: Luận án thực nghiệm trên hai tập dữ liệu chuẩn học thuật công khai quốc tế là Marmot (400 trang tài liệu khoa học từ thư viện CiteSeerX) và GTDB / TFD-ICDAR 2019 (805 trang tài liệu khoa học dạng PDF chuyển đổi sang ảnh quét phân giải 600 dpi).
• Thời gian và địa điểm thực hiện: Nghiên cứu được thực hiện từ năm 2017 đến năm 2021 tại Viện Nghiên cứu Quốc tế MICA, Trường Công nghệ Thông tin và Truyền thông, Trường Điện - Điện tử thuộc Đại học Bách khoa Hà Nội, có sự hợp tác thực tập nghiên cứu tại Phòng thí nghiệm Aizawa, Viện Tin học Quốc gia (NII), Tokyo, Nhật Bản.

---

Tổng quan tài liệu và vị trí của luận án

Luận án đã hệ thống hóa các công trình nghiên cứu liên quan theo ba nhóm tiếp cận chính:

                                  Tổng quan tài liệu
Phân tích bố cục tài liệu        Phát hiện công thức (ME)        Nhận dạng công thức (ME)
(Top-down, Bottom-up,            (Dựa trên luật, Đặc trưng       (Tiếp cận truyền thống 3 bước,
Hybrid, Deep Learning)           thủ công, Mạng nơ-ron sâu)       Mô hình chuỗi Sequence-to-Sequence)

Phân tích bố cục tài liệu (Document Layout Analysis)

Phân tích bố cục tài liệu phân đoạn trang thành các vùng ngữ nghĩa. Các kỹ thuật phân đoạn trang truyền thống chia thành:

• Top-down (Ha et al., 1995; Antonacopoulos, 1998): chia trang thành khối, dòng và từ. Kỹ thuật này phù hợp với cấu trúc dạng khối chữ nhật nhưng kém hiệu quả với tài liệu phức tạp.
• Bottom-up (O'Gorman, 1993; Simon et al., 1997): gom cụm các điểm ảnh, thành phần liên thông thành ký tự, từ và dòng văn bản; độ chính xác cao hơn nhưng chi phí tính toán lớn.
• Phân giải đa tỉ lệ (Multi-scale resolution) (Kise et al., 1998): phân tích đặc trưng ở các mức phân giải khác nhau để phân loại văn bản và phi văn bản.
• Phương pháp lai (Hybrid) (Chen & Blostein, 2007; Shafait et al., 2008): kết hợp top-down và bottom-up nhằm giảm lỗi phân đoạn trên tài liệu phức tạp.
• Học sâu trong phân đoạn trang: Mô hình CNN 1 lớp (Sethi & Wise, 1991), mạng Fully Convolutional Network kết hợp ResNet-50 (He et al., 2016; Wick & Puppe, 2018). Bảng kết quả cuộc thi phân tích tài liệu quốc tế năm 2019 trên tập dữ liệu PRImA (Antonacopoulos et al., 2009) cho thấy phương pháp DSPH đạt 95,9%, MHS đạt 95,1%, BINYAS đạt 91,3%, JBM đạt 83,3% và Tesseract (Smith, 2007) đạt 78,0%.

Các phương pháp phát hiện công thức toán học

1. Dựa trên tập luật (Rule-based):

   • Lee & Wang (1995): phân loại thành phần liên thông thành toán học hoặc văn bản qua kết quả OCR.
   • Toumit et al. (1999): duyệt từ trái sang phải để trích xuất token nguyên thủy và đối sánh cấu trúc.
   • Fateman et al. (1996): mô hình đọc văn bản toán học, sử dụng luật kích thước và tập ký tự Hy Lạp trên tập dữ liệu hẹp 13 trang.
   • Kacem et al. (2001): phân tích thành phần liên thông, tỷ lệ khung hình (aspect ratio) và khoảng lề dòng trên ảnh quét 300 dpi từ máy Scanjet.
   • Drake & Baird (2005): sử dụng hai hệ thống OCR thương mại kết hợp n-gram từ và các đặc trưng từ thủ công.

2. Dựa trên trích xuất đặc trưng thủ công (Handcrafted features):

   • Suzuki et al. (2003): trích xuất đặc trưng hình học của thành phần liên thông và phân loại bằng bộ phân loại bậc hai (quadratic classifiers) cho công thức biệt lập.
   • Malon et al. (2008): tích hợp phát hiện công thức vào hệ thống OCRopus, sử dụng 5 đặc trưng bố cục dòng và bộ phân loại Support Vector Machine (SVM).
   • Chu & Liu (2013): phân đoạn dòng chi phí thấp và trích xuất đặc trưng hình học dòng/từ kết hợp SVM; độ chính xác (Precision) đạt 80% và độ bao phủ (Recall) đạt 48% cho công thức nội dòng trên tập dữ liệu sách Harvard.

3. Dựa trên mạng nơ-ron sâu (Deep Neural Networks):

   • Gao et al. (2017): sử dụng kiến trúc mạng U-Net phát hiện công thức trên tập dữ liệu GTDB-2 chứa 115.400 ký hiệu toán học, đạt Precision và Recall 95,x%. Tuy nhiên phương pháp chỉ dừng lại ở mức ký hiệu toán học mà chưa phân tích cấu trúc để tạo thành công thức hoàn chỉnh.
   • Yi et al. (2019), Phong et al. (2019): áp dụng Single Shot MultiBox Detector (SSD-512) và YOLOv3 trích xuất vùng cửa sổ trượt, đạt F-score 0,796 trên tập dữ liệu TFD-ICDAR2019v2.

Các phương pháp nhận dạng công thức toán học

• Tiếp cận truyền thống (3 giai đoạn): Gồm phân đoạn ký hiệu, phân loại ký hiệu và phân tích cấu trúc 2D (Blostein & Grbavec, 1996; Zanibbi & Blostein, 2012). Kỹ thuật phân tích cấu trúc bao gồm cây phân tích cú pháp (parse tree), ngữ pháp đồ thị (graph grammars) (Lavirotte & Pottier, 1998; MacLean & Labahn, 2013), ngữ pháp phi ngữ cảnh ngẫu nhiên 2D (2D-SCFG) (Chou, 1989; Álvaro et al., 2016), cây cấu trúc đường cơ sở (baseline structure tree) (Zanibbi et al., 2002) và Tesseract OCR kết hợp phân tích cây (Suryani et al., 2016). Điểm yếu là lỗi phân đoạn ký hiệu ban đầu gây tích tụ và phá vỡ toàn bộ cấu trúc nhận dạng.
• Tiếp cận học sâu (Sequence-to-Sequence): Sử dụng kiến trúc Encoder-Decoder. Deng et al. (2017) đề xuất mô hình dịch ảnh công thức sang chuỗi LaTeX (Im2LaTeX-100K) dùng CNN kết hợp cơ chế chú ý (soft attention) và Bidirectional LSTM. Zhang et al. (2017, 2018) phát triển kiến trúc Watcher-Attend-Parser (WAP) và DenseNet kết hợp GRU với cơ chế chú ý đa tầng (dual-loss attention) cho công thức viết tay và in.

Khoảng trống luận án giải quyết

Hầu hết các nghiên cứu trước đây chỉ giải quyết riêng lẻ từng bài toán (chỉ phát hiện công thức biệt lập, chỉ phát hiện ký hiệu rời rạc mà không tạo khung bao biểu thức, hoặc chỉ nhận dạng ảnh công thức đã được cắt sẵn). Luận án giải quyết trực tiếp bài toán phát hiện đồng thời cả công thức biệt lập và nội dòng từ ảnh trang đầy đủ, kết hợp đặc trưng tần số/hình học với học sâu, phát triển mô hình đầu-cuối (end-to-end) không phụ thuộc OCR và tích hợp quy trình nhận dạng tự động ra mã nguồn LaTeX.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và định nghĩa toán học

• Định nghĩa công thức toán học: Theo Anderson (1977) và Martin (1967), công thức toán học là sự kết hợp hữu hạn của các số, biến số và toán tử toán học theo các quy tắc ngữ cảnh nghiêm ngặt, biểu diễn cấu trúc không gian phi tuyến tính 2D (chỉ số trên/dưới, phân số, ma trận, tích phân).
• Phát hiện công thức toán học (ME Detection): Cho ảnh tài liệu đầu vào $I$, tập nhãn chân lý $G = {g_i = (x_i, y_i, w_i, h_i)}$, và tập các hộp bao phát hiện $D = {d_j = (x_j, y_j, w_j, h_j)}$. Mục tiêu là tìm hàm ánh xạ đơn ánh $f: D \rightarrow G$ sao cho tỷ lệ trùng khớp (Intersection over Union - IoU) giữa các hộp bao là cực đại.
• Nhận dạng công thức toán học (ME Recognition): Cho ảnh công thức $I \in \mathbb{R}^{H \times W}$, mục tiêu là ánh xạ $I$ thành chuỗi nhãn chân lý ký tự LaTeX $S = (s_1, s_2, \dots, s_T)$. Hàm dự đoán chuỗi $f'(x) \rightarrow S'$ được tối ưu hóa để cực đại hóa độ tương đồng giữa $S$ và $S'$.
• Phép tích chập 2D (2D Convolution): $$G[m, n] = (f * h)[m, n] = \sum_j \sum_k h[j, k] f[m - j, n - k]$$ Trong đó $f$ là ảnh đầu vào, $h$ là hạt nhân tích chập (kernel), $m$ và $n$ là chỉ số hàng và cột của ma trận kết quả.
• Hàm kích hoạt và biến đổi hình học: Sử dụng ReLU, Sigmoid, biến đổi Fourier nhanh (Fast Fourier Transform - FFT) để phân tích phổ tần số biên độ/pha, và biến đổi khoảng cách (Distance Transform - DT) với ba thước đo khoảng cách (Euclidean, City Block, Chessboard).

Phương pháp nghiên cứu

Luận án áp dụng phương pháp nghiên cứu thực nghiệm định lượng kết hợp kỹ thuật thị giác máy tính và học sâu:

Thành phần nghiên cứu	Mô hình / Kỹ thuật thực tế	Công cụ & Thuật toán phân tích
Phân đoạn bố cục	Chiếu biên dạng ngang (HPP) & Chiếu biên dạng dọc (VPP)	Phân đoạn dòng văn bản và từ
Đặc trưng thủ công	Phổ biên độ và pha FFT (công thức biệt lập); Tham số Gauss của VPP/HPP (công thức nội dòng)	Phân tích phân bố cực đại/cực tiểu (peaks/valleys), kiểu chữ nghiêng (italic)
Học máy truyền thống	SVM (Support Vector Machine), kNN (k-Nearest Neighbor), Random Forest (RF)	Tinh chỉnh siêu tham số phân loại
Học sâu phát hiện đa chặng	Mạng nơ-ron tích chập AlexNet và ResNet-18	Chuyển giao học tập (Transfer learning), Trích xuất đặc trưng tầng sâu
Kết hợp đặc trưng (Fusion)	Kết hợp muộn (Late Fusion) dựa trên điểm số dự đoán	Phép toán kết hợp điểm xác suất
Mô hình đầu-cuối (End-to-End)	Biến đổi khoảng cách (DT) + Faster R-CNN (Backbone ResNet-50)	Mạng đề xuất vùng (RPN), Tối ưu hộp neo (Anchor boxes: 15 cho isolated, 12 cho inline)
Nhận dạng công thức	Mạng WAP (Watcher-Attend-Parser)	Watcher: Fully Convolutional Network (FCN); Parser: Gated Recurrent Unit (GRU) + Attention

Nguồn dữ liệu thực nghiệm

Nghiên cứu sử dụng 2 tập dữ liệu học thuật chuẩn quốc tế:

Thuộc tính tập dữ liệu	Tập dữ liệu Marmot	Tập dữ liệu GTDB (TFD-ICDAR 2019)
Tổng số trang	400 trang (330 huấn luyện / 70 kiểm thử)	805 trang (569 huấn luyện / 236 kiểm thử)
Số công thức biệt lập	1.575 (1.322 huấn luyện / 253 kiểm thử)	6.706 (4.218 huấn luyện / 2.488 kiểm thử)
Số công thức nội dòng	7.907 (6.951 huấn luyện / 956 kiểm thử)	31.575 (22.178 huấn luyện / 9.397 kiểm thử)
Số lượng phông chữ	18 phông (ArialMT, TimesNewRoman, CMR, CMSY...)	30 phông (Times, Helvetica, CMCSC, CMMI, MSBM...)
Kích thước ký tự	4 px – 22 px	4 px – 28 px
Độ phân giải ảnh	500 dpi	600 dpi
Định dạng nhãn chuẩn	Tọa độ Hexadecimal 16 ký tự trong tệp XML	Tọa độ điểm ảnh trong tệp CSV

---

Nội dung chính theo từng chương

Chapter 1: Literature Review

Chương 1 tiến hành khảo sát và đánh giá toàn diện các nghiên cứu liên quan đến phân tích tài liệu, phát hiện và nhận dạng công thức toán học.

• Phân tích phân đoạn dòng: Luận án chỉ ra hiện tượng sai số đặc thù trong tài liệu khoa học khi các công thức toán học có kích thước lớn thường bị chia cắt sai thành nhiều dòng văn bản (Hình 1.2).
• So sánh kiến trúc học sâu: Hệ thống hóa các mốc phát triển từ Neocogitron (1980), RNN (1986), LeNet (1990), LSTM (1997), AlexNet (2012) đến ResNet (2016). Phân tích cấu trúc tham số chi tiết của AlexNet (62.378.344 tham số) và ResNet-18 (11.511.784 tham số) dùng trong bài toán phân loại hình ảnh.
• Phân tích các mô hình phát hiện đối tượng: So sánh R-CNN (tạo 2000 region proposals bằng thuật toán chọn lọc, chi phí tính toán cao), Fast R-CNN (dùng RoI Pooling trên toàn bộ feature map), Faster R-CNN (tích hợp mạng RPN chia sẻ tầng tích chập), YOLO (chia lưới ô dự đoán thời gian thực) và SSD (dự đoán đa tỉ lệ trên nhiều feature map).

Chapter 2: The Detection of MEs Using the Late Fusion of Handcrafted and Deep Learning Features

Chương 2 trình bày phương pháp lai hai giai đoạn kết hợp đặc trưng thủ công và đặc trưng học sâu:

• Giai đoạn 1 - Phân tích bố cục: Sử dụng biểu đồ chiếu ngang (Horizontal Projection Profile - HPP) để phân đoạn trang thành các dòng văn bản, sau đó áp dụng biểu đồ chiếu dọc (Vertical Projection Profile - VPP) trên từng dòng để tách thành các từ.
• Giai đoạn 2 - Trích xuất đặc trưng và phân loại:
  • Đối với công thức biệt lập: Sử dụng biến đổi Fourier nhanh (FFT) trích xuất phổ năng lượng, biên độ và pha của ảnh dòng. Do công thức biệt lập có cấu trúc không gian gián đoạn và mật độ pixel khác biệt so với dòng văn bản thông thường, phân bố phổ pha/biên độ FFT tạo ra sự phân tách rõ rệt.
  • Đối với công thức nội dòng: Trích xuất các tham số Gauss từ biểu đồ chiếu VPP/HPP của ảnh từ. Phân tích sự khác biệt về đỉnh (peaks) và đáy (valleys) của VPP giữa các biến toán học in nghiêng (italic) và chữ cái in thẳng (non-italic) trên các phông chữ Arial và Times New Roman.
  • Mô hình học sâu: Tinh chỉnh AlexNet và ResNet-18 qua học chuyển giao để trích xuất biểu diễn đặc trưng mức cao.
  • Kết hợp muộn (Late Fusion): Điểm số xác suất từ bộ phân loại học máy (SVM, kNN, RF) trên đặc trưng thủ công được kết hợp với điểm số từ mạng CNN thông qua các phép toán kết hợp.
• Hậu xử lý (Post-processing): Hợp nhất các dòng hoặc từ liền kề bị phân đoạn sai dựa trên ngưỡng khoảng cách hình học thẳng đứng và nằm ngang.
• Đánh giá thực nghiệm:
  • Đánh giá ảnh hưởng của độ phân giải: Thử nghiệm trên tập Marmot ở các mức 500 dpi, 300 dpi và 150 dpi.
  • Trực quan hóa đặc trưng bằng t-SNE với khoảng cách Mahalanobis và Cosine cho thấy sự phân cụm rõ rệt giữa công thức toán học và văn bản thông thường.
  • Đo đạc thời gian thực thi trung bình trên mỗi trang tài liệu.

Chapter 3: The Detection of MEs Using the Combination of the Distance Transform and Faster R-CNN

Chương 3 đề xuất khung làm việc phát hiện công thức toán học đầu-cuối (end-to-end) không cần tiền xử lý phân đoạn dòng/từ hoặc OCR:

• Biến đổi khoảng cách (Distance Transform - DT): Ảnh tài liệu nhị phân được biến đổi sang ảnh mức xám/ảnh 3 kênh RGB thông qua các hàm khoảng cách Euclidean, City Block và Chessboard. Phép biến đổi DT làm nổi bật sự khác biệt về bố cục không gian cục bộ xung quanh các ký hiệu toán học so với các ký tự văn bản chuẩn.
• Tối ưu hóa kiến trúc Faster R-CNN (Backbone ResNet-50):
  • Phân tích phân bố chiều rộng và chiều cao thực tế của các công thức trong tập huấn luyện Marmot.
  • Tối ưu hóa chiến lược sinh hộp neo (anchor boxes) trong mạng đề xuất vùng (RPN): Thiết lập tập 15 hộp neo tối ưu cho công thức biệt lập và tập 12 hộp neo tối ưu cho công thức nội dòng dựa trên tỷ lệ đè phủ IoU thực tế.
  • Huấn luyện mạng với hàm mất mát đa nhiệm (multitask loss) kết hợp phân loại và hồi quy tọa độ.
• Kết quả thực nghiệm:
  • Biến đổi khoảng cách với thước đo Euclidean cho hiệu năng phát hiện vượt trội so với City Block và Chessboard.
  • Độ chính xác phát hiện trên tập Marmot đạt 92,90% cho cả công thức biệt lập và nội dòng; trên tập GTDB đạt 91,x%.
  • Đánh giá chéo tập dữ liệu (Cross-dataset evaluation): Mô hình huấn luyện trên GTDB được kiểm thử trên Marmot và ngược lại, chứng minh khả năng tổng quát hóa của mạng Faster R-CNN tối ưu.

Ảnh tài liệu đầu vào (Binary)
Biến đổi khoảng cách (DT: Euclidean Metric)
Ảnh 3 kênh (RGB Conversion)
Trích xuất đặc trưng Backbone (ResNet-50)
Mạng đề xuất vùng (RPN: 15 Anchor Boxes cho Isolated / 12 cho Inline)
Tầng RoI Pooling & Mạng nơ-ron kết nối đầy đủ (Classification & Bounding Box Regression)
Vị trí công thức phát hiện (Hộp bao tọa độ Isolated & Inline MEs)

Chapter 4: The Detection and Recognition of MEs in Document Images

Chương 4 hiện thực hóa hệ thống tích hợp hoàn chỉnh từ phát hiện đến nhận dạng công thức toán học:

• Kiến trúc nhận dạng WAP (Watcher-Attend-Parser):
  • Watcher: Mạng tích chập hoàn toàn (Fully Convolutional Network - FCN) tiếp nhận ảnh công thức đã phát hiện và trích xuất bản đồ đặc trưng 2D bảo toàn thông tin không gian.
  • Parser: Mạng nơ-ron hồi quy đơn vị cổng (Gated Recurrent Unit - GRU) kết hợp cơ chế chú ý không gian (spatial attention mechanism). Cơ chế chú ý cho phép bộ giải mã tập trung vào các vùng ảnh ký hiệu toán học tương ứng tại mỗi bước sinh token mà không bị phụ thuộc vào độ dài chuỗi LaTeX.
• Huấn luyện và biểu diễn: Mô hình được huấn luyện trên tập nhãn ký hiệu toán học chuẩn, chuyển đổi biểu thức trực quan sang mã nguồn chuỗi ký tự LaTeX.
• Giao diện ứng dụng người dùng: Luận án xây dựng giao diện đồ họa (GUI) cho phép người dùng tải ảnh trang tài liệu, tự động phát hiện vị trí công thức (đánh dấu trực quan trên trang) và hiển thị kết quả biên dịch LaTeX tương ứng.
• Phân tích lỗi: Thống kê tỷ lệ các dạng lỗi trong nhận dạng (lỗi thiếu ký tự, lỗi bỏ sót phân số, lỗi lan truyền từ việc cắt viền hộp bao không chính xác ở bước phát hiện) và so sánh thời gian thực thi tổng thể.

Chapter Conclusion

Chương kết luận tổng hợp toàn bộ các kết quả đạt được trong việc nâng cao hiệu quả phát hiện và nhận dạng công thức toán học, đồng thời thảo luận các giới hạn hiện tại và định hướng các nghiên cứu tiếp theo.

---

Kết quả và những đóng góp mới

Những đóng góp mới của luận án

1. Phương pháp phát hiện hai giai đoạn dựa trên kết hợp muộn đặc trưng thủ công và học sâu:
   • Đề xuất việc ứng dụng phân tích phổ FFT cho ảnh dòng để phát hiện công thức biệt lập và khai thác tham số phân bố Gauss từ biểu đồ chiếu (VPP/HPP) để phát hiện công thức nội dòng.
   • Kết hợp tối ưu điểm số dự đoán giữa các bộ phân loại học máy truyền thống (SVM, kNN, RF) và mạng tích chập sâu (AlexNet, ResNet-18), cho phép phát hiện trực tiếp công thức toán học từ ảnh mà không cần nhận dạng từng ký tự riêng lẻ.
2. Khung làm việc phát hiện đầu-cuối sử dụng biến đổi khoảng cách và Faster R-CNN cải tiến:
   • Loại bỏ hoàn toàn sự phụ thuộc vào các công cụ OCR hoặc các bước phân tích phân đoạn tài liệu phức tạp của các phương pháp truyền thống.
   • Ứng dụng biến đổi khoảng cách (Distance Transform) để tăng cường cấu trúc không gian đặc thù của công thức toán học.
   • Thiết kế chiến lược tối ưu hóa tập hộp neo (anchor boxes) chuyên biệt trong mạng RPN (15 hộp neo cho isolated MEs và 12 hộp neo cho inline MEs), nâng cao hiệu quả phát hiện các công thức có kích thước và tỷ lệ khung hình biến thiên mạnh.
   • Đạt độ chính xác 92,90% trên tập Marmot và 91,x% trên tập GTDB.
3. Hệ thống tích hợp hoàn chỉnh phát hiện và nhận dạng công thức toán học:
   • Tích hợp thành công mô hình phát hiện Faster R-CNN với mạng nhận dạng WAP (FCN + GRU Attention) để tự động xuất ra chuỗi định dạng LaTeX từ ảnh tài liệu gốc.
   • Xây dựng phần mềm ứng dụng có giao diện trực quan hỗ trợ người dùng cuối số hóa tài liệu khoa học thuận tiện.

Giải pháp và kiến nghị

• Cần chuẩn hóa dữ liệu ảnh đầu vào ở độ phân giải phù hợp (tối ưu từ 300 dpi đến 500-600 dpi) để đảm bảo các đặc trưng hình thái ký hiệu toán học không bị suy biến.
• Khuyến nghị sử dụng mô hình đầu-cuối trên nền tảng biến đổi khoảng cách và Faster R-CNN tối ưu hộp neo khi xây dựng các hệ thống số hóa tài liệu quy mô lớn nhằm giảm thiểu can thiệp thủ công và loại bỏ lỗi phân đoạn trung gian.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận trong luận án

• Điều kiện ảnh đầu vào: Các mô hình đề xuất được thiết kế và kiểm thử tối ưu trên các tài liệu quét có độ phân giải cao, ngay ngắn (non-skew); độ chính xác có xu hướng suy giảm khi xử lý tài liệu có độ phân giải thấp (150 dpi) hoặc bị nhiễu/nghiêng lệch nặng.
• Phân tách công thức trong thành phần phức tạp: Luận án chỉ tập trung vào công thức toán học trong phần thân văn bản; việc phát hiện công thức nằm bên trong các bảng biểu (tables) hoặc hình vẽ (figures) chưa được xử lý trong phạm vi nghiên cứu này.
• Lỗi nhận dạng tích tụ: Một số sai sót nhỏ ở khâu định vị hộp bao trong bước phát hiện (cắt chạm ký tự chỉ số trên/dưới) có thể dẫn đến việc mô hình WAP bỏ sót ký tự hoặc nhận dạng sai cấu trúc phân số phức tạp.

Hướng nghiên cứu tiếp theo

• Mở rộng thuật toán để xử lý các tài liệu chất lượng thấp, tài liệu lịch sử có độ nhiễu cao, tài liệu bị nghiêng lệch phức tạp.
• Nghiên cứu phát hiện công thức toán học xuất hiện bên trong các bảng số liệu và hình minh họa khoa học.
• Nâng cấp mạng nhận dạng WAP bằng các kiến trúc Transformer và DenseNet cải tiến, hướng tới mô hình hợp nhất hoàn toàn một bước (single-stage joint detection and recognition).

---

Giá trị tham khảo

• Đối với nghiên cứu sinh và học viên ngành Khoa học máy tính, Thị giác máy tính: Cung cấp tài liệu tham khảo chi tiết về quy trình kết hợp giữa xử lý ảnh truyền thống (biến đổi Fourier, biểu đồ chiếu, biến đổi khoảng cách) và các mạng nơ-ron tích chập sâu (Faster R-CNN, ResNet-50, WAP) trong phân tích tài liệu học thuật.
• Đối với giảng viên và chuyên gia xử lý ngôn ngữ/tài liệu: Cung cấp bộ phương pháp luận chuẩn mực về thiết lập thực nghiệm, xử lý dữ liệu nhãn XML/CSV và đánh giá trên các tập dữ liệu chuẩn quốc tế như Marmot và GTDB/TFD-ICDAR.
• Đối với các đơn vị phát triển hệ thống số hóa thư viện: Cung cấp kiến trúc hệ thống và giải pháp kỹ thuật cụ thể để xây dựng công cụ số hóa tự động các bài báo khoa học, luận án, sách toán học từ định dạng ảnh quét sang văn bản số có thể tra cứu và chỉnh sửa dưới dạng LaTeX.

---

Câu hỏi thường gặp

1. Luận án phân loại công thức toán học thành những dạng nào và dạng nào phức tạp hơn trong bài toán phát hiện?

Tác giả phân loại công thức toán học thành hai nhóm: công thức biệt lập (isolated expressions - hiển thị trên dòng riêng biệt) và công thức nội dòng (inline expressions - nằm xen lẫn trong dòng văn bản). Phát hiện công thức nội dòng phức tạp hơn nhiều do sự đa dạng về ký hiệu, cấu trúc chỉ số trên/dưới phi tuyến tính, kích thước nhỏ (có thể chỉ gồm một ký tự biến số) và tính tương đồng hình thái với văn bản in nghiêng thông thường.

2. Sự khác biệt cốt lõi giữa hai phương pháp phát hiện đề xuất ở Chương 2 và Chương 3 là gì?

Phương pháp ở Chương 2 là quy trình đa chặng (multi-stage hybrid), bắt buộc phải phân đoạn trang thành dòng và từ trước, sau đó trích xuất đặc trưng thủ công (FFT, tham số Gauss) kết hợp mạng CNN (AlexNet, ResNet-18) thông qua kết hợp muộn (Late Fusion). Ngược lại, phương pháp ở Chương 3 là khung làm việc đầu-cuối (end-to-end), sử dụng biến đổi khoảng cách (Distance Transform) kết hợp mạng Faster R-CNN tối ưu hộp neo (anchor boxes), phát hiện trực tiếp từ toàn bộ trang ảnh mà không cần phân đoạn bố cục hay OCR.

3. Biến đổi khoảng cách (Distance Transform) đóng vai trò gì trong mô hình Faster R-CNN ở Chương 3?

Biến đổi khoảng cách chuyển đổi ảnh tài liệu nhị phân thành ảnh mức xám/RGB biểu diễn khoảng cách từ mỗi điểm ảnh đến biên ký tự gần nhất. Kỹ thuật này làm nổi bật cấu trúc không gian hình học đặc thù xung quanh các công thức toán học (khoảng trống, tỷ lệ phân bố pixel) so với các dòng văn bản thông thường, giúp mạng trích xuất đặc trưng ResNet-50 phân biệt chính xác hơn các vùng công thức.

4. Tập hộp neo (anchor boxes) trong mạng RPN của Faster R-CNN được tối ưu hóa như thế nào?

Dựa trên phân tích thực nghiệm về phân bố chiều rộng, chiều cao và tỷ lệ khung hình của hàng nghìn công thức trong tập dữ liệu huấn luyện Marmot, tác giả đã thiết lập chiến lược tạo hộp neo riêng biệt: 15 hộp neo tối ưu chuyên dùng để phát hiện công thức biệt lập (kích thước lớn, trải dài theo dòng) và 12 hộp neo tối ưu chuyên dùng để phát hiện công thức nội dòng (kích thước nhỏ, tỷ lệ co giãn linh hoạt).

5. Khung nhận dạng công thức toán học ở Chương 4 sử dụng kiến trúc gì và xuất kết quả dưới dạng nào?

Hệ thống sử dụng mạng WAP (Watcher-Attend-Parser) gồm hai khối: khối Watcher là mạng tích chập hoàn toàn (FCN) trích xuất đặc trưng hình ảnh 2D, và khối Parser là mạng hồi quy GRU tích hợp cơ chế chú ý (attention mechanism) để giải mã tuần tự các đặc trưng không gian thành chuỗi ký tự toán học chuẩn định dạng LaTeX.

---

Kết luận

Luận án tiến sĩ của tác giả Bùi Hải Phong đã giải quyết thành công bài toán phát hiện và nhận dạng công thức toán học trong ảnh tài liệu khoa học thông qua hai hướng tiếp cận chính: mô hình kết hợp đặc trưng thủ công - học sâu đa chặng và mô hình đầu-cuối dựa trên biến đổi khoảng cách kết hợp Faster R-CNN cải tiến. Các mô hình đề xuất đã đạt độ chính xác cao trên hai tập dữ liệu chuẩn quốc tế Marmot (92,90%) và GTDB (91,x%), đồng thời chứng minh tính hiệu quả khi tích hợp vào hệ thống nhận dạng tự động ra mã nguồn LaTeX. Công trình đóng góp giải pháp kỹ thuật hoàn chỉnh cho lĩnh vực thị giác máy tính và phân tích tài liệu, phục vụ trực tiếp cho công tác số hóa tự động nguồn tài nguyên tri thức khoa học dạng ảnh quét raster.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY BUI HAI PHONG ENHANCING PERFORMANCE OF MATHEMATICAL EXPRESSION DETECTION IN SCIENTIFIC DOCUMENT IMAGES DOCTORAL DISSERTATION IN COMPUTER SCIENCE Hanoi−2021 luan an MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY BUI HAI PHONG ENHANCING PERFORMANCE OF MATHEMATICAL EXPRESSION DETECTION IN SCIENTIFIC DOCUMENT IMAGES Major: Computer Science Code: 9480101 DOCTORAL DISSERTATION IN COMPUTER SCIENCE SUPERVISORS: 1. Hoang Manh Thang 2. Le Thi Lan Hanoi−2021 luan an DECLARATION OF AUTHORSHIP I, Bui Hai Phong, declare that the thesis titled "Enhancing performance of mathe- matical expression detection in scientific document images" has been entirely composed by myself. I assure some points as follows:  This work was done wholly or mainly while in candidature for a Ph.

research degree at Hanoi University of Science and Technology.  The work has not be submitted for any other degree or qualifications at Hanoi University of Science and Technology or any other institutions.  Appropriate acknowledge has been given within this thesis where reference has been made to the published work of others.  The thesis submitted is my own, except where work in the collaboration has been included.

The collaborative contributions have been clearly indicated. Hanoi, September, 2021 PhD Student SUPERVISORS 1. Hoang Manh Thang 2. Le Thi Lan i luan an ACKNOWLEDGEMENT I decided to pursue a PhD.

in Computer Science at MICA International Research Institute, Hanoi University of Science and Technology (HUST) in 2017. It has been one of the best decisions I could have made. HUST is a really special place where I have accumulated immense knowledge. I would like to thank Executive Board and all members of MICA Research Institute, HUST for the kind support in the PhD.

I wish to express my deepest gratitude to my supervisors Assoc. Hoang Manh Thang and Assoc. Le Thi Lan for their continuous instruction, advice and support in the PhD course. The thesis cannot be fulfilled without the specific direction of my supervisors.

I wish to thank all members of Computer Vision Department, MICA Research Institute, HUST for the frequent support in the PhD. I wish to thank Executive Board and all members of School of Graduate Education; School of School of Electronics and Telecommunications and School of Information and Communication Technology, HUST for the specific comments and suggestion for the thesis. I wish to thank all members of Faculty of Information Technology, Hanoi Archi- tectural University for the support in the professional work in the completion of the PhD. I wish to thank Professor Akiko Aizawa and members of Aizawa Laboratory, Na- tional Institute of Informatics, Tokyo, Japan where I have obtained many scientific experiences during the internship of the PhD.

I wish to thank anonymous reviewers for valuable comments during the completion of the PhD. I gratefully acknowledge the funding from SAHEP HUST project number T2020- SAHEP-008 and Domestic Master/ PhD Scholarship Programme of Vingroup Innova- tion Foundation 2019-2021. I wish to express my sincere gratitude to my family and friends for the continuous support and encouragement in the completion of the PhD. Student ii luan an ABSTRACT Mathematical expressions (MEs) play an important role in scientific documents and a huge number of scientific documents have been produced over years.

Therefore, the demand of document digitization for researching and studying purposes has contin- uously increased. Detection and recognition of MEs in documents are considered as essential steps for document digitization. The detection of expressions aims to locate the position of expressions within documents. Meanwhile, the recognition of MEs aims at converting expressions from image format to string.

In the documents, mathematical expressions are classified in two categories: isolated (displayed) and inline (embedded) expressions. An isolated expression displays in a separate line, an inline expression is mixed with other components (texts). Mathematical expressions may consist of math- ematical operators (e. Large expressions may consist of multiple text lines.

Meanwhile, small expressions may consist of one character. The accuracy of the detection of isolated expressions has been gradually improved. However, the detection of inline expressions is considered as a challenging task. In practice, the detection and recognition of MEs in document images are closely related.