Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên số hóa và phát triển mạnh mẽ của công nghệ thông tin, khối lượng tri thức học thuật, giáo trình, bài giảng và công trình nghiên cứu được xuất bản trực tuyến ngày càng tăng nhanh. Đối với môn Toán và các khối ngành kỹ thuật, việc soạn thảo tài liệu chứa các công thức, phương trình toán học phức tạp đòi hỏi sự chuẩn xác cao về mặt định dạng. Ngôn ngữ định dạng văn bản LaTeX (được phát triển mở rộng từ hệ thống TeX của Donald Knuth bởi Leslie Lamport và sau đó là pdfTeX của Hàn Thế Thành) đã trở thành công cụ tiêu chuẩn trong cộng đồng học thuật quốc tế. Tuy nhiên, việc soạn thảo mã LaTeX thủ công tiêu tốn rất nhiều thời gian và công sức, đặc biệt đối với những người dùng chưa thành thạo cú pháp lệnh.

Nhằm giải quyết khó khăn này, bài toán chuyển thể hình ảnh phương trình toán học sang mã định dạng LaTeX (Image-to-LaTeX) đã được đặt ra. Khác với bài toán nhận dạng ký tự quang học (OCR) thông thường chỉ nhận diện chuỗi ký tự tuần tự một chiều, hay bài toán mô tả hình ảnh (Image Captioning) và nhận dạng giọng nói (ASR), bài toán Image-to-LaTeX xử lý ảnh đầu vào là các nét vẽ trắng đen đơn giản nhưng chứa cấu trúc không gian hai chiều phức tạp, có sự lồng ghép, phân cấp (như phân số, ma trận, tích phân, chỉ số trên và dưới) cùng hiện tượng chồng chéo ký hiệu trong mã nguồn đích.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài bao gồm:

  1. Nghiên cứu tổng quan lý thuyết về thị giác máy tính (Computer Vision), xử lý ngôn ngữ tự nhiên (NLP) và các mô hình học sâu (Deep Learning) ứng dụng cho bài toán Image-to-LaTeX.
  2. Xây dựng mô hình mạng nơ-ron tích hợp Bộ Mã Hóa (Encoder) và Bộ Giải Mã (Decoder) sử dụng kiến trúc Vision Transformer (ViT), kết hợp với mạng tích chập ResNetV2 và kỹ thuật mã hóa từ phụ Byte-Pair Encoding (BPE).
  3. Thực nghiệm, huấn luyện và đánh giá mô hình trên các bộ dữ liệu chuẩn và dữ liệu thực tế.
  4. Xây dựng giao diện ứng dụng web và triển khai hệ thống Application Programming Interface (API) phục vụ việc nhận dạng thời gian thực.

Đối tượng nghiên cứu của khóa luận là các hình ảnh chứa phương trình và công thức toán học được trích xuất từ tài liệu văn bản. Phạm vi nghiên cứu tập trung vào việc chuyển đổi chính xác dữ liệu hình ảnh sang chuỗi văn bản định dạng mã nguồn LaTeX tương ứng.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp đồng thời phương pháp nghiên cứu lý thuyết và phương pháp nghiên cứu thực nghiệm:

  • Phương pháp nghiên cứu lý thuyết:

    • Khảo sát các kiến trúc mạng nơ-ron tích chập (CNN), Convolution Row Encoder (kết hợp CNN và Bi-LSTM), mạng phần dư ResNetV2 với các khối Residual Inception và cơ chế kết nối bỏ qua (Skip-connections) nhằm giải quyết hiện tượng triệt tiêu đạo hàm (Vanishing Gradient).
    • Nghiên cứu kiến trúc Vision Transformer (ViT) áp dụng cơ chế tự chú ý (Self-Attention) để nắm bắt tương quan không gian toàn cục giữa các phân vùng ảnh (patches).
    • Phân tích mô hình giải mã Transformer sử dụng cơ chế chú ý đa đầu (Multi-Head Attention) kết hợp phép che mặt nạ (Masked Attention) nhằm xử lý dữ liệu dạng chuỗi tuần tự.
    • Phân tích kỹ thuật mã hóa từ phụ Byte-Pair Encoding (BPE) và ByteLevel pretokenizer nhằm giải quyết triệt để vấn đề từ ngoài từ điển (Out-Of-Vocabulary - OOV) trong các biểu thức toán học.

  • Phương pháp nghiên cứu thực nghiệm:

    • Thu thập và chuẩn bị dữ liệu: Sử dụng bộ dữ liệu do Công ty WeAI thu thập từ tài liệu môn Toán thực tế và các bài báo khoa học quốc tế, cùng với bộ dữ liệu chuẩn học thuật IM2LATEX-100K (hơn 100.000 ảnh phương trình toán học do nhóm nghiên cứu tại Đại học Harvard công bố).
    • Xây dựng đường ống xử lý dữ liệu (Data Pipeline): Sử dụng thư viện Albumentations để thực hiện các phép tăng cường dữ liệu ảnh (Data Augmentation) và áp dụng thuật toán đệm ảnh (Padding) đưa kích thước về bội số của 16.
    • Đánh giá định lượng: Sử dụng 3 thang đo tiêu chuẩn trong xử lý ngôn ngữ và nhận dạng ký tự:
      • BLEU (BiLingual Evaluation Understudy): Đánh giá mức độ trùng khớp chuỗi n-gram giữa mã LaTeX dự đoán và nhãn gốc (Ground Truth).
      • Levenshtein Distance (Edit Distance): Đo lường số phép biến đổi tối thiểu (thêm, xóa, thay thế) giữa hai chuỗi ký hiệu.
      • Token Accuracy: Đo tỷ lệ phần trăm các token dự đoán khớp hoàn toàn với chuỗi nhãn chuẩn.

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc phần mềm học sâu kết hợp dịch vụ web phục vụ suy luận:

[Hình ảnh đầu vào] 
[Chuỗi LaTeX đầu ra & Web API Flask]

  • Kiến trúc mô hình học sâu:

    1. Bộ tiền xử lý ảnh:
      • Ảnh đầu vào được điều chỉnh kích thước theo thuật toán đệm khoảng trắng 4 hướng nhằm bảo toàn tỷ lệ và nét chữ. Kích thước chiều cao ($H$) và chiều rộng ($W$) mới được tính toán theo công thức: $$\text{Kích thước mới} = \text{Kích thước hiện tại} + (16 - (\text{Kích thước hiện tại} \pmod{16}))$$
      • Áp dụng các biến đổi: ShiftScaleRotate, GridDistortion, GaussianNoise, RGBShift, RandomBrightnessContrast, ImageCompression, Normalize, ToGray, và chuyển đổi mảng qua ToTensorV2.
    2. Bộ mã hóa (Vision Transformer / Hybrid ViT):
      • Ảnh được chia nhỏ thành các patch kích thước $16 \times 16$.
      • Thực hiện chiếu tuyến tính (Patch Embedding) và cộng vector vị trí (Positional Embedding 1D).
      • Bổ sung [class] token vào đầu chuỗi vector để tổng hợp đặc trưng toàn cục.
      • Dẫn truyền qua 4 lớp Transformer Encoder (chiều ẩn 256, 8 attention heads), xen kẽ lớp mạng dẫn tiến (Feed-Forward Network) với hàm kích hoạt phi tuyến GELU, chuẩn hóa Layer Normalization và kỹ thuật ngắt kết nối Dropout.
      • Ở biến thể Hybrid ViT, mạng ResNetV2 đóng vai trò backbone trích xuất lưới đặc trưng (Feature Grid) trước khi đưa vào các khối Transformer.
    3. Bộ giải mã (Transformer Decoder):
      • Bao gồm 6 cụm lớp chuẩn, mỗi cụm gồm Multi-Head Self-Attention có mặt nạ, Multi-Head Cross-Attention (tiếp nhận vector đặc trưng từ Encoder) và Feed-Forward Network kết hợp Skip-connections và Layer Normalization.
    4. Bộ mã hóa văn bản (BPE Tokenizer):
      • Tách văn bản LaTeX thành các subword units, sử dụng các token đặc biệt: [BOS] (bắt đầu chuỗi), [EOS] (kết thúc chuỗi), [PAD] (đệm độ dài chuỗi cố định). Bộ từ vựng được xuất và lưu trữ dưới định dạng .json.

  • Công nghệ và Triển khai ứng dụng:

    • Môi trường phát triển: Ngôn ngữ Python, framework PyTorch, thư viện OpenCV, Albumentations, NumPy.
    • Triển khai API và Giao diện: Xây dựng dịch vụ RESTful API bằng micro-framework Python Flask. Giao diện Web App cho phép người dùng tải tệp ảnh công thức toán học từ thiết bị, gửi yêu cầu đến máy chủ API và nhận về kết quả chuỗi mã LaTeX kèm kết xuất đồ họa trực tiếp theo thời gian thực.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương này thiết lập nền tảng và tính cấp thiết của đề tài nghiên cứu. Tác giả phân tích sự phát triển của hệ thống xuất bản điện tử TeX/LaTeX và vai trò của các công thức toán học trong tài liệu khoa học kỹ thuật. Tác giả chỉ ra rào cản lớn đối với người soạn thảo khi phải gõ mã LaTeX thủ công, từ đó xác định mục tiêu xây dựng thuật toán tự động trích xuất công thức từ hình ảnh sang LaTeX. Chương này cũng phân định rõ sự khác biệt bản chất giữa bài toán Image-to-LaTeX với OCR ký tự thông thường, Image Captioning và ASR, đồng thời phác thảo cấu trúc tổng thể của toàn bộ khóa luận.

Chương 2: Tổng quan tình hình nghiên cứu

Chương 2 phân loại và tổng hợp có hệ thống các công trình nghiên cứu tiền nhiệm về bài toán Image-to-LaTeX:

  • Hệ thống INFTY (Suzuki et al., 2003): OCR tích hợp kết hợp phân tích bố cục, nhận dạng cấu trúc ký tự toán học (đạt BLEU 66,65%).
  • Mô hình Encoder-Decoder của Sauvestre (2016): Kết hợp CNN, Max Pooling và LSTM 1 lớp với cơ chế Attention (đạt BLEU 75%, Exact Match 35%).
  • Mô hình mã hóa hai chiều của Yuka Deng et al. (2016): Cải tiến từ Show-Attend-and-Tell sử dụng CNN và Bi-RNN (đạt 73%).
  • Mô hình WYGIWYS của Yuntian Deng et al. (2017): Đưa ra tập dữ liệu IM2LATEX-100K và kiến trúc Convolutional Row Encoder (CNN + Max Pooling + Batch Normalization + 1 lớp Bi-LSTM) kết hợp LSTM Decoder (đạt BLEU 87,73%, Exact Match 77,46%).
  • Mô hình của Jian Wang et al. (2019): Cải tiến Encoder bằng mạng DenseNet kết hợp cơ chế chú ý kênh và không gian (đạt BLEU 88%).
  • Mô hình CNN-RNN cải tiến của Wei Zhang et al. (2019): Tích hợp cơ chế tập trung kép Double Attention (đạt BLEU 88,12%, Exact Match 79,81%).
  • Mô hình của Zelun Wang và Jhy-Charn Liu: Sử dụng CNN với mã hóa vị trí 2D, giải mã bằng Stacked Bi-LSTM và tối ưu hóa bằng Policy Gradient từ học tăng cường (đạt BLEU 90,28%, Exact Match 82,33%).

Chương 3: Cơ sở lý thuyết

Chương 3 trình bày chi tiết nền tảng toán học và kiến trúc học sâu:

  • Phương pháp xử lý ảnh số: Phân tích các kỹ thuật tăng cường dữ liệu, điều chỉnh độ tương phản, khử nhiễu/tạo nhiễu Gaussian/Wavelet, phân đoạn ảnh và nén ảnh.
  • Kỹ thuật Tokenization: Nguyên lý hoạt động của thuật toán Byte-Pair Encoding (BPE), cơ chế thống kê tần suất ghép cặp ký tự, xử lý từ OOV và vai trò của các special token ([PAD], [BOS], [EOS]).
  • Kiến trúc mạng tích chập nâng cao: Chi tiết về Convolution Encoder, Convolution Row Encoder, cấu trúc mạng ResNetV2, khối Residual Inception áp dụng cho lưới $35 \times 35$, và cơ chế toán học của Skip-connections: $$\mathbf{x}_{l+1} = \mathbf{x}_l + \mathcal{F}(\mathbf{x}_l, \mathcal{W}_l)$$
  • Vision Transformer (ViT) và Transformer: Nguyên lý phân rã patch, Positional Embedding 1D, [class] token, cấu tạo lớp Transformer Encoder, cơ chế tự chú ý đa đầu Multi-Head Attention: $$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W^O$$ $$\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$$

Chương 4: Phương pháp chuyển thể hình ảnh phương trình toán học sang ngôn ngữ định dạng LaTeX

Chương này trình bày giải pháp kỹ thuật cụ thể của khóa luận:

  • Tiền xử lý ảnh: Triển khai thư viện Albumentations, thuật toán đệm ảnh 4 hướng đưa kích thước về bội số của 16, các kỹ thuật làm giàu dữ liệu (ShiftScaleRotate, GridDistortion, GaussianNoise, RGBShift, RandomBrightnessContrast, ImageCompression, Normalize, ToGray, ToTensorV2).
  • Tiền xử lý văn bản: Huấn luyện BPE Tokenizer với ByteLevel pretokenizer, tạo tệp từ vựng dạng .json lưu trữ ánh xạ token.
  • Đặc tả mô hình: Thiết lập mô hình Pure ViT (4 lớp Encoder, 8 attention heads, chiều ẩn 256) và mô hình Hybrid ViT (tích hợp ResNetV2 backbone). Trực quan hóa Attention Map của 8 heads để minh chứng khả năng nắm bắt cấu trúc toán học của mô hình.

Chương 5: Dữ liệu, thực nghiệm và đánh giá

Chương 5 mô tả quy trình thiết lập thử nghiệm, thông số huấn luyện và phân tích kết quả:

  • Bảng thông số cấu hình huấn luyện trên 2 tập dữ liệu (dữ liệu tự chuẩn bị và IM2LATEX-100K).
  • So sánh hiệu năng giữa các biến thể kiến trúc trên các thang đo BLEU, Levenshtein Distance và Token Accuracy.
  • Triển khai ứng dụng thử nghiệm: Xây dựng REST API bằng Python Flask, kết nối giao diện web cho phép người dùng kiểm thử dự đoán chuỗi LaTeX từ ảnh đầu vào.

Chương 6: Kết luận và hướng phát triển

Chương cuối tổng hợp các mục tiêu đã hoàn thành, nêu bật hiệu quả của kiến trúc Vision Transformer kết hợp ResNetV2 và BPE Tokenizer trong bài toán Image-to-LaTeX, đồng thời chỉ ra các hạn chế hiện tại và định hướng các nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm chính

Khóa luận đã huấn luyện và đánh giá thành công các biến thể mô hình trên hai tập dữ liệu độc lập:

Bộ dữ liệu Mô hình / Kiến trúc tốt nhất Điểm BLEU đạt được Đánh giá so sánh
Dữ liệu tự chuẩn bị (WeAI & bài báo) Hybrid ViT / Pure ViT + Transformer Decoder 91,82% Vượt trội so với các hệ thống OCR toán học cổ điển
IM2LATEX-100K (chuẩn quốc tế) Vision Transformer + ResNetV2 Backbone 90,00% Vượt qua các mô hình State-Of-The-Art công bố trước đó

So sánh với các công trình nghiên cứu tiêu biểu trước đây trên tập IM2LATEX-100K:

  • Mô hình INFTY (Suzuki et al., 2003): BLEU đạt 66,65%.
  • Mô hình của Sauvestre (2016): BLEU đạt 75,00%.
  • Mô hình WYGIWYS (Yuntian Deng et al., 2017): BLEU đạt 87,73%.
  • Mô hình của Jian Wang et al. (2019): BLEU đạt 88,00%.
  • Mô hình của Wei Zhang et al. (2019): BLEU đạt 88,12%.
  • Mô hình của Zelun Wang & Jhy-Charn Liu: BLEU đạt 90,28%.

Đóng góp khoa học và thực tiễn

  1. Ứng dụng thành công Vision Transformer: Khẳng định tính khả thi và ưu thế của kiến trúc ViT (thuần túy và kết hợp ResNetV2) trong việc nắm bắt quan hệ không gian hai chiều của ký hiệu toán học so với các mạng tích chập và hồi quy truyền thống.
  2. Tối ưu hóa mã hóa văn bản: Ứng dụng kỹ thuật BPE Tokenizer kết hợp ByteLevel pretokenizer để xử lý hiệu quả các ký hiệu toán học hiếm gặp và loại bỏ lỗi Out-Of-Vocabulary (OOV).
  3. Giải pháp đệm ảnh chuẩn hóa: Đề xuất quy trình đệm ảnh trắng 4 hướng đưa kích thước về bội số của 16, giúp bảo toàn tỷ lệ nét vẽ công thức mà không làm méo hình ảnh như phép co giãn (resize) thông thường.
  4. Sản phẩm ứng dụng hoàn chỉnh: Xây dựng hệ thống API bằng Flask và giao diện ứng dụng web trực quan, cho phép chuyển đổi ảnh công thức sang LaTeX theo thời gian thực.

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế được ghi nhận:

    • Nghiên cứu tập trung chủ yếu vào dữ liệu ảnh in (rendered / in-domain data), chưa mở rộng kiểm thử chuyên sâu trên các dạng công thức viết tay có độ biến dạng nét chữ cao.
    • Mô hình dựa trên Transformer đòi hỏi tài nguyên tính toán và bộ nhớ lớn hơn đáng kể trong quá trình huấn luyện và suy luận so với các mạng CNN đơn giản.
    • Vẫn tồn tại sai lệch nhỏ ở các biểu thức toán học có cấu trúc lồng ghép phức tạp nhiều tầng.

  • Hướng phát triển tiếp theo:

    • Nâng cấp mô hình để xử lý các tập dữ liệu công thức toán viết tay (Handwritten Mathematical Expression Recognition).
    • Tối ưu hóa kích thước mô hình và tốc độ suy luận của Vision Transformer nhằm triển khai thuận tiện trên các thiết bị cấu hình giới hạn.
    • Tích hợp thêm các bộ quy tắc kiểm tra cú pháp và kỹ thuật hậu xử lý nâng cao để tự động sửa các lỗi cú pháp LaTeX phát sinh trong đầu ra.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo chuyên môn đối với các đối tượng:

  • Sinh viên, học viên ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo: Tham khảo kiến trúc Encoder-Decoder kết hợp giữa thị giác máy tính (Vision Transformer, ResNetV2) và xử lý ngôn ngữ tự nhiên (Transformer, BPE Tokenizer).
  • Kỹ sư và nhà nghiên cứu AI/OCR: Tham khảo phương pháp tiền xử lý dữ liệu ảnh toán học (thuật toán đệm bội số 16 qua Albumentations) và quy trình huấn luyện mô hình sinh chuỗi mã từ ảnh.
  • Các nhóm phát triển phần mềm giáo dục: Cung cấp giải pháp kiến trúc và mã nguồn API Flask để tích hợp tính năng nhận dạng công thức toán học tự động vào các nền tảng soạn thảo văn bản học thuật hoặc hệ thống thi cử trực tuyến.

Câu hỏi thường gặp

1. Tác giả sử dụng những kiến trúc mô hình nào cho bài toán Image-to-LaTeX?
Tác giả đã thử nghiệm hai kiến trúc chính dựa trên mô hình Encoder-Decoder:

  • Kiến trúc 1: Vision Transformer (ViT) Encoder thuần túy kết hợp với Transformer Decoder.
  • Kiến trúc 2: Hybrid ViT kết hợp mạng tích chập ResNetV2 làm backbone với Vision Transformer Encoder và Transformer Decoder.

2. Kỹ thuật tiền xử lý nào được áp dụng để đưa ảnh vào mô hình Vision Transformer?
Do mô hình ViT chia ảnh thành các patch cố định $16 \times 16$, tác giả áp dụng kỹ thuật đệm (padding) thêm khoảng trắng đều 4 hướng để đưa chiều cao và chiều rộng của ảnh về bội số gần nhất của 16 theo công thức $\text{Kích thước mới} = \text{Hiện tại} + (16 - (\text{Hiện tại} \pmod{16}))$. Kỹ thuật này giúp bảo toàn trọn vẹn nét vẽ công thức mà không làm biến dạng tỷ lệ như phương pháp resize thông thường.

3. Vai trò của kỹ thuật Byte-Pair Encoding (BPE) trong khóa luận là gì?
BPE được sử dụng trong bước tiền xử lý văn bản để phân tách các biểu thức LaTeX thành các đơn vị từ phụ (subwords). Kỹ thuật này giúp mô hình xử lý hiệu quả các ký hiệu hoặc biểu thức toán học không có trong từ điển gốc (Out-Of-Vocabulary - OOV), đồng thời kết hợp với các token đặc biệt [PAD], [BOS], [EOS] để chuẩn hóa độ dài chuỗi đầu vào cho mô hình học sâu.

4. Kết quả thực nghiệm cao nhất mà mô hình của khóa luận đạt được là bao nhiêu?
Mô hình đạt điểm BLEU 91,82% trên tập dữ liệu tự chuẩn bị (do công ty WeAI thu thập từ tài liệu môn Toán và bài báo khoa học) và đạt điểm BLEU 90,00% khi đánh giá trên tập dữ liệu chuẩn quốc tế IM2LATEX-100K.

5. Ứng dụng thực tế của khóa luận được triển khai như thế nào?
Tác giả đã phát triển một hệ thống REST API sử dụng Python Flask tích hợp mô hình học sâu đã huấn luyện. Hệ thống kết nối với một ứng dụng web cho phép người dùng tải lên tệp ảnh công thức toán học và nhận về chuỗi mã LaTeX render tương ứng theo thời gian thực.

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Ái Quốc Vinh đã giải quyết trọn vẹn bài toán trích xuất công thức toán học từ hình ảnh sang ngôn ngữ LaTeX bằng cách kết hợp các kiến trúc học sâu hiện đại gồm Vision Transformer, ResNetV2 và BPE Tokenizer. Các kết quả thực nghiệm đạt điểm BLEU 91,82% trên tập dữ liệu tự chuẩn bị và BLEU 90,00% trên tập IM2LATEX-100K đã chứng minh tính hiệu quả vượt trội của giải pháp đề xuất so với các phương pháp OCR truyền thống. Bên cạnh giá trị học thuật về mô hình thị giác - ngôn ngữ, đề tài còn mang tính thực tiễn cao khi hoàn thiện hệ thống Flask API và ứng dụng web phục vụ đắc lực cho việc số hóa tài liệu toán học.