Xây Dựng Thuật Toán Trích Xuất Thông Tin Cho Tài Liệu Môn Toán

Khóa luận tốt nghiệp khoa học máy tính trình bày thuật toán trích xuất thông tin cho tài liệu môn toán, ứng dụng và hiệu quả trong nghiên cứu.

• Tác giả: Lê Ái Quốc Vinh
• Người hướng dẫn: TS. Nguyễn Viết Hưng
• Trường học: Trường Đại Học Sư Phạm TPHCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát Triển Thuật Toán Trích Xuất Thông Tin Từ Tài Liệu Toán Học
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CAM ƠN
• DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 2. CHƯƠNG 2: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 2.1. Các tập dữ liệu tiêu chuẩn
• 2.2. Những nghiên cứu trước
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Phương pháp tiền xử lý dữ liệu
• 3.2. Phương pháp chuyển thể hình ảnh phương trình toán học sang ngôn ngữ định dạng LaTeX
• 3.3. Hậu xử lý dữ liệu
• 4. CHƯƠNG 4: DỮ LIỆU, THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Cài đặt thực nghiệm
• 4.2. Triển khai
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát triển thuật toán trích xuất thông tin

Phát triển thuật toán trích xuất thông tin từ tài liệu toán học là một lĩnh vực đang thu hút sự quan tâm lớn trong cộng đồng nghiên cứu. Với sự gia tăng nhanh chóng của dữ liệu số, việc trích xuất thông tin chính xác từ các tài liệu toán học trở nên cần thiết hơn bao giờ hết. Các thuật toán hiện tại không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc chuyển đổi các phương trình toán học thành định dạng có thể sử dụng được. Nghiên cứu này sẽ tập trung vào việc xây dựng một mô hình hiệu quả để thực hiện nhiệm vụ này.

1.1. Tầm quan trọng của trích xuất thông tin trong toán học

Việc trích xuất thông tin từ tài liệu toán học không chỉ giúp các nhà nghiên cứu dễ dàng tiếp cận kiến thức mà còn hỗ trợ trong việc giảng dạy và học tập. Các thuật toán toán học hiện đại có thể tự động hóa quá trình này, giảm thiểu sai sót và tiết kiệm thời gian cho người dùng.

1.2. Các ứng dụng của thuật toán trích xuất thông tin

Các ứng dụng của trích xuất thông tin rất đa dạng, từ việc hỗ trợ giáo viên trong việc soạn thảo tài liệu giảng dạy đến việc giúp các nhà nghiên cứu trong việc tổng hợp và phân tích dữ liệu. Điều này mở ra nhiều cơ hội cho việc cải thiện chất lượng giáo dục và nghiên cứu.

II. Những thách thức trong phát triển thuật toán trích xuất thông tin

Mặc dù có nhiều tiến bộ trong lĩnh vực trích xuất thông tin, vẫn còn nhiều thách thức cần phải vượt qua. Các vấn đề như độ chính xác của mô hình, khả năng xử lý các định dạng khác nhau và sự phức tạp của ngôn ngữ toán học là những yếu tố quan trọng cần được xem xét. Việc phát triển một thuật toán có thể xử lý tất cả các vấn đề này là một nhiệm vụ không hề đơn giản.

2.1. Độ chính xác của mô hình trích xuất

Độ chính xác là một trong những yếu tố quan trọng nhất trong việc phát triển thuật toán trích xuất thông tin. Các mô hình cần phải được huấn luyện trên các tập dữ liệu phong phú và đa dạng để đảm bảo rằng chúng có thể hoạt động hiệu quả trong nhiều tình huống khác nhau.

2.2. Khả năng xử lý định dạng khác nhau

Tài liệu toán học có thể xuất hiện dưới nhiều định dạng khác nhau, từ hình ảnh đến văn bản. Việc phát triển một thuật toán có khả năng xử lý tất cả các định dạng này là một thách thức lớn, đòi hỏi sự kết hợp của nhiều kỹ thuật khác nhau.

III. Phương pháp phát triển thuật toán trích xuất thông tin

Để phát triển một thuật toán trích xuất thông tin hiệu quả, cần áp dụng các phương pháp học máy tiên tiến. Các mô hình như Vision Transformer và BPE tokenizer đã được chứng minh là có hiệu quả trong việc xử lý và chuyển đổi hình ảnh thành văn bản. Nghiên cứu này sẽ áp dụng các phương pháp này để xây dựng một mô hình có khả năng trích xuất thông tin chính xác từ tài liệu toán học.

3.1. Sử dụng Vision Transformer trong trích xuất thông tin

Mô hình Vision Transformer cho phép phân tích hình ảnh một cách hiệu quả, giúp nhận diện các ký hiệu toán học và chuyển đổi chúng thành định dạng văn bản. Điều này giúp cải thiện độ chính xác trong việc trích xuất thông tin từ tài liệu.

3.2. Kỹ thuật BPE tokenizer trong xử lý văn bản

Kỹ thuật BPE tokenizer giúp cải thiện khả năng sinh văn bản từ các ký hiệu toán học. Bằng cách chia nhỏ văn bản thành các đơn vị nhỏ hơn, mô hình có thể tạo ra các đoạn mã LaTeX chính xác hơn.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu đã cho thấy rằng mô hình phát triển có thể đạt được độ chính xác cao trong việc trích xuất thông tin từ tài liệu toán học. Kết quả thử nghiệm cho thấy mô hình có thể chuyển đổi hình ảnh chứa phương trình toán học thành định dạng LaTeX với độ chính xác lên đến 91.82%. Điều này mở ra nhiều cơ hội ứng dụng trong giáo dục và nghiên cứu.

4.1. Đánh giá hiệu suất mô hình

Mô hình đã được đánh giá bằng các chỉ số như BLEU score và Token Accuracy, cho thấy hiệu suất vượt trội so với các hệ thống OCR truyền thống. Điều này chứng tỏ rằng phương pháp mới có thể mang lại giá trị thực tiễn cao.

4.2. Ứng dụng trong giáo dục và nghiên cứu

Mô hình có thể được áp dụng trong việc soạn thảo tài liệu giảng dạy và nghiên cứu, giúp giáo viên và sinh viên dễ dàng hơn trong việc làm việc với các phương trình toán học phức tạp.

V. Kết luận và hướng phát triển tương lai

Nghiên cứu về thuật toán trích xuất thông tin từ tài liệu toán học đã mở ra nhiều cơ hội mới cho việc cải thiện quy trình giảng dạy và nghiên cứu. Tuy nhiên, vẫn còn nhiều thách thức cần phải giải quyết. Hướng phát triển trong tương lai có thể bao gồm việc cải thiện độ chính xác của mô hình và mở rộng khả năng xử lý các định dạng khác nhau.

5.1. Cải thiện độ chính xác của mô hình

Cần tiếp tục nghiên cứu và phát triển các phương pháp mới để nâng cao độ chính xác của mô hình, đặc biệt là trong việc xử lý các tài liệu phức tạp.

5.2. Mở rộng khả năng xử lý định dạng

Việc mở rộng khả năng xử lý các định dạng khác nhau sẽ giúp mô hình trở nên linh hoạt hơn, đáp ứng tốt hơn nhu cầu của người dùng trong nhiều lĩnh vực khác nhau.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Lý do chọn đề tài và bối cảnh thực tiễn

Trong hoạt động giáo dục và nghiên cứu khoa học, bộ môn Toán học giữ vai trò nền tảng với nhiều ứng dụng trong thực tế, đặc biệt là nhóm ngành Máy tính và Công nghệ thông tin. Để phục vụ công tác giảng dạy, học tập và công bố khoa học, nhu cầu số hóa và soạn thảo các tài liệu chứa công thức, phương trình toán học là rất lớn. Ngôn ngữ định dạng văn bản LaTeX (bắt nguồn từ hệ thống TeX do Donald Knuth phát triển vào cuối thập niên 1970, được Leslie Lamport mở rộng vào thập niên 1980–1990 và sau đó tích hợp bộ kết xuất pdfTeX của Hàn Thế Thanh vào cuối thập niên 1990) hiện là tiêu chuẩn phổ biến trong cộng đồng học thuật để trình bày các biểu thức toán học có cấu trúc đồng bộ.

Tuy nhiên, việc nhập liệu thủ công mã nguồn LaTeX đòi hỏi người dùng phải ghi nhớ các quy tắc cú pháp phức tạp và tốn nhiều thời gian. Đối với người dùng không chuyên, việc chuyển đổi công thức từ tài liệu in hoặc bản chụp sang định dạng mã hóa điện tử gặp nhiều rào cản. Các hệ thống nhận dạng ký tự quang học (OCR) truyền thống chủ yếu tối ưu hóa cho chuỗi văn bản một chiều liên tục, không đáp ứng tốt việc xử lý cấu trúc hai chiều, sự lồng ghép ký hiệu và tính đa dạng biểu diễn của phương trình toán học. Xuất phát từ thực tế đó, nghiên cứu "Xây dựng thuật toán trích xuất thông tin cho tài liệu môn Toán" được thực hiện nhằm ứng dụng các mô hình học sâu để tự động chuyển đổi hình ảnh phương trình toán học sang mã định dạng LaTeX tương ứng, hỗ trợ rút ngắn thời gian biên soạn tài liệu khoa học.

Mục tiêu và nhiệm vụ nghiên cứu

Văn bản xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

Mục tiêu nghiên cứu:

1. Xây dựng mô hình chuyển thể hình ảnh phương trình toán học sang ngôn ngữ định dạng LaTeX.
2. Thực nghiệm mô hình trên nhiều bộ dữ liệu phổ biến.

Nhiệm vụ nghiên cứu:

• Nhiệm vụ lý thuyết:
  1. Tìm hiểu tổng quan các công trình nghiên cứu về bài toán chuyển thể hình ảnh phương trình toán học sang ngôn ngữ định dạng LaTeX (Image-to-LaTeX).
  2. Nghiên cứu cơ sở lý thuyết về thị giác máy tính và xử lý ngôn ngữ tự nhiên liên quan đến đề tài.
  3. Nghiên cứu kỹ thuật trích xuất đặc trưng trên dữ liệu hình ảnh sử dụng các mô hình học sâu.
  4. Nghiên cứu kỹ thuật sinh dữ liệu văn bản.
  5. Đề xuất hướng phát triển mô hình trong tương lai.
• Nhiệm vụ thực nghiệm:
  1. Thu thập dữ liệu đáp ứng yêu cầu của bài toán.
  2. Tiến hành xây dựng, huấn luyện mô hình.
  3. Đánh giá và so sánh kết quả đạt được giữa các phương pháp.
  4. Triển khai giao diện lập trình ứng dụng (API) phục vụ thực nghiệm.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các hình ảnh chứa thông tin về phương trình toán học trong các tài liệu văn bản; thuật toán trích xuất đặc trưng hình ảnh và sinh mã LaTeX.
• Phạm vi nghiên cứu:
  • Không gian và dữ liệu: Nghiên cứu tập trung vào bài toán chuyển đổi hình ảnh công thức toán đơn lẻ sang mã nguồn LaTeX tương ứng; dữ liệu thực nghiệm bao gồm tập dữ liệu tiêu chuẩn quốc tế IM2LATEX-100K và tập dữ liệu do công ty WeAI thu thập kết hợp với các phương trình trích xuất từ các bài báo khoa học quốc tế.
  • Thời gian thực hiện: Công trình hoàn thành và bảo vệ vào tháng 3 năm 2023 tại Trường Đại học Sư phạm Thành phố Hồ Chí Minh.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình nghiên cứu

Nghiên cứu tiếp cận bài toán Image-to-LaTeX theo kiến trúc Bộ Mã Hóa – Bộ Giải Mã (Encoder – Decoder). Tác giả so sánh bài toán này với các tác vụ liên quan như chú thích ảnh (Image Captioning), nhận dạng chữ viết quang học (OCR) và nhận dạng tiếng nói tự động (ASR). Điểm khác biệt mấu chốt được tác giả chỉ ra là: ảnh phương trình toán học là ảnh đơn sắc, ít chi tiết ngoại cảnh nhưng chứa cấu trúc ký hiệu lồng nhau, chồng chéo hai chiều (như phân số, tích phân, chỉ số trên/dưới), dẫn đến sự phân bố không gian phi tuyến tính.

Để giải quyết vấn đề trích xuất không gian biểu thức, tác giả khảo cứu và sử dụng các mô hình sau:

• Vision Transformer (ViT): Ứng dụng cơ chế tự chú ý (Self-Attention) để nắm bắt tương quan toàn cục giữa các vùng ảnh (patches) thay vì chỉ dựa vào tích chập cục bộ.
• ResNetV2: Kiến trúc mạng tích chập cải tiến sử dụng các khối Residual Inception và kết nối tắt (skip-connections) qua hàm đồng nhất (identity function) nhằm khắc phục hiện tượng triệt tiêu đạo hàm (vanishing gradient).
• Mô hình lai (Hybrid ViT): Kết hợp ResNetV2 làm mạng nền (backbone) trích xuất đặc trưng không gian dạng lưới, sau đó đưa qua các lớp Transformer Encoder.
• Transformer Decoder: Sử dụng 6 khối giải mã với cơ chế chú ý đa đầu (Multi-Head Attention) kết hợp mặt nạ (masked attention) để dự đoán tuần tự các thẻ (tokens) LaTeX mà không bị hiện tượng nhìn trước tương lai.

Phương pháp nghiên cứu thực tế

Tác giả kết hợp phương pháp nghiên cứu lý thuyết và phương pháp thực nghiệm khoa học máy tính:

• Xử lý dữ liệu văn bản: Áp dụng kỹ thuật mã hóa cặp byte (Byte-Pair Encoding - BPE) kết hợp bộ tách từ ByteLevel pre-tokenizer để phân đoạn mã LaTeX thành các đơn vị con từ (subword units). Kỹ thuật này giải quyết vấn đề từ ngoài từ điển (Out-Of-Vocabulary - OOV) do số lượng tổ hợp ký hiệu toán học lớn. Thêm các token đặc biệt: [BOS] (bắt đầu chuỗi), [EOS] (kết thúc chuỗi) và [PAD] (đệm độ dài cố định). Toàn bộ từ vựng được lưu trữ dưới cấu trúc từ điển định dạng tệp JSON.
• Xử lý dữ liệu hình ảnh: Sử dụng thư viện Albumentations (dựa trên OpenCV và NumPy) để tăng cường dữ liệu và chuẩn hóa hình ảnh thông qua các phép biến đổi: ShiftScaleRotate, Grid Distortion, Gaussian Noise, RGBShift, RandomBrightnessContrast, ImageCompression, Normalize, ToGray và ToTensorV2.
• Phương pháp thực nghiệm mô hình: Thiết kế và huấn luyện hai kiến trúc:
  1. Pure Vision Transformer Encoder kết hợp Transformer Decoder.
  2. Hybrid Vision Transformer (kết hợp backbone ResNetV2 và ViT) kết hợp Transformer Decoder.
• Thang đo đánh giá:
  • BLEU (BiLingual Evaluation Understudy): Đo lường độ tương đồng n-gram giữa chuỗi sinh ra và chuỗi mẫu chuẩn.
  • Levenshtein Distance (Edit Distance): Đo số lượng phép chỉnh sửa tối thiểu (thêm, xóa, thay thế) giữa hai chuỗi ký tự.
  • Token Accuracy: Tỷ lệ phần trăm các token dự đoán khớp chính xác với nhãn thực tế.
  • Exact Match (EM): Đánh giá tỷ lệ chuỗi đầu ra trùng khớp hoàn toàn với chuỗi gốc.

Nguồn dữ liệu

1. Tập dữ liệu chuẩn IM2LATEX-100K: Chứa hơn 100.000 ảnh phương trình toán học trích xuất từ các bài báo khoa học quốc tế, đi kèm nhãn mã nguồn LaTeX tương ứng do nhóm nghiên cứu của Yuntian Deng tại Đại học Harvard xây dựng.
2. Tập dữ liệu tự chuẩn bị: Dữ liệu thu thập bởi bộ phận R&D của công ty WeAI kết hợp các phương trình toán trích xuất từ các tài liệu khoa học xuất bản quốc tế.

---

Thiết kế và triển khai

Quy trình tiền xử lý và đệm ảnh

Do mô hình Vision Transformer yêu cầu chia ảnh thành các mảng cố định kích thước $16 \times 16$ pixel, ảnh đầu vào phải có kích thước chiều cao và chiều rộng là bội số của 16. Thay vì co dãn ảnh (resize) làm méo tỷ lệ ký hiệu toán học, tác giả áp dụng công thức đệm ảnh (padding) khoảng trắng:

$$\text{Kích thước mới} = \text{Kích thước hiện tại} + (16 - (\text{Kích thước hiện tại} \pmod{16}))$$

Để tránh việc phương trình bị sát viền gây mất mát thông tin khi trích xuất đặc trưng, giải pháp đệm đều khoảng trắng vào cả bốn hướng được áp dụng, đưa nội dung phương trình vào trung tâm ảnh.

Thiết lập thông số mô hình

• Patch Embedding: Ảnh được phân rã thành chuỗi các patch $16 \times 16$, biến đổi tuyến tính thành các vector nhúng kèm nhúng vị trí một chiều (1D learnable position embedding) và nhúng lớp đặc biệt [class].
• Cấu hình ViT Encoder: Thiết lập 4 lớp chú ý đa đầu, mỗi lớp sử dụng 8 heads, chiều ẩn (hidden dimension) là 256. Mạng truyền thẳng (Feed-forward) dùng hai lớp tuyến tính với hàm kích hoạt phi tuyến GELU, lớp chuẩn hóa Layer Normalization và Dropout để ngăn ngừa hiện tượng quá khớp (overfitting).
• Cấu hình Transformer Decoder: Gồm 6 cụm lớp tương tự nhau, mỗi cụm chứa 3 lớp con: Multi-Head Self-Attention có mặt nạ che ký tự tương lai, Multi-Head Attention tiếp nhận đầu ra từ bộ mã hóa và Fully-connected Feed-forward layer, tích hợp kết nối tắt (Skip-connector) và Layer Normalization.

Triển khai ứng dụng web

Để kiểm thử mô hình trong môi trường thực tế, tác giả xây dựng một dịch vụ giao diện lập trình ứng dụng (API) bằng Python Flask. Hệ thống cho phép nhận tệp tin hình ảnh tải lên từ giao diện người dùng, thực hiện tiền xử lý, đưa qua mô hình học sâu để dự đoán và trả về chuỗi mã LaTeX theo thời gian thực (real-time).

---

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương này thiết lập cơ sở lập luận của đề tài, nêu bật tính cấp thiết của việc tự động hóa quá trình nhận dạng tài liệu môn Toán. Tác giả phân tích lịch sử phát triển của TeX và LaTeX, sự bất tiện của người dùng khi phải tự biên tập mã nguồn toán học thủ công, từ đó xác định mục tiêu xây dựng thuật toán Image-to-LaTeX. Chương cũng trình bày rõ đối tượng, phạm vi nghiên cứu, các phương pháp lý thuyết - thực nghiệm và bố cục tổng thể của khóa luận.

Chương 2: Tổng quan tình hình nghiên cứu

Chương 2 phân loại các hướng tiếp cận bài toán Image-to-LaTeX trong lịch sử và phân tích sự khác biệt về mặt cấu trúc không gian giữa dữ liệu ảnh toán học với ảnh thông thường trong bài toán OCR và Image Captioning. Tác giả tổng hợp các mốc nghiên cứu tiêu biểu thông qua các chỉ số định lượng:

Năm	Tác giả / Mô hình	Kiến trúc chính	Kết quả công bố
2003	Masakazu Suzuki và cs. (INFTY)	OCR tích hợp (phân tích bố cục, nhận dạng ký tự, phân tích cấu trúc toán học)	BLEU: 66,65%
2016	Sauvestre	Encoder (CNN + Max Pooling) kết hợp Decoder (LSTM 1 lớp) + Luong Attention	BLEU: 75%; EM: 35%
2017	Yukai Deng và cs.	Dựa trên Show-Attend-and-Tell (CNN + Bi-RNN + Attention)	BLEU: ~73%
2017	Yuntian Deng và cs. (WYGIWYS)	Convolution Feature Encoder + Bi-LSTM Row Encoder + LSTM Decoder	BLEU: 57,73%*; EM: 77%
2019	Jian Wang và cs.	DenseNet + Spatial & Channel Attention + Seq2Seq	BLEU: ~88% (IM2LATEX-100K)
2019	Wei Zhang và cs.	CNN + Double Attention + RNNs	BLEU: 88,42% (IM2LATEX-100K)
2019	Zelun Wang & Jyh-Charn Liu	CNN + 2D Positional Encoding + Bi-LSTM Decoder + RL Policy Gradient	BLEU: 90,28%; EM: 82%

*Ghi chú: Giá trị BLEU của mô hình WYGIWYS được trích xuất nguyên văn theo công bố được nêu trong văn bản khóa luận.

Chương này cũng giới thiệu chi tiết về tập dữ liệu tiêu chuẩn IM2LATEX-100K do Yuntian Deng và cộng sự tại Đại học Harvard xây dựng.

Chương 3: Cơ sở lý thuyết

Chương 3 trình bày chi tiết nền tảng toán học và kỹ thuật của các khối chức năng cấu thành hệ thống:

• Các kỹ thuật tiền xử lý ảnh số: tăng cường dữ liệu, điều chỉnh độ tương phản, giảm nhiễu/tạo nhiễu Gaussian, phân đoạn ảnh, nén ảnh.
• Kỹ thuật tách từ BPE và ByteLevel pre-tokenizer trong xử lý ngôn ngữ tự nhiên.
• Kiến trúc Convolution Encoder (6 lớp tích chập kernel $3 \times 3$, stride 1 kết hợp 2 lớp Max Pooling và Batch Normalization) tạo lưới đặc trưng (feature grid) $512 \times W' \times H'$.
• Kiến trúc Convolution Row Encoder kết hợp CNN với Bi-LSTM chạy trên từng hàng đặc trưng nhằm mô hình hóa ngữ cảnh từ trái sang phải của ký hiệu toán học.
• Kiến trúc ResNetV2 với mô-đun Residual Inception (Inception-ResNet-A) và cơ chế skip-connection bảo toàn luồng gradient qua hàm đồng nhất:

$$\frac{\partial \mathcal{E}}{\partial x} = \frac{\partial \mathcal{E}}{\partial H} \cdot \left(1 + \frac{\partial F}{\partial x}\right)$$

• Cơ chế tự chú ý của Vision Transformer, phân chia patch, nhúng vị trí và đại diện toàn cục thông qua token [class].
• Kiến trúc Transformer Decoder và cơ chế Multi-Head Attention, biểu diễn toán học của các ma trận Query ($Q$), Key ($K$), Value ($V$) song song qua nhiều đầu chú ý.

Chương 4: Phương pháp chuyển thể hình ảnh phương trình toán học sang ngôn ngữ định dạng LaTeX

Chương này mô tả chi tiết pipeline thực hiện đề tài. Tác giả trình bày phương pháp đệm ảnh 4 hướng theo bội số của 16, việc áp dụng tập hợp biến đổi Albumentations, quy trình huấn luyện bộ tokenizer BPE trên kho ngữ liệu toán học để tạo từ điển JSON. Tác giả phân tích chi tiết cấu hình mô hình ViT Encoder (4 lớp, 8 heads, kích thước ẩn 256) và mô hình Hybrid ViT sử dụng ResNetV2 làm backbone. Đồng thời, chương này trực quan hóa cơ chế chú ý bằng bản đồ Attention Map trung bình của 8 heads so với ảnh phương trình nguyên bản nhằm minh chứng khả năng tập trung vào ký hiệu toán học của mô hình.

Chương 5: Dữ liệu, Thực nghiệm và Đánh giá

Chương 5 trình bày môi trường cài đặt phần cứng, các siêu tham số huấn luyện trên thư viện PyTorch, chi tiết các bộ dữ liệu thử nghiệm và phân tích kết quả định lượng thu được. Kết quả đánh giá trên từng mô hình được đối chiếu dựa trên thang đo BLEU, Levenshtein Distance và Token Accuracy. Chương cũng mô tả quá trình đóng gói và thử nghiệm giao diện web app thông qua Flask API.

Chương 6: Kết luận và hướng phát triển

Tổng kết toàn bộ các kết quả đạt được về mặt mô hình hóa và triển khai phần mềm; chỉ ra các điểm còn tồn tại của hệ thống và đề xuất phương hướng hoàn thiện trong các giai đoạn nghiên cứu tiếp theo.

---

Kết quả và đóng góp

Kết quả định lượng

Mô hình nghiên cứu đạt được các kết quả thực nghiệm cụ thể như sau:

• Trên tập dữ liệu tự chuẩn bị (WeAI và bài báo quốc tế): Mô hình đạt điểm số BLEU cao nhất là 91,82%. Điểm số này phản ánh độ tương đồng cú pháp cao giữa mã LaTeX dự đoán và chuỗi nhãn chuẩn.
• Trên tập dữ liệu chuẩn IM2LATEX-100K: Mô hình đạt điểm BLEU là 90, vượt qua phần lớn các mốc nghiên cứu cơ sở được khảo sát trong văn bản.

Đóng góp của đề tài

1. Ứng dụng thành công Vision Transformer: Khóa luận là một trong những công trình thực nghiệm áp dụng kiến trúc Vision Transformer thuần và mô hình lai (Hybrid ViT kết hợp ResNetV2 backbone) vào bài toán Image-to-LaTeX, khắc phục nhược điểm mất thông tin vị trí không gian hai chiều của các mạng hồi quy (RNN/LSTM) truyền thống.
2. Quy trình tiền xử lý phù hợp cho công thức toán: Thiết lập giải pháp đệm ảnh bốn hướng đưa kích thước về bội số 16 mà không làm méo hình ảnh, kết hợp kỹ thuật mã hóa cặp byte (BPE) và ByteLevel pre-tokenizer để xử lý triệt để bài toán từ ngoài từ điển (OOV) của các cú pháp LaTeX phức tạp.
3. Hiện thực hóa sản phẩm thử nghiệm: Xây dựng hoàn chỉnh giao diện ứng dụng web dựa trên Flask API, chứng minh tính khả thi của việc tích hợp mô hình học sâu vào các công cụ hỗ trợ người dùng chuyển đổi ảnh phương trình sang mã LaTeX thời gian thực.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

• Yêu cầu tài nguyên tính toán: Kiến trúc Vision Transformer và Transformer Decoder yêu cầu bộ nhớ và năng lực tính toán cao hơn đáng kể so với các mạng nơ-ron tích chập truyền thống trong quá trình huấn luyện và suy luận.
• Phụ thuộc vào kích thước patch cố định: Việc cố định kích thước patch $16 \times 16$ đòi hỏi quy trình đệm ảnh bắt buộc và có thể làm giảm hiệu quả đối với các phương trình có ký hiệu quá nhỏ hoặc kích thước không đồng đều.
• Phạm vi đầu vào: Nghiên cứu tập trung vào hình ảnh chứa phương trình toán học đơn lẻ, chưa giải quyết trích xuất đồng thời cho các tài liệu phức tạp đa cột hoặc chứa lẫn lộn văn bản tự nhiên dài kèm phương trình.

Hướng nghiên cứu tiếp

• Tối ưu hóa kiến trúc mô hình nhằm giảm thiểu chi phí tính toán, nâng cao tốc độ xử lý để dễ dàng triển khai trên các thiết bị cấu hình giới hạn.
• Mở rộng tập dữ liệu huấn luyện với các định dạng chữ viết tay hoặc ảnh chụp tài liệu trong điều kiện môi trường thực tế (ánh sáng yếu, mờ nhòe).
• Phát triển thuật toán phân đoạn trang tài liệu để tự động bóc tách và chuyển đổi các khối phương trình toán học lồng trong văn bản giáo trình hoàn chỉnh.

---

Giá trị tham khảo

• Đối tượng tham khảo:
  • Sinh viên, học viên cao học và nghiên cứu sinh thuộc các chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo, Công nghệ thông tin có hướng nghiên cứu về Thị giác máy tính (Computer Vision) kết hợp Xử lý ngôn ngữ tự nhiên (NLP).
  • Các kỹ sư công nghệ phát triển hệ thống số hóa tài liệu giáo dục (EdTech), các công cụ nhận dạng tài liệu học thuật và hỗ trợ soạn thảo văn bản khoa học.
• Nội dung giá trị nhất:
  • Chương 3 và Chương 4 cung cấp chi tiết giải pháp kỹ thuật về cách cấu hình Vision Transformer cho dữ liệu hình ảnh văn bản đặc thù, công thức đệm ảnh bội số 16 và quy trình huấn luyện bộ tokenizer BPE giải quyết triệt để vấn đề từ OOV trong mã nguồn LaTeX.
  • Chương 2 cung cấp hệ thống tổng quan tình hình nghiên cứu toàn diện từ năm 2003 đến 2019 cho bài toán Image-to-LaTeX.

---

Câu hỏi thường gặp

1. Tại sao tác giả không áp dụng trực tiếp các mô hình nhận dạng chữ (OCR) hoặc mô tả ảnh (Image Captioning) truyền thống cho bài toán Image-to-LaTeX?

Theo phân tích của tác giả tại Chương 2, bài toán Image-to-LaTeX có đặc thù riêng: ảnh đầu vào là ảnh trắng đen đơn giản nhưng cấu trúc toán học lại mang tính hai chiều, các ký hiệu thường xuyên lồng ghép và chồng chéo lên nhau (ví dụ cấu trúc phân số, tích phân, số mũ). Trong khi đó, OCR chỉ nhận dạng chuỗi ký tự thẳng hàng liên tục, còn Image Captioning xử lý ảnh màu tự nhiên phức tạp nhưng nhãn đầu ra là câu mô tả ngữ nghĩa đơn giản, không mang ràng buộc cú pháp nghiêm ngặt như mã nguồn LaTeX.

2. Kỹ thuật tiền xử lý hình ảnh đệm khoảng trắng (padding) được áp dụng theo nguyên tắc nào?

Do mô hình ViT chia ảnh thành các patch $16 \times 16$, tác giả áp dụng công thức: $\text{Kích thước mới} = \text{Kích thước hiện tại} + (16 - (\text{Kích thước hiện tại} \pmod{16}))$. Tác giả không dùng kỹ thuật co dãn (resize) vì sẽ làm méo chữ, đồng thời thực hiện đệm đều khoảng trắng ở cả 4 hướng để đưa phương trình vào chính giữa bức ảnh, tránh việc ký hiệu nằm sát mép viền làm mất thông tin.

3. Kỹ thuật tách từ Byte-Pair Encoding (BPE) đóng vai trò gì trong việc mã hóa công thức LaTeX?

BPE cho phép phân rã các biểu thức toán học thành các đơn vị con từ (subwords) dựa trên tần suất xuất hiện. Đối với các biểu thức toán học có tổ hợp ký hiệu vô cùng đa dạng, BPE giúp hệ thống biểu diễn được các biểu thức mới ngoài từ điển (OOV) bằng cách ghép các đơn vị con từ đã học, tránh tình trạng lỗi không nhận diện được ký hiệu.

4. Kết quả thực nghiệm cao nhất mà mô hình đạt được là bao nhiêu?

Mô hình đạt điểm số BLEU là 91,82% trên tập dữ liệu do tác giả tự chuẩn bị (nguồn từ WeAI và bài báo quốc tế) và đạt mức BLEU là 90 trên tập dữ liệu tiêu chuẩn IM2LATEX-100K.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Ái Quốc Vinh đã giải quyết bài toán chuyển đổi hình ảnh công thức toán học sang mã định dạng LaTeX thông qua việc nghiên cứu và ứng dụng kiến trúc học sâu kết hợp giữa Vision Transformer Encoder và Transformer Decoder. Bằng việc kết hợp các kỹ thuật tiền xử lý đệm ảnh chuẩn tỷ lệ và bộ tách từ BPE, hệ thống đạt điểm số BLEU 91,82% trên tập dữ liệu chuẩn bị và điểm số 90 trên tập tiêu chuẩn IM2LATEX-100K. Công trình không chỉ cung cấp giải pháp lý thuyết hoàn chỉnh cho bài toán Image-to-LaTeX mà còn hiện thực hóa mô hình thành dịch vụ web API thực tế, tạo nền tảng hữu ích cho các nghiên cứu số hóa tài liệu giáo dục môn Toán tiếp theo.

Trích đoạn nội dung tài liệu

Chương 1: Mỡ đầu Chương này sẽ giới thiệu tong quan vẻ đề tài nghiên cứu, Dau tiên, nó sẽ trình bảy lý do vì sao đề tài được chọn, bao gồm tầm quan trọng và tính cấp thiết của vấn dé. Sau đó, mục tiêu và đối tượng của nghiên cứu sẽ được dé cập, cùng với phạm vi của nghiên cứu. Phương pháp nghiên cứu sẽ được giới thiệu chỉ tiết, bao gồm cả phương pháp thu thập dit liệu và phương pháp xử lý dit liệu. Tiếp theo, ý nghĩa khoa học và thực tiễn của nghiên cứu sẽ được đề cập, đặc biệt là những đóng góp mới của nghiên cứu đối với lĩnh vực liên quan.

Chương 2: Tổng quan tình hình nghiên cứu Chương nảy giới thiệu tông quan tình hình nghiên cứu của bài toán hiện tai, giới thiệu về các tập dữ liệu tiêu chuân đang được các nhà nghiên cứu sử dụng, trình bay các phương pháp sử dung học sâu va những công trình tiêu biểu tương ứng với từng phương pháp. Chương 3: Cơ sở lý thuyết Phương pháp trích xuất thông tin từ hình ảnh sử dụng mô hình Vision Transformer đã được đưa ra và đang nhận được nhiều sự quan tâm trong giới nghiên cứu. Với khả năng chia nhỏ dé học va tông hợp các đặc trưng cục bộ của hình anh, mô hình Vision Transformer cho phép chúng ta rút trích được các thông tin quan trọng từ ảnh một cách hiệu quả và chính xác. Chương 5: Phương pháp chuyền thể hình ảnh phương trình toán học sang ngôn ngữ định đạng LaTeX Chương này sẽ nói về các kỹ thuật tiền xử lý hình ảnh vả văn bản đóng vai trò quan trọng như thé nào trong việc đảm bảo rằng các đầu vào hình ảnh và văn ban phù hợp dé sử dung trong mô hình và có thé dẫn đến cải thiện độ chỉnh xác của đầu ra cuối cùng.

Ngoài ra, kiến trúc chỉ tiết của các mô hình được sử dụng cho các nhiệm vụ chuyên đổi hình anh sang LaTeX cũng được trình bảy ở chương này. Cuối cùng, kỹ thuật hậu xử lý được sử dụng dé tinh chỉnh đầu ra được tạo ra bởi mô hình. Bằng cách áp dụng các kỹ thuật hậu xử lý, đầu ra cuối cùng được tạo ra bởi mô hình có thể được tinh chinh dé tạo ra phương trình toán học ở định dạng LaTeX có chất lượng cao và chính xác. Chương 5: Dữ liệu, Thực nghiệm và Đánh giá Chương này giới thiệu các bộ dữ liệu được sử dụng trong luận văn, cũng như nói về quá trình thử nghiệm nhiều biến thê mô hình với các thông số huấn luyện khác nhau, cũng như đánh giá và nhận xét về kết quả đạt được trong phạm vi bài luận nảy.

Chương 6: Kết luận và hướng pháp triển Tong kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiền hành thực nghiệm. Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai dé nâng cao hiệu suất cũng như dé khắc phục các hạn chế hiện tại. TÓNG QUAN TÌNH HÌNH NGHIÊN CỨU 2. Tổng quan Cùng với sự phát triển mạnh mẽ của cộng đồng các nhà khoa học, các nha toán học, giáo viên và nhiều người khác, việc sử dụng ngôn ngữ định đạng LaTeX đã trở nên phô biến hơn bao giờ hết.

Tuy nhiên, khi đọc tài liệu hoặc xem hình ảnh có chứa công thức LaTeX, nếu không biết ký hiệu của nó thì sé gây khó khăn cho người đọc và sử dụng. Tinh hình nghiên cứu cho bài toán Image-to-LaTeX đang được nhiều nhà khoa học máy tính quan tâm và nghiên cứu. Hiện nay, có nhiều phương pháp đã được đề xuất để giải quyết bài toán nay, từ các phương pháp truyền thống sử dụng các thuật toán tiền xử lý đến các phương pháp sử dụng học sâu và mạng nơ-ron như mô hình Transformer và mô hình Bộ Mã Hoá - Bộ Giải Mã. Các phương pháp sử dụng học sâu và mạng nơ-ron đang trở thành xu hướng phát triển chính cho bai toán Im2LaTeX.

Một số phương pháp sử dụng mô hình Transformer đẻ tông hợp các đặc trưng của hình anh, trong khi đó các phương pháp khác sử dụng mô hình Bộ Mã Hoá - Bộ Giải Mã kết hợp với các kiến trúc như Convolutional Neural Networks (CNNs) và Recurrent Neural Networks (RNNs) để trích xuất thông tin của ảnh. Ngoài ra, để giải quyết bài toán Im2LaTeX, các nhà nghiên cứu cũng đang phát triển các tập dit liệu mới va cải tiễn các phương pháp đánh giá hiệu suất của các mô hình. Các phương pháp đánh giá hiệu suất phổ biến hiện nay bao gồm BLEU (BiLingual Evaluation Understudy), Edit Distance (dựa trên công thức tính khoảng cách Levenshtein), Exact Match, hoặc Token Accuracy cũng được sử dụng. Đầu vào của bài toán là một hình ảnh có chứa phương trình toán học, đầu ra sẽ là một chuỗi LaTeX tương ứng với phương trình đó, Hình 2.1 mô tả sơ đồ bai toán.

l pg : Image to Latex input image S=\int_{x}\left\{\frac{1}{2}\sum_{a}\partialA{\mu} Hình 2.1 Sơ đồ xử lý bai toán Image2Latex. Bài toán Im2LaTeX có vẻ giống với bài toán như chú thích hình ảnh (Image Captioning), nhận dang chữ quang hoc (OCR) hay là nhận dạng giọng nói (ASR). Tuy nhiên, Im2LaTeX vẫn có những điểm khác biệt quan trọng so với những bài toán được kẻ trên. Dữ liệu đầu vào của bai toán này chỉ là hình ảnh trắng den bao gồm các đường nét đơn giản, không có sự đa dạng về màu sắc và chỉ tiết như trong Image Captioning, đo đó, mô hình sẽ gặp khó khăn hơn trong việc xử lý các đặc trưng phức tạp của ảnh.

Các công thức toán học được biểu trị trong LaTeX cũng có nhiều cách biểu diễn khác nhau, ví dụ như công thức J = 2Í urdu (1) được biếu diễn trong LaTeX là 1 =\dfrac{1}{2}\displaystyle\int u*2\mathrm{\, đu điều này dẫn đến tình trạng chồng chéo các ký tự và ký hiệu trong mã LaTeX lên nhau. Trong khi đó, đối với bài toán OCR chỉ đơn giản là nhận dạng các ký tự một cách liên tục, không chồng chéo lên nhau như trong bai toán Im2LaTeX. Ngoài ra, dữ liệu đầu vào trong bài toán ASR âm thanh được biểu dién 6 dang sóng, nhưng khi biéu diễn bằng Mel Spectrogram thi vẫn có thé hiển thị như hình ảnh, đữ liệu đầu ra là các ký tự không chồng chéo lên nhau và đơn điệu, tuy nhiên, chúng vẫn khác biệt rất nhiều so với bài toán Im2LaTeX. Do đó, các kiến trúc mô hình và phương pháp được áp dụng cho các bài toán Image Captioning, ASR hay 15 không thé được áp dụng trực tiếp cho bài toán Im2LaTeX.2 mô ta sự khác biệt của các bài toán được nói trên.

Bài toán Đầu vào Đầu ra Image to 0, (FM — ejx") =0. Image một cô bé mặc áo hồng leo Captioning câu dây ở công viên Optical Character restaurant Recognition Speech Recognition a MVE A ALY tôi yêu khoa học dữ liệu Hình 2.2 Sự khác biệt giữa bài toán Image2LaTeX so với các bài toán còn lại. Cac tập dữ liệu tiêu chuẩn Yuntian Deng và các đồng sự tại dai học Harvard [5] đã đưa ra một đóng góp quan trọng trong lĩnh vực Image-to-LaTeX bằng việc giới thiệu bộ dit liệu mới có tên Im2LaTeX-100k. Bộ dữ liệu này chứa hơn 100,000 ảnh chứa phương trình toán học được trích xuất từ các tài liệu khoa học đã được công bố trên toàn cầu tại thời điểm đó.

Những ảnh này đã được gán nhãn bởi các biêu thức LaTeX tương ứng. Đến thời điểm hiện tại vẫn chưa có nghiên cứu nao công bố thêm các bộ dữ liệu khác có đóng góp cho bài toán Im2LaTeX- 100k, cho nên bộ dữ liệu này vẫn đang được xem là bộ dữ liệu tiêu chuẩn cho bài toán này. Những nghiên cứu trước đó Nam 2003, Masakazu Suzuki [29] và các déng sự đã giới thiệu một hệ thông OCR tích hợp cho các tài liệu toán học, được gọi là INFTY. INFTY bao gồm bốn thanh phan chính, bao gồm phân tích bé cục, nhận dang ký tự.

phân tích cau trúc của biểu thức toán học va sửa lỗi thủ công. Trong các thành phan nay, nhiều kỹ thuật mới được sử dung đẻ đạt được hiệu suất nhận dạng tốt hơn. Kết quả thực nghiệm trên khoảng 500 trang tài liệu toán học cho thấy tỷ lệ nhận dạng ký tự cao trên cả biểu thức toán học và văn bản thường, và hiệu suất đủ đáp Ứng trong phân tích cau trúc của các biéu thức toán học. Kết quả đạt được là 66.65% trên BLEU và 15.

Sauvestre [9] đã thực hiện nghiên cứu tiếp theo cho bài toán này vào năm 2016, trong đó họ đề xuất sử dụng kiến trúc Bộ Mã Hoá - Bộ Giải Mã (kết hợp giữa các lớp CNN và Max Pooling cho phan Bộ Mã Hoá và LSTM 1 lớp cho phần Bộ Giải Mã) cùng với Luong Attention. Kết quả của phương pháp này đạt được 75% trên BLEU và 35% trên Exact Match (EM) Yukai Deng [6] và các đồng sự đã giới thiệu mô hình mã hóa-giải ma hai chiều dựa trên Cơ chế chú ý đã được dé xuất cho các hệ thông mô tả hình anh thông thường và đạt được kết quá tốt trong nhiệm vụ nhận dạng biểu thức toán học. Cấu trúc mô hình cơ bản bao gồm bộ trích xuất đặc trưng CNN kết hợp với bộ mã hóa hai chiêu RNN và bộ giải mã dựa trên Cơ chế chú ý. Nó có thể được biếu theo hai cách: Thứ nhất, nó có thé được coi là một phiên bản được sửa đổi của mô hinh tạo chú thích cho hình ảnh show-attend-and-tell, trong đó hai bộ mã hóa bô sung được thêm vào đề phù hợp tốt hơn với tác vụ này.

Có nghĩa rằng mô hình của nhom tác giả đề xuất là mô hình được dựa vào Show-Attend-And-Tell dé phát triên lên. Thứ hai, nó có thê được coi như la một sự tông quát hóa của mô hình dịch máy, trong đó các đặc trưng được trích xuất bởi CNN đóng vai trò của ngôn ngữ đầu vào và đánh dấu LaTeX đóng vai 17 trò của ngôn ngữ đích. Kết quả đạt được của mô hình. Kết quả mô hình tốt nhất đạt được của nhóm tác giả là 73.

Mô hình What You Get Is What You See (WYGIWYS) được trình bày bởi Yuntian Deng [7] va cac déng su là một mô hình dịch ngược từ hình ảnh sang công thức LaTeX. Mô hình cũng được sử dụng kiến trúc Bộ Mã Hoá - Bộ Giải Mã, trong đó Bộ Mã Hoá được xây dựng bằng sự kết hợp của các mạng tích chập (CNN). Max Pooling [18], Batch Normalization [15], và một mạng LSTM 2 chiêu (Bi-LSTM) có 1 lớp (còn được gọi là Row Encoder), chạy trên từng hang của ảnh được trích xuất từ Convolution Encoder. Bộ Giải Mã được thiết kế với 1 lớp LSTM.

Mô hình đạt được kết quả BLEU §7.73% và kết quả EM 77.