Xây dựng thuật toán OCR công thức toán bằng Vision Transformer | Lê Ái Quốc Vinh

Tài liệu nghiên cứu Xây dựng thuật toán trích xuất thông tin cho tài liệu môn toán, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về kỹ thuật.

• Đề tài: Phát Triển Thuật Toán Trích Xuất Thông Tin Từ Tài Liệu Toán Học

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.4.1. Phương pháp nghiên cứu lý thuyết
• 1.4.2. Phương pháp nghiên cứu thực nghiệm
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.6. Cấu trúc luận văn
• 2. CHƯƠNG 2: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 2.1. Các tập dữ liệu tiêu chuẩn
• 2.2. Những nghiên cứu trước đó
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Phương pháp tiền xử lý dữ liệu
• 3.2. Mô hình Vision Transformer
• 4. CHƯƠNG 4: PHƯƠNG PHÁP CHUYỂN THỂ HÌNH ẢNH PHƯƠNG TRÌNH TOÁN HỌC SANG NGÔN NGỮ ĐỊNH DẠNG LATEX
• 4.1. Tiền xử lý dữ liệu
• 4.2. Bộ Giải Mã
• 4.3. Hậu xử lý dữ liệu
• 4.4. Các kỹ thuật đánh giá
• 5. CHƯƠNG 5: DỮ LIỆU, THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Cài đặt thực nghiệm
• 5.2. Triển khai thử nghiệm API
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Khám phá cách trích xuất thông tin tài liệu môn toán

Việc xây dựng thuật toán trích xuất thông tin cho tài liệu môn toán là một bước tiến quan trọng trong lĩnh vực công nghệ giáo dục và xử lý tài liệu khoa học. Trong bối cảnh kỹ nguyên số, lượng tài liệu học thuật, giáo trình, và các bài báo khoa học về toán học tồn tại dưới dạng số hóa ngày càng tăng. Tuy nhiên, việc chuyển đổi các công thức toán học phức tạp từ dạng hình ảnh sang định dạng văn bản có cấu trúc như LaTeX vẫn là một thách thức lớn. LaTeX, một ngôn ngữ định dạng tài liệu, đã trở thành công cụ tiêu chuẩn trong cộng đồng học thuật để soạn thảo các văn bản khoa học nhờ khả năng biểu diễn chính xác và đồng nhất các ký hiệu và phương trình toán học. Nghiên cứu của Lê Ái Quốc Vinh (2023) đã chỉ ra rằng, dù LaTeX rất mạnh mẽ, không phải ai cũng có thể sử dụng thành thạo, dẫn đến nhu cầu cấp thiết về một công cụ tự động hóa quá trình này. Một thuật toán hiệu quả không chỉ giúp tiết kiệm thời gian, công sức cho các nhà giáo dục và nhà nghiên cứu mà còn mở ra khả năng xây dựng các hệ thống hỏi đáp toán học thông minh, phân tích và tìm kiếm nội dung toán học một cách chính xác. Bài toán này, thường được gọi là Image-to-LaTeX, là sự kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên (NLP) cho toán học, yêu cầu mô hình phải hiểu được cả cấu trúc không gian của các ký hiệu và cú pháp logic của một biểu thức toán học. Việc phát triển thành công một giải pháp sẽ thúc đẩy quá trình số hóa tri thức, tạo điều kiện cho việc lưu trữ, truy xuất và tái sử dụng tài liệu toán học một cách hiệu quả hơn bao giờ hết.

1.1. Tầm quan trọng của ngôn ngữ định dạng LaTeX trong học thuật

LaTeX là một hệ thống soạn thảo văn bản được thiết kế đặc biệt cho việc sản xuất các tài liệu khoa học và kỹ thuật chất lượng cao. Được phát triển bởi Donald Knuth (với TeX) và Leslie Lamport (với LaTeX), nó cho phép người dùng tập trung vào nội dung thay vì định dạng, tự động xử lý các chi tiết phức tạp như đánh số phương trình, tạo mục lục, và quản lý tài liệu tham khảo. Đối với toán học, vai trò của LaTeX là không thể thay thế. Nó cung cấp một bộ cú pháp toàn diện để biểu diễn từ những ký hiệu đơn giản nhất đến các ma trận, tích phân, và các cấu trúc toán học phức tạp khác một cách rõ ràng và nhất quán. Theo nghiên cứu nền tảng của đề tài, việc soạn thảo đúng chuẩn các công thức toán học bằng các công cụ thông thường là cực kỳ khó khăn. LaTeX giải quyết vấn đề này, đảm bảo rằng các biểu thức toán học được hiển thị chính xác và chuyên nghiệp trên mọi thiết bị và định dạng in ấn. Sự phổ biến của nó trong cộng đồng nghiên cứu toàn cầu đã biến LaTeX parsing (phân tích cú pháp LaTeX) trở thành một kỹ năng thiết yếu và là mục tiêu đầu ra cho các hệ thống trích xuất thông tin toán học tự động.

1.2. Giới thiệu bài toán Image to LaTeX và mục tiêu nghiên cứu

Bài toán Image-to-LaTeX thuộc lĩnh vực giao thoa giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên. Mục tiêu của bài toán là phát triển một mô hình có khả năng nhận đầu vào là một hình ảnh chứa công thức toán học và tạo ra chuỗi ký tự LaTeX tương ứng miêu tả chính xác công thức đó. Mặc dù có vẻ tương tự các bài toán như Optical Character Recognition (OCR) cho công thức hay chú thích ảnh (Image Captioning), Image-to-LaTeX có những đặc thù riêng biệt. Như được phân tích trong luận văn của Lê Ái Quốc Vinh, công thức toán học có cấu trúc hai chiều phức tạp với các mối quan hệ không gian (chỉ số trên, chỉ số dưới, phân số) mà các hệ thống OCR một chiều truyền thống không thể xử lý hiệu quả. Mục tiêu nghiên cứu chính là xây dựng một mô hình ngôn ngữ cho toán học dựa trên kiến trúc học sâu, cụ thể là mô hình Encoder-Decoder, để giải quyết bài toán này. Mô hình đề xuất sử dụng Vision Transformer (ViT) cho bộ mã hóa (Encoder) để nắm bắt các đặc trưng không gian từ hình ảnh và Transformer cho bộ giải mã (Decoder) để sinh ra chuỗi LaTeX. Kết quả kỳ vọng là một hệ thống có độ chính xác cao, vượt trội so với các phương pháp cổ điển, góp phần rút ngắn thời gian soạn thảo tài liệu toán học.

II. Vấn đề khi xây dựng thuật toán bóc tách dữ liệu toán học

Việc xây dựng thuật toán trích xuất thông tin cho tài liệu môn toán đối mặt với nhiều rào cản đặc thù mà các bài toán xử lý văn bản hay hình ảnh thông thường không gặp phải. Thách thức lớn nhất đến từ bản chất cấu trúc hai chiều và phức tạp của các biểu thức toán học. Không giống như văn bản tự nhiên được viết theo một dòng tuần tự, các ký hiệu trong một công thức toán học có mối quan hệ không gian đa dạng: chỉ số trên, chỉ số dưới, phân số, căn bậc hai, và các ký hiệu toán tử lớn như tổng (Σ) hay tích phân (∫). Một thuật toán bóc tách dữ liệu tài liệu toán phải có khả năng nhận diện chính xác từng ký tự và đồng thời hiểu được mối quan hệ cấu trúc giữa chúng để tái tạo lại cú pháp LaTeX một cách chính xác. Luận văn gốc nhấn mạnh rằng, việc diễn giải sai một ký hiệu nhỏ hoặc vị trí tương đối của nó có thể làm thay đổi hoàn toàn ý nghĩa của cả biểu thức. Thêm vào đó, sự đa dạng trong cách viết tay, các phông chữ khác nhau, và chất lượng hình ảnh kém (nhiễu, mờ) càng làm tăng thêm độ khó cho bài toán nhận dạng công thức toán học. Hơn nữa, một công thức toán học có thể được biểu diễn bằng nhiều chuỗi LaTeX tương đương về mặt ngữ nghĩa, gây khó khăn cho việc huấn luyện và đánh giá mô hình. Ví dụ, \frac{1}{2} và \frac{1}{2} đều hợp lệ nhưng có chuỗi ký tự khác nhau. Điều này đòi hỏi mô hình không chỉ học vẹt mà phải nắm bắt được ngữ nghĩa toán học sâu xa, một nhiệm vụ gần với semantic parsing for math problems.

2.1. Sự khác biệt so với nhận dạng ký tự quang học OCR truyền thống

Mặc dù cả hai đều xử lý việc chuyển đổi hình ảnh thành văn bản, Optical Character Recognition (OCR) cho công thức toán học phức tạp hơn nhiều so với OCR truyền thống. OCR truyền thống hoạt động hiệu quả trên văn bản một chiều, nơi các ký tự được sắp xếp tuần tự từ trái sang phải. Ngược lại, như đã phân tích, công thức toán học có cấu trúc không gian hai chiều. Một hệ thống OCR đơn thuần chỉ có thể nhận dạng các ký tự riêng lẻ như 'x', '2', '+' nhưng sẽ thất bại trong việc diễn giải cấu trúc của x^2. Nó không thể xác định '2' là chỉ số trên của 'x'. Bài toán Image-to-LaTeX đòi hỏi một bước phân tích cú pháp toán học (mathematical syntax analysis) để hiểu mối quan hệ phân cấp và không gian giữa các ký hiệu. Đây là điểm khác biệt cốt lõi. Trong khi OCR tập trung vào nhận dạng, thuật toán trích xuất thông tin toán học phải kết hợp cả nhận dạng và phân tích cấu trúc để tạo ra một biểu diễn logic và chính xác.

2.2. Phân tích cấu trúc đề bài toán và các công thức phức tạp

Một thách thức nâng cao là khả năng phân tích cấu trúc đề bài toán, không chỉ các công thức đứng riêng lẻ. Một đề bài toán thường chứa cả văn bản mô tả và các biểu thức toán học lồng vào nhau. Việc bóc tách chính xác các thành phần này đòi hỏi một thuật toán có khả năng phân loại vùng (layout analysis) giữa văn bản và công thức. Hơn nữa, các công thức phức tạp như hệ phương trình, ma trận, hay các biểu thức lồng nhau nhiều cấp đặt ra yêu cầu rất cao về khả năng của mô hình trong việc nắm bắt các phụ thuộc xa (long-range dependencies). Mô hình cần hiểu rằng một dấu ngoặc mở ở đầu biểu thức phải có một dấu ngoặc đóng tương ứng ở cuối, dù ở giữa có nhiều cấu trúc phức tạp khác. Việc này đòi hỏi các kiến trúc học máy cho phân tích văn bản toán phải có bộ nhớ và cơ chế chú ý đủ mạnh để duy trì và liên kết các thông tin cấu trúc trên toàn bộ biểu thức.

III. Phương pháp tiền xử lý dữ liệu cho thuật toán trích xuất

Một giai đoạn tiền xử lý dữ liệu hiệu quả là nền tảng cốt lõi để xây dựng thuật toán trích xuất thông tin cho tài liệu môn toán đạt độ chính xác cao. Quá trình này bao gồm hai luồng chính: xử lý hình ảnh đầu vào và xử lý văn bản (chuỗi LaTeX) đầu ra. Đối với hình ảnh, mục tiêu là chuẩn hóa dữ liệu và tăng cường tính đa dạng của tập huấn luyện để mô hình có thể khái quát hóa tốt hơn trên các dữ liệu chưa từng thấy. Các kỹ thuật như đệm (padding) ảnh để đảm bảo kích thước đầu vào là bội số của kích thước patch trong mô hình Vision Transformer là bắt buộc. Theo nghiên cứu thực nghiệm trong luận văn, việc đệm đều các cạnh thay vì chỉ một cạnh giúp giữ chủ thể công thức ở trung tâm và tránh mất mát thông tin. Bên cạnh đó, các kỹ thuật tăng cường dữ liệu (data augmentation) như xoay, co giãn, thêm nhiễu (Gaussian Noise), và thay đổi độ sáng/tương phản được áp dụng để mô phỏng các điều kiện thực tế đa dạng. Việc này giúp mô hình trở nên bền vững hơn trước các biến thể về hình ảnh. Đối với dữ liệu văn bản, mục tiêu là chuyển đổi các chuỗi LaTeX thành một định dạng số mà mô hình có thể học được. Kỹ thuật Tokenization đóng vai trò then chốt trong giai đoạn này, giúp bóc tách dữ liệu tài liệu toán ở cấp độ văn bản một cách hiệu quả và xử lý được vốn từ vựng lớn của LaTeX.

3.1. Các kỹ thuật tăng cường và chuẩn hóa hình ảnh công thức toán

Để đảm bảo mô hình nhận dạng công thức toán học hoạt động ổn định, việc chuẩn hóa hình ảnh là bước không thể thiếu. Đầu tiên, tất cả hình ảnh được chuyển đổi sang thang độ xám (grayscale) để loại bỏ thông tin màu sắc không cần thiết và giảm độ phức tạp của dữ liệu đầu vào. Sau đó, giá trị pixel của ảnh được chuẩn hóa về một khoảng nhất định, thường là [0, 1] hoặc có trung bình 0 và độ lệch chuẩn 1. Bước này giúp quá trình huấn luyện hội tụ nhanh và ổn định hơn. Thư viện Albumentations được đề cập trong tài liệu gốc là một công cụ mạnh mẽ để thực hiện các phép tăng cường dữ liệu. Các phép biến đổi như ShiftScaleRotate, GridDistortion mô phỏng sự biến dạng hình học, trong khi RGBShift và RandomBrightnessContrast giả lập các điều kiện ánh sáng khác nhau. Việc áp dụng các kỹ thuật này một cách ngẫu nhiên trong quá trình huấn luyện buộc mô hình phải học các đặc trưng bất biến của ký hiệu, thay vì phụ thuộc vào các chi tiết bề mặt của hình ảnh.

3.2. Kỹ thuật mã hóa Byte Pair Encoding BPE cho LaTeX parsing

Trong xử lý ngôn ngữ tự nhiên (NLP) cho toán học, việc xử lý vốn từ vựng khổng lồ của LaTeX là một thách thức. LaTeX có hàng trăm lệnh và môi trường khác nhau. Thay vì coi mỗi lệnh là một từ (token), kỹ thuật mã hóa Byte-Pair Encoding (BPE) được sử dụng để phân tách các chuỗi LaTeX thành các đơn vị từ phụ (subword units). BPE hoạt động bằng cách bắt đầu với một bộ từ vựng gồm các ký tự riêng lẻ và liên tục hợp nhất các cặp ký tự hoặc chuỗi ký tự xuất hiện thường xuyên nhất. Quá trình này tạo ra một bộ từ vựng có kích thước cố định, cân bằng giữa cấp độ ký tự và cấp độ từ. Ưu điểm lớn của BPE là khả năng xử lý các từ hoặc lệnh hiếm gặp (out-of-vocabulary) bằng cách phân rã chúng thành các đơn vị từ phụ đã biết. Điều này đặc biệt hữu ích cho LaTeX parsing, giúp mô hình biểu diễn hiệu quả mọi công thức có thể có mà không cần một bộ từ vựng vô hạn. Ngoài ra, các token đặc biệt như [BOS] (bắt đầu chuỗi), [EOS] (kết thúc chuỗi) và [PAD] (đệm) được thêm vào để quản lý các chuỗi có độ dài khác nhau trong một batch dữ liệu.

IV. Hướng dẫn xây dựng thuật toán trích xuất thông tin hiệu quả

Việc xây dựng thuật toán trích xuất thông tin cho tài liệu môn toán hiệu quả đòi hỏi một kiến trúc học sâu phù hợp, có khả năng diễn giải thông tin không gian từ hình ảnh và sinh ra một chuỗi văn bản có cấu trúc logic. Mô hình Encoder-Decoder là lựa chọn hàng đầu cho nhiệm vụ này. Luận văn của Lê Ái Quốc Vinh đề xuất một kiến trúc tiên tiến, kết hợp những ưu điểm của các mô hình hiện đại nhất trong thị giác máy tính và xử lý ngôn ngữ tự nhiên. Cụ thể, bộ mã hóa (Encoder) sử dụng Vision Transformer (ViT), một mô hình đã tạo ra cuộc cách mạng trong việc xử lý hình ảnh bằng cách áp dụng cơ chế tự chú ý (self-attention) của Transformer. ViT chia hình ảnh thành các mảnh nhỏ (patch) và xử lý chúng như một chuỗi, cho phép mô hình nắm bắt được các mối quan hệ toàn cục giữa các phần của công thức toán học. Bộ giải mã (Decoder) sử dụng kiến trúc Transformer tiêu chuẩn, nhận các đặc trưng đã được mã hóa từ ViT và tuần tự sinh ra từng token LaTeX. Quá trình học máy cho phân tích văn bản toán này được tối ưu hóa bằng hàm mất mát Cross-Entropy, nhằm mục đích dự đoán token tiếp theo chính xác nhất dựa trên các token đã được sinh ra trước đó và thông tin từ hình ảnh. Sự kết hợp này tạo ra một mô hình ngôn ngữ cho toán học mạnh mẽ, có khả năng chuyển đổi trực tiếp từ pixel sang cú pháp.

4.1. Vai trò của Vision Transformer ViT trong nhận dạng công thức

Vision Transformer (ViT) đóng vai trò là bộ trích xuất đặc trưng hình ảnh trong kiến trúc. Khác với các mạng CNN truyền thống vốn dựa vào các tích chập cục bộ, ViT có khả năng nhìn bao quát toàn bộ hình ảnh. Nó chia ảnh đầu vào thành một lưới các patch 16x16, làm phẳng chúng, và chiếu tuyến tính thành các vector nhúng (embedding). Các vector này, cùng với thông tin nhúng vị trí (positional embedding), được đưa vào một chuỗi các khối Transformer Encoder. Cơ chế tự chú ý (self-attention) bên trong các khối này cho phép mỗi patch "chú ý" đến tất cả các patch khác, từ đó học được các mối quan hệ không gian phức tạp. Ví dụ, nó có thể liên kết một ký hiệu chỉ số trên với ký hiệu cơ sở của nó dù chúng nằm ở các patch khác nhau. Khả năng nắm bắt các phụ thuộc xa này làm cho ViT đặc biệt phù hợp cho việc nhận dạng công thức toán học, nơi cấu trúc toàn cục là yếu tố quyết định.

4.2. Kiến trúc Transformer Decoder và cơ chế Multi Head Attention

Bộ giải mã (Decoder) có nhiệm vụ sinh ra chuỗi LaTeX dựa trên biểu diễn hình ảnh từ Encoder. Nó sử dụng kiến trúc Transformer Decoder, cũng dựa trên cơ chế tự chú ý nhưng có một vài sửa đổi. Thứ nhất, nó sử dụng "masked self-attention", nơi mỗi token chỉ có thể chú ý đến các token đứng trước nó trong chuỗi đã sinh, ngăn mô hình "nhìn trước" kết quả. Thứ hai, và quan trọng nhất, nó có một tầng chú ý chéo (cross-attention) kết nối Encoder và Decoder. Tại đây, các biểu diễn từ chuỗi LaTeX đang được sinh ra (Query) sẽ "chú ý" đến các đặc trưng hình ảnh từ Encoder (Key và Value). Điều này cho phép Decoder tập trung vào các vùng liên quan của hình ảnh khi quyết định sinh token tiếp theo. Cơ chế Multi-Head Attention được sử dụng trong cả hai tầng chú ý, cho phép mô hình học các loại quan hệ khác nhau một cách song song, giúp cải thiện đáng kể hiệu suất của quá trình trích xuất thông tin toán học.

4.3. Kết hợp ViT với ResNetV2 làm backbone để tối ưu hóa mô hình

Để tăng cường khả năng trích xuất đặc trưng cục bộ, một phương pháp hiệu quả là xây dựng một mô hình lai (hybrid). Nghiên cứu thực nghiệm đã thử nghiệm việc kết hợp Vision Transformer với một mạng CNN mạnh mẽ như ResNetV2 làm "backbone" (xương sống). Trong kiến trúc này, hình ảnh đầu vào trước tiên đi qua các tầng tích chập của ResNetV2 để trích xuất các bản đồ đặc trưng (feature maps) cấp thấp và trung bình. Các bản đồ đặc trưng này, thay vì các patch ảnh gốc, sau đó được đưa vào ViT. Cách tiếp cận này tận dụng được cả hai thế giới: khả năng của CNN trong việc học các đặc trưng cục bộ hiệu quả (như các cạnh, góc của ký tự) và khả năng của Transformer trong việc mô hình hóa các mối quan hệ toàn cục. Sự kết hợp này đã được chứng minh là mang lại kết quả vượt trội, đặc biệt trên các bộ dữ liệu có kích thước vừa và nhỏ, nơi ViT thuần túy có thể gặp khó khăn trong việc học từ đầu.

V. Kết quả thực nghiệm của thuật toán trích xuất thông tin toán

Hiệu quả của một thuật toán trích xuất thông tin cho tài liệu môn toán phải được kiểm chứng thông qua các thực nghiệm và đánh giá định lượng nghiêm ngặt. Luận văn của Lê Ái Quốc Vinh đã tiến hành huấn luyện và đánh giá mô hình trên nhiều bộ dữ liệu, bao gồm cả dữ liệu tự thu thập và bộ dữ liệu tiêu chuẩn quốc tế IM2LATEX-100K. Bộ dữ liệu này, được giới thiệu bởi Deng và các cộng sự, chứa hơn 100,000 cặp hình ảnh công thức và chuỗi LaTeX tương ứng, trích xuất từ các bài báo khoa học. Việc sử dụng một bộ dữ liệu chuẩn như vậy cho phép so sánh kết quả một cách công bằng với các nghiên cứu tiên tiến nhất (state-of-the-art) trong cùng lĩnh vực. Quá trình thực nghiệm bao gồm việc huấn luyện nhiều biến thể của mô hình, từ ViT thuần túy đến mô hình lai kết hợp với ResNetV2, với các thông số huấn luyện khác nhau để tìm ra cấu hình tối ưu. Kết quả đạt được cho thấy sự vượt trội rõ rệt của phương pháp đề xuất so với các hệ thống Optical Character Recognition (OCR) cho công thức cổ điển. Thành công này không chỉ khẳng định tính đúng đắn của việc áp dụng kiến trúc Transformer cho bài toán Image-to-LaTeX mà còn mở ra nhiều ứng dụng thực tiễn giá trị.

5.1. Đánh giá hiệu suất mô hình qua các chỉ số BLEU và Token Accuracy

Để đo lường độ chính xác của chuỗi LaTeX được tạo ra, nhiều chỉ số đánh giá đã được sử dụng. Phổ biến nhất là BLEU (Bilingual Evaluation Understudy), một chỉ số ban đầu được dùng để đánh giá chất lượng dịch máy. BLEU đo lường sự tương đồng giữa chuỗi dự đoán và chuỗi tham chiếu (ground truth) bằng cách tính toán độ chính xác của các n-gram (cụm n token liên tiếp). Một chỉ số khác là Token Accuracy, đo lường tỷ lệ phần trăm các token được dự đoán khớp chính xác với chuỗi tham chiếu. Ngoài ra, khoảng cách Levenshtein (Edit Distance) cũng được dùng để tính số lượng thao tác tối thiểu (thêm, xóa, thay thế) cần thiết để biến chuỗi dự đoán thành chuỗi tham chiếu. Kết quả nổi bật nhất được ghi nhận trong luận văn là mô hình tốt nhất đã đạt điểm BLEU lên tới 91.82% trên dữ liệu tự chuẩn bị và 90% trên bộ dữ liệu IM2LATEX-100K, vượt qua các mô hình SOTA tại thời điểm đó. Những con số này chứng tỏ mô hình có khả năng trích xuất thông tin toán học với độ chính xác rất cao.

5.2. Triển khai API cho hệ thống hỏi đáp toán học từ hình ảnh

Ngoài ý nghĩa học thuật, nghiên cứu còn mang lại giá trị thực tiễn cao thông qua việc triển khai mô hình dưới dạng một API (Application Programming Interface). Một API cho phép các ứng dụng khác có thể dễ dàng tích hợp và sử dụng chức năng của mô hình mà không cần quan tâm đến sự phức tạp bên trong. Cụ thể, một API đã được xây dựng bằng Python Flask, cho phép người dùng tải lên một tệp hình ảnh chứa công thức toán và nhận về chuỗi LaTeX dự đoán trong thời gian thực. Việc triển khai này là bước đầu tiên hướng tới việc xây dựng các ứng dụng hoàn chỉnh như một hệ thống hỏi đáp toán học, nơi người dùng có thể chụp ảnh một bài toán và hệ thống tự động phân tích, nhận dạng công thức để tiến hành giải. Nó cũng có thể được tích hợp vào các phần mềm soạn thảo văn bản để hỗ trợ người dùng nhập công thức toán một cách nhanh chóng và tiện lợi, thúc đẩy hiệu quả công việc trong giáo dục và nghiên cứu.

VI. Tương lai và hướng phát triển cho NLP trong lĩnh vực toán học

Thành công của việc xây dựng thuật toán trích xuất thông tin cho tài liệu môn toán chỉ là bước khởi đầu cho một lĩnh vực nghiên cứu đầy tiềm năng. Các mô hình hiện tại, dù đạt độ chính xác cao, vẫn chủ yếu tập trung vào việc chuyển đổi cú pháp từ hình ảnh sang LaTeX. Hướng phát triển tiếp theo và quan trọng hơn là tiến tới việc hiểu được ngữ nghĩa (semantics) của toán học. Điều này có nghĩa là mô hình không chỉ nhận dạng được chuỗi ký tự x^2, mà còn phải hiểu rằng đó là một phép toán lũy thừa của biến x với số mũ là 2. Việc đạt được cấp độ hiểu này sẽ mở ra những ứng dụng đột phá. Ví dụ, một hệ thống có thể tự động kiểm tra tính đúng đắn của một phép biến đổi đại số, đơn giản hóa biểu thức, hoặc thậm chí đề xuất các bước giải cho một bài toán. Xử lý ngôn ngữ tự nhiên (NLP) cho toán học trong tương lai sẽ không chỉ dừng lại ở việc nhận dạng và chuyển đổi, mà sẽ đi sâu vào semantic parsing for math problems, biến máy tính thành một trợ lý toán học thông minh thực thụ. Các kỹ thuật như Named Entity Recognition (NER) for mathematics (nhận dạng các thực thể toán học như biến, hằng số, hàm) và Relation Extraction trong toán học (trích xuất quan hệ như "bằng", "lớn hơn", "là đạo hàm của") sẽ là những hướng nghiên cứu trọng tâm.

6.1. Tiềm năng xây dựng đồ thị tri thức toán học tự động

Một trong những hướng phát triển hấp dẫn nhất là tự động xây dựng đồ thị tri thức toán học (Math Knowledge Graph). Bằng cách áp dụng các thuật toán trích xuất thông tin trên một kho tài liệu toán học khổng lồ (sách giáo khoa, bài báo khoa học), chúng ta có thể tự động bóc tách các khái niệm (ví dụ: "định lý Pythagoras", "tích phân"), các thực thể (ví dụ: hằng số π, số e) và các mối quan hệ giữa chúng (ví dụ: "đạo hàm là một dạng của giới hạn", "hình vuông là một dạng của hình chữ nhật"). Một đồ thị tri thức như vậy sẽ là nền tảng vô giá cho các công cụ tìm kiếm ngữ nghĩa, cho phép người dùng đặt những câu hỏi phức tạp như "Tìm tất cả các định lý liên quan đến tam giác vuông". Nó cũng hỗ trợ việc cá nhân hóa lộ trình học tập, gợi ý các khái niệm liên quan mà một học sinh cần nắm vững.

6.2. Hướng tới semantic parsing for math problems chính xác hơn

Semantic parsing (phân tích ngữ nghĩa) là quá trình chuyển đổi một câu ngôn ngữ tự nhiên thành một biểu diễn logic, hình thức mà máy tính có thể thực thi. Trong bối cảnh toán học, semantic parsing for math problems có nghĩa là đọc một đề bài toán bằng lời (ví dụ: "An có 5 quả táo, Bình cho An thêm 3 quả. Hỏi An có tất cả bao nhiêu quả táo?") và chuyển nó thành biểu thức tính toán (5 + 3). Đây là một bài toán cực kỳ thách thức, đòi hỏi mô hình phải hiểu sâu sắc cả ngôn ngữ tự nhiên và logic toán học. Các mô hình ngôn ngữ cho toán học trong tương lai, được huấn luyện trên dữ liệu lớn kết hợp văn bản và công thức, có thể học được khả năng này. Thành công trong lĩnh vực này sẽ tạo ra các hệ thống gia sư ảo có khả năng giải thích và hướng dẫn giải các bài toán một cách thông minh, thay đổi căn bản cách chúng ta tương tác và học toán.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. MO DAU do chon dé tài Voi vige xa hoi ngày cảng phát triển về mọi mặt, cụ thể là sư phát triển mạnh mẽ của mạng Internet, đồng nghĩa với cách thức mà con người tiếp cận và thu nhận thông tin cũng ngày cảng thay đổi theo hướng tích cực. Đây là tiền đề cho một kỹ nguyên mới - kỹ nguyên công nghệ thông tin Chính vì thể mà lượng tài nguyên thông tin tôn tại trên không gian mạng là một con số không lỗ, những nhà giáo, nhà nghiên cứu đã cụ thể hoá chúng bằng những tập tài liệu, giáo rình, bài giảng, các bài báo khoa học. để phục vụ cho sự nghiệp giáo đục Pham vi trong luận văn sẽ nói riêng về bộ môn Toán - một trong những môn học ngày cảng có nhiều ứng dụng trong cuộc sống, th kỉ năng toán hoc eo ban đã giúp con người giải quyết các vấn đề trong thực tế cuộc sống.

một cách có hệ thông và chính xác, góp phân thúc đây xã hội phát triển, đặc biệt với nhóm ngành về máy tính - công nghệ thông tin Và để có thể soạn thảo được các tải liệu phục vụ cho mục đích giảng dạy và thĩ cử thì các nhà giáo đã tốn không t ông súc để có thỄ soạn thảo ra được chúng, Đặc biệt là với các phương trình toán học, chúng không hề đễ dàng để có thể soạn thảo được sao cho đúng định dạng su như chỉ sử dụng các kỹ thuật thông thường. LaTeX lä một ngôn ngữ định dạng tả liệu (document markup language). người đùng tạo ra các tài liệu nói chung, và các tà liệu toán học nói riêng c dng bộ và thống nhất. LaTeX là công cụ được sử dụng rộng rã trong cộng đồng sinh viên, giảng viên và các nhả nghiên cứu trong các lĩnh vực khoa học và kỹ thuật, cũng như các ngành khác.

LaTeX mi ching tathấy ngày nay là một (hệ thông) phần mềm giáp cho những người làm công tác khoa học có thể soạn thảo được các văn bản khoa học theo đồng cấc "chuẩn mực", "quy ước" của các bản văn khoa học. Dĩ nhiên nhờ thiết kế theo một kiến trúc mở và theo chính sách mã nguồn mớ nên LaTeX đã được sử dụng rộng tồi ong cả nh vực xuất bản sách báo ngoài khoa hộc “Thành phầnlõi được gọi là cỗ máy TeX hay TeX engine, đó là một phần mễm đã được nhà khoa học máy tính Donald Knuth thiết kế và xây dựng vào cuối thập 8 niên 1970 tại Đại học Stanford. Phần mềm này, cùng với ngôn ngữ của nó là TeX, cho pl p xu cfc bin vin ra dang iv (device independent, bio dim cho bản văn số thể in ra bằng một máy in bắt kỳ hay hiển thị tên màn hình với chất lượng tốt nhất, không phụ thuộc vào loại mấy 'Vào giữa thập niên 1980 đến đầu thập niên 1990, một nhà khoa học máy tính cũng rất nỗi tiếng là Leslie Lamport đã mở rộng ngôn ngữ TeX, bao trùm nó bằng ‘cae macro dé sir dung và gọi nó là LaTeX. Dĩ nhiên, đi kèm với ngôn ngữ LaTeX là một phẳn mềm xử lý và được ông gọi là hệ thống L: TeX.

cuối thập niền 1990, một nhà khon học máy tính người Việt Nam là Hàn “Thể Thành, ong luận án tiến cia minh ở Tiệp Khắc, đã sây dựng một phần mm sợi là pdfTeX, cho phép kết xuất các bản văn vig bing TeX ra dang pdf thay vi chi xuất ra vi, Hiện nay thành phần TeX thường là pdŸTeX “Tuy nhiên, không phải ai cũng biết LaTeX và không phải ai cũng có thể sử dụng LsTeX một cách thình thục. Chính vì lý do đó mà rit nhiều các nhà nghiên cứu, các nhà giáo cũng như những người có nhu cầu soạn thảo bài báo khoa học, tài liệu toán học rất khổ sở trong việc có thể diễn đạt các phương tình toán học trong tải liệu văn bản một cách chính xác và đóng định dạng so với họ mong muốn. Do đó, một số hệ thống đã được xây dựng để tiền hành việc nhận dạng, trích. xuất và chuyển đổi các hình ảnh có chứa phương trình toán hee sang dang văn không đồng nhất vì công đồng những người sử dụng LaTeX rit it do đó vẫn chưa có.

một quy tắc, hay tiêu chuẩn chung cho việc sử dụng LaTeX. Chính vi vậy, việc áp. dụng phương pháp học máy và đánh giá độ chính xác khi chuyển ảnh có chứa phương, trình toán học sang LaTeX la edn thiết để có thể rút ngắn thời gian soạn thảo các tài liệu phục vụ cho môn Toán. Nghiên cứu này áp dụng phương pháp trích xuất đặc trưng văn bản từ hình.

Sau đó, qua tinh tiền xử lý dữ liệu được tiến hành và các phương pháp học máy được áp dụng đẻ tìm ra mô hình tốt nhất và sẽ tạo ra đoạn mã LaTeX tương ứng cho. từng phương tnh toán học được đưa vào. Luận văn sẽ lâm rõ cơ sử lý thuyẾt về các phương pháp thị giác máy tỉnh, xử ý rên ngôn ngữ nhân tạo và các nghiên cứu liền «quan đến đề tải. Bên cạnh đồ cũng sẽ xây dụng và thứ nghiệm hệ thống đảnh giá hiệu quả cho người dùng một cích tối ưu "Mục tiêu nghiên cứu “Xây dựng một mô hình chuyển thê hình ảnh phương trình toán học sang ngôn ngữ định dạng LaTeX: “Thực nghiệm mô hình trên nhiều bộ dữ liệu phổ biển.

Đối tượng và phạm vi nghiên cứu Dối tượng nghiên cứu là những hình ảnh chứa thông tin về các phương trình toán học được chứa đựng trong các tài liệu văn bản. Chuyển thể từ ảnh có chứa phương trình toán học sang ngôn ngữ định dang LaTeX tuong ứng. Phương pháp nghiên cứu. Phương pháp nghiên cứu lý thuyết Tìm hiểu tổng quan các công trình nghiên cứu về chuyển thể hình ảnh phương trình toán học sang ngôn ngữ định dang LaTeX .œ- Nghiên cứu cơ sở lý thuyết liên quan đến đề tải.&- Nghiên cứu kỹ thuật trích xuất đặc trưng trên dữ liệu hình ảnh sử dụng mô hình học sâu .&- Nghiên cứu kỹ thuật sinh dữ liệu văn bản.

+ ĐỀ xuất hướng phat triển trong tương lai Phương pháp nghiên cứu thực nghiệm. + Thụ thập dữ liệu đấp ứng yêu bài toần, .®_ Tiến hành xây dựng mô hình. % Đảnh giá và so sánh kết quả đạt được. «Triển khai API ¥ nghta kha hge va thye tién Š tài “Xây Dựng Thị Toán Trích Xuất Thông Tin Cho Tải Liệu Môn Toán” là một bước phát triển từ bài toán nhận dang ky te quan hoe (Optical Character Regconion) và bài toán sinh ngôn ngữ (Text Generation).

Bài toán Imageo-Latex một cách tổng quát sẽ có phần tương tự với các bãi toán như chú thích ảnh/thêm mô tả cho ảnh (Image Captioning), nhận dạng giọng nói tự. Tuy nhiên, bài toán này vẫn có những điểm. Khác biệt quan trọng so với ba bài toán kỉ. Cụ thể nhất nu như so sinh với bãi toán chú thích ảnhthêm mô tả ho ảnh, nh đầu vào của bài toán Image-to-LaTeX chỉ đơn giản là ảnh trắng đen, không có nhiều màu sắc hoặc thông tin phức tạp như các dạng <i liệu ảnh đầu vào khác được sử dụng trong bài toán chú thích ảnh thêm mô tả chơ ảnh.

Do đó, việc xây dựng và huấn luyện mô hình đẻ xử lý bài toán này còn khó khăn. hơn vì tính chất phức tạp của nó. Cấu trúc hận văn Dựa vào những mục tiêu đã trình bảy, nội dung luận văn được chia thành các phần như sau Chương l: Mỡ đầu “Chương nay sẽ giới thiệu tông quan về đề tài nghiên cứu, Đầu tiền, nó sẽ trình bầy lý do vi sao để tải được chọn, bao gồm tằm quan trọng và ính cấp thiết của vấn 8, Sau d6, mục tiêu và đối tượng của nghiên cứu sẽ được để cập, cùng với phạm vỉ cửa nghiên cứu. Phương pháp nghiền cấu sẽ được giới thiệu chi tt, bao gdm ci phương pháp thu thập dữ liệu và phương pháp xử lý dữ liệu.

Tiếp theo, ý nghĩa khoa học và thực tiễn của nghiên cứu sẽ được đề cập, đặc biệt là những đóng góp mới của nghiên cứu đối với lĩnh vực Chương 2: Tổng quan tinh hình nghiên cứu Chương nảy giới thiệu tổng quan tình hình nghiên cứu của bãi toán hiện tại, giới thiệu về các tập dữ liệu tiêu chuẩn đang được các nhà nghiên cứu sử dụng, trình bảy các phương pháp sử dụng học sâu và những công trình tiêu biểu tương ứng với từng phương pháp. Chương 3: Cơ sở lý thuyết Phương pháp tích xuất thông tỉn từ hình ảnh sử dụng m6 hinh Vision Transformer đã được đưa ra và đang nhận được nhiều sự quan tâm trong giới nghiên. Với khả năng chỉa nhỏ để học và tổng hợp các đặc trưng cục bộ của hình ảnh, mô hình Vision Transfonner cho phép chúng ta út trch được các thông tín quan trọng từ ảnh một cách hiệu quá và chính xác. Chương 5: Phương pháp chuyển thể hình ảnh phương trình toán học sang ngôn ngữ định dạng LaTeX “Chương này sẽ nói về các kỹ thuật tiền xử lý hình ảnh vã văn ban dng vai td ‘quan trọng như thể nào trong việc đảm bảo rằng các đầu vào hình ảnh và văn bản phù hợp để sử dụng trong mồ bình và có thể dẫn đến cải thiện độ chính xác của đầu ra ôi cùng.

Ngoài ụ, kiến trúc chỉ tiết của các mô hình được sử dụng cho các nhiệm vụ chuyển đối hình ảnh sang LaTeX cũng được trình bày ở chương này. Cuối cùng, kỹ thuật hậu xử lý được sử dụng để tính chỉnh đầu m được tạo ra bởi mô hình. Bằng cách áp dạng các kỹ thuật hậu xử ý, đầu ra cuỗi cũng được tạ ra bởi mồ hình có thể được tỉnh chính đễ tạo ra phương tnh toán học ở định dạng LaTeX có chất lượng cao và chính xác. Chương 5: Dữ liệu, Thực nghiệm và Đánh giá Chương này giới thiệu các bộ dữ liệu được sử dụng trong luận văn, cũng như nói về quá trình thử nghiệm nhiều biến thể mô hình với các thông số huấn luyện khác.

nhau, cũng như đánh giá và nhận xét về kết quả dat được trong phạm vi bài luận này, Chương 6: Kết luận và hướng pháp triển Tổng kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiến hành thực nghiệm. Từ đó nêu lên những hướng nghiên cứu và phátiển tiếp theo trong tương lai để nâng cao hiệu suất cũng như để khắc phục các hạn chế hiện CHƯƠNG 2. TONG QUAN TINH HINH NGHIEN CUU. Tổng quan Cùng với sự phát triển mạnh mẽ của cộng đồng các nhà khoa học, các nhả toán.

học, giáo viên và nhiễu người khác, việc sử dựng ngôn ngữ định dạng LaTeX đã trở nên phổ biển hơn bao giờ hết.