Chương 1: Mỡ đầu Chương này sẽ giới thiệu tong quan vẻ đề tài nghiên cứu, Dau tiên, nó sẽ trình bảy lý do vì sao đề tài được chọn, bao gồm tầm quan trọng và tính cấp thiết của vấn dé. Sau đó, mục tiêu và đối tượng của nghiên cứu sẽ được dé cập, cùng với phạm vi của nghiên cứu. Phương pháp nghiên cứu sẽ được giới thiệu chỉ tiết, bao gồm cả phương pháp thu thập dit liệu và phương pháp xử lý dit liệu. Tiếp theo, ý nghĩa khoa học và thực tiễn của nghiên cứu sẽ được đề cập, đặc biệt là những đóng góp mới của nghiên cứu đối với lĩnh vực liên quan.
Chương 2: Tổng quan tình hình nghiên cứu Chương nảy giới thiệu tông quan tình hình nghiên cứu của bài toán hiện tai, giới thiệu về các tập dữ liệu tiêu chuân đang được các nhà nghiên cứu sử dụng, trình bay các phương pháp sử dung học sâu va những công trình tiêu biểu tương ứng với từng phương pháp. Chương 3: Cơ sở lý thuyết Phương pháp trích xuất thông tin từ hình ảnh sử dụng mô hình Vision Transformer đã được đưa ra và đang nhận được nhiều sự quan tâm trong giới nghiên cứu. Với khả năng chia nhỏ dé học va tông hợp các đặc trưng cục bộ của hình anh, mô hình Vision Transformer cho phép chúng ta rút trích được các thông tin quan trọng từ ảnh một cách hiệu quả và chính xác. Chương 5: Phương pháp chuyền thể hình ảnh phương trình toán học sang ngôn ngữ định đạng LaTeX Chương này sẽ nói về các kỹ thuật tiền xử lý hình ảnh vả văn bản đóng vai trò quan trọng như thé nào trong việc đảm bảo rằng các đầu vào hình ảnh và văn ban phù hợp dé sử dung trong mô hình và có thé dẫn đến cải thiện độ chỉnh xác của đầu ra cuối cùng.
Ngoài ra, kiến trúc chỉ tiết của các mô hình được sử dụng cho các nhiệm vụ chuyên đổi hình anh sang LaTeX cũng được trình bảy ở chương này. Cuối cùng, kỹ thuật hậu xử lý được sử dụng dé tinh chỉnh đầu ra được tạo ra bởi mô hình. Bằng cách áp dụng các kỹ thuật hậu xử lý, đầu ra cuối cùng được tạo ra bởi mô hình có thể được tinh chinh dé tạo ra phương trình toán học ở định dạng LaTeX có chất lượng cao và chính xác. Chương 5: Dữ liệu, Thực nghiệm và Đánh giá Chương này giới thiệu các bộ dữ liệu được sử dụng trong luận văn, cũng như nói về quá trình thử nghiệm nhiều biến thê mô hình với các thông số huấn luyện khác nhau, cũng như đánh giá và nhận xét về kết quả đạt được trong phạm vi bài luận nảy.
Chương 6: Kết luận và hướng pháp triển Tong kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiền hành thực nghiệm. Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai dé nâng cao hiệu suất cũng như dé khắc phục các hạn chế hiện tại. TÓNG QUAN TÌNH HÌNH NGHIÊN CỨU 2. Tổng quan Cùng với sự phát triển mạnh mẽ của cộng đồng các nhà khoa học, các nha toán học, giáo viên và nhiều người khác, việc sử dụng ngôn ngữ định đạng LaTeX đã trở nên phô biến hơn bao giờ hết.
Tuy nhiên, khi đọc tài liệu hoặc xem hình ảnh có chứa công thức LaTeX, nếu không biết ký hiệu của nó thì sé gây khó khăn cho người đọc và sử dụng. Tinh hình nghiên cứu cho bài toán Image-to-LaTeX đang được nhiều nhà khoa học máy tính quan tâm và nghiên cứu. Hiện nay, có nhiều phương pháp đã được đề xuất để giải quyết bài toán nay, từ các phương pháp truyền thống sử dụng các thuật toán tiền xử lý đến các phương pháp sử dụng học sâu và mạng nơ-ron như mô hình Transformer và mô hình Bộ Mã Hoá - Bộ Giải Mã. Các phương pháp sử dụng học sâu và mạng nơ-ron đang trở thành xu hướng phát triển chính cho bai toán Im2LaTeX.
Một số phương pháp sử dụng mô hình Transformer đẻ tông hợp các đặc trưng của hình anh, trong khi đó các phương pháp khác sử dụng mô hình Bộ Mã Hoá - Bộ Giải Mã kết hợp với các kiến trúc như Convolutional Neural Networks (CNNs) và Recurrent Neural Networks (RNNs) để trích xuất thông tin của ảnh. Ngoài ra, để giải quyết bài toán Im2LaTeX, các nhà nghiên cứu cũng đang phát triển các tập dit liệu mới va cải tiễn các phương pháp đánh giá hiệu suất của các mô hình. Các phương pháp đánh giá hiệu suất phổ biến hiện nay bao gồm BLEU (BiLingual Evaluation Understudy), Edit Distance (dựa trên công thức tính khoảng cách Levenshtein), Exact Match, hoặc Token Accuracy cũng được sử dụng. Đầu vào của bài toán là một hình ảnh có chứa phương trình toán học, đầu ra sẽ là một chuỗi LaTeX tương ứng với phương trình đó, Hình 2.1 mô tả sơ đồ bai toán.
l pg : Image to Latex input image S=\int_{x}\left\{\frac{1}{2}\sum_{a}\partialA{\mu} Hình 2.1 Sơ đồ xử lý bai toán Image2Latex. Bài toán Im2LaTeX có vẻ giống với bài toán như chú thích hình ảnh (Image Captioning), nhận dang chữ quang hoc (OCR) hay là nhận dạng giọng nói (ASR). Tuy nhiên, Im2LaTeX vẫn có những điểm khác biệt quan trọng so với những bài toán được kẻ trên. Dữ liệu đầu vào của bai toán này chỉ là hình ảnh trắng den bao gồm các đường nét đơn giản, không có sự đa dạng về màu sắc và chỉ tiết như trong Image Captioning, đo đó, mô hình sẽ gặp khó khăn hơn trong việc xử lý các đặc trưng phức tạp của ảnh.
Các công thức toán học được biểu trị trong LaTeX cũng có nhiều cách biểu diễn khác nhau, ví dụ như công thức J = 2Í urdu (1) được biếu diễn trong LaTeX là 1 =\dfrac{1}{2}\displaystyle\int u*2\mathrm{\, đu điều này dẫn đến tình trạng chồng chéo các ký tự và ký hiệu trong mã LaTeX lên nhau. Trong khi đó, đối với bài toán OCR chỉ đơn giản là nhận dạng các ký tự một cách liên tục, không chồng chéo lên nhau như trong bai toán Im2LaTeX. Ngoài ra, dữ liệu đầu vào trong bài toán ASR âm thanh được biểu dién 6 dang sóng, nhưng khi biéu diễn bằng Mel Spectrogram thi vẫn có thé hiển thị như hình ảnh, đữ liệu đầu ra là các ký tự không chồng chéo lên nhau và đơn điệu, tuy nhiên, chúng vẫn khác biệt rất nhiều so với bài toán Im2LaTeX. Do đó, các kiến trúc mô hình và phương pháp được áp dụng cho các bài toán Image Captioning, ASR hay 15 không thé được áp dụng trực tiếp cho bài toán Im2LaTeX.2 mô ta sự khác biệt của các bài toán được nói trên.
Bài toán Đầu vào Đầu ra Image to 0, (FM — ejx") =0. Image một cô bé mặc áo hồng leo Captioning câu dây ở công viên Optical Character restaurant Recognition Speech Recognition a MVE A ALY tôi yêu khoa học dữ liệu Hình 2.2 Sự khác biệt giữa bài toán Image2LaTeX so với các bài toán còn lại. Cac tập dữ liệu tiêu chuẩn Yuntian Deng và các đồng sự tại dai học Harvard [5] đã đưa ra một đóng góp quan trọng trong lĩnh vực Image-to-LaTeX bằng việc giới thiệu bộ dit liệu mới có tên Im2LaTeX-100k. Bộ dữ liệu này chứa hơn 100,000 ảnh chứa phương trình toán học được trích xuất từ các tài liệu khoa học đã được công bố trên toàn cầu tại thời điểm đó.
Những ảnh này đã được gán nhãn bởi các biêu thức LaTeX tương ứng. Đến thời điểm hiện tại vẫn chưa có nghiên cứu nao công bố thêm các bộ dữ liệu khác có đóng góp cho bài toán Im2LaTeX- 100k, cho nên bộ dữ liệu này vẫn đang được xem là bộ dữ liệu tiêu chuẩn cho bài toán này. Những nghiên cứu trước đó Nam 2003, Masakazu Suzuki [29] và các déng sự đã giới thiệu một hệ thông OCR tích hợp cho các tài liệu toán học, được gọi là INFTY. INFTY bao gồm bốn thanh phan chính, bao gồm phân tích bé cục, nhận dang ký tự.
phân tích cau trúc của biểu thức toán học va sửa lỗi thủ công. Trong các thành phan nay, nhiều kỹ thuật mới được sử dung đẻ đạt được hiệu suất nhận dạng tốt hơn. Kết quả thực nghiệm trên khoảng 500 trang tài liệu toán học cho thấy tỷ lệ nhận dạng ký tự cao trên cả biểu thức toán học và văn bản thường, và hiệu suất đủ đáp Ứng trong phân tích cau trúc của các biéu thức toán học. Kết quả đạt được là 66.65% trên BLEU và 15.
Sauvestre [9] đã thực hiện nghiên cứu tiếp theo cho bài toán này vào năm 2016, trong đó họ đề xuất sử dụng kiến trúc Bộ Mã Hoá - Bộ Giải Mã (kết hợp giữa các lớp CNN và Max Pooling cho phan Bộ Mã Hoá và LSTM 1 lớp cho phần Bộ Giải Mã) cùng với Luong Attention. Kết quả của phương pháp này đạt được 75% trên BLEU và 35% trên Exact Match (EM) Yukai Deng [6] và các đồng sự đã giới thiệu mô hình mã hóa-giải ma hai chiều dựa trên Cơ chế chú ý đã được dé xuất cho các hệ thông mô tả hình anh thông thường và đạt được kết quá tốt trong nhiệm vụ nhận dạng biểu thức toán học. Cấu trúc mô hình cơ bản bao gồm bộ trích xuất đặc trưng CNN kết hợp với bộ mã hóa hai chiêu RNN và bộ giải mã dựa trên Cơ chế chú ý. Nó có thể được biếu theo hai cách: Thứ nhất, nó có thé được coi là một phiên bản được sửa đổi của mô hinh tạo chú thích cho hình ảnh show-attend-and-tell, trong đó hai bộ mã hóa bô sung được thêm vào đề phù hợp tốt hơn với tác vụ này.
Có nghĩa rằng mô hình của nhom tác giả đề xuất là mô hình được dựa vào Show-Attend-And-Tell dé phát triên lên. Thứ hai, nó có thê được coi như la một sự tông quát hóa của mô hình dịch máy, trong đó các đặc trưng được trích xuất bởi CNN đóng vai trò của ngôn ngữ đầu vào và đánh dấu LaTeX đóng vai 17 trò của ngôn ngữ đích. Kết quả đạt được của mô hình. Kết quả mô hình tốt nhất đạt được của nhóm tác giả là 73.
Mô hình What You Get Is What You See (WYGIWYS) được trình bày bởi Yuntian Deng [7] va cac déng su là một mô hình dịch ngược từ hình ảnh sang công thức LaTeX. Mô hình cũng được sử dụng kiến trúc Bộ Mã Hoá - Bộ Giải Mã, trong đó Bộ Mã Hoá được xây dựng bằng sự kết hợp của các mạng tích chập (CNN). Max Pooling [18], Batch Normalization [15], và một mạng LSTM 2 chiêu (Bi-LSTM) có 1 lớp (còn được gọi là Row Encoder), chạy trên từng hang của ảnh được trích xuất từ Convolution Encoder. Bộ Giải Mã được thiết kế với 1 lớp LSTM.
Mô hình đạt được kết quả BLEU §7.73% và kết quả EM 77.