Đọc Biểu Thức Toán Học Viết Tay Từ Ảnh

Luận văn thạc sĩ toán học phân tích máy tính đọc biểu thức toán học viết tay từ ảnh, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Bùi Khánh Ngọc
• Người hướng dẫn: TS. Lê Thành Sách
• Trường học: Đại học Quốc gia TP. HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Đọc Biểu Thức Toán Học Viết Tay Từ Ảnh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: GiÓi thiªu
• 1.1. GiÓi thiªu ∑ tài
• 1.2. L˛ do chÂn ∑ tài
• 1.3. Ph§m vi ∑ tài
• 1.4. Quá trình th¸c hiªn
• 2. CHƯƠNG 2: Công trình liên quan
• 2.1. TÍng quan
• 2.2. Công trình tham kh£o
• 3. CHƯƠNG 3: Mô hình ∑ xußt
• 3.1. TÍng quan hª thËng
• 3.2. Chi∏n l˜Òc sinh d˙ liªu
• 3.2.1. Chi∏n l˜Òc 1: Bi∏n Íi hình hÂc
• 3.2.2. Chi∏n l˜Òc 2: Sinh mÓi công th˘c
• 4. CHƯƠNG 4: Hiªn th¸c, ánh giá
• 4.1. Chu©n b‡ d˙ liªu
• 4.2. K∏t qu£ thu ˜Òc
• 4.2.1. AP trên t¯ng class
• 4.2.2. Recall trên t¯ng class
• 4.2.3. MÎt sË ví dˆ sinh chuÈi LATEX
• 5. CHƯƠNG 5: TÍng k∏t
• 5.1. K∏t lu™n
• 5.2. H˜Óng phát tri∫n t˜Ïng lai
• LÌi cam oan
• LÌi c£m Ïn
• Danh mˆc các công trình ã công bË
• Tài liªu tham kh£o
• Danh sách hình v≥
• Danh sách b£ng

Tóm tắt

I. Tổng Quan Về Đọc Biểu Thức Toán Học Từ Ảnh 55 ký tự

Sự phát triển của khoa học công nghệ đã thúc đẩy nhu cầu "số hóa" các tài liệu, văn bản, đặc biệt là trong lĩnh vực giáo dục và quản lý. Việc chuyển đổi các công thức, biểu thức toán học từ dạng văn bản truyền thống sang định dạng điện tử trở nên cấp thiết. Điều này không chỉ khắc phục những hạn chế về lưu trữ, tìm kiếm, chia sẻ dữ liệu, mà còn mở ra cơ hội ứng dụng trong giảng dạy, học tập, nghiên cứu toán học. Các phương pháp chuyển đổi này giúp số hoá giấy tờ, các văn bản hành chính, giáo dục, các hoá đơn, và đang được thúc đẩy mạnh. Bởi vì những phương pháp này giúp chúng ta dễ dàng tìm kiếm, truy vấn, mang đi, chia sẻ, nhân bản mà những hạn chế của văn bản giấy sẽ không còn nữa. Vấn đề này hiện nay rất sôi nổi, được nhiều trường Đại học tham gia nghiên cứu và đóng góp giải pháp. Vì đây thực sự là một nhu cầu của xã hội và từ góc nhìn của những người làm việc về khoa học máy tính thì chúng ta có thể tạo ra được giải pháp hữu hiệu.

1.1. Tại Sao Cần Đọc Biểu Thức Toán Học Từ Ảnh

Các phương pháp nhận diện và chuyển đổi văn bản, hình ảnh sang định dạng số giúp giải quyết bài toán lưu trữ, tìm kiếm, và chia sẻ thông tin. Việc số hóa các biểu thức toán học viết tay từ ảnh cho phép dễ dàng lưu trữ, tìm kiếm, và chỉnh sửa các công thức phức tạp. Ngoài ra, số hóa còn hỗ trợ việc xây dựng các công cụ hỗ trợ học tập, giảng dạy, và nghiên cứu toán học. Việc scan biểu thức toán học bằng điện thoại có thể giúp ích cho việc hướng dẫn và giải các công thức lượng giác, trực quan hoá các hàm số phức tạp, tìm điểm cực trị, và nhiều ứng dụng khác. Những ứng dụng này giúp ích cho việc giảng dạy của giáo viên được sinh động và hiệu quả hơn cũng như giúp học sinh có thể tự học dễ dàng chứ không đơn thuần là chuyển văn bản giấy sang điện tử chỉ để khắc phục những hạn chế của văn bản giấy.

1.2. Ứng Dụng Thực Tế Của Nhận Dạng Biểu Thức Toán Học

Ứng dụng tiềm năng của công nghệ này rất đa dạng, bao gồm: xây dựng các công cụ hỗ trợ học tập trực tuyến, tự động chấm điểm bài tập toán học, và hỗ trợ nghiên cứu khoa học. Bên cạnh đó, có thể tạo ra các ứng dụng thiết thực, ví dụ như: hướng dẫn và giải các công thức lượng giác, trực quan hoá các hàm số phức tạp, tìm điểm cực trị,...chỉ bằng việc scan biểu thức toán học bằng chiếc điện thoại. Những ứng dụng này giúp ích cho việc giảng dạy của giáo viên được sinh động và hiệu quả hơn cũng như giúp học sinh có thể tự học dễ dàng chứ không đơn thuần là chuyển văn bản giấy sang điện tử chỉ để khắc phục những hạn chế của văn bản giấy.

II. Thách Thức Trong Đọc Biểu Thức Toán Học Viết Tay 59 ký tự

Việc nhận diện biểu thức toán học viết tay từ ảnh đặt ra nhiều thách thức lớn. Độ chính xác của việc nhận dạng các ký tự toán học phức tạp, sự đa dạng trong phong cách viết tay, và tính phức tạp của cấu trúc biểu thức là những rào cản đáng kể. Ngoài ra, khả năng xử lý các biểu thức có chứa nhiều ký tự đặc biệt, dấu phân cách, và ký hiệu toán học cũng đòi hỏi các thuật toán phức tạp và hiệu quả. Làm sao có thể nhận dạng được các kí hiệu? Làm cách nào để nhận dạng cả một biểu thức? Liệu có chắc chắn bất cứ những gì mình viết ra đều được hiểu đúng? Khi mà mỗi người có mỗi phong cách viết cộng với hàng trăm kí tự toán học thì bài toán đọc hiểu này còn khả thi?

2.1. Khó Khăn Trong Nhận Dạng Ký Tự Toán Học

Nhận dạng chính xác các ký tự toán học viết tay là một thách thức lớn do sự đa dạng trong phong cách viết, kích thước, và hình dạng. Các ký tự toán học thường có hình dạng phức tạp, tương đồng, và dễ bị nhầm lẫn với nhau. Ngoài ra, sự biến dạng và nhiễu ảnh trong quá trình chụp ảnh có thể làm giảm độ chính xác của việc nhận dạng ký tự. Việc chuẩn hóa và làm sạch ảnh là bước quan trọng để cải thiện kết quả.

2.2. Phân Tích Cấu Trúc Biểu Thức Toán Học Phức Tạp

Biểu thức toán học có cấu trúc phức tạp, với các ký tự được sắp xếp theo nhiều chiều, theo các vị trí tương đối khác nhau, và theo các quy tắc cú pháp riêng. Việc phân tích và hiểu được cấu trúc này đòi hỏi các thuật toán xử lý ảnh và phân tích cú pháp mạnh mẽ. Các thuật toán này phải có khả năng xác định mối quan hệ giữa các ký tự, dấu phân cách, và ký hiệu toán học để tái tạo lại biểu thức một cách chính xác. Việc biểu diễn biểu thức bằng cây cú pháp hay đồ thị có thể giúp đơn giản hóa quá trình phân tích.

III. Phương Pháp Tiếp Cận Đọc Biểu Thức Toán Học Từ Ảnh 60 ký tự

Có nhiều phương pháp tiếp cận để giải quyết bài toán đọc biểu thức toán học viết tay từ ảnh, từ các phương pháp cổ điển dựa trên phân tích hình ảnh và quy tắc ngữ pháp, đến các phương pháp hiện đại dựa trên học sâu và mạng nơ-ron. Các phương pháp này thường kết hợp các kỹ thuật tiền xử lý ảnh, phân đoạn ký tự, nhận dạng ký tự, và phân tích cấu trúc để tái tạo lại biểu thức toán học. Trong đó, các phương pháp học sâu đang ngày càng chứng tỏ ưu thế vượt trội về độ chính xác và khả năng xử lý các biểu thức phức tạp.

3.1. Sử Dụng Mạng Nơ ron Tích Chập CNN Cho Nhận Dạng Ký Tự

Mạng nơ-ron tích chập (CNN) là một kiến trúc học sâu hiệu quả trong việc nhận dạng hình ảnh. CNN có khả năng tự động học các đặc trưng quan trọng từ ảnh, giúp cải thiện đáng kể độ chính xác của việc nhận dạng ký tự toán học. Các lớp tích chập giúp trích xuất các đặc trưng cục bộ, trong khi các lớp gộp giúp giảm kích thước dữ liệu và tăng tính khái quát. Việc kết hợp CNN với các kỹ thuật tăng cường dữ liệu và chỉnh sửa ảnh có thể giúp cải thiện hơn nữa hiệu suất của mô hình.

3.2. Ứng Dụng Mạng Nơ ron Truyền Thống RNN Cho Phân Tích Cú Pháp

Mạng nơ-ron truyền thống (RNN) là một kiến trúc học sâu phù hợp cho việc xử lý các chuỗi dữ liệu, bao gồm cả biểu thức toán học. RNN có khả năng ghi nhớ trạng thái trước đó, giúp nó hiểu được mối quan hệ giữa các ký tự và dấu phân cách trong biểu thức. Các biến thể của RNN, như LSTM và GRU, có khả năng xử lý các chuỗi dài tốt hơn. Việc kết hợp RNN với CNN có thể tạo ra một hệ thống hoàn chỉnh cho việc đọc biểu thức toán học từ ảnh. Việc sử dụng LSTM (Long Short-Term Memory) hay GRU (Gated Recurrent Unit) giúp giải quyết vấn đề biến mất đạo hàm trong quá trình huấn luyện.

IV. Ứng Dụng và Kết Quả Nghiên Cứu Thực Tiễn 58 ký tự

Nghiên cứu về đọc biểu thức toán học từ ảnh đã đạt được nhiều tiến bộ đáng kể trong những năm gần đây. Các hệ thống hiện tại có thể đạt được độ chính xác cao trong việc nhận dạng các biểu thức đơn giản và trung bình. Tuy nhiên, việc xử lý các biểu thức phức tạp và các ký tự đặc biệt vẫn còn là một thách thức. Các nghiên cứu tiếp tục tập trung vào việc cải thiện độ chính xác, tốc độ, và khả năng xử lý các biểu thức phức tạp của các hệ thống nhận dạng.

4.1. Đánh Giá Hiệu Suất Các Phương Pháp Trên Bộ Dữ Liệu CROHME

Bộ dữ liệu CROHME (Competition on Recognition of Handwritten Mathematical Expressions) là một bộ dữ liệu tiêu chuẩn được sử dụng để đánh giá hiệu suất của các hệ thống đọc biểu thức toán học viết tay. Các phương pháp khác nhau đã được thử nghiệm trên bộ dữ liệu này, và kết quả cho thấy sự tiến bộ đáng kể trong những năm gần đây. Tuy nhiên, vẫn còn khoảng cách giữa hiệu suất của các hệ thống hiện tại và hiệu suất mong muốn, đặc biệt là trên các biểu thức phức tạp. Cần thiết lập các metrics đánh giá khách quan và toàn diện.

4.2. Các Dự Án Ứng Dụng Thực Tế Trong Giáo Dục và Nghiên Cứu

Công nghệ đọc biểu thức toán học từ ảnh đã được ứng dụng trong nhiều dự án thực tế, bao gồm: xây dựng các ứng dụng hỗ trợ học tập trực tuyến, tự động chấm điểm bài tập toán học, và hỗ trợ nghiên cứu khoa học. Các ứng dụng này giúp cải thiện hiệu quả giảng dạy, học tập, và nghiên cứu toán học. Một số dự án còn tập trung vào việc tích hợp công nghệ này vào các công cụ soạn thảo văn bản, giúp người dùng dễ dàng nhập và chỉnh sửa các biểu thức toán học.

V. Kết Luận và Hướng Phát Triển Tương Lai 54 ký tự

Đọc biểu thức toán học từ ảnh là một lĩnh vực nghiên cứu đầy tiềm năng, với nhiều ứng dụng thực tế trong giáo dục, nghiên cứu, và công nghiệp. Mặc dù đã đạt được nhiều tiến bộ đáng kể, vẫn còn nhiều thách thức cần giải quyết, đặc biệt là trong việc xử lý các biểu thức phức tạp và các ký tự đặc biệt. Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác, tốc độ, và khả năng xử lý của các hệ thống nhận dạng, cũng như khám phá các ứng dụng mới của công nghệ này.

5.1. Tổng Kết Những Thành Công Và Hạn Chế Hiện Tại

Các phương pháp học sâu đã mang lại những tiến bộ đáng kể trong việc đọc biểu thức toán học từ ảnh. Tuy nhiên, các hệ thống hiện tại vẫn còn hạn chế trong việc xử lý các biểu thức phức tạp, các ký tự đặc biệt, và các phong cách viết tay đa dạng. Khả năng khái quát hóa của các mô hình học sâu cũng cần được cải thiện để đảm bảo hiệu suất tốt trên các bộ dữ liệu khác nhau.

5.2. Hướng Nghiên Cứu Mới và Ứng Dụng Tiềm Năng

Các hướng nghiên cứu mới trong lĩnh vực này bao gồm: phát triển các kiến trúc mạng nơ-ron mới, sử dụng các kỹ thuật tăng cường dữ liệu tiên tiến, và tích hợp các mô hình ngôn ngữ để cải thiện khả năng phân tích cú pháp. Các ứng dụng tiềm năng của công nghệ này bao gồm: xây dựng các trợ lý ảo thông minh cho học sinh, tự động chuyển đổi các tài liệu toán học sang các định dạng khác nhau, và hỗ trợ nghiên cứu khoa học trong các lĩnh vực liên quan đến toán học.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng biểu thức toán học viết tay từ ảnh là một bài toán khó khăn và có ý nghĩa quan trọng trong lĩnh vực khoa học máy tính, đặc biệt trong nhận dạng ký tự quang học (OCR). Theo báo cáo của ngành, số lượng biểu thức toán học viết tay đa dạng về kiểu dáng và cấu trúc, gây ra thách thức lớn cho các hệ thống nhận dạng tự động. Mục tiêu nghiên cứu của luận văn là phát triển một phương pháp chuyển đổi biểu thức toán học viết tay từ dạng hình ảnh sang chuỗi LATEX tương ứng, đồng thời xây dựng giải pháp làm giàu dữ liệu nhằm cải thiện hiệu quả nhận dạng. Phạm vi nghiên cứu tập trung vào dữ liệu từ bộ dữ liệu CROHME 2013, với quá trình thực hiện từ tháng 02/2020 đến tháng 06/2021 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. HCM. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao độ chính xác nhận dạng biểu thức toán học viết tay, hỗ trợ các ứng dụng trong giáo dục, xử lý văn bản khoa học và tự động hóa tài liệu toán học.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: nhận dạng ký tự quang học (Optical Character Recognition - OCR) và phân tích cấu trúc biểu thức toán học. Nhận dạng ký tự tập trung vào việc phát hiện và phân loại các ký hiệu toán học trong ảnh, trong khi phân tích cấu trúc nhằm xây dựng cây biểu thức toán học dựa trên mối quan hệ không gian giữa các ký hiệu. Mô hình nghiên cứu sử dụng kiến trúc mạng nơ-ron tích chập (CNN) như DenseNet để trích xuất đặc trưng ảnh, kết hợp với mạng hồi tiếp dài ngắn hạn (LSTM/GRU) và cơ chế attention để giải mã chuỗi LATEX tương ứng. Ba khái niệm chính bao gồm: (1) Biến đổi hình học (geometric transformation) để làm giàu dữ liệu, (2) Mạng phát hiện đối tượng Single Shot MultiBox Detector (SSD) để nhận dạng ký hiệu, (3) Bộ phân tích cú pháp DRACULAE để chuyển kết quả nhận dạng thành cây biểu thức và chuỗi LATEX.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu CROHME 2013, bao gồm 8.835 biểu thức toán học viết tay trong tập huấn luyện và 671 biểu thức trong tập kiểm tra. Phương pháp phân tích gồm hai chiến lược làm giàu dữ liệu: (1) Biến đổi hình học áp dụng các phép xoay, tỉ lệ, nghiêng lên ảnh gốc để tạo ra các biến thể mới, (2) Sinh mới biểu thức toán học dựa trên bảng tra cứu các ký hiệu và luật sinh biểu thức toán học hợp lệ, nhằm cân bằng phân phối dữ liệu giữa các lớp ký hiệu phổ biến và hiếm gặp. Quá trình nghiên cứu được thực hiện theo timeline: thu thập và chuẩn bị dữ liệu (tháng 02-04/2020), xây dựng mô hình và sinh dữ liệu (tháng 05-12/2020), huấn luyện và đánh giá mô hình (tháng 01-05/2021), hoàn thiện luận văn (tháng 06-08/2021). Phân tích kết quả dựa trên các chỉ số mAP (mean Average Precision) và AP (Average Precision) trên từng lớp ký hiệu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Tăng kích thước và đa dạng dữ liệu huấn luyện: Tập dữ liệu huấn luyện được mở rộng từ 8.835 biểu thức (D1) lên 75.010 biểu thức (D3) nhờ kết hợp biến đổi hình học và sinh mới biểu thức. Số lượng ký hiệu tăng từ 85.751 lên 728.738, giúp cải thiện khả năng học của mô hình.

2. Cải thiện độ chính xác nhận dạng: Mạng SSD huấn luyện trên tập dữ liệu mở rộng đạt mAP 52,57%, tăng 42% so với mAP 36,98% khi chỉ sử dụng dữ liệu gốc. Điều này chứng tỏ hiệu quả của phương pháp làm giàu dữ liệu.

3. Phân phối dữ liệu cân bằng hơn: Phân phối số lượng mẫu theo lớp ký hiệu được cân bằng rõ rệt, các lớp hiếm được bổ sung nhiều mẫu hơn, giảm thiểu hiện tượng lệch lớp trong huấn luyện.

4. Hiệu quả trên từng lớp ký hiệu: Có 73/101 lớp ký hiệu đạt AP cao hơn khi huấn luyện trên tập dữ liệu mở rộng, trong đó các ký hiệu phổ biến như sin, cos, log, lim, dấu bằng, dấu cộng đều có AP trên 0,7.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là do việc làm giàu dữ liệu giúp mô hình học được nhiều biến thể của ký hiệu và biểu thức, từ đó tăng khả năng tổng quát hóa. So sánh với các nghiên cứu trước đây, phương pháp kết hợp biến đổi hình học và sinh mới biểu thức theo luật toán học là bước tiến quan trọng, khắc phục hạn chế của việc chỉ biến đổi hình học đơn thuần. Kết quả mAP và AP trên từng lớp cho thấy mô hình không chỉ nhận dạng tốt các ký hiệu phổ biến mà còn cải thiện đáng kể với các ký hiệu hiếm, điều này rất quan trọng trong thực tế khi biểu thức toán học rất đa dạng. Tuy nhiên, một số ký hiệu vẫn bị nhầm lẫn do hình dạng tương tự hoặc do hạn chế của mô hình SSD trong phát hiện các ký hiệu nhỏ, điều này gợi ý hướng phát triển tiếp theo là áp dụng các kiến trúc mạng sâu hơn hoặc mô hình end-to-end kết hợp phân tích cấu trúc biểu thức.

Đề xuất và khuyến nghị

1. Áp dụng kiến trúc mạng end-to-end: Sử dụng mô hình encoder-decoder kết hợp DenseNet và LSTM/GRU với attention để tận dụng tối đa thông tin ngữ cảnh và cấu trúc biểu thức, nâng cao độ chính xác nhận dạng.

2. Mở rộng và đa dạng hóa dữ liệu: Tiếp tục phát triển các luật sinh biểu thức toán học mới, kết hợp với biến đổi hình học để tạo ra tập dữ liệu huấn luyện phong phú, đặc biệt tập trung vào các lớp ký hiệu hiếm.

3. Tối ưu hóa mô hình phát hiện ký hiệu: Nghiên cứu và áp dụng các kỹ thuật cải tiến SSD như multiple non-max suppression (NMS) với ngưỡng khác nhau cho từng nhóm ký hiệu nhằm giảm sai sót trong phát hiện.

4. Phát triển bộ phân tích cú pháp mạnh mẽ: Cải tiến bộ parser DRACULAE hoặc phát triển bộ phân tích mới có khả năng xử lý tốt hơn các lỗi nhận dạng ký hiệu, đặc biệt là các ký hiệu nhỏ và phức tạp.

5. Thời gian thực hiện: Các giải pháp trên nên được triển khai và đánh giá trong vòng 12-18 tháng tiếp theo, phối hợp giữa nhóm nghiên cứu và các đơn vị ứng dụng trong giáo dục và xử lý tài liệu khoa học.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành khoa học máy tính: Đặc biệt những người quan tâm đến lĩnh vực nhận dạng ký tự quang học, xử lý ảnh và học máy, có thể áp dụng phương pháp làm giàu dữ liệu và mô hình mạng nơ-ron sâu.

2. Phát triển phần mềm giáo dục: Các công ty và nhóm phát triển ứng dụng hỗ trợ giảng dạy toán học, giúp tự động nhận dạng và chuyển đổi biểu thức toán học viết tay sang định dạng số.

3. Chuyên gia xử lý tài liệu khoa học: Những người làm việc với số hóa tài liệu toán học, cần công cụ nhận dạng biểu thức toán học chính xác để chuyển đổi tài liệu giấy sang dạng điện tử.

4. Cơ quan tổ chức thi và đánh giá: Hỗ trợ xây dựng hệ thống chấm điểm tự động các bài thi viết tay có chứa biểu thức toán học, nâng cao hiệu quả và độ chính xác trong đánh giá.

Câu hỏi thường gặp

1. Phương pháp làm giàu dữ liệu có tác động như thế nào đến hiệu quả nhận dạng?
   Việc làm giàu dữ liệu bằng biến đổi hình học và sinh mới biểu thức giúp tăng kích thước và đa dạng mẫu huấn luyện, từ đó cải thiện mAP lên đến 42% so với dữ liệu gốc, giúp mô hình học tốt hơn các biến thể của ký hiệu.

2. Tại sao cần kết hợp cả biến đổi hình học và sinh mới biểu thức?
   Biến đổi hình học tạo ra các biến thể của cùng một biểu thức, còn sinh mới biểu thức giúp cân bằng phân phối dữ liệu giữa các lớp ký hiệu phổ biến và hiếm, từ đó nâng cao khả năng nhận dạng toàn diện.

3. Mô hình SSD có những hạn chế gì trong bài toán này?
   SSD có thể gặp khó khăn trong việc phát hiện các ký hiệu nhỏ hoặc tương tự nhau, dẫn đến nhầm lẫn hoặc bỏ sót, do đó cần tối ưu hoặc kết hợp với các mô hình khác để cải thiện.

4. Bộ phân tích cú pháp DRACULAE hoạt động như thế nào?
   DRACULAE chuyển kết quả nhận dạng ký hiệu từ SSD thành cây biểu thức toán học dựa trên cấu trúc ngữ pháp, từ đó sinh ra chuỗi LATEX tương ứng, hỗ trợ việc chuyển đổi biểu thức viết tay sang dạng số.

5. Luận văn có thể áp dụng cho các loại biểu thức toán học phức tạp hơn không?
   Phương pháp sinh dữ liệu và mô hình có thể mở rộng cho các biểu thức phức tạp như tích phân, logarit, hàm mũ, tuy nhiên cần bổ sung thêm luật sinh biểu thức và cải tiến mô hình để xử lý tốt hơn.

Kết luận

• Đã phát triển thành công phương pháp làm giàu dữ liệu kết hợp biến đổi hình học và sinh mới biểu thức toán học viết tay.
• Mô hình SSD kết hợp bộ phân tích cú pháp DRACULAE được huấn luyện trên tập dữ liệu mở rộng đạt mAP 52,57%, cải thiện đáng kể so với dữ liệu gốc.
• Phân phối dữ liệu cân bằng hơn giúp mô hình nhận dạng tốt hơn các ký hiệu hiếm và phức tạp.
• Kết quả thực nghiệm chứng minh hiệu quả của phương pháp trong việc nâng cao độ chính xác nhận dạng biểu thức toán học viết tay.
• Đề xuất hướng phát triển tiếp theo là áp dụng mô hình end-to-end và cải tiến bộ phân tích cú pháp để nâng cao hơn nữa hiệu quả nhận dạng.

Khuyến khích các nhà nghiên cứu và phát triển ứng dụng trong lĩnh vực nhận dạng ký tự toán học áp dụng và mở rộng phương pháp này, đồng thời tiếp tục nghiên cứu các kỹ thuật mới để giải quyết các hạn chế hiện tại.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- BÙI KHÁNH NGỌC ĐỌC BIỂU THỨC TOÁN HỌC VIẾT TAY TỪ ẢNH Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số: 8480101 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 08 năm 2021 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM Cán bộ hướng dẫn khoa học : TS. Lê Thành Sách Cán bộ chấm nhận xét 1 : TS.

Nguyễn Văn Sinh Cán bộ chấm nhận xét 2 : PGS. Huỳnh Trung Hiếu Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 05 tháng 08 năm 2021 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Chủ tịch hội đồng: PGS.

Thư ký hội đồng: TS. Nguyễn Lê Duy Lai 3. Cán bộ phản biện 1: TS. Cán bộ phản biện 2: PGS.

Huỳnh Trung Hiếu 5. Cán bộ hướng dẫn: TS. Lê Thành Sách Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: BÙI KHÁNH NGỌC MSHV: 1870446 Ngày, tháng, năm sinh: 14/02/1995 Nơi sinh: BÌNH ĐỊNH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số : 8480101 I.

TÊN ĐỀ TÀI: ĐỌC BIỂU THỨC TOÁN HỌC VIẾT TAY TỪ ẢNH II. NHIỆM VỤ VÀ NỘI DUNG: 1. Chuyển biểu thức toán học viết tay từ dạng hình ảnh sang chuỗi LATEX tương ứng 2. Xây dựng giải pháp làm giàu dữ liệu cho bài toán 3.

Công bố bài báo khoá học cho đề tài III. NGÀY GIAO NHIỆM VỤ : 10/02/2020 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 13/06/2021 V. CÁN BỘ HƯỚNG DẪN: TIẾN SĨ LÊ THÀNH SÁCH Tp.

HCM, ngày 11 tháng. năm 2021 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên và chữ ký) i Tr˜Ìng §i HÂc Bách Khoa Tp.HÁ Chí Minh Khoa Khoa HÂc và Kˇ Thu™t Máy Tính LÌi c£m Ïn N∏u nh˜ lu™n v´n tËt nghiªp là th˚ thách cuËi cùng và vô cùng quan trÂng cıa ch∞ng ˜Ìng 4.5 n´m trên gi£ng ˜Ìng §i hÂc cıa nh˙ng sinh viên Bách Khoa thì lu™n v´n Th§c sæ mÎt l¶n n˙a là b˜Óc ngo∞t ánh dßu cho mÎt s¸ tr˜ng thành hÏn trong ki∏n th˘c và trong nghiên c˘u cıa không chø nh˙ng b§n hÂc viên chÂn Bách Khoa là nÏi hÂc t™p và nghiên c˘u chuyên sâu sau khi ra tr˜Ìng mà cho c£ b£n thân tôi. i ∏n thÌi i∫m hiªn t§i, ∫ ˜Òc ngÁi vi∏t nh˙ng dòng này, tôi th¸c s¸ c£m thßy may m≠n và bi∏t Ïn ∏n nh˙ng ng˜Ìi th¶y, ng˜Ìi b§n, ng˜Ìi thân ã giúp Ô tôi trong suËt quá trình v¯a qua. Và ∞c biªt c£m kích hÏn n˙a khi h không nh˙ng chø hÈ trÒ tôi trong lu™n v´n Th§c sæ này mà h cÙng ã t¯ng Áng hành vÓi tôi trong lu™n v´n tËt nghiªp §i hÂc.

Tôi muËn g˚i lÌi c£m Ïn chân thành ∏n Ban giám hiªu và các th¶y cô Tr˜Ìng §i hÂc Bách Khoa Thành phË HÁ Chí Minh, cách riêng cho các th¶y cô Khoa Khoa hÂc và Kˇ thu™t Máy tính ã chø d®n cho tôi trong suËt nh˙ng n´m hÂc v¯a qua. Trong quá trình th¸c hiªn lu™n v´n, tôi ã nh™n ˜Òc rßt nhi∑u s¸ hÈ trÒ v∑ m∞t chuyên môn cÙng nh˜ nh˙ng óng góp trong vßn ∑ x˚ l˛ d˙ liªu cho ∑ tài, tËi ˜u quá trình hußn luyªn,. t¯ b§n bè, Áng nghiªp và ∞c biªt là t¯ mÎt ng˜Ìi tôi rßt tin t˜ng. Chính s¸ giúp s˘c này ã ©y tôi b˜Óc qua nhi∑u khó kh´n và i ∏n ˜Òc viªc hoàn thiªn ∑ tài.

Vì v™y tôi muËn dành s¸ c£m kích cıa mình cho hÂ. Trên tßt c£, lÌi c£m Ïn chân thành nhßt và sâu s≠c nhßt xin ˜Òc g˚i ∏n th¶y h˜Óng d®n ∑ tài- Ti∏n sæ Lê Thành Sách- ng˜Ìi không chø mÎt l¶n mà ã là l¶n th˘ hai Áng hành cùng tôi trong nh˙ng cÎt mËc quan trÂng ∫ tËt nghiªp §i hÂc và bây giÌ là tËt nghiªp Th§c sæ. C£m Ïn th¶y ã luôn theo sát, hÈ trÒ cÙng nh˜ ‡nh h˜Óng công viªc. C£m Ïn th¶y ã luôn t§o ra áp l¸c ∫ thúc ©y sinh viên cıa mình ti∏n v∑ phía tr˜Óc và cÙng c£m Ïn th¶y vì nh˙ng khi áp l¸c nhßt ∑u ˜Òc th¶y chia s¥.

Tôi cÙng không quên g˚i lÌi c£m Ïn ∏n các nhóm tác gi£ mà công trình cıa h tôi có tham kh£o và hÂc h‰i ∫ th¸c hiªn lu™n v´n cıa mình. Sau cùng, vì nh˙ng h§n ch∏ v∑ m∞t thÌi gian cÙng nh˜ kh£ n´ng trong cách trình bày và vi∏t báo cáo nên không th∫ tránh kh‰i nh˙ng thi∏u sót, rßt mong nh™n ˜Òc s¸ thông c£m và nh˙ng ˛ ki∏n óng góp t¯ qu˛ th¶y cô và các b§n ∫ giúp tôi và ∑ tài này hoàn thiªn hÏn. Chân thành c£m Ïn. HÁ Chí Minh, ngày 11 tháng 07 n´m 2021 HÂc viên th¸c hiªn Bùi Khánh NgÂc ii Tr˜Ìng §i HÂc Bách Khoa Tp.HÁ Chí Minh Khoa Khoa HÂc và Kˇ Thu™t Máy Tính Tóm t≠t lu™n v´n Lu™n v´n này trình bày mÎt ph˜Ïng án sinh £nh bi∫u th˘c toán hÂc d¸a trên t™p d¸ liªu ˜Òc cung cßp sÆn.

NhÌ vào ph˜Ïng án này k∏t hÒp hª thËng nh™n d§ng và phân tích cßu trúc, t¯ mÎt £nh bi∫u th˘c có th∫ sinh ra ˜Òc chuÈi LATEX. Lu™n v´n này bao gÁm 5 ch˜Ïng: Ch˜Ïng 1 giÓi thiªu ∑ tài cÙng nh˜ l˛ do l¸a chÂn ∑ tài, giÓi h§n ∑ tài và quá trình th¸c hiªn ∫ hoàn thành lu™n v´n. Ch˜Ïng 2 trình bày các công trình liên quan mà nhóm tham kh£o chính ∫ ‡nh h˜Óng gi£i quy∏t ∑ tài. – ây s≥ ∑ c™p i∫m m§nh cıa các ph˜Ïng pháp- là nh˙ng cái xem xét ∫ hÂc h‰i.

Ch˜Ïng 3 bàn kˇ vô cách gi£i quy∏t ∑ tài, cˆ th∫ là giÓi thiªu hª thËng nh™n d§ng và phân tích cßu trúc cÙng nh˜ hai chi∏n l˜Òc sinh d˙ liªu mà nhóm ∑ xußt. Ch˜Ïng 4 ánh giá, phân tích k∏t qu£ trên nhi∑u góc nhìn, Î o ∫ thßy ˜Òc s¸ hiªu qu£ mà m˘c Î óng góp cıa các ph˜Ïng án sinh d˙ liªu. Ch˜Ïng 5, tÍng k∏t ∑ tài, rút ra i∫m m§nh và m∞t h§n ch∏, t¯ ó ∑ ra h˜Óng phát tri∫n trong t˜Ïng l§i. Và cuËi cùng là lÌi k∏t.

iii Tr˜Ìng §i HÂc Bách Khoa Tp.HÁ Chí Minh Khoa Khoa HÂc và Kˇ Thu™t Máy Tính Thesis outline In this thesis, we propose an approach for generating Math Expression (ME) images from the CROHME dataset. Our approach employs two methods. The first method transforms original ME images which belong to the CROHME dataset by geometric transformations. The second generates new ME images based on the dictionary of character patterns col- lected from the CROHME dataset.

The generated ME images follow rules of math form. Based on the combination of both two methods, we introduce a much larger dataset for handwritten math expression recognition problem compared to original CROHME one. That is the main contribution of this paper. To evaluate, we employ a sequential system containing a module for object detection- Single Shot MultiBox Detector (SSD)- and a module for parsing SSD’s outcome into LATEX string- DRACULAE and focus on improv- ing the detector.

We trained and evaluated the system on CROHME 2013 training set combined with and without our own generated dataset to point out the impact of our generative approach. The experimental results indicate that the detector achieves 52.57% on mAP instead of 36.98% if we do not use added dataset. The outline of this thesis is organized as follows: Section I introduces the topic, the reason why I chose it and scope limitation. Section II listed related works and discussed in detail.

Section II describes our employed system for HME recognition in general and illustrates how we generate new HME images from available CROHME training set. Section IV presents and discusses our experimental results based on the models trained on the different training sets to find out the contribution of each data augmentation approach. Finally, we concludes the paper in Section V. iv Tr˜Ìng §i HÂc Bách Khoa Tp.HÁ Chí Minh Khoa Khoa HÂc và Kˇ Thu™t Máy Tính LÌi cam oan Lu™n v´n cıa nhóm có tham kh£o các tài liªu t¯ nhi∑u nguÁn khác nhau và các nguÁn tham kh£o này ∑u ˜Òc trích d®n rõ ràng trong ph¶n tài liªu tham kh£o.

Ngoài nh˙ng ph¶n ˜Òc trích d®n, tôi xin cam oan toàn bÎ nÎi dung báo cáo là do tôi t¸ so§n th£o d¸a trên nh˙ng tìm hi∫u và k∏t qu£ th¸c t∏ do nhóm t§o ra. Tôi s≥ hoàn toàn ch‡u x˚ l˛ theo quy ‡nh n∏u có bßt k˝ sai ph§m nào x£y ra liên quan ∏n nh˙ng gì tôi ã cam oan. HÁ Chí Minh, ngày 11 tháng 07 n´m 2021 Ng˜Ìi cam oan Bùi Khánh NgÂc v Mˆc lˆc Nhiªm vˆ lu™n v´n Th§c sæ i LÌi c£m Ïn ii Tóm t≠t lu™n v´n iii Thesis outline iv LÌi cam oan v Mˆc lˆc vi Danh sách hình v≥ viii Danh sách b£ng ix Ch˜Ïng 1 GiÓi thiªu 1 1 GiÓi thiªu ∑ tài. 1 2 L˛ do chÂn ∑ tài.

1 3 Ph§m vi ∑ tài. 2 4 Quá trình th¸c hiªn. 2 Ch˜Ïng 2 Công trình liên quan 5 1 TÍng quan. 5 2 Công trình tham kh£o .1 Watch, Attend and Parse: An End-to-end Neural Network Based Approach to Handwritten Mathematical Expression Recognition[1] 8 2.2 Multi-Scale Attention with Dense Encoder for Handwritten Mathe- matical Expression Recognition[2] .3 Handwritten mathematical expression recognition using convolutional neural network[3] .4 Training an end-to-end system for handwritten mathematical expres- sion recognition by generated patterns[4].

11 Ch˜Ïng 3 Mô hình ∑ xußt 14 1 TÍng quan hª thËng. 14 2 Chi∏n l˜Òc sinh d˙ liªu .1 Chi∏n l˜Òc 1: Bi∏n Íi hình hÂc .2 Chi∏n l˜Òc 2: Sinh mÓi công th˘c. 17 Ch˜Ïng 4 Hiªn th¸c, ánh giá 22 1 Chu©n b‡ d˙ liªu. 22 vi Tr˜Ìng §i HÂc Bách Khoa Tp.HÁ Chí Minh Khoa Khoa HÂc và Kˇ Thu™t Máy Tính 2 K∏t qu£ thu ˜Òc .2 AP trên t¯ng class .3 Recall trên t¯ng class .5 MÎt sË ví dˆ sinh chuÈi LATEX.

28 Ch˜Ïng 5 TÍng k∏t 31 1 K∏t lu™n. 31 2 H˜Óng phát tri∫n t˜Ïng lai. 31 Danh mˆc các công trình ã công bË 32 Tài liªu tham kh£o 42 vii Danh sách hình v≥ 1 Hình minh ho§ tÍng quát các b˜Óc th¸c hiªn cıa ph˜Ïng pháp Watch, Attend and Parser. 9 2 Hình minh ho§ tÍng quát ki∏n trúc encoder cıa ph˜Ïng pháp Multi-Scale Attention.

Nhánh A s≥ t§o ra các ∞c tr˜ng toàn cˆc và nhánh B s≥ óng góp các ∞c tr˜ng cˆc bÎ cho quá trình decode. 10 3 TÍng quan hª thËng s˚ dˆng SSD ∫ phát hiªn và nh™n d§ng k˛ t¸, DRAC- ULAE phân tích cßu trúc ng˙ pháp và t§o cây bi∫u th˘c. 11 4 Qui trình bi∏n Íi £nh bi∫u th˘c toán hÂc b¨ng các phép bi∏n Íi hình hÂc.