Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp lần thứ tư, trí tuệ nhân tạo (AI) và thị giác máy tính đang đóng vai trò then chốt trong việc tự động hóa các tác vụ trích xuất dữ liệu từ hình ảnh. Nhận dạng ký tự quang học (OCR) đối với văn bản thông thường đã đạt được nhiều bước tiến lớn, tuy nhiên bài toán nhận dạng và trích xuất công thức toán học viết tay (Handwritten Mathematical Expression - HME) từ ảnh chụp bằng thiết bị di động vẫn là một thách thức kỹ thuật phức tạp.

Theo tác giả, những khó khăn cốt lõi của bài toán xuất phát từ:

  • Cấu trúc không gian hai chiều (2D): Khác với văn bản thông thường có cấu trúc tuyến tính một chiều (1D), công thức toán học chứa các quan hệ trên - dưới, trong - ngoài, chỉ số trên (superscript), chỉ số dưới (subscript), dấu phân số và căn thức.
  • Tính mơ hồ và đa dạng của ký hiệu: Chữ viết tay của nhiều người dùng có sự khác biệt lớn về kích thước, độ nghiêng, nét chữ và khoảng cách giữa các ký tự.
  • Nhiễu nền từ ảnh chụp thực tế: Hình ảnh chụp từ điện thoại thường chịu ảnh hưởng bởi độ sáng không đồng đều, góc chụp xiên, bóng mờ và các bề mặt viết đa dạng (giấy kẻ ô, bảng trắng, màn hình kỹ thuật số).

Để giải quyết các vấn đề trên, đồ án xác định 4 nhiệm vụ nghiên cứu cụ thể:

  1. Nghiên cứu và vận dụng các kỹ thuật xử lý ảnh (XLA) tiên tiến nhằm cải thiện chất lượng ảnh đầu vào, loại bỏ nhiễu, chuẩn hóa kích thước và độ sáng phục vụ quá trình trích xuất.
  2. Huấn luyện các mô hình học sâu tiên tiến (kết hợp mạng nơ-ron tích chập CNN, mạng nơ-ron hồi quy RNN và kiến trúc Transformer) để nhận dạng và trích xuất công thức toán học từ ảnh đã xử lý sang định dạng chuỗi mã LaTeX.
  3. Xây dựng chức năng cơ bản cho phép chụp/tải ảnh lên, trích xuất công thức và hiển thị kết quả đầu ra dưới dạng mã và biểu thức LaTeX.
  4. Tích hợp hệ thống và thử nghiệm sản phẩm ứng dụng ban đầu với khả năng nhận dạng các công thức toán học cơ bản.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các công thức toán học viết tay được chụp bằng điện thoại hoặc vẽ tay trên màn hình cảm ứng của thiết bị di động.
  • Phạm vi nội dung: Tập trung vào các biểu thức toán học thuộc chương trình tiểu học và trung học cơ sở, bao gồm các chữ số tự nhiên (0–9), các biến ký tự Latinh phổ biến, các phép toán số học ($+, -, \times, \div$), quan hệ so sánh ($=, >, <, \ge, \le, \ne$), biểu thức lũy thừa ($x^2$), biểu thức chứa căn thức ($\sqrt{x}$), các hàm toán học cơ bản (lượng giác: $\sin, \cos, \tan, \cot$; hàm mũ và logarit: $\exp, \ln, \log, \log_{10}$), dấu giá trị tuyệt đối ($|x|$), giai thừa ($!$) và các hằng số toán học ($\pi, e$).

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình sử dụng

Nghiên cứu kết hợp các nền tảng lý thuyết từ xử lý ảnh số, biểu diễn toán học bằng LaTeX và các kiến trúc học sâu:

  • Biểu diễn toán học LaTeX: Sử dụng hệ thống quy chuẩn LaTeX với các gói mở rộng amsmath và unicode-math để chuẩn hóa nhãn chuỗi ký tự đầu ra.
  • Xử lý ảnh số (Image Processing): Ứng dụng mô hình chuẩn hóa cường độ sáng thông qua phân bố xác suất lược đồ xám (histogram): $$p(r_k) = \frac{n_k}{n}$$ Trong đó $n_k$ là số lượng pixel mang mức xám $r_k$, và $n$ là tổng số pixel của ảnh. Kỹ thuật phân đoạn nhị phân dựa trên thuật toán tìm ngưỡng Otsu: $$T = \arg\max \left(\sigma_1^2(T) + \sigma_2^2(T)\right)$$ với $\sigma_1^2, \sigma_2^2$ là phương sai cường độ sáng giữa hai lớp điểm ảnh.
  • Trích xuất đặc trưng truyền thống: Phân tích các bộ mô tả hình thái học, chu vi đường bao $L = \oint_P ds$, bao lồi $CH(X)$, trích xuất đặc trưng cục bộ SIFT, SURF và biểu đồ độ dốc định hướng HOG (Histograms of Oriented Gradients).
  • Học sâu (Deep Learning):
    • Mạng nơ-ron tích chập (CNN) với phép toán trích xuất đặc trưng không gian: $Z = f(W * X + b)$, tham chiếu các kiến trúc kinh điển như AlexNet, VGGNet, ResNet, InceptionNet và DenseNet.
    • Mạng nơ-ron hồi quy (RNN) mô hình hóa chuỗi thời gian/văn bản với trạng thái ẩn: $h_t = f(U x_t + W h_{t-1})$.
    • Kiến trúc Transformer OCR (TrOCR): Mô hình mã hóa - giải mã (Encoder-Decoder) hoàn toàn dựa trên cơ chế Attention. Bộ mã hóa hình ảnh (Vision Transformer) được khởi tạo trọng số từ mô hình BEiT, phân chia ảnh thành các bản vá (patches) kích thước $16 \times 16$ kèm nhúng vị trí tuyệt đối (absolute positional embeddings). Bộ giải mã văn bản (Text Transformer) được khởi tạo trọng số từ RoBERTa để sinh chuỗi ký tự LaTeX tự hồi quy (autoregressive).

Phương pháp nghiên cứu và quy trình thực nghiệm

  1. Thu thập dữ liệu: Huy động các tình nguyện viên viết tay công thức trên nhiều chất liệu (giấy kẻ, giấy trắng, tablet, màn hình cảm ứng) và chụp lại bằng camera điện thoại ở các điều kiện ánh sáng khác nhau.
  2. Tiền xử lý ảnh: Áp dụng chuỗi thao tác gồm cắt viền sát công thức (crop), chuẩn hóa kích thước, khử nhiễu nền, tách nền và chuyển đổi nhị phân đen trắng qua ngưỡng Otsu. Tăng cường dữ liệu (Data Augmentation) bằng Color Jitter (điều chỉnh ngẫu nhiên brightness tối đa 0.5, hue tối đa 0.3) và Gaussian Blur (kernel từ 5 đến 9, giá trị sigma ngẫu nhiên).
  3. Phân chia dữ liệu và gán nhãn: Bộ dữ liệu gồm hơn 2.600 ảnh được gán nhãn chuỗi mã LaTeX thủ công chuẩn xác, phân chia theo tỷ lệ 80% Train, 10% Validation, 10% Test.
  4. Huấn luyện và đánh giá: Tinh chỉnh mô hình TrOCR thông qua thư viện HuggingFace trên các tập dữ liệu thực nghiệm để đo lường khả năng học và nhận dạng chuỗi ký tự toán học.

Nội dung chính theo từng chương

Chương 1: Tổng quan về xử lý ảnh và nhận dạng chữ viết

Chương này khái quát bài toán nhận dạng chữ viết và công thức toán học từ ảnh chụp, phân tích các thách thức kỹ thuật và tổng thuật các công trình nghiên cứu liên quan trên thế giới:

  • Nghiên cứu của Kukreja và Sakshi (2021): Tổng quan hệ thống (SLR) trên 52 công trình nghiên cứu nhận dạng ký hiệu toán học (MSR), chỉ ra rằng Support Vector Machine (SVM), K-Nearest Neighbor (KNN) và CNN là các kỹ thuật chiếm ưu thế, đồng thời nhấn mạnh sự thiếu hụt các bộ dữ liệu chuẩn và phương pháp tiền xử lý nhất quán.
  • Mô hình MI2LS của Wang và Liu: Đề xuất kiến trúc CNN Encoder kết hợp RNN Decoder và cơ chế Soft Attention, bổ sung mã hóa vị trí dạng sóng (wavy positional encoding) và hàm mục tiêu dựa trên BLEU-score trên bộ dữ liệu IM2LATEX-100K.
  • Mô hình của Liu và cộng sự: Ứng dụng mô-đun tăng cường tương quan đặc trưng (FCE) và tổng hợp đa tỷ lệ dải (SMP) nhằm xử lý ảnh công thức có kích thước không đồng nhất, đạt độ chính xác phân loại 89,50%.
  • Nghiên cứu của Mahdavi và cộng sự: Nhận dạng công thức thông qua xây dựng đồ thị tầm nhìn Line-of-sight (LOS), ứng dụng Random Forest, CNN và thuật toán Edmonds để trích xuất cây bao trùm có hướng, đạt độ chính xác 90,89% trên thành phần và 93,5% trên ký hiệu của tập InftyCDB-2.
  • Nghiên cứu của Noya và cộng sự: Ứng dụng phân tích cú pháp phi ngữ cảnh xác suất hai chiều (2D-PCFG) để tạo siêu đồ thị cho việc lập chỉ mục và tìm kiếm công thức toán học trên tập IM2LATEX và IBEM.

Từ tổng quan tài liệu, chương 1 xác định mục tiêu thiết kế giải pháp kết hợp xử lý ảnh với mô hình học sâu Transformer nhằm trích xuất HME trực tiếp sang mã LaTeX.

Công trình / Tác giả Phương pháp / Mô hình chính Bộ dữ liệu thử nghiệm Kết quả / Đặc điểm nổi bật
Kukreja & Sakshi (2021) Tổng quan hệ thống (SVM, KNN, CNN) Tổng hợp 52 nghiên cứu Xác định thách thức phân đoạn 2D và thiếu dữ liệu chuẩn
Wang & Liu MI2LS (CNN + RNN + Attention) IM2LATEX-100K Tối ưu hóa chuỗi LaTeX dài bằng BLEU-score
Liu và cộng sự FCE module + SMP module Cơ sở dữ liệu ảnh ME Đạt độ chính xác 89,50% trong việc sàng lọc công thức
Mahdavi và cộng sự Đồ thị LOS + Thuật toán Edmonds + CNN InftyCDB-2, CROHME Đạt 90,89% (thành phần) và 93,50% (ký hiệu)
Noya và cộng sự 2D-PCFG + Siêu đồ thị (Hypergraph) IM2LATEX, IBEM Tối ưu hóa biểu diễn cây phân tích cú pháp cho truy vấn

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày chi tiết nền tảng toán học và kỹ thuật của các phương pháp xử lý dữ liệu và mô hình hóa:

  • Biểu diễn ký hiệu toán học: Định nghĩa không gian ký hiệu trong phạm vi đồ án gồm các toán tử số học, phân số, dấu căn, hàm số toán học ($\sin, \cos, \ln, \exp$), hằng số và dấu phân cách.
  • Kỹ thuật xử lý ảnh số: Trình bày 5 nhóm chức năng xử lý ảnh (trực quan hóa, nhận dạng, làm sắc nét/phục hồi, nhận dạng mẫu, truy xuất); các phép biến đổi hình thái học, cân bằng lược đồ xám và phân tích đường bao.
  • Trích xuất đặc trưng: Phân tích nguyên lý hoạt động của HOG trong việc tính toán độ lớn và hướng gradient cục bộ; nguyên lý bất biến tỷ lệ, phép quay và biến đổi affine của thuật toán SIFT.
  • Mô hình học sâu và OCR: Khái quát nguyên lý tính toán của lớp tích chập, lớp gộp (pooling) trong CNN; cơ chế truyền trạng thái ẩn trong RNN; quy trình 3 giai đoạn của hệ thống OCR truyền thống và cơ chế tự chú ý (Self-Attention) trong mạng Transformer.

Chương 3: Phương pháp đề xuất và kết quả thực nghiệm

Chương này mô tả chi tiết quá trình thu thập dữ liệu, quy trình tiền xử lý, cấu hình mô hình TrOCR và các kịch bản thử nghiệm:

  • Xây dựng bộ dữ liệu: Thu thập hơn 2.600 ảnh công thức viết tay đa dạng bề mặt, được gán nhãn chuỗi LaTeX thủ công chuẩn xác. Tác giả công khai bộ dữ liệu tại kho lưu trữ GitHub (https://github.com/nvb-research/trocr-hme).
  • Quy trình tiền xử lý:
    1. Cắt ảnh (Crop sát đường biên công thức).
    2. Chuẩn hóa kích thước hình ảnh.
    3. Khử nhiễu nền và tách nền.
    4. Nhị phân hóa ảnh bằng thuật toán Otsu để chuyển về ảnh đen trắng.
    5. Tăng cường dữ liệu bằng biến đổi Color Jitter (độ sáng 0.5, hue 0.3) và làm mờ Gaussian Blur (kernel 5–9).
  • Mô hình TrOCR: Tận dụng kiến trúc Vision Transformer (BEiT) làm Encoder và Language Transformer (RoBERTa) làm Decoder. Triển khai tinh chỉnh mô hình thông qua thư viện HuggingFace.
  • Thực nghiệm huấn luyện: Báo cáo tiến trình huấn luyện qua các giai đoạn dữ liệu:
    • Thử nghiệm trên tập 500 ảnh chưa qua tiền xử lý (ghi nhận các trường hợp nhận dạng sai do nhiễu nền).
    • Thử nghiệm lần 1 trên tập 300 ảnh HME đơn giản đã qua tiền xử lý (cải thiện độ khớp chính xác các ký hiệu cơ bản).
    • Thử nghiệm mở rộng trên toàn bộ tập dữ liệu hơn 2.600 ảnh HME phức tạp, đánh giá khả năng nhận dạng các biểu thức toán học đa dạng.
Thành phần kỹ thuật Chi tiết tham số / Kỹ thuật áp dụng Mục đích kỹ thuật
Cắt biên (Crop) Thu nhỏ khung bao sát biên ký tự ngoài cùng Loại bỏ vùng ảnh thừa không chứa thông tin
Nhị phân hóa (Thresholding) Ngưỡng tự động Otsu ($T = \arg\max(\sigma_1^2 + \sigma_2^2)$) Tách nét chữ đen khỏi nền trắng, triệt tiêu nền nhiễu
Tăng cường màu (Color Jitter) brightness = 0.5, hue = 0.3 Tăng khả năng thích ứng với điều kiện ánh sáng thay đổi
Làm mờ (Gaussian Blur) Kích thước kernel từ 5 đến 9, sigma ngẫu nhiên Giúp mô hình không bị quá khớp (overfitting) nét vẽ mảnh
Mã hóa (Encoder) Vision Transformer (Khởi tạo từ BEiT, patch $16\times 16$) Trích xuất biểu diễn đặc trưng không gian ảnh
Giải mã (Decoder) Text Transformer (Khởi tạo từ RoBERTa) Tự hồi quy sinh chuỗi mã LaTeX chuẩn hóa
Tỷ lệ phân chia tập 80% Train – 10% Validation – 10% Test Đảm bảo tính khách quan khi huấn luyện và đánh giá

Chương 4: Kết luận và hướng phát triển

Tổng kết toàn bộ kết quả đạt được về mặt phương pháp luận, chỉ ra các hạn chế tồn đọng trong mô hình và đề xuất các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Kết quả chính

  • Xây dựng thành công quy trình tích hợp giữa các bước xử lý ảnh truyền thống (Otsu thresholding, crop, data augmentation) với mô hình học sâu TrOCR.
  • Thực nghiệm cho thấy tiền xử lý ảnh đóng vai trò quyết định: mô hình huấn luyện trên dữ liệu đã qua tiền xử lý và nhị phân hóa đạt kết quả nhận dạng vượt trội so với dữ liệu ảnh thô 500 mẫu ban đầu.
  • Mô hình nhận dạng chính xác nhiều cấu trúc toán học từ tập dữ liệu hơn 2.600 ảnh, bao gồm các phép tính số học, biểu thức căn bậc hai, phân số, hàm lượng giác và quan hệ so sánh phức tạp.

Đóng góp của đồ án

  • Đóng góp khoa học:
    • Chứng minh tính khả thi và hiệu quả của việc ứng dụng kiến trúc Transformer thuần túy (TrOCR với BEiT Encoder và RoBERTa Decoder) cho bài toán nhận dạng công thức toán học viết tay thay thế cho kiến trúc CNN-RNN truyền thống.
    • Xây dựng và công khai bộ dữ liệu hơn 2.600 ảnh HME kèm nhãn mã LaTeX chuẩn hóa trên GitHub, đóng góp tài nguyên mở cho cộng đồng nghiên cứu OCR tiếng Việt và quốc tế.
  • Đóng góp thực tiễn:
    • Cung cấp giải pháp trích xuất tự động công thức toán học từ ảnh chụp điện thoại, giúp người học, giáo viên và nhà nghiên cứu tiết kiệm thời gian soạn thảo văn bản học thuật.
    • Hạn chế sai sót trong quá trình gõ lại các công thức phức tạp, hỗ trợ số hóa tài liệu toán học nhanh chóng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đồ án

  • Quy mô tập dữ liệu: Tập dữ liệu hơn 2.600 ảnh tuy đa dạng nhưng vẫn còn khiêm tốn so với các bộ dữ liệu lớn trên thế giới (như IM2LATEX-100K), chưa bao phủ hết tất cả các trường hợp chữ viết tay đặc biệt.
  • Phạm vi biểu thức: Giới hạn chủ yếu ở các công thức toán cấp tiểu học và THCS; chưa mở rộng sang các dạng toán phức tạp ở bậc THPT và đại học như ma trận nhiều chiều, tích phân bội, đạo hàm riêng hay các ký hiệu tích phân phức tạp.
  • Độ phụ thuộc vào khâu tiền xử lý: Quá trình trích xuất vẫn phụ thuộc lớn vào chất lượng cắt ảnh biên sát công thức; các trường hợp chụp bị mất góc hoặc nét đứt gãy nặng vẫn có thể dẫn đến lỗi giải mã LaTeX.

Hướng nghiên cứu tiếp

  • Mở rộng số lượng và độ phức tạp của bộ dữ liệu HME, bổ sung các ký hiệu toán học nâng cao (giải tích, đại số tuyến tính).
  • Tối ưu hóa mô hình TrOCR để giảm kích thước tham số và độ trễ, phục vụ tích hợp trực tiếp trên các ứng dụng di động hoặc nền tảng web thời gian thực.
  • Nghiên cứu cơ chế tự động phát hiện và khoanh vùng công thức (Formula Detection) trong tài liệu nhiều chữ trước khi đưa vào mô hình nhận dạng.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho các nhóm đối tượng:

  • Học viên, sinh viên ngành Khoa học máy tính, Công nghệ thông tin và Trí tuệ nhân tạo: Cung cấp tài liệu thực nghiệm chi tiết về việc kết hợp kỹ thuật xử lý ảnh OpenCV/Python với các mô hình Vision-Language Transformer từ thư viện HuggingFace.
  • Các nhà nghiên cứu về OCR và xử lý văn bản tài liệu (Document AI): Tham khảo phương pháp xây dựng, tiền xử lý và chuẩn hóa bộ dữ liệu công thức toán học viết tay gán nhãn LaTeX.
  • Kỹ sư phát triển phần mềm giáo dục (EdTech): Cung cấp kiến trúc tham chiếu cho tính năng số hóa bài tập và trích xuất công thức toán từ camera trên ứng dụng học tập.

Câu hỏi thường gặp

1. Mô hình TrOCR sử dụng trong đồ án có cấu trúc như thế nào và khởi tạo trọng số từ đâu?
Mô hình TrOCR trong đồ án là mô hình Encoder-Decoder dựa trên Transformer. Bộ mã hóa hình ảnh (Encoder) là một Vision Transformer được khởi tạo từ trọng số của mô hình BEiT (chia ảnh thành các bản vá $16 \times 16$). Bộ giải mã văn bản (Decoder) là một Text Transformer được khởi tạo từ trọng số của mô hình RoBERTa để sinh chuỗi ký tự LaTeX tự hồi quy.

2. Quy trình tiền xử lý hình ảnh đầu vào bao gồm những bước cụ thể nào?
Quy trình tiền xử lý gồm 5 bước kỹ thuật: (1) Cắt ảnh sát đường biên công thức để loại bỏ vùng thừa; (2) Chuẩn hóa kích thước hình ảnh đồng đều; (3) Loại bỏ nhiễu nền; (4) Tách và xóa nền ảnh; (5) Chuyển đổi sang ảnh nhị phân đen trắng bằng phương pháp quét ngưỡng tự động Otsu. Ngoài ra, dữ liệu huấn luyện còn được tăng cường bằng Color Jitter và Gaussian Blur.

3. Bộ dữ liệu thực nghiệm của đồ án được xây dựng với quy mô và đặc điểm ra sao?
Bộ dữ liệu gồm hơn 2.600 hình ảnh công thức toán học viết tay do các tình nguyện viên viết trên nhiều bề mặt (giấy, bảng, máy tính bảng) và chụp bằng điện thoại. Toàn bộ ảnh được gán nhãn chuỗi mã LaTeX chuẩn xác bằng tay, chia theo tỷ lệ 80% Train, 10% Validation, 10% Test và được công khai trên GitHub tại địa chỉ https://github.com/nvb-research/trocr-hme.

4. Phạm vi các ký hiệu toán học được hỗ trợ nhận dạng trong nghiên cứu là gì?
Nghiên cứu giới hạn ở chương trình toán tiểu học và trung học cơ sở, bao gồm các số tự nhiên (0–9), biến chữ thường gặp, các phép tính số học cơ bản ($+, -, \times, \div$), so sánh ($=, >, <, \ge, \le, \ne$), lũy thừa, căn bậc hai, hàm lượng giác ($\sin, \cos, \tan, \cot$), hàm mũ/logarit ($\exp, \ln, \log, \log_{10}$), giai thừa ($!$), giá trị tuyệt đối ($|x|$) và các hằng số ($\pi, e$).

5. Đồ án đã so sánh với những công trình nghiên cứu tiêu biểu nào trong phần tổng quan?
Đồ án đã phân tích các công trình: tổng quan SLR của Kukreja & Sakshi (2021); mô hình MI2LS (CNN-RNN-Attention) của Wang & Liu; mô hình FCE-SMP của Liu và cộng sự; mô hình đồ thị Line-of-sight của Mahdavi và cộng sự; cùng mô hình ngữ pháp 2D-PCFG và siêu đồ thị của Noya và cộng sự.

Kết luận

Đồ án tốt nghiệp Thạc sĩ "Kết hợp Học sâu và Xử lý ảnh trong trích xuất công thức toán học từ ảnh chụp điện thoại" của học viên Nguyễn Văn Bảy đã giải quyết thành công bài toán số hóa công thức toán học viết tay thông qua việc kết hợp các kỹ thuật xử lý ảnh nhị phân hóa Otsu với mô hình TrOCR (BEiT-RoBERTa). Nghiên cứu đã xây dựng và công khai bộ dữ liệu hơn 2.600 ảnh công thức gán nhãn LaTeX chuẩn xác, chứng minh tính hiệu quả vượt trội của việc tiền xử lý ảnh đối với độ chính xác của mô hình học sâu. Kết quả của đồ án mang lại giá trị khoa học thiết thực trong lĩnh vực thị giác máy tính và mở ra giải pháp ứng dụng tiềm năng phục vụ công tác giảng dạy, học tập và số hóa tài liệu khoa học.