Tổng quan nghiên cứu

Trong tiến trình chuyển đổi số học thuật hiện nay, hơn 85% tài liệu khoa học và giáo trình chuyên ngành chứa đựng các cấu trúc toán học phức tạp. Việc số hóa các biểu thức này từ định dạng giấy in hoặc tệp ảnh sang ngôn ngữ đánh dấu cấu trúc như LaTeX đóng vai trò then chốt trong việc lưu trữ, tìm kiếm và tái sử dụng tri thức. Tuy nhiên, bài toán nhận diện biểu thức toán học (Mathematical Expression Recognition - MER) đặt ra thách thức lớn do đặc thù phân bố không gian hai chiều, sự lồng ghép đa tầng của các chỉ số trên, chỉ số dưới, dấu căn bậc và ma trận.

Luận văn thạc sĩ khoa học máy tính của tác giả Lê Anh Duy, dưới sự hướng dẫn của Tiến sĩ Trần Tuấn Anh tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, tập trung giải quyết triệt để rào cản trên. Đề tài được triển khai thực hiện trong giai đoạn từ tháng 02/2023 đến tháng 06/2023. Mục tiêu trọng tâm của nghiên cứu là xây dựng mô hình học sâu tiên tiến kết hợp giữa kiến trúc mạng tích chập và biến đổi thị giác (Hybrid Vision Transformer), kết hợp cơ chế tập trung độ phủ (Coverage Attention) nhằm tối ưu hóa khả năng nhận diện ký tự toán học.

Ý nghĩa khoa học và thực tiễn của công trình được chứng minh thông qua các chỉ số định lượng vượt trội. Mô hình đề xuất nâng điểm số BLEU lên trên 89.6% và đạt độ chính xác khớp hoàn toàn ảnh (Image Exact Match) trên 84.3% khi kiểm thử trên tập dữ liệu chuẩn hơn 100.000 mẫu. Đồng thời, nghiên cứu tích hợp hoàn chỉnh mô hình nhận diện với mạng phát hiện vùng ScanSSD, tạo nên hệ thống trích xuất tự động đa năng cho cả ảnh đơn lẻ và tài liệu PDF nhiều trang với mã nguồn mở công khai.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng của kiến trúc chuỗi sang chuỗi (Sequence-to-Sequence - Seq2seq), kết hợp các mô hình nơ-ron học sâu hiện đại phục vụ việc chuyển đổi dữ liệu từ dạng hình ảnh trực quan sang chuỗi văn bản định dạng LaTeX. Mô hình tích hợp ba trụ cột lý thuyết chính:

Thứ nhất, mạng nơ-ron tích chập ResNet32 đóng vai trò bộ trích xuất đặc trưng hình ảnh ban đầu, giúp thu thập các đặc trưng thị giác từ mức độ thấp đến mức độ cao mà không làm tiêu biến đạo hàm. Thứ hai, khối Vision Transformer (ViT) với cơ chế tự tập trung đa đầu (Multi-Head Self-Attention) được áp dụng nhằm mô hình hóa quan hệ ngữ cảnh không gian hai chiều toàn cục, khắc phục triệt để hạn chế của các khối RNN hay BiLSTM truyền thống vốn chỉ xử lý tuần tự theo một chiều ngang. Thứ ba, cơ chế tập trung độ phủ (Coverage Attention) trong bộ giải mã được thiết kế nhằm theo dõi lịch sử căn chỉnh giữa các vùng ảnh và token đã sinh, giải quyết dứt điểm hiện tượng sinh thừa (over-parsing) hoặc sinh thiếu (under-parsing) ký tự toán học.

Các khái niệm then chốt xuyên suốt nghiên cứu bao gồm: trường tiếp nhận toàn cục (global receptive field), nhúng thông tin vị trí hai chiều (2D positional encoding), bản đồ đặc trưng trực quan, và giải thuật tìm kiếm chùm (beam search).

Phương pháp nghiên cứu

Nghiên cứu áp dụng quy trình thực nghiệm định lượng nghiêm ngặt với các giai đoạn chuẩn hóa và phân tích chuyên sâu:

  • Nguồn dữ liệu: Tác giả sử dụng tập dữ liệu benchmark công khai IM2LATEX-100K gồm 103.556 ảnh biểu thức toán học. Nhận thấy sự thiếu hụt dữ liệu biểu thức đa dạng, nghiên cứu đã tự xây dựng và công bố bộ cơ sở dữ liệu quy mô lớn mang tên LIMD (Large Image to Markup Database) với hơn 500.000 công thức toán học thực tế được thu thập và kết xuất từ các bài báo khoa học trên nền tảng arXiv.
  • Phương pháp chọn mẫu và tiền xử lý: Dữ liệu được lọc bỏ các công thức có độ dài vượt quá 150 token hoặc chứa cú pháp lỗi, sau đó thực hiện chuẩn hóa token, chuẩn hóa kích thước ảnh về cùng tỷ lệ khung hình và áp dụng kỹ thuật tăng cường dữ liệu ngẫu nhiên (Random Moving, Data Augmentation) nhằm tăng độ bền vững cho mô hình.
  • Lý do lựa chọn phương pháp phân tích: Kiến trúc Hybrid Vision Transformer được lựa chọn vì khả năng kết hợp hoàn hảo giữa năng lực trích xuất đường nét cục bộ của CNN và năng lực nắm bắt ngữ cảnh toàn cục 2D của Transformer. Toàn bộ quá trình huấn luyện và tối ưu hóa hàm mất mát Cross-Entropy được thực hiện trên hệ thống phần cứng GPU hiệu năng cao trong suốt 4 tháng nghiên cứu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm trên các tập kiểm thử tiêu chuẩn đã mang lại 4 phát hiện quan trọng:

  1. Mô hình Hybrid Vision Transformer đạt hiệu năng vượt bậc với chỉ số BLEU đạt 89.65% và tỷ lệ Image Exact Match đạt 84.32% trên tập kiểm thử IM2LATEX-100K. Kết quả này vượt xa phương pháp kinh điển WYGIWYS với mức tăng 5.9% về độ chính xác và cải thiện hơn 4.5% so với mô hình MER-DAttn.
  2. Cơ chế Coverage Attention chứng minh tính ưu việt khi làm giảm hơn 75% lỗi sinh lặp từ khóa và giảm 68% hiện tượng bỏ sót các ký hiệu toán học nhỏ như dấu phẩy, chỉ số dưới trên các biểu thức có độ dài trên 80 token.
  3. Bộ dữ liệu LIMD đóng góp nguồn ngữ liệu phong phú, giúp mô hình huấn luyện có khả năng nhận diện chính xác các ma trận phức tạp và biểu thức tích phân nhiều tầng với tỷ lệ lỗi nhận dạng ký tự giảm xuống dưới 4.2%.
  4. Hệ thống hoàn chỉnh tích hợp mô hình phát hiện vùng ScanSSD và mô hình nhận diện Hybrid ViT đạt thời gian xử lý trung bình chỉ 180 mili-giây cho một ảnh công thức đơn lẻ và xử lý trọn vẹn một trang tài liệu PDF chứa hơn 20 công thức trong khoảng 2.3 giây.

Thảo luận kết quả

Hiệu quả vượt trội của mô hình bắt nguồn từ việc thay thế lớp hồi quy tuần tự 1 chiều bằng khối Vision Transformer 2 chiều. Trong các biểu thức toán học, mối tương quan giữa tử số và mẫu số của một phân số hay vị trí các phần tử trong ma trận đòi hỏi khả năng quan sát không gian đa hướng. Cơ chế Multi-Head Self-Attention cho phép mỗi vị trí trên bản đồ đặc trưng tương tác trực tiếp với toàn bộ các vị trí khác, tạo ra biểu diễn ngữ cảnh hoàn chỉnh hơn so với mạng BiLSTM truyền thống.

Khi so sánh với các nghiên cứu trước đây như mô hình MI2LATEX hay mạng ngữ cảnh toàn cục Global Context Network, mô hình đề xuất duy trì độ chính xác ổn định ngay cả khi chiều dài chuỗi LaTeX tăng lên trên 100 ký tự. Kết quả nghiên cứu có thể được trực quan hóa rõ nét thông qua biểu đồ phân phối độ chính xác theo chiều dài chuỗi token và bảng ma trận nhầm lẫn (confusion matrix), thể hiện tỷ lệ nhận diện chính xác trên 98% đối với hơn 200 ký hiệu toán học Hy Lạp và toán tử logic phổ biến.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm vững chắc, 4 giải pháp chiến lược được đề xuất nhằm chuyển giao và ứng dụng công nghệ:

  1. Triển khai tích hợp mô hình vào hệ thống phần mềm quản lý thư viện số của các trường đại học và viện nghiên cứu. Mục tiêu số hóa tự động hơn 50.000 trang tài liệu, giáo trình toán học và vật lý mỗi năm, thực hiện trong vòng 6 tháng bởi Trung tâm Công nghệ Thông tin trực thuộc các cơ sở đào tạo.
  2. Mở rộng và chuẩn hóa bộ cơ sở dữ liệu LIMD phiên bản nâng cao lên quy mô 1.500.000 mẫu công thức, bổ sung các mẫu chữ viết tay và ảnh chụp từ camera điện thoại. Đích đến là nâng độ bao phủ ký hiệu toán học lên 99.8% trong vòng 12 tháng, do các nhóm nghiên cứu trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên chủ trì.
  3. Tối ưu hóa kiến trúc mô hình bằng kỹ thuật lượng tử hóa trọng số (Model Quantization) và TensorRT nhằm giảm 50% dung lượng bộ nhớ, đạt mục tiêu độ trễ dưới 50 mili-giây trên mỗi công thức. Thời gian hoàn thành trong 3 đến 5 tháng do đội ngũ kỹ sư tối ưu hóa MLOps đảm nhiệm.
  4. Phát triển ứng dụng tiện ích mở rộng (extension) trên trình duyệt và plugin cho các phần mềm văn phòng, giúp giáo viên và nhà nghiên cứu chụp ảnh công thức và chuyển đổi trực tiếp sang mã LaTeX tức thì, giảm 70% thời gian nhập liệu học liệu số trong vòng 4 tháng tới.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

  1. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Trí tuệ nhân tạo: Tài liệu cung cấp cơ sở lý thuyết chuyên sâu về việc kết hợp CNN và Vision Transformer cho bài toán xử lý ảnh sang chuỗi văn bản, là nguồn tham khảo mẫu mực cho các đề tài nghiên cứu về OCR nâng cao.
  2. Kỹ sư thị giác máy tính và phát triển phần mềm OCR tại các doanh nghiệp công nghệ: Tiếp cận kiến trúc pipeline toàn diện từ khâu phát hiện vùng công thức bằng ScanSSD đến nhận diện chi tiết bằng Hybrid ViT, dễ dàng đóng gói và thương mại hóa sản phẩm.
  3. Giảng viên, giáo viên và nhà nghiên cứu trong lĩnh vực Toán - Tin và Khoa học tự nhiên: Tận dụng trực tiếp giải pháp và mã nguồn mở của hệ thống để chuyển đổi nhanh các tài liệu bản in, đề thi cũ sang định dạng LaTeX chuẩn xác.
  4. Các nhà xuất bản giáo dục và đơn vị phát triển giải pháp EdTech: Tham khảo mô hình kiến trúc và bộ dữ liệu LIMD để xây dựng các nền tảng chấm bài tự động, giải toán thông minh và quản lý học liệu số quy mô lớn.

Câu hỏi thường gặp

Hỏi: Tại sao mô hình Hybrid Vision Transformer lại vượt trội hơn các mô hình CNN-RNN truyền thống trong nhận diện biểu thức toán? Đáp: Các mô hình CNN-RNN truyền thống nén đặc trưng thành chuỗi một chiều, làm mất thông tin liên kết không gian trên-dưới của phân số và ma trận. Hybrid Vision Transformer sử dụng cơ chế tự tập trung hai chiều giúp bao quát toàn bộ ngữ cảnh không gian của ảnh, nâng độ chính xác BLEU lên trên 89.65%.

Hỏi: Cơ chế Coverage Attention giải quyết hiện tượng sinh thừa và sinh thiếu ký tự như thế nào? Đáp: Coverage Attention duy trì một véc-tơ tổng hợp lịch sử các vùng ảnh đã được bộ giải mã chú ý ở các bước trước đó. Nhờ vậy, mô hình giảm xác suất chọn lại các vùng đặc trưng đã chuyển đổi và tăng độ tập trung vào các ký tự chưa được giải mã, giúp giảm hơn 75% lỗi lặp từ.

Hỏi: Bộ dữ liệu LIMD có điểm gì khác biệt và vượt trội so với tập dữ liệu chuẩn IM2LATEX-100K? Đáp: Tập IM2LATEX-100K chỉ có khoảng 100.000 mẫu với độ phân giải giới hạn. Bộ dữ liệu LIMD do tác giả xây dựng cung cấp hơn 500.000 mẫu công thức thực tế đa dạng từ nền tảng arXiv, có phân bố chiều dài token và kích thước ảnh phong phú, giúp mô hình cải thiện khả năng tổng quát hóa vượt bậc.

Hỏi: Hệ thống có khả năng xử lý các tệp tài liệu PDF nhiều trang chứa cả văn bản và công thức không? Đáp: Hệ thống được tích hợp mạng ScanSSD để tự động quét, phân đoạn và tách riêng từng vùng công thức toán học trên trang tài liệu PDF. Sau đó, khối Hybrid ViT sẽ nhận diện song song từng vùng ảnh và xuất ra chuỗi mã nguồn LaTeX hoàn chỉnh với tốc độ chỉ khoảng 2.3 giây cho một trang văn bản.

Hỏi: Mã nguồn và bộ dữ liệu của đề tài có được công khai để cộng đồng nghiên cứu tiếp cận không? Đáp: Toàn bộ mã nguồn triển khai mô hình, thuật ngữ tiền xử lý dữ liệu và liên kết tải bộ cơ sở dữ liệu LIMD đều được tác giả công khai hoàn toàn trên nền tảng GitHub tại kho lưu trữ của nhóm nghiên cứu, tạo điều kiện thuận lợi cho việc tái lập thí nghiệm và phát triển mở rộng.

Kết luận

  • Đề tài đã đề xuất thành công mô hình học sâu Hybrid Vision Transformer kết hợp cơ chế Coverage Attention, giải quyết triệt để bài toán mô hình hóa ngữ cảnh không gian 2D cho bài toán nhận diện biểu thức toán học.
  • Đóng góp bộ cơ sở dữ liệu quy mô lớn LIMD với hơn 500.000 mẫu công thức thực tế từ arXiv, tạo nguồn tài nguyên nghiên cứu quý giá cho cộng đồng xử lý ngôn ngữ và thị giác máy tính.
  • Hiện thực hóa hệ thống trích xuất biểu thức toán học hoàn chỉnh từ tài liệu ảnh và tệp PDF với độ chính xác Image Exact Match đạt 84.32% và thời gian phản hồi dưới 200 mili-giây.
  • Kế hoạch tiếp theo tập trung vào việc tối ưu hóa mô hình phục vụ triển khai trên thiết bị biên và mở rộng khả năng nhận dạng công thức toán viết tay trong vòng 6 đến 12 tháng tới.
  • Các nhà nghiên cứu, kỹ sư phần mềm và đơn vị giáo dục có thể truy cập mã nguồn mở của dự án để tích hợp giải pháp số hóa tài liệu tiên tiến này vào thực tiễn ngay hôm nay.