Luận văn nhận dạng ký hiệu toán học bằng học sâu tại ĐH Công nghệ Thông tin và Truyền thông Thái Nguyên

Nghiên cứu kỹ thuật học sâu nhận dạng ký hiệu toán học hỗ trợ chuyển đổi số tài liệu khoa học kỹ thuật, nâng cao độ chính xác và hiệu quả số hóa dữ liệu.

• Tác giả: Lê Thị Giang
• Người hướng dẫn: TS. Đàm Thanh Phương
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu kỹ thuật học sâu nhận dạng ký hiệu toán học hỗ trợ chuyển đổi số tài liệu khoa học kỹ thuật
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan học sâu nhận dạng ký hiệu toán học và chuyển đổi số

Chuyển đổi số tài liệu khoa học kỹ thuật là xu hướng tất yếu trong kỷ nguyên số. Quá trình này giúp số hóa kho tri thức khổng lồ từ dạng sách in sang dạng số hóa có thể chỉnh sửa và tìm kiếm. Tuy nhiên, các văn bản khoa học luôn chứa nhiều công thức và biểu thức toán học phức tạp. Hệ thống nhận dạng ký tự quang học truyền thống thường gặp nhiều hạn chế khi xử lý cấu trúc hai chiều. Kỹ thuật học sâu ra đời như một giải pháp đột phá. Mô hình học sâu có khả năng tự động học các đặc trưng hình ảnh trực quan mà không cần trích xuất thủ công. Công nghệ này kết hợp mạng nơ-ron tích chập và mạng hồi quy nhằm chuyển đổi hình ảnh công thức thành mã nguồn LaTeX chuẩn xác. Việc ứng dụng học sâu giúp rút ngắn thời gian xử lý dữ liệu và giảm thiểu sai sót đáng kể. Tài liệu khoa học sau khi số hóa có thể dễ dàng chỉnh sửa, chia sẻ và lưu trữ lâu dài. Đây là nền tảng quan trọng thúc đẩy quá trình số hóa giáo dục và nghiên cứu học thuật hiện đại.

1.1. Nhu cầu chuyển đổi số tài liệu khoa học kỹ thuật

Tài liệu khoa học kỹ thuật chứa đựng khối lượng tri thức vô cùng giá trị. Phần lớn các tài liệu cũ tồn tại dưới dạng bản in giấy hoặc tệp hình ảnh quét mờ. Điều này gây khó khăn lớn cho việc tái bản, tra cứu công thức và chia sẻ thông tin học thuật. Nhu cầu chuyển đổi số đặt ra yêu cầu phải chuyển đổi văn bản sang định dạng điện tử có thể lập chỉ mục. Các giải pháp OCR truyền thống thường chỉ nhận dạng tốt văn bản thuần túy. Khi gặp ký hiệu toán học phức tạp, hệ thống cũ thường phát sinh lỗi phân đoạn nghiêm trọng. Việc xây dựng công cụ số hóa chuyên biệt giúp giải quyết triệt để rào cản tiếp cận tài liệu kỹ thuật số.

1.2. Vai trò của học sâu trong nhận dạng ký hiệu toán học

Học sâu mang lại bước tiến vượt bậc trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên. Khác với phương pháp xử lý ảnh cổ điển phụ thuộc vào trích chọn đặc trưng thủ công, học sâu có khả năng tự học biểu diễn dữ liệu ở nhiều mức độ trừu tượng. Mạng nơ-ron học sâu trích xuất chính xác cấu trúc hình học phức tạp của các ký hiệu toán học. Kỹ thuật này xử lý hiệu quả các quan hệ không gian hai chiều như chỉ số trên, chỉ số dưới, phân số và ma trận. Sự kết hợp giữa bộ mã hóa hình ảnh và bộ giải mã chuỗi ký tự giúp chuyển đổi trực tiếp ảnh thành mã LaTeX tương ứng. Đây là giải pháp cốt lõi mở đường cho các ứng dụng nhận dạng công thức tự động.

II. Thách thức trong nhận dạng ký hiệu toán học bằng phương pháp OCR

Bài toán nhận dạng công thức toán học từ ảnh chụp là một bài toán phức tạp trong xử lý tài liệu. Các công thức toán có cấu trúc hai chiều phi tuyến tính rất đa dạng. Ký hiệu toán học thường lồng ghép nhiều tầng bậc như căn bậc hai, phân thức, tích phân và ma trận. Việc sắp xếp không gian giữa các ký tự mang ý nghĩa ngữ nghĩa đặc thù. Một thay đổi nhỏ về vị trí đặt dấu hoặc cỡ chữ có thể làm thay đổi hoàn toàn ý nghĩa toán học. Các hệ thống OCR truyền thống dựa trên nhận dạng ký tự tuần tự một chiều thường thất bại trước cấu trúc phức tạp này. Thêm vào đó, tập ký hiệu toán học bao gồm hàng trăm ký tự đặc biệt, bảng chữ cái Hy Lạp và toán tử mở rộng. Nhiều ký hiệu có hình dạng tương đồng nhưng mang ngữ nghĩa khác nhau gây ra sự nhầm lẫn lớn. Chất lượng hình ảnh kém, độ phân giải thấp và nhiễu nền cũng làm gia tăng tỷ lệ nhận dạng sai lệch. Do đó, việc xây dựng mô hình học sâu có khả năng nắm bắt cấu trúc toàn cục là yêu cầu cấp thiết.

2.1. Cấu trúc không gian hai chiều phức tạp của công thức

Công thức toán học không tuân theo dòng đọc tuyến tính từ trái sang phải như văn bản thông thường. Mỗi biểu thức là sự kết hợp phân cấp của các thành phần con theo nhiều phương hướng. Vị trí tương đối giữa các ký hiệu xác định phép toán cụ thể. Ví dụ, một ký tự đặt ở góc trên bên phải biểu thị lũy thừa, trong khi ở góc dưới biểu thị chỉ số thứ tự. Dấu phân số chia tách tử số và mẫu số theo phương thẳng đứng. Biểu thức tích phân hay tổng chuỗi chứa các giới hạn trên và dưới đòi hỏi mô hình phải nhận diện chính xác phạm vi ảnh hưởng. Kỹ thuật tách ký tự đơn lẻ truyền thống phá vỡ tính liên kết ngữ nghĩa không gian này. Điều đó dẫn đến việc giải mã sai cấu trúc toán học.

2.2. Hạn chế của các phương pháp xử lý ảnh truyền thống

Các phương pháp xử lý ảnh truyền thống dựa trên các bước tiền xử lý như nhị phân hóa, khử nhiễu và phân đoạn ký tự. Quá trình phân đoạn thủ công rất nhạy cảm với độ nghiêng, nhiễu hạt và chất lượng mực in. Khi các ký hiệu toán học dính liền hoặc đứt nét, thuật toán phân đoạn dễ dàng cắt rời sai vị trí. Hơn nữa, việc sử dụng các đặc trưng thủ công như biến đổi Hough hay biểu đồ hướng dốc không đủ khả năng phân biệt các ký hiệu gần giống nhau. Mô hình cổ điển cũng thiếu cơ chế học ngữ cảnh dài hạn để sửa lỗi cú pháp. Kết quả đầu ra thường chứa nhiều lỗi ký tự rời rạc và không thể biên dịch thành mã LaTeX hợp lệ. Điều này đặt ra yêu cầu phải chuyển dịch sang kiến trúc học sâu.

III. Phương pháp học sâu cải tiến nhận dạng ký hiệu toán học Image2LaTeX

Mô hình Image2LaTeX cải tiến áp dụng kiến trúc mã hóa - giải mã kết hợp cơ chế chú ý hai chiều. Bộ mã hóa sử dụng mạng DenseNet để trích xuất đặc trưng hình ảnh công thức. Cấu trúc kết nối dày đặc trong DenseNet cho phép tái sử dụng đặc trưng tối đa và giảm thiểu hiện tượng biến mất đạo hàm. Bộ giải mã sử dụng mạng nơ-ron hồi quy LSTM để sinh chuỗi mã LaTeX tuần tự. Điểm đột phá của mô hình nằm ở cơ chế chú ý kết hợp không gian và kênh (C-S Attention). Cơ chế chú ý theo không gian giúp mô hình tập trung vào các vùng ảnh chứa ký tự tương ứng tại mỗi bước thời gian. Cơ chế chú ý theo kênh giúp lựa chọn các bản đồ đặc trưng có tính phân biệt ngữ nghĩa cao. Sự kết hợp này giúp mô hình nhận diện chính xác các ký hiệu phức tạp và quan hệ thứ bậc. Mô hình học sâu cải tiến đạt hiệu năng vượt trội trên tập dữ liệu thực nghiệm tiêu chuẩn. Tốc độ nhận dạng nhanh và độ chính xác cú pháp cao đáp ứng tốt yêu cầu số hóa thực tế.

3.1. Kiến trúc mạng mã hóa DenseNet và giải mã LSTM

Mô hình sử dụng mạng tích chập DenseNet làm bộ mã hóa hình ảnh công thức. Khác với CNN truyền thống, DenseNet kết nối trực tiếp tất cả các tầng với nhau. Mỗi tầng nhận toàn bộ bản đồ đặc trưng của các tầng trước làm đầu vào. Thiết kế này tăng cường khả năng lan truyền đặc trưng và tối ưu hóa số lượng tham số huấn luyện. Ở phần giải mã, mạng LSTM đa tầng đảm nhận vai trò sinh chuỗi văn bản LaTeX. LSTM kiểm soát luồng thông tin thông qua các cổng vào, cổng quên và cổng ra. Cơ chế này giúp mô hình ghi nhớ ngữ cảnh dài hạn và duy trì tính nhất quán của cú pháp toán học. Sự kết hợp giữa DenseNet và LSTM tạo nên khung giải pháp vững chắc cho bài toán nhận dạng.

3.2. Cơ chế chú ý kết hợp không gian và kênh C S Attention

Cơ chế chú ý C-S (Channel-Spatial Attention) đóng vai trò định hướng sự tập trung của mạng nơ-ron. Khi xử lý công thức toán học, mỗi ký hiệu chỉ chiếm một vùng cục bộ trên ảnh. Cơ chế chú ý không gian gán trọng số lớn hơn cho các tọa độ trực quan chứa ký tự cần nhận dạng tại bước hiện tại. Đồng thời, cơ chế chú ý theo kênh đánh giá mức độ quan trọng của từng kênh đặc trưng được trích xuất bởi DenseNet. Phép tổng hợp trung bình toàn cục giúp trích chọn những đặc trưng ngữ nghĩa nổi bật nhất. Sự kết hợp song song giữa hai cơ chế chú ý giúp bộ giải mã loại bỏ nhiễu nền hiệu quả. Mô hình khôi phục chính xác cấu trúc ký hiệu ngay cả khi công thức có kích thước lớn và độ phức tạp cao.

IV. Ứng dụng thực tiễn và triển vọng chuyển đổi số tài liệu khoa học

Nghiên cứu kỹ thuật học sâu nhận dạng ký hiệu toán học mở ra nhiều cơ hội đột phá trong công tác chuyển đổi số. Hệ thống tự động hóa quá trình nhập liệu các giáo trình, luận văn và bài báo khoa học. Thời gian xử lý tài liệu giảm đi hàng chục lần so với phương pháp gõ lại thủ công. Độ chính xác cao của định dạng LaTeX giúp bảo toàn trọn vẹn giá trị học thuật của văn bản gốc. Dữ liệu sau khi số hóa dễ dàng tích hợp vào các công cụ tìm kiếm ngữ nghĩa và hệ thống quản lý học tập trực tuyến. Các trường đại học, viện nghiên cứu và thư viện số có thể nhanh chóng xây dựng kho tài nguyên học liệu mở chất lượng cao. Trong tương lai, mô hình có thể mở rộng để nhận dạng công thức viết tay và xử lý tài liệu đa ngôn ngữ. Sự kết hợp giữa trí tuệ nhân tạo và các công nghệ điện toán đám mây sẽ tạo nên giải pháp số hóa toàn diện. Đây là bước tiến quan trọng thúc đẩy chuyển đổi số giáo dục đại học và nghiên cứu khoa học.

4.1. Tự động hóa số hóa giáo trình và luận văn học thuật

Ứng dụng học sâu vào số hóa giáo trình và tài liệu nghiên cứu mang lại hiệu quả kinh tế rõ rệt. Quá trình chuyển đổi tự động từ ảnh sang mã LaTeX giúp tái tạo nguyên vẹn bố cục tài liệu. Giảng viên và nhà nghiên cứu có thể trích xuất trực tiếp công thức từ bài báo cũ để chỉnh sửa trong các công trình mới. Hệ thống thư viện trường học có thể số hóa hàng triệu trang tài liệu chuyên ngành với chi phí tối ưu. Việc lưu trữ dưới định dạng văn bản số còn giúp giảm dung lượng máy chủ so với lưu trữ tệp ảnh quét. Đồng thời, tài liệu số hóa hỗ trợ chuyển đổi sang định dạng âm thanh hoặc chữ nổi cho người khiếm thị. Đây là giải pháp nhân văn nâng cao khả năng tiếp cận tri thức.

4.2. Hướng phát triển nhận dạng công thức đa nguồn trong tương lai

Hướng phát triển tiếp theo của nghiên cứu tập trung vào việc xử lý các bài toán nhận dạng phức tạp hơn. Mô hình cần được mở rộng để nhận diện công thức toán viết tay trên bảng tương tác và thiết bị cảm ứng. Khả năng nhận dạng thời gian thực trên các thiết bị di động có cấu hình hạn chế cũng là mục tiêu quan trọng. Bên cạnh đó, việc kết hợp mô hình ngôn ngữ lớn (LLM) sẽ hỗ trợ tự động sửa lỗi ngữ cảnh và dịch toán học đa ngôn ngữ. Các cơ chế tự giám sát (Self-supervised learning) hứa hẹn giảm bớt sự phụ thuộc vào tập dữ liệu gán nhãn thủ công quy mô lớn. Những cải tiến này sẽ hoàn thiện hệ sinh thái công nghệ hỗ trợ đắc lực cho công cuộc chuyển đổi số quốc gia.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa giáo dục, việc chuyển đổi tài liệu khoa học kỹ thuật sang định dạng số có thể chỉnh sửa đang đối mặt với rào cản lớn khi hơn 80% tư liệu học thuật cũ vẫn lưu trữ dưới dạng bản in hoặc tệp ảnh tĩnh. Trở ngại lớn nhất nằm ở hàng nghìn biểu thức toán học phức tạp đan xen trong văn bản. Nhiệm vụ nhận dạng ảnh công thức toán học và chuyển thành mã LaTeX (Image-to-LaTeX) đóng vai trò then chốt nhằm tự động hóa quy trình biên tập, tái sử dụng và chia sẻ tri thức. Luận văn thạc sĩ ngành Khoa học máy tính của tác giả Lê Thị Giang, dưới sự hướng dẫn của Tiến sĩ Đàm Thanh Phương tại Đại học Thái Nguyên năm 2023, giải quyết trực tiếp thách thức này bằng công nghệ học sâu.

Mục tiêu cụ thể của đề tài là xây dựng mô hình mạng nơ-ron nhận dạng chính xác cấu trúc không gian hai chiều của công thức toán, giúp giảm 75% thời gian nhập liệu thủ công cho các nhà khoa học. Tác giả đã cải tiến mô hình chuỗi sang chuỗi bằng cách tích hợp mạng tích chập kết nối dày đặc (DenseNet) cho bộ mã hóa và cơ chế chú ý theo kênh - không gian (C-S Attention) cho bộ giải mã. Đề tài thực nghiệm trên tập dữ liệu chuẩn gồm 100.000 ảnh công thức trích xuất từ các ấn phẩm khoa học. Đóng góp này mang ý nghĩa thực tiễn sâu sắc, nâng tỷ lệ nhận dạng toàn vẹn lên trên 85%, thúc đẩy quá trình chuyển đổi số học thuật tại các trường đại học và viện nghiên cứu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Đề tài kế thừa nền tảng lý luận từ bài toán nhận dạng ký tự quang học (OCR) và mô hình chuỗi sang chuỗi (Sequence-to-Sequence). Kiến trúc tổng thể gồm hai khối chính: bộ mã hóa trích xuất đặc trưng thị giác và bộ giải mã tạo chuỗi mã LaTeX đích. Luận văn áp dụng ba mô hình học sâu cốt lõi gồm: Mạng nơ-ron tích chập kết nối dày đặc (DenseNet), Mạng trí nhớ ngắn-dài hạn (LSTM) và Cơ chế chú ý kênh - không gian (C-S Attention).

Kiến trúc DenseNet thiết lập 3 khối dày đặc với tốc độ tăng trưởng 32 kênh mỗi tầng, giải quyết triệt để hiện tượng tiêu biến đạo hàm nhờ kết nối trực tiếp tất cả các tầng trước vào tầng sau. Bộ giải mã LSTM vận hành linh hoạt với 4 tầng cổng tương tác (gồm 3 cổng sigmoid và 1 cổng tanh) nhằm duy trì trạng thái ngữ cảnh dài hạn khi dự đoán từng từ mã. Ba khái niệm chuyên ngành nền tảng được phân tích sâu gồm: Bản đồ đặc trưng (Feature Map) phản ánh cấu trúc hình thái ký tự, Vùng nhận thức (Receptive Field) xác định phạm vi quan sát của bộ lọc tích chập, và Vector ngữ cảnh (Context Vector) kết hợp trọng số chú ý tại từng bước thời gian giải mã.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm tiêu chuẩn quốc tế gồm 100.000 ảnh công thức toán học từ kho tài liệu khoa học mở. Cỡ mẫu nghiên cứu được ấn định ở mức 100.000 mẫu nhằm bảo đảm độ bao phủ toàn diện cho nhiều dạng biểu thức từ đơn giản đến phức tạp như tích phân, căn thức hay ma trận nhiều chiều. Phương pháp chọn mẫu phân tầng ngẫu nhiên được áp dụng để phân chia dữ liệu thành ba tập tách biệt: 80.000 mẫu huấn luyện (chiếm 80%), 10.000 mẫu kiểm định tham số (chiếm 10%) và 10.000 mẫu kiểm thử độc lập (chiếm 10%).

Lý do lựa chọn phương pháp phân tích định lượng bắt nguồn từ nhu cầu đánh giá toàn diện mô hình qua ba độ đo chuẩn mực: Tỷ lệ khớp chính xác (Exact Match), Điểm tương đồng ngữ nghĩa cú pháp (BLEU score) và Khoảng cách chỉnh sửa (Edit Distance). Bộ chỉ số này giúp đo lường đồng thời tính toàn vẹn cấu trúc vĩ mô lẫn sai lệch ký tự vi mô. Quá trình thực nghiệm được triển khai liên tục trong 12 tháng, từ tháng 8 năm 2022 đến tháng 8 năm 2023 tại Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và so sánh giữa 4 mô hình thực nghiệm đã mang lại những kết quả định lượng nổi bật:

Thứ nhất, mô hình cải tiến kết hợp DenseNet và cơ chế chú ý C-S đạt điểm số BLEU ở mức 88,45%, tăng 4,15% so với mô hình cơ sở dùng mạng CNN 6 tầng tích chập (đạt 84,30%).

Thứ hai, độ đo khớp chính xác hoàn toàn (Exact Match) đạt 76,82%, cao hơn 6,52% so với mô hình cơ sở (đạt 70,30%), chứng minh khả năng tái tạo trọn vẹn cú pháp của các công thức nhiều tầng.

Thứ ba, khoảng cách chỉnh sửa trung bình (Edit Distance) giảm từ 15,20% xuống còn 10,45%, tương đương mức cải thiện độ chính xác ký tự đạt 31,25%, hạn chế tối đa sai lệch tại các vị trí chỉ số trên và chỉ số dưới.

Thứ tư, tốc độ xử lý đạt trung bình 0,18 giây cho mỗi ảnh công thức phức tạp, đồng thời giảm 25% số lượng tham số tính toán nhờ cơ chế tái sử dụng đặc trưng hiệu quả của mạng DenseNet.

Thảo luận kết quả

Hiệu quả vượt trội của mô hình xuất phát từ hai cải tiến then chốt. Cấu trúc kết nối dày đặc trong DenseNet bảo toàn các đường truyền đạo hàm và tái sử dụng đặc trưng liên tục, giúp mô hình phân biệt rõ nét các ký hiệu toán học kích thước nhỏ hoặc nét mảnh như dấu phẩy, dấu tích phân và ký tự Hy Lạp. Đồng thời, cơ chế chú ý C-S kết hợp song song giữa chú ý theo không gian và chú ý theo kênh, cho phép bộ giải mã tập trung chính xác vào vùng ảnh chứa ký tự mục tiêu tại mỗi bước thời gian.

So với các nghiên cứu công bố giai đoạn 2017 đến 2021 sử dụng mạng tích chập thông thường, kiến trúc cải tiến thể hiện năng lực vượt trội khi xử lý các biểu thức dài trên 50 ký tự. Về mặt trình bày trực quan, các dữ liệu thực nghiệm được minh họa rõ nét qua biểu đồ cột so sánh tương quan ba chỉ số EM, BLEU và khoảng cách chỉnh sửa giữa 4 mô hình nghiên cứu. Bên cạnh đó, một bảng thống kê chi tiết các siêu tham số huấn luyện (kích thước batch 32, tốc độ học 0,001) cùng hình ảnh kiểm thử thực tế trên các phương trình phức tạp như phương trình sóng và phương trình Navier-Stokes đã chứng minh độ tin cậy và khả năng ứng dụng thực tế cao của đề tài.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, tác giả đưa ra 4 giải pháp thiết thực nhằm đưa mô hình nhận dạng ký hiệu toán học vào ứng dụng thực tiễn:

Một là, nâng cấp hệ thống máy chủ tính toán chuyên dụng. Ban Giám hiệu nhà trường phối hợp cùng Trung tâm Công nghệ Thông tin cần đầu tư hệ thống máy chủ trang bị tối thiểu 4 cụm xử lý đồ họa GPU hiệu năng cao trong quý 1 năm 2024, nhằm rút ngắn thời gian huấn luyện mô hình từ 48 giờ xuống dưới 12 giờ.

Hai là, mở rộng quy mô dữ liệu công thức chữ viết tay. Nhóm nghiên cứu Khoa Công nghệ Thông tin cần tổ chức thu thập và gán nhãn bổ sung khoảng 50.000 mẫu công thức viết tay thực tế, hướng đến mục tiêu nâng tỷ lệ nhận dạng chính xác chữ viết tay đạt trên 82% trước tháng 9 năm 2024.

Ba là, phát triển công cụ tiện ích tích hợp trực tiếp vào phần mềm soạn thảo văn bản. Đội ngũ kỹ sư phần mềm của trường cần xây dựng plugin nhận diện một chạm trên nền tảng web và Microsoft Word, giúp cắt giảm thời gian số hóa bài giảng của giảng viên xuống dưới 5 giây mỗi trang tài liệu trong quý 4 năm 2024.

Bốn là, chuẩn hóa quy trình số hóa tư liệu học thuật cấp cơ sở. Phòng Đào tạo cùng Trung tâm Thư viện cần ban hành quy chế chuyển đổi số tài liệu, phấn đấu hoàn thành số hóa 100% kho giáo trình và bài giảng khoa học kỹ thuật sang định dạng LaTeX chuẩn trong giai đoạn 2024 đến 2026.

Đối tượng nên tham khảo luận văn

Kết quả nghiên cứu của luận văn mang lại giá trị tham khảo và ứng dụng thiết thực cho 4 nhóm đối tượng cụ thể:

Thứ nhất, giảng viên và nhà nghiên cứu trong lĩnh vực khoa học cơ bản. Nhóm đối tượng này có thể sử dụng mô hình để chuyển đổi nhanh các đề thi, bài tập và tài liệu PDF cũ sang mã nguồn LaTeX, giúp tiết kiệm tới 80% thời gian nhập liệu thủ công.

Thứ hai, sinh viên và học viên cao học ngành Khoa học máy tính hoặc Trí tuệ nhân tạo. Luận văn cung cấp tài liệu kỹ thuật chi tiết về cách kết hợp mạng DenseNet và cơ chế chú ý C-S, hỗ trợ phát triển các đề tài thị giác máy tính với khả năng tái sử dụng trên 70% cấu trúc mô hình.

Thứ ba, các trung tâm thư viện số và nhà xuất bản giáo dục. Đơn vị xuất bản có thể ứng dụng giải pháp để tự động hóa quy trình xử lý hàng nghìn trang giáo trình mỗi ngày, giảm 65% chi phí thuê nhân công biên tập công thức toán học.

Thứ tư, kỹ sư phát triển ứng dụng công nghệ giáo dục (EdTech). Các công ty phần mềm có thể tích hợp module này vào các ứng dụng giải toán thông minh qua camera, phục vụ nhu cầu học tập của hơn 100.000 học sinh, sinh viên trên cả nước.

Câu hỏi thường gặp

Bài toán Image2Latex khác biệt gì so với nhận dạng ký tự quang học truyền thống?

OCR truyền thống chỉ xử lý văn bản một chiều theo dòng ngang với các ký tự nối tiếp đơn giản. Ngược lại, Image2Latex phải nhận dạng cấu trúc không gian hai chiều phức tạp với nhiều tầng lồng nhau như phân số, ma trận và tích phân. Mô hình phải hiểu ngữ nghĩa toán học để sinh mã LaTeX với độ chính xác cú pháp đạt 100%.

Tại sao kiến trúc DenseNet lại tối ưu hơn mạng CNN 6 tầng cơ sở?

DenseNet kết nối trực tiếp tất cả các tầng qua 3 khối dày đặc với 32 kênh tăng trưởng mỗi tầng. Thiết kế này giúp bảo toàn gradient truyền ngược và giữ lại đặc trưng của các ký hiệu toán học kích thước nhỏ hoặc nét mảnh, khắc phục triệt để hiện tượng mất chi tiết mà mạng CNN 6 tầng cơ sở thường gặp phải.

Cơ chế chú ý C-S đóng vai trò gì trong việc nâng cao độ chính xác?

Cơ chế C-S kết hợp đồng thời sự chú ý theo không gian hai chiều và chú ý theo từng kênh đặc trưng. Nhờ đó, bộ giải mã LSTM định vị chính xác vùng ảnh tương ứng với từng ký hiệu tại mỗi bước thời gian, giúp tăng 4,15% điểm BLEU và giảm hơn 31% lỗi sai lệch ký tự đối với công thức phức tạp.

Mô hình trong luận văn có thể nhận dạng tốt công thức toán viết tay không?

Mô hình đạt độ chính xác trên 76% đối với các công thức in ấn chuẩn trong 100.000 mẫu thử nghiệm. Đối với chữ viết tay có độ biến thiên cao, độ chính xác có thể giảm khoảng 15%. Do đó, việc bổ sung 50.000 mẫu viết tay là giải pháp cần thiết để mở rộng ứng dụng trong thực tế.

Cấu hình phần cứng tối thiểu để triển khai ứng dụng mô hình là gì?

Quá trình huấn luyện mô hình trên 100.000 ảnh yêu cầu tối thiểu 1 GPU chuyên dụng với bộ nhớ VRAM từ 8 GB trở lên. Tuy nhiên, khi triển khai suy luận thực tế trên máy chủ, hệ thống chỉ cần 2 GB RAM và có thể chuyển đổi mỗi công thức trong thời gian chỉ 0,18 giây.

Kết luận

Luận văn thạc sĩ của học viên Lê Thị Giang đã giải quyết thành công bài toán chuyển đổi hình ảnh công thức toán học sang mã LaTeX với các đóng góp cốt lõi:

• Hệ thống hóa toàn diện cơ sở lý thuyết về OCR và các kỹ thuật học sâu ứng dụng trong số hóa tài liệu khoa học.
• Cải tiến thành công bộ mã hóa bằng kiến trúc DenseNet 3 khối dày đặc, giải quyết triệt để sự cố suy giảm đạo hàm.
• Ứng dụng cơ chế chú ý kênh - không gian C-S, nâng điểm số BLEU lên 88,45% và tỷ lệ khớp chính xác đạt 76,82%.
• Thực nghiệm toàn diện trên 100.000 mẫu dữ liệu chuẩn, kiểm chứng độ tin cậy trên các phương trình vật lý và toán học phức tạp.
• Đề xuất lộ trình công nghệ khả thi giai đoạn 2024 đến 2026 nhằm đưa giải pháp vào ứng dụng giảng dạy và nghiên cứu thực tế.

Trong giai đoạn tiếp theo từ quý 2 năm 2024, nhóm nghiên cứu sẽ mở rộng tập dữ liệu cho chữ viết tay và hoàn thiện phần mềm ứng dụng. Các trường đại học, viện nghiên cứu và nhà xuất bản hãy liên hệ hợp tác ngay hôm nay để ứng dụng giải pháp chuyển đổi số tài liệu khoa học tiên tiến này.

Trích đoạn nội dung tài liệu

chương 1: Chương này trình bày về bài toán nhận dạng ký tự quang học và các kỹ thuật chủ yếu để giải quyết bài toán này. Vì bài toán nhận dạng công thức toán và chuyển thành mã latex thực chất là một bài toán con cụ thể của lĩnh vực nhận dạng ký tự quang học nên chúng tôi cần phải hệ thống về bài toán ORC nói chung trước khi chuyển sang các kỹ thuật giải quyết bài toán nhận dạng ký hiệu toán học. Nội dung tiếp theo trong chương 2 sẽ trình bày kiến thức về một số mạng nơ ron học sâu là mạng nơ ron tích chập, mạng kết nối dày đặc, cơ chế chú ý và mạng nơ ron bộ nhớ ngắn dài hạn. Những mô hình này giúp giải quyết trực tiếp bài toán Image2latex trong chương 3.

12 Chương 2 MỘT SỐ KỸ THUẬT HỌC SÂU Công thức toán học có độ trừu tượng cao và là ký hiệu biểu diễn tri thức quan trọng trong văn bản khoa học kỹ thuật. Các bộ soạn thảo hỗ trợ gõ công thức toán cũng đã ngày một hoàn thiện, trong đó có Latex. Phân tích cấu trúc công thức toán học và chuyển đổi công thức từ hình ảnh thành mã Latex sẽ giúp cho quá trình soạn thảo nhanh chóng, chính xác hơn. Đây là một bài toán nhận dạng, phân tích hình ảnh đặc thù đã được OpenAI đặt tên là Image2Latex.

Đây là một bài toán trong lĩnh vực xử lý ngôn ngữ tự nhiên và thị giác máy tính. Nó liên quan đến việc chuyển đổi hình ảnh của các công thức toán học thành mã LaTeX tương ứng. Mục đích của bài toán này là tạo ra một hệ thống hoặc mô hình học máy có thể nhận đầu vào là một hình ảnh chứa công thức toán học và tạo ra đầu ra là một biểu thức toán học được viết bằng ngôn ngữ LaTeX. Hiện nay, nhiều nhà nghiên cứu đã sử dụng các mô hình nhận dạng và chú thích ảnh giải quyết bài toán này và đạt được kết quả tốt.

Trong luận văn, em tìm hiểu một số cải tiến đối với mô hình chuỗi sang chuỗi được sử dụng trong chú thích hình ảnh. Nghiên cứu cải thiện bộ mã hóa bằng cách sử dụng DenseNet. DenseNet sẽ giúp tăng cường khả năng trích chọn đặc trưng trong hình ảnh công thức và hỗ trợ tốt cho việc lan truyền đạo hàm. Em cũng đưa vào sử dụng một cơ chế chú ý tốt hơn, trong đó kết hợp cả chú ý theo không gian và chú ý theo kênh.

Nhận dạng ký tự quang học (OCR) thường được sử dụng để xác định ngôn ngữ tự nhiên từ hình ảnh. Tuy nhiên, các nhà nghiên cứu đã sớm quan tâm đến việc chuyển đổi hình ảnh sang ngôn ngữ có cấu trúc hoặc thẻ [1]. Mục tiêu chính cho những nghiên cứu này là OCR cho các biểu thức toán học và cách xử lý các khía cạnh trình bày của công thức như chỉ số trên, chỉ số dưới, các ký hiệu đặc biệt hay phân số lồng nhau,v. Hiện nay, nhiều nhà nghiên cứu tập trung vào việc chuyển đổi, nhận dạng ngôn ngữ đánh dấu có cấu trúc phức tạp, có ý nghĩa lý thuyết quan trọng đối với việc xây dựng các hệ thống OCR hiện đại.

Trên thực tế, việc nhận dạng ngôn ngữ đánh dấu có cấu trúc phức tạp đã được OpenAI liệt kê là bài toán cần nghiên 13 cứu có tên là Image2Latex. Trong vài năm qua đã có một số tiến bộ trong lĩnh vực OCR và tạo phụ đề hình ảnh trong các bức ảnh tự nhiên [2]. Trong bài toán chú thích hình ảnh, mô hình được sử dụng phổ biến nhất được gọi là mô hình chuỗi sang chuỗi (sequence-to-sequence), trong đó, bộ mã hóa thực hiện mã hóa chuỗi nguồn thành các vectơ đặc trưng mà bộ giải mã sử dụng để tạo chuỗi đích. Trong những năm gần đây, kiến trúc này đã được tăng cường với mô hình chú ý và liên kết chọn một tập hợp con các vectơ đặc trưng để giải mã [3].

Nghiên cứu [4] đề xuất một mô hình mã hóa-giải mã dựa trên sự chú ý. Ứng dụng chung của nó cho thấy, nhận dạng biểu thức toán học cũng có thể là một áp dụng thích hợp. Nghiên cứu [5] đã chứng minh rằng các kỹ thuật kết hợp mạng nơron và các phương pháp tiếp cận xử lý ngôn ngữ tự nhiên tiêu chuẩn rất hiệu quả để nhận dạng từ trong hình ảnh và [6] đã sử dụng mạng nơron tích chập để nhận dạng từ trong hình ảnh. Đối với bài toán Image2Latex, mô hình được sử dụng trong chú thích hình ảnh đã được áp dụng để giải quyết.

Trong [7], các tác giả đã sử dụng cách tiếp cận tương tự bài toán chú thích hình ảnh và áp dụng nó để tạo mã latex của công thức từ hình ảnh. Deng và cộng sự [8] đã trình bày một mô hình mạng nơ ron mã hóa-giải mã để chuyển đổi hình ảnh thành đánh dấu trình bày dựa trên cơ chế chú ý. Zhang và cộng sự [9] đề xuất mô hình WAP (Watch, attend and parse – xem, tham dự và phân tích), học cách mã hóa các hình ảnh biểu thức đầu vào và giải mã chúng thành mã latex sử dụng mạng nơ ron end-to-end. Trong [10], các tác giả cải tiến bộ mã hóa bằng cách sử dụng DenseNet và trình bày một mô hình mã hóa-giải mã mới để nhận dạng biểu thức toán học viết tay.

Lee và Osindero [14] sử dụng mạng nơ ron hồi quy và cơ chế chú ý để nhận dạng ký tự quang học. Vì vậy, để có kiến thức đầy đủ giải quyết Image2latex sử dụng học sâu trong chương 3, nội dung chương 2 sẽ trình bày một số kỹ thuật: CNN, DenseNet và LSTM cùng cơ chế chú ý. Các kiến thức nền được tham khảo từ [16], [17], [18], [19]. CNN và DenseNet 2.

CNN CNN (Convolutional Neural Network) và DenseNet là hai kiến trúc mạng nơ- ron phổ biến trong lĩnh vực xử lý hình ảnh và có thể được sử dụng trong bài toán Image2Latex. CNN là một kiến trúc mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu hình ảnh. Nó bao gồm các lớp tích chập (convolutional layers) để trích xuất các đặc trưng từ ảnh và các lớp pooling để giảm kích thước của đặc trưng trích xuất. CNN có khả năng học được các mẫu cục bộ trong ảnh và giữ được thông tin 14 không gian của các đặc trưng.

Trong bài toán Image2Latex, CNN có thể được sử dụng để trích xuất các đặc trưng quan trọng từ hình ảnh của công thức toán học. Tích chập Tích chập là một khái niệm trong xử lý tín hiệu số, nhằm biến đổi thông tin đầu vào thông qua việc thực hiện phép tích chập với một bộ lọc, kết quả trả về là một tín hiệu mới. Qua quá trình này, những đặc trưng không quan trọng được loại bỏ, chỉ giữ lại những đặc trưng quan trọng. Trong nhiều trường hợp, phép tích chập 2 chiều là phép tích chập thông dụng nhất, được áp dụng trên ma trận đầu vào và ma trận bộ lọc cùng chiều 2 chiều.

Khi thực hiện phép tích chập cho một ma trận đầu vào X ∈ RW1 × H1 bằng một bộ lọc (còn được gọi là receptive field) F ∈ RF× F , kết quả sẽ là một ma trận Y ∈ RW2 × H2. Quá trình này bao gồm các bước sau: • Thực hiện tích chập tại một điểm: Bắt đầu từ vị trí đầu tiên ở góc trên bên trái của ma trận đầu vào, chúng ta trích xuất một ma trận con Xsub ∈ RF× F có kích thước bằng với kích thước của bộ lọc. Giá trị tại vị trí (1, 1) trên ma trận kết quả Y, được ký hiệu là y11, được tính bằng cách thực hiện phép tích chập giữa ma trận Xsub và bộ lọc F theo công thức sau: y11 = ∑iF=1 ∑ Fj=1 xij f ij. • Thực hiện việc trượt dọc theo ma trận theo hướng từ trái qua phải và từ trên xuống dưới, với bước nhảy (stride) là S.

Qua quá trình này, chúng ta tính toán các giá trị yij tiếp theo. Khi quá trình này hoàn tất, ta sẽ có ma trận đầu ra Y hoàn chỉnh. Trong kiến trúc mạng nơ ron tích chập, các tầng (layer) liền sau nhận dữ liệu đầu vào từ tầng ngay trước nó. Để đảm bảo rằng mạng nơ ron được thiết kế một cách hiệu quả, việc xác định kích thước đầu ra tại mỗi tầng là cần thiết.

Điều này đồng nghĩa rằng, dựa trên kích thước của ma trận đầu vào (W1 , H1 ), kích thước của bộ lọc ( F, F ) và bước nhảy S, chúng ta có thể xác định kích thước của ma trận đầu ra (W2 , H2 ). Xem xét quá trình trượt trên chiều W1 của ma trận đầu vào, minh họa được trình bày trong hình 2. Mỗi hàng tương ứng với một bước trượt. Trong mỗi bước, chúng ta di chuyển sang phải một khoảng bằng S đơn vị cho đến khi đi qua hết W1 ô.

Nếu bước cuối cùng còn thiếu ô để thực hiện bước trượt, chúng ta sẽ thêm các ô bổ sung (padding) để mở rộng ma trận, đảm bảo quá trình tích chập diễn ra mà không có bước trượt nào bị bỏ sót. Giả sử quá trình này sẽ kết thúc sau W2 bước. Tại bước đầu tiên, chúng ta di chuyển đến vị trí thứ F. Khi tiếp tục sang các bước tiếp theo, khoảng cách giữa các vị trí liên tiếp sẽ tăng lên S.

Do đó, tại bước thứ i, quá trình trượt sẽ đạt đến vị trí F + (i − 1)S. Từ đó, tại bước cuối cùng, khi đã thực hiện W2 bước, ma trận 15 Hình 2.1: Quá trình trượt theo chiều rộng W1 trượt sẽ đến vị trí F + (W2 − 1)S. Đây là vị trí gần nhất và nhỏ hơn hoặc bằng vị trí cuối cùng W1. T Trong trường hợp lý tưởng thì F + (W2 − 1)S = W1.

Từ đó ta suy ra: W −F W2 = 1 +1 (2.1) S Khi vị trí cuối cùng không trùng với W1 thì số bước W2 sẽ được lấy phần nguyên: W1 − F W2 = b c+1 S Chúng ta luôn có thể tạo ra đẳng thức 2.1 nhờ thêm phần đường viền (padding) tại các cạnh của ảnh với độ rộng viền là P sao cho phép chia cho S là chia hết, như minh họa trong hình 2. Khi đó: W1 + 2P − F W2 = +1 S Hoàn toàn tương tự ta cũng có công thức ứng với chiều cao: Hình 2.2: Thêm padding kích thước P vào 2 lề chiều rộng (W1 ) H1 + 2P − F H2 = +1 S CNN Một số thuật ngữ: • Đơn vị (Unit): Là giá trị của một điểm nằm trên ma trận khối ở mỗi tầng của mạng CNN.