mở đầu cho giai đoạn chuyển hóa từ mạng nơ-ron trở thành mạng nơ-ron học sâu. Vào năm 2014, nhóm các nhà nghiên cứu của Google giới thiệu GoogLeNet hay còn được biết đến là Inception V1[4] với việc kết hợp đồng thời nhiều lớp CNN với kích thước kernel khác nhau, Hình [2] thể hiện một mô đun/block các lớp CNN trong mạng Inception, và đặc biệt ở phiên bản cải tiến là Inception V2[5] họ đã giới thiệu cơ chế Batch Normalization giúp các mạng nơ-ron học sâu có thể được huấn luyện nhanh hơn. Hình 2: Mô đun Inception/Inception Block[4] Để giải quyết vấn đề gradient bùng nổ hoặc tiêu biến gặp phải khi thiết kế mạng nơ-ron quá sâu, Kaiming He và cộng sự đã giới thiệu ResNet[6] với việc ứng dụng residual/skip connection giúp việc huấn luyện mô hình trở nên dễ dàng hơn và cho phép thiết kế các mạng nơ-ron sâu hơn. Hình [3] mô tả một block trong mô hình cấu thành bởi 2 lớp CNN (được gọi là “weight layer" trong Hình [3]) và residual connection giữa input và output của lớp CNN thứ 2.
Kế thừa ý tưởng từ ResNet, Gao Huang và cộng sự đã cho ra đời DenseNet[7] với việc tăng số lượng residual connection Hình [4] qua đó tăng số lớp và số lượng tham số của mạng. Một đặc trưng vốn có của các mạng nơ-ron học sâu ứng dụng CNN là việc càng xuống các lớp càng sâu thì đặc trưng biểu diễn cho vùng ảnh càng lớn, hay nói cách khác là đặc trưng ở mỗi lớp CNN khác nhau sẽ có độ phân giải khác nhau. Vì thế với những mạng nơ-ron càng sâu thì càng dễ mất đi thông tin của các đặc điểm có kích thước nhỏ trong ảnh gốc. Một số công trình nghiên cứu đề xuất các thiết kế mạng học sâu với mục tiêu dung hợp được đặc trưng ở các mức phân giải với nhau nhằm tạo được các bộ đặc trưng đa phân giải mà ta có thể kể đến như UNet[8] hay Features Pyramid Network[9], [10] (Hình [5]).
Những thiết kế này có điểm chung là dùng phép tích chập ngược (DeConvolution) hoặc phép nội Một chương trình khung mới cho bài toán nhận dạng biểu thức toán học Trang 5/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh , Khoa Khoa Học và Kỹ Thuật Máy Tính Hình 3: ResNetBlock[6] Hình 4: DenseBlock với 5 lớp CNN[7] suy (interpolation) nhằm biến đổi đặc trưng từ phân giải thấp lên phân giải cao hơn sau đấy dung hợp với đặc trưng cùng mức phân giải thông qua phép nối (concatenation). Hình 5: Kiến trúc Features Pyramid rút trích đặc trưng đa phân giải[9] 1.2 Cơ chế tập trung (Attention mechanism) Cơ chế tập trung cố gắng mô phỏng lại việc nhận thức con người sẽ dựa trên nhiều thông tin khác nhau và mỗi thông tin đối có một trọng số nhất định. Trong 10 năm gần đây thì cơ chế tập trung ngày một phổ biến sau khi đạt được nhiều thành công ở mảng Xử lý ngôn ngữ tự nhiên nói chung[11] và trong mảng dịch máy nói riêng[12]. Hình [6] mô tả việc ứng dụng cơ chế tập trung vào mô hình dịch máy đơn giản với việc xác định mức độ đóng góp thông tin cho việc dịch ký tự đầu ra thứ t, ở đó thông tin từ các ký tự đầu vào (x1 .xT ) Một chương trình khung mới cho bài toán nhận dạng biểu thức toán học Trang 6/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh , Khoa Khoa Học và Kỹ Thuật Máy Tính được đánh trọng số bằng các bộ trọng số (αt,1.
Hình 6: Mô hình dịch máy sử dụng cơ chế tập trung[12] Cơ chế tập trung chứng minh được sự hiệu quả trong việc giải quyết các bài toán với kết quả đầu ra là chuỗi ký tự. Do kết quả đầu ra của bài toán HMER cũng là một chuỗi ký tự mà cụ thể hơn là một chuỗi các ký tự theo mã cú pháp LATEXnên việc cơ chế tập trung được nghiên cứu và ứng dụng[13]–[15]. 2 Bài toán nhận dạng biểu thức toán học viết tay 2.1 Tổng quan HMER thường được chia nhỏ thành 2 bài toán con chính là nhận dạng ký tự và phân tích cấu trúc ngữ pháp. Dựa vào việc quyết định giải quyết 2 bài toán con này một cách tuần tự hay kết hợp mà HMER sẽ được chia làm 2 hướng tiếp cận khác nhau.
Tuần tự Với hướng tiếp cận tuần tự, ảnh đầu vào sẽ được phân tách thành tập hợp các ký tự và vị trí của chúng trên ảnh. Thông tin đó sẽ được tiếp nhận và phân tích bởi bộ phân tích cấu trúc ngữ pháp nhằm đưa ra một dự đoán về biểu thức chứa trong ảnh đầu vào. Hướng tiếp cận này thường được những công trình ở giai đoạn sơ khởi của bài toán tiếp nhận và thường tập trung giải quyết một bài toán con một cách độc lập. Ở bảng này ngoài cột "Tác giả" thì ta có cột "Nhận dạng ký tự" nhằm phân loại phương pháp mà các tác giả đã sử dụng nhằm giải quyết bài toán nhận dạng ký tự và cột "Phân tích cấu trúc" phân loại phương pháp được sử dụng để xây dựng bộ phân tích cấu trúc ngữ pháp của biểu thức.
Một chương trình khung mới cho bài toán nhận dạng biểu thức toán học Trang 7/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh , Khoa Khoa Học và Kỹ Thuật Máy Tính Bảng [1] cho ta cái nhìn khái quát về những phương pháp được nghiên cứu và bức tranh tổng thể về hướng tiếp cận này trong giai đoạn trước năm 2000. Hướng tiếp cận tuần tự thường sẽ gặp vấn đề với lỗi tích lũy, tức là nếu mô đun giải quyết bài nhận dạng ký tự đưa ra dự đoán sai thì sẽ kéo theo mô đun phân tích cấu trúc ngữ pháp gặp sai phạm. Ngoài ra việc giải quyết 2 bài toán con một cách độc lập làm quá trình phân tích cấu trúc ngữ pháp bỏ qua các thông tin ngữ cảnh khác của biểu thức cũng như thông tin về tính không chắc chắn của bộ nhận dạng ký tự mà chỉ tập trung vào các thông tin về ví trí của các ký tự được nhận dạng. Bên cạnh đó việc thiết kế bộ phân tích cấu trúc ngữ pháp đòi hỏi kho kiến thức đồ sộ về lĩnh vực phân tích ngữ pháp nói chung và phân tích ngữ pháp cho các biểu thức toán học nói riêng trong khi ta có thể tìm cách để hệ thống mô hình tìm cách học chúng từ chính dữ liệu sẵn có.
Tác giả Nhận dạng ký tự Phân tích cấu trúc Stochastic context- P.Chou Template matching free grammar Recursive projection Tree-based: M.Okamoto và Template matching xây dựng cây quan hệ Tree-based: J.Ha X-Y cut và mạng nơ-ron xây dựng cây biểu thức Template matching dựa trên R.Fateman Recursive descent parser khoảng cách Hausdorff Kỹ thuật rút trích đặc trưng H.Wang Expression Tree và giải thuật nearest-neighborhood Bảng 1: Một số công trình tiêu biểu về nhận dạng biệu thức toán học trước năm 2000 và các phương pháp được sử dụng. Kết hợp Nhằm giảm thiểu vấn đề về lỗi tích lũy và mất thông tin ngữ cảnh cũng như đơn giản hóa bài toán phân tích cấu trúc ngữ pháp thì các phương pháp hiện đại thường dựa trên hướng tiếp cận kết hợp. Với hướng tiếp cận này, các nhà nghiên cứu xây dựng một hệ thống đầu cuối có khả năng rút trích đặc trưng từ ảnh đầu vào và thực hiện việc phân tích cấu trúc một cách hòa hợp với nhau. Một số công trình tiêu biểu về hướng tiếp cận này sẽ được trình bày ở 2.
Trong 10 năm gần đây, Cuộc thi Nhận dạng biểu thức toán học viết tay, CROHME, tạo sân chơi cũng như thúc đẩy sự phát triển các kỹ thuật, đề xuất nhằm mục tiêu giải quyết HMER. Kết quả của các đội được đánh giá dựa trên tỉ lệ nhận dạng đúng hoàn toàn biểu thức trên tổng số biểu thức của cuộc thi. Bảng [2] tổng hợp và phân loại các phương pháp dự thi của các đội nhóm. Bảng gồm 3 cột, ngoài cột "Tác giả" thì có cột "Hướng tiếp cận" nhằm phân loại phương pháp theo 2 hướng tiếp cận đã nói ở trên, và cuối cùng là cột "Phương pháp" tóm tắt về phương pháp đội nhóm sử dụng.
Qua đó ta có thể thấy rằng hướng tiếp cận Kết hợp dần trở nên phổ biến và được xử dụng thường xuyên hơn. Một chương trình khung mới cho bài toán nhận dạng biểu thức toán học Trang 8/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh , Khoa Khoa Học và Kỹ Thuật Máy Tính Tác giả Hướng tiếp cận Phương pháp Czech Tech. Template matching- Tuần tự Univ. Expression tree with defined 2D structural grammar Nakagawa CNN and LSTM- Tuần tự Lab.
CYK parser Sao Paulo Template-based classifier- Kết hợp Univ. recursively extracting baselines Valencia RNN- Kết hợp Univ. 2D context-free grammars Adaboost+SVM- RIT Tuần tự Minimum spanning tree RNN- My Script Kết hợp statiscal language model. Bảng 2: Một số công trình tiêu biểu về nhận dạng biệu thức toán học và các phương pháp được sử dụng được ghi nhận bởi tổ chức CROHME trong giai đoạn 2013-2016[17]–[19].2 Hướng tiếp cận xây dựng mô hình đầu cuối Như đã được đề cập ở trên thì các hệ thống đầu-cuối được tạo ra để giải quyết HMER theo hướng tiếp cận giải quyết đồng thời 2 bài toán con.
Trong 5 năm gần đây đã có nhiều công trình nghiên cứu tạo ra các hệ thống với kết quả ấn tượng, tạo nhiều đột phá trong giải quyết HMER. Watch, Attend and Parse: An End-to-end Neural Network Based Approach to Handwritten Mathematical Expression Recognition (WAP)[13] Nhóm tác giả Zang và cộng sự đã sử dụng kiến trúc Encoder-Decoder, được đăt tên lại thành Watcher và Parser, để xây dựng hệ thống của mình. • Watcher sử dụng một kiến trúc mạng nơ-ron rút trích đặc trưng ảnh, mà cụ thể ở đây là VGG-16[3]. Watcher nhận vào ảnh của biểu thức và cho ra bản đồ đặc trưng tương ứng với ảnh đó.
• Parser dùng kiến trúc mạng GRU[20], nhận bản đồ đặc trưng từ Watcher và tuần tự sinh ra từng ký tự của chuỗi LATEXkết quả. Ở đây Parser ứng dụng cơ chế attention nhằm xác định vùng ảnh quan trọng để dự đoán ra ký tự LATEXở từng bước. Attention đóng vai trò quan trọng trong việc phân mảnh vùng ảnh và cung cấp cho GRU thông tin hữu dụng nhất trong việc dự đoán ký tự tiếp theo. Đặc biệt hơn là các tác giả đã đề xuất một cơ chế biến thể của attention là coverage-based attention (attention dựa trên độ phủ) nhằm giúp việc học ra các bản đồ attention tốt hơn.
Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition[14] Cùng nhóm tác giả với WAP, các tác giả tiếp tục đề xuất cải tiến với nền tảng là phương pháp đã được đề xuất ở [13].