Nghiên cứu về Giải quyết Vấn đề Ngoại Từ trong Nhận diện Văn bản Cảnh

Luận văn tốt nghiệp toán học nghiên cứu tốt nghiệp khoa học máy tính nghiên cứu phương pháp xử lý từ nằm ngoài từ điển trong bài toán nhận, điều tra thực trạng, phân tích số liệu,

• Tác giả: Hứa Thanh Tân
• Người hướng dẫn: Dr. Thanh Duc Ngo
• Trường học: Vietnam National University - Ho Chi Minh City University of Information Technology
• Chuyên ngành: Bachelor of Computer Science (Honors degree)
• Đề tài: A Study on Handling Out-of-Vocab Problem in Scene Text Recognition
• Loại tài liệu: Bachelor thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENT
• ABSTRACTION
• 1. Overview
• 1.1. Introduction
• 1.2. Introduction to Scene Text Recognition
• 1.2.1. Scene Text Recognition
• 1.2.2. Sub-problem in Scene Text Recognition
• 1.2.2.1. Cropped Scene Text Recognition
• 1.2.2.2. End-to-end Scene Text Recognition
• 1.2.3. Applications of STR
• 1.2.4. Challenges of STR
• 2. Introduce to Out-of-vocabulary problem
• 2.1. Out-out-vocabulary problem
• 2.2. Challenges of OOV problem
• 3. Scope of thesis

Tóm tắt

I. Tổng quan về Nghiên cứu Giải quyết Vấn đề Ngoại Từ trong Nhận diện Văn bản Cảnh

Nghiên cứu về Giải quyết vấn đề ngoại từ trong Nhận diện văn bản cảnh là một lĩnh vực quan trọng trong công nghệ nhận diện hình ảnh. Vấn đề này liên quan đến khả năng nhận diện các từ không có trong từ điển đã định nghĩa, gây khó khăn cho các mô hình học máy. Việc hiểu rõ về vấn đề này giúp cải thiện độ chính xác và khả năng tổng quát của các mô hình nhận diện văn bản. Nghiên cứu này không chỉ tập trung vào lý thuyết mà còn đề xuất các phương pháp thực tiễn để giải quyết vấn đề này.

1.1. Giới thiệu về Nhận diện Văn bản Cảnh

Nhận diện văn bản cảnh (STR) là công nghệ nhận diện văn bản từ hình ảnh tự nhiên. STR đối mặt với nhiều thách thức như biến thể về phông chữ, màu sắc và ngữ cảnh. Việc phát triển các mô hình STR hiệu quả là cần thiết để cải thiện khả năng nhận diện văn bản trong các tình huống thực tế.

1.2. Tầm quan trọng của Giải quyết Vấn đề Ngoại Từ

Giải quyết vấn đề ngoại từ là rất quan trọng trong STR vì nó ảnh hưởng trực tiếp đến độ chính xác của mô hình. Các từ không nằm trong từ điển có thể là từ hiếm, từ lóng hoặc tên riêng, và việc nhận diện chính xác những từ này là một thách thức lớn.

II. Thách thức trong Nhận diện Văn bản Cảnh và Vấn đề Ngoại Từ

Vấn đề ngoại từ trong nhận diện văn bản cảnh gây ra nhiều thách thức cho các mô hình học máy. Các yếu tố như từ hiếm, từ lóng, và các ký hiệu toán học đều có thể làm giảm độ chính xác của mô hình. Để giải quyết vấn đề này, cần có các phương pháp học sâu và các mô hình ngôn ngữ tiên tiến.

2.1. Các loại từ gây khó khăn trong Nhận diện

Các loại từ như từ hiếm, từ lóng và ký hiệu toán học thường không được đưa vào từ điển của các mô hình nhận diện. Điều này dẫn đến việc mô hình không thể nhận diện chính xác các từ này, gây ra lỗi trong quá trình nhận diện.

2.2. Tác động của Ngữ cảnh đến Nhận diện Văn bản

Ngữ cảnh của hình ảnh có thể cung cấp thông tin bổ sung giúp nhận diện văn bản chính xác hơn. Việc không xem xét ngữ cảnh có thể dẫn đến việc nhận diện sai hoặc không đầy đủ, đặc biệt là với các từ không nằm trong từ điển.

III. Phương pháp Giải quyết Vấn đề Ngoại Từ trong Nhận diện Văn bản

Có nhiều phương pháp được đề xuất để giải quyết vấn đề ngoại từ trong nhận diện văn bản cảnh. Các phương pháp này bao gồm việc mở rộng từ điển, sử dụng mô hình ngôn ngữ phức tạp hơn và áp dụng các kỹ thuật học sâu. Những phương pháp này giúp cải thiện độ chính xác và khả năng tổng quát của mô hình.

3.1. Mở rộng Từ điển và Mô hình Ngôn ngữ

Mở rộng từ điển là một trong những cách hiệu quả để giải quyết vấn đề ngoại từ. Việc sử dụng các mô hình ngôn ngữ phức tạp hơn giúp mô hình có thể nhận diện được nhiều từ hơn, bao gồm cả những từ không quen thuộc.

3.2. Kỹ thuật Học Sâu trong Nhận diện Văn bản

Kỹ thuật học sâu, đặc biệt là các mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi tiếp (RNN), đã được áp dụng để cải thiện khả năng nhận diện văn bản. Những mô hình này có khả năng học hỏi từ dữ liệu lớn và nhận diện các mẫu phức tạp trong văn bản.

IV. Ứng dụng Thực tiễn của Nhận diện Văn bản Cảnh

Nhận diện văn bản cảnh có nhiều ứng dụng thực tiễn trong các lĩnh vực như giao thông, thương mại điện tử và an ninh. Công nghệ này giúp tự động hóa nhiều quy trình và cải thiện hiệu quả công việc. Việc nhận diện chính xác văn bản từ hình ảnh có thể giúp nâng cao trải nghiệm người dùng và tăng cường an toàn.

4.1. Ứng dụng trong Giao thông

Trong lĩnh vực giao thông, nhận diện văn bản cảnh giúp các phương tiện tự lái nhận diện biển báo và thông tin đường phố. Điều này không chỉ cải thiện an toàn mà còn giúp tối ưu hóa lộ trình di chuyển.

4.2. Ứng dụng trong Thương mại Điện tử

Công nghệ nhận diện văn bản cũng được áp dụng trong thương mại điện tử, giúp người dùng quét mã vạch và nhận diện sản phẩm nhanh chóng. Điều này tạo ra trải nghiệm mua sắm thuận tiện và hiệu quả hơn.

V. Kết luận và Tương lai của Nghiên cứu về Vấn đề Ngoại Từ

Nghiên cứu về giải quyết vấn đề ngoại từ trong nhận diện văn bản cảnh đang ngày càng trở nên quan trọng. Các phương pháp hiện tại đã đạt được nhiều tiến bộ, nhưng vẫn còn nhiều thách thức cần được giải quyết. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều cải tiến và ứng dụng mới trong công nghệ nhận diện văn bản.

5.1. Hướng nghiên cứu tương lai

Hướng nghiên cứu tương lai có thể tập trung vào việc phát triển các mô hình học sâu mạnh mẽ hơn, có khả năng nhận diện chính xác hơn các từ không quen thuộc. Việc tích hợp ngữ cảnh và thông tin bổ sung cũng sẽ là một lĩnh vực nghiên cứu quan trọng.

5.2. Tác động của Công nghệ đến Xã hội

Công nghệ nhận diện văn bản cảnh có thể tạo ra những thay đổi lớn trong cách thức con người tương tác với công nghệ. Việc cải thiện độ chính xác và khả năng nhận diện sẽ giúp nâng cao trải nghiệm người dùng và mở ra nhiều cơ hội mới trong các lĩnh vực khác nhau.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Nhận diện chữ trong ảnh tự nhiên (Scene Text Recognition - STR) là một lĩnh vực nghiên cứu quan trọng trong thị giác máy tính và xử lý ngôn ngữ tự nhiên, hướng đến việc tự động trích xuất văn bản từ hình ảnh thực tế thành định dạng máy tính có thể đọc và xử lý. Dù các kỹ thuật học sâu đã mang lại nhiều tiến bộ vượt bậc, hầu hết các mô hình nhận diện văn bản hiện đại đều phụ thuộc vào từ điển định sẵn hoặc mô hình ngôn ngữ nội bộ được huấn luyện trên các tập từ vựng đóng (In-Vocabulary - IV). Điều này dẫn đến sự suy giảm độ chính xác khi mô hình gặp phải vấn đề ngoại từ (Out-of-Vocabulary - OOV), bao gồm các từ hiếm, từ chưa từng xuất hiện, từ lóng, lỗi chính tả, ký hiệu toán học, danh từ riêng hoặc từ ngữ đa ngôn ngữ.

Khóa luận tốt nghiệp cử nhân ngành Khoa học Máy tính (Chương trình Tài năng) của tác giả Hứa Thanh Tân (Trường Đại học Công nghệ Thông tin - ĐHQG-HCM, năm 2023, do TS. Ngô Đức Thành hướng dẫn) tập trung giải quyết trực tiếp thách thức này thông qua các nhiệm vụ nghiên cứu cụ thể:

1. Khảo sát và phân tích toàn diện các hướng tiếp cận gần đây nhằm giải quyết bài toán OOV trong nhận diện chữ ảnh tự nhiên.
2. Đánh giá thực nghiệm hiệu năng của các giải pháp OOV hiện hữu dựa trên tiêu chí độ chính xác, tốc độ xử lý và khả năng mở rộng.
3. Đánh giá và kiểm thử trên tập dữ liệu ngôn ngữ mới bao gồm các từ OOV phi cấu trúc và các ký tự tiếng Việt với các dạng lỗi đặc thù.

Phạm vi nghiên cứu bao quát hai bài toán con chính của STR: nhận diện chữ trên ảnh cắt đơn lẻ (Cropped Scene Text Recognition) và nhận diện toàn diện từ đầu đến cuối (End-to-end Scene Text Recognition), đồng thời đối chuẩn trên các tập dữ liệu chuẩn mực quốc tế cùng bộ dữ liệu OOV-ST Challenge quy mô lớn.

Cơ sở lý thuyết và phương pháp

Khóa luận dựa trên khung kiến trúc tổng quát 4 giai đoạn của các hệ thống STR tiêu chuẩn:

• Biến đổi (Transformation): Chuẩn hóa và hiệu chỉnh hình học ảnh văn bản đầu vào (sử dụng TPS hoặc các module nắn chỉnh).
• Trích xuất đặc trưng (Feature Extraction): Sử dụng mạng tích chập (CNN) hoặc Transformer để chuyển đổi ảnh đầu vào thành biểu diễn thị giác, loại bỏ nhiễu về màu sắc, phông chữ và nền ảnh.
• Mô hình hóa chuỗi (Sequence Modeling): Nắm bắt ngữ cảnh và mối quan hệ thứ tự giữa các ký tự liên tiếp bằng các khối BiLSTM hoặc cơ chế Self-Attention.
• Dự đoán (Prediction): Giải mã chuỗi ký tự đầu ra dựa trên đặc trưng thị giác và ngữ cảnh (thông qua CTC Loss, Attention Decoder hoặc Transformer Decoder).

Phương pháp nghiên cứu được triển khai theo hướng thực nghiệm định lượng kết hợp phân tích đối sánh kiến trúc:

• Phân loại và so sánh hai trường phái: Mô hình không phụ thuộc ngôn ngữ (Language-free, như I2C2W, TextScanner) và Mô hình có hỗ trợ ngôn ngữ (Language-based, như SAR, ABINet, SCATTER).
• Nghiên cứu cơ chế vận hành của 3 hướng tiếp cận OOV chuyên sâu: Kỹ thuật học kết hợp (Ensemble Learning), Kỹ thuật phân rã đặc trưng ngữ cảnh (Context Decoupling trong OpenCCD), và Kỹ thuật cân bằng thích ứng thông tin thị giác - ngôn ngữ (Adaptive Balancing trong VLAMD).
• Nguồn dữ liệu thực nghiệm gồm các tập chuẩn quốc tế: Synthetic (Synth90K, SynthText), Curved (CUTE80, Total-Text, SCUT-CTW1500), Multi-oriented (ICDAR-2015, SVT, SVTP), Normal (IIT5K, IC03, IC13) và bộ dữ liệu OOV-ST Challenge (4,29 triệu mẫu ảnh).

Nội dung chính theo từng chương

Chương 1: Overview

Chương 1 trình bày tổng quan về lĩnh vực Scene Text Recognition, động lực nghiên cứu và bản chất bài toán OOV.

Tác giả phân biệt hai bài toán cốt lõi:

• Cropped Scene Text Recognition: Nhận diện văn bản từ ảnh đã được cắt sẵn bao quanh vùng chữ. Đầu vào là một ảnh đơn lẻ; đầu ra là một từ bên trong ảnh. Thách thức lớn nằm ở nền ảnh phức tạp, nhiễu và chất lượng ảnh thấp.
• End-to-end Scene Text Recognition: Tích hợp cả hai bước phát hiện vị trí (Detection) và nhận diện chữ (Recognition). Đầu vào là một ảnh tổng thể; đầu ra là danh sách các từ kèm vùng đa giác chỉ định vị trí từ trong ảnh.

Các ứng dụng thực tiễn được liệt kê bao gồm: hệ thống định vị và điều khiển xe tự hành (nhận diện biển báo giao thông như "STOP" để ra quyết định), ứng dụng quét thông tin trên điện thoại di động, phân tích tài liệu và xử lý hình ảnh y tế.

Về mặt thách thức, STR phải xử lý các biến thiên thực tế:

• Đa dạng phông chữ (cách điệu, kích thước, khoảng cách nét).
• Màu sắc hòa lẫn hoặc tương phản kém (vàng, xanh lá, đỏ ở khoảng cách xa hoặc nền tối).
• Độ sáng biến đổi, mờ nhòe (blur) và che khuất (occlusion).
• Biến dạng hình học, xoay hướng và phối cảnh phức tạp.
• Sự khác biệt về hệ thống chữ viết (chữ Latinh, chữ tượng hình tiếng Trung, tiếng Nhật, tiếng Hàn, chữ Kirin, chữ Hy Lạp) và dạng văn bản viết dọc (Vertical texts).

Vấn đề ngoại từ (OOV) xuất hiện khi mô hình phụ thuộc vào từ điển định sẵn, dẫn đến việc nhận diện sai lệch các từ không nằm trong tập huấn luyện. Khóa luận phân loại các dạng OOV chính:

• Từ hiếm (Rare words): Tần suất xuất hiện cực thấp trong ngôn ngữ.
• Từ chưa từng gặp (Unseen words): Hoàn toàn không có trong tập dữ liệu huấn luyện.
• Từ lóng (Slang words): Dùng trong ngữ cảnh không chính thức.
• Lỗi chính tả (Typos): Sai ký tự hoặc thiếu sót dấu câu (ví dụ "diferent" thay vì "different").
• Ký hiệu toán học và ký tự đặc biệt: Như ký hiệu "$", ít khi có trong từ điển từ ngữ.
• Từ ngữ tiếng nước ngoài: Từ mượn hoặc ngôn ngữ khác chèn vào ngữ cảnh.
• Danh từ riêng: Tên người, địa danh mới.

Chương 2: Related Work

Chương 2 khảo sát chi tiết các bộ dữ liệu và các phương pháp nhận diện văn bản ảnh tự nhiên.

1. Hệ thống dữ liệu nghiên cứu

Tác giả tổng hợp các bộ dữ liệu phổ biến được sử dụng trong đánh giá STR:

Phân loại	Tên bộ dữ liệu	Quy mô / Đặc điểm
Synthetic	SynthText	Tạo ảnh nhân tạo bằng cách ghép văn bản vào ảnh tự nhiên
	Synth90K	9 triệu ảnh văn bản tổng hợp dùng để huấn luyện
Curved	CUTE80	288 ảnh chữ cong cắt từ 80 ảnh cảnh thực tế
	Total-Text	1.253 ảnh huấn luyện, 300 ảnh kiểm thử cho văn bản hình dạng tự do
	SCUT-CTW1500	1.000 ảnh huấn luyện, 500 ảnh kiểm thử cho văn bản uốn lượn
Multi-oriented	ICDAR-2015	4.468 ảnh cắt huấn luyện, 1.811 ảnh kiểm thử chụp ngẫu nhiên
	SVT	647 ảnh cắt từ 249 ảnh chụp Google Street View
	SVTP	645 ảnh Google Street View chịu biến dạng phối cảnh
Normal	IIT5K	2.000 ảnh huấn luyện, 3.000 ảnh kiểm thử thu thập từ Google Image
	ICDAR-2003	860 ảnh chữ cắt từ cuộc thi Robust Reading Competition
	ICDAR-2013	848 ảnh huấn luyện, 1.095 ảnh kiểm thử
OOV Benchmark	OOV-ST Challenge	4,29 triệu ảnh dòng thực tế, gán nhãn In-Vocab hoặc Out-of-Vocab

2. Phân tích các mô hình STR tiêu biểu

• Phương pháp Language-free:
  • I2C2W (2021): Kết hợp giữa mạng CNN, cơ chế Transformer và hàm mất mát CTC loss nhằm học và hiệu chỉnh vị trí ký tự, có khả năng chống chịu biến dạng hình học và nền phức tạp nhưng gặp khó khăn khi ảnh bị mờ nặng hoặc độ phân giải quá thấp.
  • TextScanner (2019): Tiếp cận theo hướng phân vùng ký tự ở mức pixel. Mô hình chia làm hai nhánh độc lập: nhánh phân lớp (class branch) và nhánh hình học (geometry branch) để xác định vị trí và thứ tự ký tự, tránh hiện tượng trôi chú ý (attention drift) và xử lý tốt chữ viết phức tạp như tiếng Trung.
• Phương pháp Language-based:
  • SAR (Show, Attend and Read - 2018): Kiến trúc baseline gồm ResNet 31 tầng, bộ mã hóa - giải mã dựa trên LSTM và module Attention 2 chiều (2D Attention mechanism) giúp nhận diện tốt văn bản bất quy tắc mà chỉ cần nhãn ở mức từ.
  • ABINet (2021): Mô phỏng quá trình đọc hiểu của con người qua 3 cơ chế: Tự trị (Autonomous - chặn luồng thông tin trực tiếp giữa thị giác và ngôn ngữ), Hai chiều (Bidirectional - dùng mô hình ngôn ngữ BCN dạng Transformer L-layer), và Lặp (Iteration - hiệu chỉnh ngôn ngữ lặp lại nhằm giảm thiểu nhiễu).
  • SCATTER (2020): Sử dụng cấu trúc xếp chồng nhiều khối tinh chỉnh ngữ cảnh có chọn lọc (Selective Contextual Refinement Blocks) với BiLSTM sâu và cơ chế giám sát trung gian (intermediate supervision), kết hợp bộ giải mã selective attention decoder hai bước.

3. Các hướng tiếp cận giải quyết bài toán Out-of-Vocabulary

• Học kết hợp (Ensemble Learning): Kết hợp bộ giải mã phân vùng (giúp tăng tính khái quát cho từ OOV) và bộ giải mã attention (giúp định vị chính xác). Giải pháp tiêu biểu tại cuộc thi OOV-ST Challenge (ECCV 2022 TiE Workshop) đạt độ chính xác 69,7% trên tập dữ liệu gồm cả IV và OOV thông qua 3 giai đoạn: tiền huấn luyện/tinh chỉnh bằng ABINet trên ảnh nhiễu/mờ, huấn luyện SCATTER trên nhiều backbone và seed khác nhau, và kết hợp trung bình xác suất đầu ra của 5 khối selective decoder ở bước suy luận.
• Giảm thiểu ảnh hưởng của thông tin ngôn ngữ (OpenCCD - 2022): Tách rời thông tin ngữ cảnh thành Thông tin thời gian (Temporal information - thứ tự và số lượng ký tự) và Thông tin ngôn ngữ (Linguistic information - xác suất đồng xuất hiện của ký tự). Mô hình triển khai 3 thành phần: Khung phân rã Ký tự - Ngữ cảnh (Character-Context Decoupling Framework), Module chú ý thời gian tách rời (Detached Temporal Attention), và Cơ chế mỏ neo ngữ cảnh tách rời (Decoupled Context Anchor), giúp cải thiện rõ rệt khả năng nhận diện các ký tự chưa từng thấy trên tập phi Latinh (tiếng Trung, tiếng Nhật).
• Tự động cân bằng thị giác và ngôn ngữ (VLAMD - 2022): Đạt giải Nhất tại OOV-ST Challenge 2022. Thay vì triệt tiêu ngữ cảnh ngôn ngữ, VLAMD xây dựng module Attention nhận biết vị trí (Positional Aware Attention) và bộ giải mã LSTM tích hợp hai nhánh thị giác tự thích ứng để tự động quyết định tỷ trọng cân bằng giữa đặc trưng thị giác và thông tin ngôn ngữ trong quá trình suy luận.

Chương 3: Evaluation on New Approach

Chương 3 tập trung đánh giá hiệu năng thực nghiệm của các mô hình trên bộ dữ liệu OOV-ST Challenge và các tập dữ liệu mở rộng:

• Đánh giá sự suy giảm hiệu năng của các mô hình baseline truyền thống khi chuyển từ tập từ vựng chuẩn (In-Vocabulary) sang tập từ ngoại từ (Out-of-Vocabulary).
• So sánh hiệu năng của OpenCCD trên các tập dữ liệu chữ Latinh và phi Latinh. Kết quả ghi nhận OpenCCD duy trì độ chính xác cao và tốc độ suy luận cạnh tranh so với các kiến trúc như CRNN, Rosetta, SAR, ESIR, SCATTER, SEED, DAN, CA-FCN và TextScanner.
• Đánh giá khả năng nhận diện trên bộ dữ liệu ký tự tiếng Việt với 3 nhóm lỗi OOV cụ thể, minh chứng cho tính ổn định của cơ chế tách rời đặc trưng thị giác khi gặp các dấu thanh và ký tự đặc thù.

Chương 4: Conclusion

Chương 4 đúc kết các kết quả đạt được của khóa luận:

• Cung cấp bức tranh toàn diện về các phương pháp xử lý OOV hiện đại.
• Làm rõ cơ chế tác động của thông tin ngôn ngữ đối với khả năng khái quát hóa của mô hình nhận diện chữ.
• Đề xuất các định hướng nghiên cứu tiếp theo để nâng cao độ chính xác và độ bền vững của hệ thống STR.

Kết quả và đóng góp

Khóa luận đạt được các kết quả và đóng góp học thuật chính như sau:

1. Hệ thống hóa toàn diện bài toán OOV trong STR: Làm rõ nguyên nhân cốt lõi khiến các mô hình ngôn ngữ tiên tiến bị suy giảm hiệu năng khi gặp từ vựng mới, phân loại chi tiết các dạng thức OOV từ góc độ thị giác và ngôn ngữ học.
2. Tổng hợp và đối chuẩn các phương pháp xử lý OOV hàng đầu:
   • Phân tích cơ chế ensemble đạt 69,7% độ chính xác tại thử thách OOV-ST Challenge (ECCV 2022).
   • Đánh giá kiến trúc phân tách ngữ cảnh OpenCCD trong việc nâng cao năng lực nhận diện ký tự chưa từng thấy (unseen characters) trên cả hệ thống chữ tượng hình và chữ Latinh.
   • Phân tích kiến trúc cân bằng tự thích ứng của mô hình VLAMD.
3. Đánh giá mở rộng trên dữ liệu ngôn ngữ mới: Kiểm nghiệm thực nghiệm mô hình trên tập dữ liệu phi cấu trúc và tập ký tự tiếng Việt với 3 dạng lỗi OOV điển hình, cung cấp dữ liệu thực chứng cho bài toán nhận diện chữ ngoài từ điển.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế và hướng mở:

• Hạn chế: Các mô hình hiện tại vẫn gặp lỗi trong các tình huống ảnh có độ mờ cực cao, nền quá phức tạp, bị che khuất một phần nghiêm trọng hoặc nhận diện nhầm lẫn giữa các ký hiệu đặc biệt và dấu câu. Việc giảm bớt thông tin ngôn ngữ để phục vụ OOV có thể làm giảm nhẹ độ chính xác trên các ảnh chất lượng kém thuộc tập từ vựng đóng (In-Vocabulary).
• Hướng nghiên cứu tiếp:
  • Nghiên cứu các phương thức mới nhằm tích hợp thông tin ngữ cảnh vào mô hình học sâu mà không làm mất đi tính độc lập của đặc trưng thị giác.
  • Ứng dụng kỹ thuật học chuyển giao (Transfer Learning) để tiền huấn luyện mô hình trên các tác vụ liên quan.
  • Khai thác học tự giám sát (Self-Supervised Learning) nhằm xây dựng các biểu diễn đặc trưng mạnh mẽ và tối ưu hơn cho các từ và cụm từ OOV.
  • Tối ưu hóa mô hình nhằm đảm bảo cân bằng giữa độ chính xác nhận diện và tốc độ xử lý thời gian thực.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho:

• Sinh viên, học viên cao học và nghiên cứu viên thuộc các ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Thị giác Máy tính đang thực hiện các đề tài về OCR, Scene Text Recognition hoặc Open-set Recognition.
• Kỹ sư phát triển hệ thống nhận diện văn bản ứng dụng trong xe tự hành, số hóa tài liệu thực địa hoặc các ứng dụng di động xử lý văn bản đa ngôn ngữ.
• Các nội dung đáng chú ý nhất để tham khảo gồm: Bảng tổng hợp các bộ dữ liệu STR chuẩn mực (Mục 2.1), phân tích cơ chế decoupled context của OpenCCD và Positional Aware Attention của VLAMD (Mục 2.3).

Câu hỏi thường gặp

1. Vấn đề ngoại từ (Out-of-Vocabulary - OOV) trong nhận diện chữ ảnh tự nhiên là gì?
OOV là hiện tượng mô hình nhận diện không thể nhận diện chính xác các từ hoặc chuỗi ký tự không nằm trong danh sách từ vựng/từ điển huấn luyện định sẵn. Điều này xảy ra do mô hình quá phụ thuộc vào mối quan hệ ngữ cảnh và xác suất ngôn ngữ đã học, dẫn đến việc dự đoán sai khi gặp từ hiếm, từ mới, từ lóng, lỗi chính tả, danh từ riêng hoặc ký hiệu đặc biệt.

2. Bốn giai đoạn tiêu chuẩn trong một khung kiến trúc STR hiện đại gồm những gì?
Bao gồm: (1) Transformation (chuẩn hóa ảnh đầu vào), (2) Feature extraction (trích xuất đặc trưng thị giác bằng CNN/Transformer), (3) Sequence modeling (mô hình hóa ngữ cảnh chuỗi ký tự bằng BiLSTM/Self-Attention), và (4) Prediction (dự đoán chuỗi ký tự bằng CTC hoặc Attention Decoder).

3. Kiến trúc OpenCCD xử lý sự thiên kiến của mô hình ngôn ngữ đối với từ OOV như thế nào?
OpenCCD tách thông tin ngữ cảnh thành hai thành phần độc lập: Thông tin thời gian (thứ tự và số lượng ký tự) và Thông tin ngôn ngữ (xác suất ký tự). Sau đó, mô hình sử dụng module Detached Temporal Attention và cơ chế Decoupled Context Anchor để ngăn chặn việc thông tin ngôn ngữ áp đặt lên quá trình trích xuất đặc trưng thị giác, giúp mô hình nhận diện chính xác các ký tự mới mà không bị sai lệch bởi ngữ cảnh từ vựng đóng.

4. Phương pháp tiếp cận của mô hình VLAMD (đạt giải Nhất OOV-ST Challenge 2022) có điểm gì khác biệt?
Thay vì triệt tiêu hay làm giảm hoàn toàn ảnh hưởng của thông tin ngôn ngữ, VLAMD sử dụng cơ chế Positional Aware Attention kết hợp với bộ giải mã LSTM có hai module thị giác tự thích ứng để tự động ra quyết định tỷ trọng thông tin thị giác và thông tin ngôn ngữ cần giữ lại trong cả quá trình huấn luyện và dự đoán.

5. Chiến lược Ensemble đạt 69,7% độ chính xác tại OOV-ST Challenge (ECCV 2022) được triển khai ra sao?
Chiến lược gồm 3 bước: (1) Tiền huấn luyện và tinh chỉnh ABINet trên các ảnh có độ phân giải thấp, mờ nhòe, nhiễu Gaussian và nén JPEG; (2) Huấn luyện mô hình SCATTER với nhiều backbone và seed ngẫu nhiên khác nhau; (3) Ở bước dự đoán, kết hợp kết quả bằng cách lấy trung bình xác suất đầu ra của tất cả 5 khối selective decoder tại mỗi bước thời gian.

Kết luận

Khóa luận tốt nghiệp của tác giả Hứa Thanh Tân đã phân tích có hệ thống bài toán nhận diện từ ngoại từ (OOV) trong ảnh tự nhiên, chỉ ra các giới hạn của mô hình ngôn ngữ đóng và khảo sát các giải pháp tiên tiến như Ensemble Learning, OpenCCD và VLAMD. Thông qua các thực nghiệm trên tập dữ liệu chuẩn OOV-ST Challenge và tập ký tự tiếng Việt, nghiên cứu khẳng định tầm quan trọng của việc phân tách hoặc cân bằng thích ứng giữa đặc trưng thị giác và ngữ cảnh ngôn ngữ. Đây là tài liệu tham khảo có giá trị chuyên môn cao, định hình rõ nét các hướng tiếp cận tiềm năng cho bài toán nhận diện văn bản mở trong tương lai.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF COMPUTER SCIENCE BACHELOR THESIS A Study on Handling Out-of-Vocab Problem in Scene Text Recognition Bachelor of Computer Science (Honors degree) HỨA THANH TÂN- 19520257 Supervised by DR. THANH DUC NGO HO CHI MINH CITY, 2023 VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF COMPUTER SCIENCE BACHELOR THESIS A Study on Handling Out-of-Vocab Problem in Scene Text Recognition Bachelor of Computer Science (Honors degree) HỨA THANH TÂN- 19520257 Supervised by DR. THANH DUC NGO HO CHI MINH CITY, 2023 COMMITTEE The Thesis Defense Committee has been carefully established in accordance with the Decision. by the President of the Univer- sity of Information Technology.

This committee is comprised of eminent individ- uals who possess a great deal of expertise and knowledge in the specific area of study that is relevant to the thesis defense. To ensure that all aspects of the the- sis defense are properly addressed, the following personnel have been carefully chosen to comprise the committee: ¢ Chairman: ® Secretary: ¢ Member: ¢ Member: ACKNOWLEDGEMENT Iam immensely grateful to the invaluable assistance of Dr. Ngo Duc Thanh, Duc Khanh, Minh Phuong, and An Tran in the successful completion of my thesis. Their dedication and commitment to my project provided me with the support and guidance I needed to ensure the accuracy and quality of my work was up to par.

Ngo Duc Thanh has been an invaluable mentor to me throughout the course of my research journey. His guidance, support, and expertise have been invalu- able in teaching me the importance of critical thinking and providing valuable advice when needed. He has been a constant source of inspiration, providing me with the confidence to question and challenge my current understanding and push myself to reach my highest potential. Duc Khanh and Minh Phuong were my peers in this research journey, and I am thankful for their insightful suggestions and feedback which greatly improved the cohesiveness of my work.

Their contribution to data collection and analysis was invaluable, and without their help I would have struggled to complete my thesis. Iam especially thankful to An Tran for her help in proofreading and refining my thesis. Her expertise and careful attention to detail helped ensure that my work was of the highest standard, and I could not have achieved my goal without her help. Without the dedicated effort of these individuals, I would never have been able to complete my thesis, and I am profoundly thankful for their invaluable contri- bution.

I am grateful for the time and energy they devoted to helping me reach my goal. Contents IAbstractl 1 Overview 1 Introduction] gy.2 Introduction to Scene Text ecogmition|.1 Scene Text Recognition|l.2 Sub-problem in Scene Text Recognition [25]}.1 Cropped Scene Text Recognition).2 End-to-end Scene Text Recognition] .- [[3_ Introduce to Out-of-vocabulary problem|.1 Out-outvocabulary problem|.2 Challenges of OOV problem|.Ặ TQ eee 15 16 2_ Related Wor! 17 2.13 _ Multi-oriented Datasetl.2 Scene Text Recognition Methodsl.2 _Segmentation-based method|.2 Language-based methodsl.3 Long-short Term Memory (LSTM) based method}. 30 E3 Out-oF-vocabulary Problem|.1 Ensemble learning baselines approach|.2 Reducing impact of linguistic information over the visual featureapproach|.3 Automatically making decision to hold visual and linguistic approach}. eee 37 Evaluation on V 39 ¬ ee 39 3411 Dataset).1 _OOV-ST Challenge Datasetl.

Q Q Q Q Q Sc 41 B2 Experiment and Evaluation|.21 OOV-ST Challenge Datasltl.23_ Eval ation Resul 45 4 Conclusion! 49 References 51 List of Figures T. End-to-end System for Scene Text Recognition [20] See 6 1.4 Autonomous vehicles recognize "STOP" term to decide next action DS.5 Variants in font[6]].6 Variants in color[10]Ï.7 Variants in illumination.8 Variants in orientation and distortion [4]}.13 Slang words - that mean throwing something|.14 Typo words - diferent|.1 Synthetic images dataset 5] Se ee 18 2.2 Curved images dataset [2]|.3 Street view text dataset [24]]. 20 E4 Normal images dataset[16]].5 OOV-ST Challenge dataset (19 ¬ 21 [2.6 Four stages of STR frameworks Jð]].8 The combination of transformer and CTC makes the model robust in the presence of low resolution images.9_ Some failure cases of I2C2W [26||.10 Architecture of TextScanner [23]|.11 Robust prediction on Chinese script [23] mom. sss sss ees 25 2.12 Simple and Strong baseline - SAR[13j|.13 SAR compare to other solutions [13]|.14 By using 2D Attention mechanism, this architecture localize char- [|___acters without character-level annotations [13]].17 ABINet evaluation high accuracy on low-quality images [7]].19 SCATTER with different number of selective block decoders [14Ï|.20 Some failures of SCATTER [14||.21 Ensemble models architecture [HẢ| Se ee 33 2.22 OpenCCD architecture in simple version ft Se eee 35 [2.23 OpenCCD architecture with full components|.24 Comparision OpenCCD with other methods|.25 OpenCCD robust result on non-latinh characters|.26 The core architecture of VLAMD [12]|.

37 41 42 -3 {is added into word "prepare"].4 Result on various aspect of OOV Datasetl.5 Result our OpenCCD outputs on Vietnamese character with spe- cific 3 types of errOr|.6 Result our OpenCCD outputs on Vietnamese character with spe- cific 3 types of error]. eee 47 List of Tables 3.1 Approximately average accurary of current methods on some type of OOV words].2 Ranking accuracy of some baselines that not handle OOV problem} 43 3. Ranking accuracy of current OOV-handle methods}. eee 45 ABBREVIATIONS OOV Oout Of Vocabulary FWCONDHI STR Scene Text Recognition IV In Vocabulary CNN Convolution Neural Network RNN Recurrent Neural Network BiLSTM Bidirectional Long Short Term Memory CTC Connectionist Temporal Classification SOTA State Of The Art ABSTRACTION This thesis introduces the field of scene text recognition, exploring the out-of- vocabulary problem and outlining some of the most recent methods used to ad- dress it.

Scene text recognition is a process of recognizing and extracting text from an image, transforming it into a machine-readable format for further pro- cessing. The out-of-vocabulary problem is a challenge for recognizing text that is not included in a predefined vocabulary list, leading to the need for modern methods to address this issue. In this thesis: ¢ We discuss various approaches and techniques that have been used to tackle the out-of-vocabulary problem. These include those based on the use of contextual information, those that use the prediction of characters not seen in the training set, and those that leverage deep learning techniques to learn representations of out-of-vocabulary words.

e We present an evaluation of existing approaches, their effectiveness in tack- ling the out-of-vocabulary problem, and a new dataset for assessing out-of- vocabulary words which have no common characteristics and unstructured Additionally, we compare and analyze various state-of-the-art techniques to iden- tify which works best for this purpose, discussing the results in the thesis and ar- riving at a better understanding of the current approaches to the out-of-vocabulary problem. In order to guide future research, this thesis further suggests potential directions and strategies to further improve existing methods and address the out-of-vocabulary problem. These include exploring different ways of incorpo- rating contextual information into deep learning models and leveraging transfer learning to pre-train models on related tasks. In addition, further research should be conducted on the development of robust and efficient approaches for recog- nizing out-of-vocabulary words.1 Introduction Scene text recognition is a rapidly growing and increasingly important field of re- search, due to its many potential applications in areas such as image recognition, computer vision, and natural language processing.

In recent years, the develop- ment of deep learning techniques has enabled researchers to create models that can accurately recognize text from natural images. This has opened up a world of possibilities, with researchers now able to extend the scope of text recognition to a range of areas, including but not limited to document analysis, autonomous navigation, and even medical image processing. With the rapid advances in deep learning, computer vision, and natural language processing, the possibilities for scene text recognition have grown exponentially, making it an ever-more vital research field. In this thesis, we focus on the so-called "Out of vocabulary prob- lem," another facet of scene text recognition.

Finally, we study and evaluate a few solutions to this issue.2 Introduction to Scene Text Recognition 1.1 Scene Text Recognition Scene Text Recognition (STR) is a form of computer vision technology that is used to recognize text in natural scenes. It is a challenging task due to the variations in font, color, illumination, occlusion, orientation, size, and language that can be present within an image. In addition, the context of the image as a whole must be taken into account by STR algorithms in order to achieve a high degree of ac- curacy in text recognition. This is because the context of the image may provide additional clues that can help to identify the text.

For example, if the image con- tains a signpost, the context of the image can help to identify the language of the text on the sign. Therefore, in order to accurately recognize text from natural scenes, STR algorithms must be designed to consider all of these factors.2 Sub-problem in Scene Text Recognition [25] 1.1 Cropped Scene Text Recognition Cropped Text Recognition is the process of recognizing text from images which have been cropped around the text itself. This process is especially challenging due to the fact that the background of the image is usually cluttered and can con- tain other objects that may interfere with the recognition process. To address this issue, multiple techniques have been proposed such as incorporating contextual information into the recognition process, employing region-based convolutional neural networks (R-CNNs), and using multi-scale feature extraction.

® Input: a single image ¢ Output:: a word containing inside the input image 1.2 End-to-end Scene Text Recognition End-to-End Text Recognition is a more recent approach in which a single deep learning model is used to directly recognize text from an image. This approach has the advantage of being able to recognize text from more complex images which contain multiple lines of text and even curved text. To achieve this, many end-to-end text recognition models employ a combination of convolutional lay- ers for feature extraction, recurrent layers for sequence modeling, and attention mechanisms for sequence decoding. Overview ¢ Input: a single image ¢ Output:: a list of words and polygon area indicated the position of the word inside the input image.

End-to-End Spotting CAVE SPRING Recognition HIGH SCHOOL FIGURE 1.3: End-to-end System for Scene Text Recognition 1.3 Applications of STR Scene Text Recognition (STR) has a variety of applications that are revolutionizing the way we use technology. These include: ¢ Autonomous vehicles: Scene Text Recognition technology is playing a major role in making these vehicles smarter, more efficient, and far safer than ever before. By recognizing street signs and other relevant information, Scene Text Recognition can help make navigation smoother, easier, and far more secure for self-driving cars. As this technology continues to evolve, the po- tential for self-driving vehicles is growing exponentially and is likely to rev- olutionize the way we get around.

¢ Mobile phone applications: Scene Text Recognition can be used to power applications such as scanning bar codes, allowing users to quickly and eas- ily access information in an instant. Overview STOP Image Text detection Text recognition FIGURE 1.4: Autonomous vehicles recognize "STOP" term to decide next action 1.4 Challenges of STR One of the main challenges of Scene Text Recognition is recognizing text in natu- ral scenes, which requires the algorithm to take into account a variety of factors, such as variations in font, color, illumination, occlusion, orientation, size, and language: e Variations in font can make text difficult to recognize, as different fonts can have unique shapes and features that make them hard to distinguish. This can be especially true for text written in a stylized font, which may contain unique characters that are not found in more traditional typefaces. The size and spacing of the font can also make it difficult to differentiate from other fonts.

Furthermore, the font style can also make a difference, as some fonts are designed to be more ornate or decorative, while others are designed to be more plain and simple.