Chương 1. Động lực nghiên cứu 1. Phát biểu bai toán 1. Các thách thức 1.
_ Các yếu tố đến từ ngoại cảnh 1. Các yếu tổ đến từ bên trong 1. Tổng quát về các thách thức 1. Mục tiêu và phạm vi của luận văn 1.
Đóng góp của nghiên cứu 1. Bế cục của luận văn Chương 2. CÁC NGHIÊN CỨU LIÊN QUAN 2. Hướng tiếp cận dựa trên biéu diễn vị trí của đối tượng 2.
Hướng tiếp cận dựa trên hồi quy 2. Hướng tiếp cận dựa trên phân đoạn 2. Hướng tiếp cận dựa trên cấp độ của văn bản 2. _ Phát hiện trên từng ký tự trong văn bản 2.
__ Phát hiện trên từng từ trong văn bản 2. Các hướng tiếp cận khác 2. Hướng tiếp cận dựa theo bài toán phát hiện đối tưởng tổng quát 2. Hướng tiếp cận tiền huấn luyện đối chiếu Hình ảnh-Ngôn ngữ 2.
Các phương pháp tăng cường dữ liệu 20 Chương 3. PHƯƠNG PHÁP ĐÈ XUÁT 21 3. Tổng quan phương pháp đề xuất 21 3. Cas-Dou Mask-RCNN 22 3.
Tiền huấn luyện đối chiếu ngôn ngữ-hình ảnh 26 3. Khái quát về mô hình CLIP 26 3. Cơ chế của mô hình CLIP 27 3. Hiệu suất zero-shot vượt trội của mô hình CLIP.
Tăng cường dữ liệu với STRAug 35 3. Khái quát các phép biến đôi của STRAug 3. Chiến lược tăng cường dữ liệu dựa trên STRAug Chương 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.
Bộ dữ liệu 4. Khao sát dit liệu 4. Dữ liệu thực nghiệm 4. Các tiêu chí đánh giá 4.1 Intersection over Union (IoU) 4.
Cài dat chỉ tiết 4. Huấn luyện và triển khai mô hình 44 44. Kết quả thực nghiệm, đánh giá và bàn luận 45 4. Nghiên cứu tác động cua từng mô-đun 49 4.
Triển khai ứng dụng 51 Chương 5. KET LUẬN VA HƯỚNG PHÁT TRIÊN 55 5. Hướng phát triển TÀI LIỆU THAM KHẢO 57 PHỤ LỤC A 62 PHỤ LỤC B 63 PHU LỤC C 64 DANH MỤC HÌNH Hình 1.1 Đầu vào và đầu ra của bài foán.2 Minh họa ảnh văn bản có bối cảnh phức tạp do sự có sự trùng về màu sắc và độ tương phản. Trong đó, đối tượng văn bản được đánh dấu bằng hình chữ nhật màu xanh lá nam lẫn vào nên.3 Minh họa ảnh văn bản bị che khuất và nh.
Đối tượng văn bản được khoanh bằng hình chữ nhật màu xanh lá bị nhiễu đường nét, đối tượng văn bản được khoanh bằng hình chữ nhật màu đỏ bị vật che khuất một phan.4 Minh họa ảnh văn bản có góc chụp xiên so với văn bản. Đối tượng văn bản được khoanh bằng hình chữ nhật màu xanh lá bị mắt một phan thông tin do góc chụp, đối tượng văn bản được khoanh bằng hình chữ nhật màu xanh lá bị mắt thông tin do Vi tri CHỤP QUA XQ. SE HT TH hàn 6 Hình 1.5 Minh họa ảnh văn có hình dang da dạng và kích thước khác nhau. Trong ảnh ta thấy rằng bảng hiệu có chữ “smrt” khá kiểu cách Hình 2.1 Minh họa văn bản được phát hiện theo hôi quy.
Mỗi đối tượng văn ban trong ảnh được xác định bằng một hộp giới hạn tối tiểu.2 Minh họa văn bản được phát hiện theo phân đoạn ngữ nghĩa. Các đối tượng văn bản trong ảnh déu được tô trong cùng một vùng.3 Minh họa văn bản được phát hiện theo phân đoạn đối tượng. Các đối tượng van ban trong ảnh được xác định thành từng vùng riêng biệt.4 Minh họa văn bản được phát hiện theo cấp độ ký tự. Mỗi đối tượng văn bản trong ảnh được xác định vị trí trên cấp độ ký tự.5 Minh họa văn bản được phát hiện theo cấp độ từ.
Mỗi đối tượng văn bản trong ảnh được xác định vị trí trên cấp LẺ.1: Tổng quan phương pháp dé xuất .-cc¿c22cccccscccvercccseecrrrree 21 Hình 3.2 So sánh giữa Standard Cascade Head va Cascade Double Head trên một nhánh của Cascade Rol Head. Ta nhận thấy rằng ở ddi don, hai tác vụ phân loại (classification) và hồi quy hộp giới han (Bounding Box) déu được xử lý với Shared Convs và Shared FC, trong khi ở đầu đôi hai tác vụ này được tách ra với Share Convs cho tác vụ hồi quy hộp giới hạn trong khi Shared FC cho tác vụ CÏA1SSSÄ[ÏC[ÏOH. SE EEEkESỀĐEỰkH TT TH HH TT TH TH HT HH hệ 23 Hình 3.3 CLIP được tiền huấn luyện với một bộ mã hóa hình ảnh và một bộ mã hóa văn bản dé dự đoán hình ảnh nào được ghép cùng với văn bản trong tập dữ liệu .4 CLIP được sử dụng như một bộ phân loại zero-shot (không can huấn luyện lại). Bằng cách chuyển đổi tắt cả các lớp của tập dữ liệu thành các chú thích như "một bức ảnh cua một.
" và dự đoán lớp của chú thích ma CLIP ước tính phù hợp nhất với một hình ảnh cụ ANE.5 Minh họa văn bản khi biến đổi theo nhóm kiểu Warp.6 Minh họa văn bản khi biến đổi theo nhóm kiểu Œeometry.7 Minh họa văn bản khi biến đổi theo nhóm kiểu Noise.8 Minh họa văn bản khi biến đổi theo nhóm kiểu Blur .9 Minh họa văn bản khi biến đổi theo nhóm kiểu Weather .10 Minh họa văn bản khi biến đổi theo nhóm kiểu Camera.11 Minh họa văn bản khi biến đổi theo nhóm kiểu Pattern Hình 3.12 Minh họa văn bản khi biến đổi theo nhóm kiểu Process Hình 4.1 Minh họa văn bản và nhãn thực của văn bản trong bộ dữ liệu ICDAR- Hình 4.4 Minh họa giao diện của ng dỤNg. cà S«Sssvsseeererereksrekeevree 51 Hinh 4.5 Minh hoa giao dién chon siéu tham số cho mô hình và màu của hộp giới Hình 4.6 Minh họa kết quả dự đoán của mô hình trên ứng dụng. 54 DANH MỤC BANG Bảng 4-1 So sánh hiệu suất của các phương pháp phát hiện văn bản trong bối cảnh. „45 Bảng 4-2 Đánh giá hiệu quả mô-đun DoubleHead.49 Bảng 4-3 Đánh giá hiệu quả của phương pháp STRAUG và backbone CLIPResNet DANH MỤC TỪ VIET TAT Từ viết tắt Từ nguyên gốc Cas - Dou Cascade RCNN Double Head CNN Convolutional Neural Network RNN Recruitment Neural Network STRAug, STRAUG Scene-text Recognition Augmentation CLIP Language Image Pretraining oCLIP OCR Language Image Pretraining SOTA State — of — the — art Convs Convolutional Layers FC Fully-connected layers Rol Region of Interest FPS Frames Per Second TÓM TẮT KHÓA LUẬN Khóa luận này tập trung giải quyết bài toán phát hiện văn bản trong ảnh có bối cảnh (Scene-text Detection), đây là một bài toán mới và rất thú vị và dành được rất nhiều sự quan tâm đến từ các nhà nghiên cứu trong cả lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên nhờ tính ứng dụng rộng rãi của nó trong thực tế như phân tích nội dung ảnh hoặc video cho truyền thông xã hội, hỗ trợ số hoá dữ liệu hay ứng dụng tìm kiếm bằng nội dung hình ảnh.
Mục tiêu của bài toán là xác định vị trí của văn bản trong không gian có bối cảnh và biểu diễn chúng dưới dạng một hộp giới hạn tối tiểu hoặc một vùng đối tượng. Thách thức lớn nhất của bài toán đó là sự khó khăn trong việc phát hiện văn ban ở sự tác động của những yếu tố đến từ môi trường hay con người tác động đến đối tượng văn bản cũng như các yếu tố đến từ sự đa dạng về đặc điểm hay cấu trúc của văn bản. Đặc biệt, sự tương tác và ảnh hưởng lẫn nhau giữa các yếu tố này đòi hỏi việc giải quyết thành công bài toán phát hiện văn bản trong cảnh phải được xem xét trên nhiều khía cạnh khác nhau. Khóa luận này tập trung vào việc cải thiện đó chính xác trên bài toán dựa thoe hướng tiếp cận của tận dụng các mô hình SOTA trong bài toán phát hiện đối tượng nói chung, cụ thé là dựa trên phương pháp cơ sở Cascade Mask RCNN.
Chúng tôi ết hợp phương pháp cơ sở này với đầu Double Head nhằm cải thiện và nâng cao khả năng phát hiện văn bản có trong ảnh có bối cảnh. Bên cạnh đó, khảo sát khả năng của mô hình rút trích đặc trưng ResNet50 đã được tinh chỉnh và tiền huấn luyện trước với mô hình oCLIP cho việc cải thiện khả năng rút trích các đặc trưng từ hình ảnh đầu vào. Cuối cùng, tỉnh chỉnh phương pháp tăng cường dữ liệu STRAug vốn dành riêng cho bài toán nhận dạng văn bản trong ảnh có bối cảnh (Scene-text Recognition) vào mô hình nhằm mục tiêu cải thiện khả năng phát hiện những đối tượng văn bản có cấu trúc hay hình dáng đa dạng. Các kết quả thu được của khóa luận chứng tỏ sự vượt trội và cạnh tranh so với các phương pháp đã có hiện nay.
Động lực nghiên cứu Bài toán phát hiện văn bản trong ảnh chụp bối cảnh thế giới thực là một trong những van đề quan trọng trong lĩnh vực thị giác máy tính. Đặc biệt, bài toán này càng được quan tâm bởi những ảnh hưởng của nó trong lĩnh vực xử lý ngôn ngữ tự nhiên. Bên cạnh đó, từ bài toán, những ứng dụng thực tế được phát triển một cách rộng rãi như phân tích nội dung ảnh hoặc video cho truyền thông xã hội, hỗ trợ số hoá đữ liệu hay ứng dụng tìm kiếm bằng nội dung hình ảnh. Mục tiêu của bài toán là xác định vị trí của văn bản trong không gian có bối cảnh và biểu diễn chúng dưới dạng một hộp giới hạn tối tiéu hoặc một vùng đối tượng.
Trong những năm gần đây, các phương pháp sử dụng học sâu đang trở thành xu hướng mới trong giải quyết bài toán phát hiện văn bản trong bối cảnh. Các mô hình này đã được áp dụng một cách hiệu quả dé xây dựng các hệ thống phát hiện văn bản. Chúng thé hiện kha nang xu ly nhiéu loai dinh dang van ban, nhan dién da dang kiéu chữ, cũng như các van ban có kích thước va độ phan giải khác nhau. Những mô hình học sâu phố biến được sử dụng trong giải quyết bài toán phát hiện văn bản trong bối cảnh là mạng nơ-ron tích chập (CNN).
Mô hình CNN có thé xử lý và trích xuất thông tin từ các ảnh với độ phân giải khác nhau. Trong bài toán phát hiện văn bản, các đặc trưng của vùng chứa văn bản sẽ được trích xuất bằng cách sử dụng các lớp tích chập. Sau đó, các đặc trưng được đưa vào các lớp kết nói day đủ dé phân loại vùng chứa đó có chứa văn bản hay không. Mặc dù các kiến trúc áp dụng trong bài toán phát hiện đối tượng đang có sự phát triển mạnh mẽ, song bài toán phát hiện văn bản vẫn đối diện với nhiều thách thức.
Trong đó, việc phát hiện văn bản trên các hình ảnh có kích thước và hình dạng khác nhau đối mặt với sự phức tạp về hình dáng của văn bản: văn bản ngang, văn bản nhiều hướng hay văn bản cong, kiểu chữ đa dang và các đối tượng khác trên nền là các thách thức chính.