Chương 1, luận văn nay tập trung vào bài toán phat hiện đối tượng trong tải liệu dạng ảnh. Do đó, nội dung Chương 2 giới thiệu sơ nét về các hướng tiếp cận liên quan đến bài toán. Cho đến thời điểm hiện nay thi bài toán phát hiện đổi tượng trong anh tài liệu có hai hưởng tiếp cận chính đỏ là truyền thông và dựa trên các mang hoe sâu. Các hướng tiếp cận truyền thong HMM, SVM.
Predicted Page Objects Hinh 2-1. Minh họa cho hưởng tiếp cận truyền thông của bai toán phát hiện đối tượng trên ảnh tài liệu [5] Các phương pháp tiếp cận truyền thông tân dụng các kỹ thuật xử lý, trích xuất đặc trưng hình ảnh truyền thông hoặc dựa trên rule-based dé rút trich đặc trưng (Hình 2-1). Năm 1995, các nha nghiên cửu đã áp dụng hai phương pháp chỉnh là dựa trên kết cầu (texture-based) [17], [18] va hình dang (shape-based) [19] [20] [21]. Cho dén năm 2002, Cesarini và công sự [22] đã đẻ xuất phương pháp phát hiện bang dựa vao các đường ké ngang dọc, sau đó xác định khu vực can quan tâm được bao quanh bởi những đường nay.
Năm 2005, Gatos va công sự [23] đã giới thiệu một phiên bản cải tiên của phương pháp trên bang cách thêm phát hiên các điểm giao nhau để giảm các sai sot khi phát hiện các vùng ứng viên. Mặc du đã đạt được rất nhiều tiễn bộ lớn, tuy nhiên các phương pháp phát hiện doi tượng trang truyền thông vẫn còn tôn tại nhiều van dé nhur phat hién lỗi, bị bỏ sót. Các hướng tiếp cận dựa trên học sâu Grouping and Input Document Feature Extraction Predicted Page Image Network Marella Selection Objects Preprocessing Backbone techniques” =Ế Hình 2-2. Minh họa cho hướng tiếp cận dựa trên của bài toán phát hiện doi tượng trên ảnh tải liệu [5].
Vi sự giới han của các phương pháp truyền thông, hưởng tiếp can nay dang dan được thay thẻ bằng các phương pháp dựa trên học sâu. Trong những năm gần đây, nhiều phương pháp dựa trên học sâu dé phát hiện đối tượng đã xuất hiện va mang lại những cải tiên hiệu suất kha tốt. Trong đỏ, co những mô hình học sâu đã được thiết kế riêng cho bài toán phát hiện đổi tượng trên tải liệu dạng ảnh. Các phương pháp dựa trên học sâu thường sử dụng mạng CNN dé tạo ra các ban đỏ đặc trưng không gian từ các hình anh tải liệu đầu vào (Hình 2-2), Nói cách khác, mạng CNN được sử dung đẻ làm backbone cho các phương pháp phát hiện đổi tượng.
Các phương pháp học sâu lần đầu tiên được giới thiệu từ những năm 2016 trở đi với dé xuất sử dụng CNN dé xác định từng vùng dé xuất có chửa bang hay không của Hao vả cộng sự [24]. Năm 2017, Yang vả công sự [25] dé xuất mang Multimodel Full CNN cho phan đoạn trang đẻ phát hiện các dai tượng bang, hình và các đỗi tượng khác trong trang. Ngoải ra, He và công sự [18] cũng đã dé xuất Multi scale multi-task FCN dé phát hiện các vùng và đường viễn của bang, sử dung kết qua phát hiện đường viền dé cải thiện nhiệm vụ phát hiện đối tượng bảng. Năm 2018, Li và cộng sự [26] lần đầu tiên sử dụng các phương pháp phân tích bố cục dé xác định các vùng bang ứng viên, đặc biệt trong đề xuất này là áp dung Conditional Random Field — CRF và CNN dé phân loại thành các công thức, bảng, hình hoặc đô thị.
Năm 2019, Qasim và cộng sự [27] đã dé xuất một kiến trúc dựa trên mạng đồ thị như một hướng mới để nhận diện bảng. Tác giả lập luận rằng mạng đồ thị là một lựa chọn tự nhiên cho những van dé này và khám phá hai mang nơ-ron đồ thi dựa trên gradient. Năm 2020, Prasad và công sự [28] đã đề xuất CascadeTabNet: một mô hình dựa trên Mạng phân giải cao với CNN và mặt nạ phân tang dé phát hiện các vùng của đối tượng bảng và nhận diện đồng thời các ô (cell) cấu trúc từ các bảng được phát hiện. PHƯƠNG PHÁP PHÁT HIEN BOI TƯỢNG DỰA TREN HỌC SÂU Trong chương này, chúng tôi tập trung giới thiệu vé tong quan về các phương pháp phát hiện đối tượng.
Phân tích và nhận dạng tài liệu là một lĩnh vực của thị giác máy tính do đó nó cũng chịu ảnh hưởng rat nhiều bởi học sâu. Nhiều nghiên cứu đã bắt dau áp dụng các phương pháp dựa trên học sâu cho nhiệm vụ phát hiện đối tượng trong ảnh tài liệu. Trong các phương pháp này, các tài liệu PDF thường được biến đổi thành các trang hình ảnh, sau đó sử dụng mạng học sâu dé huần luyện và phát hiện đối tượng. Phương pháp phát hiện đồi tượng dựa trên học sâu.
Bài toán phát hiện đối tượng 3. Giới thiệu Phát hiện đối tượng (object detection) mô tả một tập hợp các nhiệm vu thị giác máy tinh (computer vision). Cụ thé, bài toán nay có liên quan đến hai nhiệm vụ chính là định vị vị trí của các đối tượng (localization) và phân lớp (classification). ¢ Dinh vị đối tượng (localization): xác định vị trí xuất hiện của các đối tượng trong ảnh và thẻ hiện vị trí của chúng bằng hộp giới hạn (bounding - box) e Phan lớp đối tượng (classification): dự đoán nhãn của một đối tượng (tại mỗi vị trí được xác định có chứa đối tượng sẽ được dự đoán đối tượng đó là đối tượng nào).
Phân loại Thông thường, thuật toán phát hiện đối tượng được phân chia thành hai nhóm chính với những điểm khác biệt cơ bản sau ¢ Hai giai đoạn: điền hình là các phương pháp thuộc họ các mô hình R-CNN, Mask R-CNN. Các phương pháp này thuộc nhóm thuật toán phát hiện đối tượng Hai giai đoạn vì mô hình phải thực hiện sẽ thực hiện 2 phần gồm trích chon (extract) các vùng trên anh củ khả năng chứa đối tượng dựa vảo các hộp neo (anchor box), sau đó sẽ thực hiện tiếp phân loại đổi tượng vả định vị trí. Đặc điểm chung của các thuật toản thuộc nhỏm nay lả dé cao về độ chính xác thay vi tốc độ. Cụ thé hơn, khung lam việc (framework) của thuật toán phát hiện đổi tượng Hai giải đoạn bao gồm các thành phần chính minh họa trong Hình 3-1.
Cụ thé, nó bao gồm một mô-đun xương sống (backbone), cổ (neck) va dau (head) với các nhiệm vụ cụ thé. Mé-dun xương sống khai thác các đặc trưng ở các độ phân giải khác nhau, trích xuất các đặc trưng can thiết của nó. Sau đó, mé-dun neck hợp nhất đặc trưng trích xuất tir xương song. Cudi cùng, may dò có nhiều mé-dun dau phát hiện các đối tượng, đoạn.
© One-stage: điển hình với các phương pháp thuộc họ họ YOLO, SSD, Restina. Đôi với nhóm thuật toán này, mô hình sẽ không cỏ phan rút trích các vùng đặc trưng như Hai giai đoạn. Các mô hinh One-stawe xem bai toản phát hiện đối tượng như một bai toán hỏi quy và dựa trên pre-define box dé phát hiện đối tượng, Đặc điểm của các mô hình One-stage là có sự đánh đổi giữa tốc độ và đô chính xác, khi đạt được tốc độ suy nhanh hơn nhưng thường kém hơn so với Hai giai đoạn. Mạng no-ron tích chập Mạng nơ-ron tích chập (CNN) là một trong những yếu tố quyết định sự thành công của một mô hình phát hiện đối tượng, khi nó đóng vai trò như một xương sống (backbone) dé rút trích đặc trưng.
CNN bao gồm các tang: tầng tích chập (convolution), tang tổng hợp (pooling) và tang liên kết day đủ (fully connected) ¢ _ Tầng tích chập: thực hiện nhiệm vụ trích xuất đặc trưng bang cách sử dung một bộ lọc dé tìm kiếm và trích xuất những thông tin quan trọng từ dữ liệu đầu vào, đồng thời giảm số chiều cho các lớp ân tiếp theo. Sau đó, các giá trị đầu ra sẽ được tính toán bằng các hàm kích hoạt (activated function) như ReLU, tanh, sigmoid. ¢ Tang tổng hợp: tang tông hop làm giảm số chiều cho dữ liệu đầu vào hay đồng nghĩa với giảm số lượng tham só, rút ngắn được thời gian huấn luyện dé hạn chế overfitting. Tang tông hợp sử dụng bộ lọc trượt qua dữ liệu đầu vào dé trích xuất đặc trưng cần thiết với MaxPooling hoặc AveragePooling.
Trong đó, MaxPooling lấy giá trị cao nhất trong vùng của bộ lọc đi qua còn AveragePooling sẽ tính toán giá trị trung bình trong vùng bộ lọc đi qua. « _ Tầng liên kết day đủ: từ kết quả dau ra của tầng tong hợp sẽ là một ma trận ở dang hai hoặc ba chiều. Sau đó, các ma trận này trước khi đưa vô tang FC sẽ được làm phăng (flatten) thành một vector đặc trưng. Ung dụng Phát hiện phương tiện giao thông dé giám sát, phân luồng giao thông.
Phat hiện nguy hiểm trên xe không người lái Nhận diện ký tự quang học hoặc trong điều kiện tự nhiên. Một số phương pháp phát hiện dỗi tượng tiên tién 3. Faster R-CNN (a) R-CNN RCH Regions with CNNfeatures ] warped reel 7|acroplan? no. Classify image proposals (~2k) CNN features regions Hình 3-2.
Kiến trúc R-CNN [29]. R-CNN được giới thiệu lần đầu vào 2014 bởi Ross Girshick và cộng sự [29] ở UC Berkeley trong bai bao “Rich feature hierarchies for accurate object detection and semantic segmentation”. R-CNN là một thuật toán kha đơn giản gém hai bước thực hiện chính. Đầu tiên, sử dụng thuật toán Selective Search dé di tìm các vùng dé xuất.
Sau đó sir dụng CNN đẻ trích xuất đặc trưng tử những hộp giới hạn đỏ. Kiến trúc của R-CNN gỗm ba thành phan chính như tại Hình 3-2: © Vùng dé xuất (region proposal): Thuật toán Selective Search trích xuất ra khoảng 2000 vùng dé xuất (Rol) tir hình anh đầu vào, đây là vùng có khả năng chứa đối tượng. © Trich chon đặc trưng (feature rxtractor): Trích xuất các đặc trưng giúp nhận điện hình ảnh từ các vùng dé xuất thông qua các mang CNN, Trong quá trình trích xuất đặc trưng, mỗi lần truyền các Rol sẽ được tình chỉnh kích thước (resize) dé phù hợp với kích thước đầu vào của mang CNN. Sau khi tinh toán, mỗi Rol sẽ có được các vector đặc trưng.
e Phan loại (classifier): Các vector đặc trưng sẽ được đưa vào mô hình SVM để phân loại. Bên cạnh đó các đặc trưng cũng được dùng đề dự đoán 4 offsets values cho mỗi cạnh. Các vector đặc trưng sẽ đưa vào thuật toán pre-trained SVM phân lớp cho đối tượng và hồi quy (regression) Bounding Box (b) Fast R-CNN Nam 2015, Fast R-CNN [30] được giới thiệu bởi cùng nhóm tac giả voi R-CNN để giải quyết một số hạn chế và xây dựng một thuật toán phát hiện đối tượng nhanh hơn. Kiến trúc Fast R-CNN được minh họa tại Hình 3-3 bao gồm mạng CNN làm backbone, Rol Pooling layer, Classifier và Bounding-box Regression.
Cách tiếp cận của Fast R-CNN tương tự R-CNN.