ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KHOA HOC VA KY THUAT THONG TIN NGUYEN THANH TUONG VI KHOA LUAN TOT NGHIEP KHAO SAT CAC PHUONG PHAP PHAT HIEN DOI Review of object detection methods for document images CU NHAN NGANH KHOA HOC DU LIEU TP. HO CHi MINH, 2022 ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC VÀ KỸ THUẬT THÔNG TIN NGUYEN THANH TƯỜNG VI-18521636 KHÓA LUẬN TÓT NGHIỆP KHẢO SÁT CÁC PHƯƠNG PHÁP PHÁT HIỆN ĐÓI TƯỢNG TRONG TÀI LIỆU DẠNG ẢNH Review of object detection methods for document images CU NHAN NGANH KHOA HOC DU LIEU GIANG VIEN HUONG DAN THS.
VO DUY NGUYEN TP. HO CHi MINH, 2022 THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số. của Hiệu trưởng Trường Dai học Công nghệ Thông tin. LỜI CẢM ƠN Lời đầu tiên, tôi xin gửi lời cảm ơn chân thành đến Thầy Võ Duy Nguyên-giảng viên hướng dẫn cho tôi trong khóa luận tốt nghiệp.
Thay đã tận tình giúp đỡ, chỉ bảo dé tôi có thé hoàn thành đề tài. Thầy cũng đã tạo điều kiện thuận lợi, giải đáp các thắc mắc, cung cấp nhiều tài liệu tham khảo quý giá để hỗ trợ tôi trong suốt quá trình nghiên cứu. Bên cạnh đó tôi xin cảm ơn các em, các bạn và các anh/chi trong nhóm đã hỗ trợ, giúp đỡ cho tôi trong giai đoạn tìm hiểu, nghiên cứu và tiễn hành thực nghiệm. Tôi xin chân thành gửi lời cảm ơn đến trường Đại Học Công Nghệ Thông Tin-Đại học Quốc gia Thành phó Hồ Chí Minh và phòng thí nghiệm Truyền thông Da phương tiện (MMLab) đã tạo điều kiện, môi trường để tôi có cơ hội nghiên cứu và thực nghiệm trong suốt thời gian học tập tại trường.
Cuối cùng, tôi muốn gửi lời cảm ơn chân thành đến những người thân đã luôn bên cạnh hỗ trợ, giúp đỡ dé tôi có động lực hoàn thành khóa luận này. Theo đó, phạm vi kiến thức là vô cùng lớn. Vậy nên, với những giới hạn về kiến thức và thời gian, trong quá trình tìm hiểu và hoàn thành dé tài sẽ không tránh khỏi thiếu sót, tôi rat mong nhận được nhận xét từ quý Thay/C6 và lời góp ý từ Thầy/Cô chính là động lực dé tôi có thé hoàn thiện hơn nữa những kiến thức của mình. Sinh viên thực hiện Nguyễn Thanh Tường Vi MỤC LỤC TOM TAT KHOA LUAN001057.
TONG QUAN DE TAL. Lí do chọn để tải. Mục đích, đối tượng và phạm vi nghiÊn CỨU.- Ăn HH HH TH Hà HH ngư 14 1. _ Đối tượng và phạm vi nghiên cứu.
GiGi thidu Dai tOAN ae. Các thách thire. sọ TT HH Hà Hà Hà ng ngà 17 Chương 2. CÁC NGHIÊN CỨU LIEN QUAN.
Các phương pháp truyền thống. Các phương pháp học sâu. Faster R-CNN [24] oo. Ăn SH HH HH gi, 26 2.
Dynamic Programming Based Approach. Fully Convolutional Neural NetWOTKkS.ẶS-S se 29 Chương 3. NGHIÊN CỨU PHƯƠNG PHAP VA BỘ DU LIỆU. Khảo sát các phương phấp .-- --- «+ + vn HH ng ng ưệt 31 3.
HH HH HT TH HH nh nh 31 3. Kiến trúc mô hình.-- -- kg ng ng ệt 32 3.- 25 S4 SH HH TH TH HH HH ng re34 3. Dynamic Quality in the Training Procedure. ---- «+ 38 (a) Proposal ClasSIÍiCafION.-- - + Ă 1x11 vn ng 39 (b) Bounding Box R€BT€SSIOII.
SG 1v 1S HH net 40 3. -- Ăn HH HH kg 41 (a) Dynamic Label Assignment .- 25 + + 1+3 ESvEeseEeeeerseere 41 (b) Dynamic Smooth LOSS. Deformable Transformers for end-to-end Object Detection. 45 (a) Deformable Attention Module.cccccccccceesscccceeessscececesesseeeeeeeseeee 45 (b) Multi-scale Deformable Attention Module .-------< «5+2 47 (c) Deformable Transformer Encoder.-- -- - ---- «+ + sss+++++sss+48 (d) Deformable Transformer ÏDe€Od€T.
Cải tiến bố sung và Variants cho Deformable DETR. 49 (a) Iterative Bounding Box Refinemer(.- - --«---««++ss+++eexssesesers 49 (b) Deformable DETR hai giai doan. Công thức attention tổng quất. Transformer aff€ntiOI.
Tích chập thông thường và deformable. Dynamic €onVOÌÏUIOH.---- 5 s + xxx vn nh ng rư 55 3. So sánh các cơ chế attention. Kết hợp các module attention vào mạng sâu.
Khảo sát các bộ dit liỆu.-- 5 5S TH TH TH ng HH tư 58 3. SG LH HH HH TH ng ệt 63 3. HH ng ng kg 64 3. HH HH ng như64 3.
Ăn * kg HH ng ệt 64 3.-SẶ S n S212 3S HH Hệ, 65 Chương 4. THỰC NGHIEM VÀ DANH GIIÁ. Quy trình nghiên cứu, thực nghiỆm. Mô tả thực nghiỆm.
t1 19 9 HH HH Hưng ry 66 4. Dữ liệu thực nghiỆm. Phuong pháp đánh giá. Intersection Over Union (lo).
Mean Average Precision (mAIP). Kết quả thực nghiệm và đánh gid. Kết quả thực nghiệm .-- 2-2 c+ESE+EE+EESEE2EEEEEEerkerkerkerree 71 4. Trực quan hóa kết quả.
Đánh giá kết quả.---¿25¿+c+2EteEESEkEEkeEkrerkrerkrrrree Chương 5. KÉT LUẬN VÀ HƯỚNG PHÁT TRIỂN.--- 2 2 s2 szzxzsz TÀI LIỆU THAM KHẢO DANH MỤC HÌNH Hình 1.1: Minh họa đầu vào-đầu ra của bài toán. Hình bên trái là ảnh đầu vào (trang tài liệu chứa các đối tượng cần được phát hiện). Hình bên phải là ảnh đầu ra (các đối tượng được bao quanh bởi các hộp giới hạn (hình chữ nhật) bao gồm table (bảng)-màu vàng, hình (figure)-màu xanh dương va chú thích (caption)-mau đỏ).2: Hình thái thé hiện của các đối tượng đa dạng.3: Cấu trúc, bố cục phức tạp.----2- s5 +E2+EE+EE+EE£EEE2EEEEEEEEerEkrrkerkerkrrer 18 Hình 1.4: Độ giãn cách giữa các lớp đối tuONg.5: Công thức được thé hiện dưới dạng văn bản.--- -- «<< ss+<<ss+ 18 Hình 1.6: Ảnh tài liệu bị nghiêng, biến dang, che khuất.7: Độ phân giải chênh lệch giữa ảnh scan và PDE.1: Hình minh họa su khác biệt co ban giữa các phương pháp truyền thống va các kỹ thuật dựa trên học sâu.
1911991112 11g ng ky 19 Hình 2.2: Hình minh họa các phương pháp truyền thống qua từng năm.3: Hình minh họa các phương pháp học sâu theo từng năm.4: Phân loại các phương pháp luận. Van dé phát hiện đối tượng trang được giải quyết thông qua việc sử dụng các khái niệm học sâu khác nhau. Các cách tiép cận được giải thích được phân chia theo khái niệm [Ï].5: Hình minh họa kiến trúc Faster R-CNN [24].---- +c=szszszszszs+szs2 24 Hình 2.6: Giải thích kiến trúc Mask R-CNN [26].7: Kiến trúc mạng Deformable Convolution kích thước 3 x 3.8: Kiến trúc mang Fully Convolutional Neural Networks. Hình được tham [long 0.1: Kiến trúc mô hình DiT với MIM pre-training [45].2: Minh họa áp dụng DIT làm backbone trong các khung phát hiện khác nhau [45].------ <1 E11 112231111111112301 111111192311 KTS Hy 33 Hình 3.3: Minh họa CDEC-NET được đề xuất, tạo thành từ Mask Cascade R-CNN với deformable convolution thay vì tích chập thông thường [2[].
(a) là một ví dụ về mang baseline. (e) là phương pháp chia tỷ lệ kết hợp được đề xuất của tác giả nhằm chia tỷ lệ đồng nhất cả ba chiều với một ty lệ có định. Hình được tham khảo từ [52].5: Quy trình tổng thé của Dynamic R-CNN [59].-- ¿5c 5 s+cs+ss2 38 Hình 3.6: Phân phối 4 tại các lần lặp và ngưỡng IoU khác nhau. Cột 1 & 2: Dưới ngưỡng IoU, các nhãn hồi quy tập trung hơn khi huấn luyện.
Cột 2 & 3: Ở cùng một lần lặp, tăng ngưỡng IoU sẽ thay đổi đáng ké phân phối [59].7: Đường cong cho (a) loss và (b) gradient của SmoothL1 Loss với Ø khác nhau. được thiết lập mặc định là 1.8: Hình minh họa phương pháp Deformable DETR [60].9: Minh họa Module Deformable Attention [60].10: Hình minh họa phương pháp Empirical Attention. Cac modules có chữ màu xanh được thêm vào các khối có sẵn [63].-:-¿-:+2+c+E+E+EsEEEEEzEzE+tsrrrsrrsee 51 Hình 3.11: Hình minh họa các attention terms khác nhau. Thanh màu phía trên một điểm lây mẫu biểu thị đặc trưng nội dung của nó.
Sự tồn tại của các đặc trưng nội dung và/hoặc vị trí tương đối chỉ ra rằng thuật ngữ này sử dụng chúng để tính toán trọng số attention.NÔÔẨÔẨÔÔÔÔÒÒÔỎ 52 Hình 3.12: Minh họa một vài mẫu trong các bộ dữ liệu chuẩn đã công bồ rộng rãi.1: Hình minh họa quy trình thực nghiệm.- 555235 ‡*++se++seesseess 66 Hình 4.2: Hình ảnh minh họa dữ liệu thực nghiệm.- 55 255555 <++£+sec+xx 67 Hình 4.3: Thống kê số lượng ảnh từng tập train/test/val trong các bộ dữ liệu.4: Thống kê số lượng đối tượng từng tập train/val/test trong các bộ dữ liệu thực nghiỆm. - - œ3 11v 9v HH nh 68 Hình 4.5: Một ví dụ về phát hiện bảng chính xác và không chính xác. Màu xanh lá đại diện cho nhãn của vùng chứa bang trong khi màu đỏ biểu thị ranh giới bang 001u9150005/71 200002020577.6: Minh họa trực quan IoU trong các phương pháp phát hiện đối tượng. Hộp giới hạn có mau xanh lam đại diện cho nhãn trong khi hộp giới hạn có mau đỏ biêu thị hộp giới han được dự đoán.
Xem xét ngưỡng IoU được đặt thành 0.5, chỉ hai dự đoán đầu tiên từ phải sang trái được coi là true positives trong khi dự đoán còn lại được coi là false DOSIẨIVE.- «LH HT TT TH HH HH Hư hệt 70 Hình 4.7: Trực quan hóa kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ liệu UIT-IDODV. Gv HH TT TT HH HH Hàn HH gà 74 Hình 4.8: Trực quan hóa kết quả thực nghiệm của các phương pháp trên tập test của 1905080019180 ì6i: 0275557.AlÀˆẦằ 75 Hình 4.9: Trực quan hóa kết quả thực nghiệm của các phương pháp trên tập test của bd dit ligt ICDAR-2019. 77 DANH MỤC BANG Bang 2.1: Tóm tắt các phương pháp phát hiện đối tượng trang đồ họa khác nhau đã sử dụng mạng nơ-ron sâu [ Í ].-- - <6 + E111 9119930 1991112 ng ngư 24 Bảng 3.1: Mạng EfficientNet-BO baseline-Mỗi dòng mô tả một giai đoạn i với Li lớp, độ phân giải đầu vào Hi, Wi và đầu ra Ci kênh. Bảng được tham khảo từ [52].2: Thống kê chi tiết số liệu của tat cả các bộ dữ liệu.1: So sánh kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ liu UIT-DODV 62011757.2: So sánh kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ J008/b90011062077Ẻ7.3: So sánh kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ I08(99.
72 TÓM TẮT KHÓA LUẬN Phát hiện các đối tượng trong trang tài liệu là một nhiệm vụ cần thiết trước khi thực hiện các nhiệm vụ mở rộng khác như tóm tắt tài liệu, trích xuất hay tra cứu thông tin. Đây là một vấn đề thách thức trong cộng đồng nghiên cứu. Đã có rất nhiều nghiên cứu cho kết quả đạt kỳ vọng trên các bộ dữ liệu chuẩn. Tuy nhiên, hầu hết các phương pháp đều chưa phải là giải pháp tốt nhất khi một mô hình duy nhất dễ dàng sử dụng dé phát hiện và phát triển cho các nghiên cứu tiếp theo van còn hạn chế.