Khảo Sát Các Phương Pháp Phát Hiện Đối Tượng Trong Tài Liệu Ảnh

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp khoa học dữ liệu khảo sát các phương pháp phát hiện đối tượng trong tài liệu dạng ảnh, vận dụng lý thuyết vào thực tế, đề xuất giải pháp

• Tác giả: Nguyễn Thanh Tường Vi
• Người hướng dẫn: ThS. Võ Duy Nguyên
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học Dữ liệu
• Đề tài: Khảo Sát Các Phương Pháp Phát Hiện Đối Tượng Trong Tài Liệu Ảnh
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Lí do chọn đề tài
• 1.2. Mục đích, đối tượng và phạm vi nghiên cứu
• 1.3. Giới thiệu bài toán
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Các phương pháp truyền thống
• 2.2. Các phương pháp học sâu
• 2.2.1. Faster R-CNN
• 2.2.2. Dynamic Programming Based Approach
• 2.2.3. Fully Convolutional Neural Networks
• 3. CHƯƠNG 3: NGHIÊN CỨU PHƯƠNG PHÁP VÀ BỘ DỮ LIỆU
• 3.1. Khảo sát các phương pháp
• 3.2. Kiến trúc mô hình
• 3.3. Dynamic Quality in the Training Procedure
• 3.3.1. Proposal Classification
• 3.3.2. Bounding Box Regression
• 3.3.3. Dynamic Label Assignment
• 3.3.4. Dynamic Smooth Loss
• 3.4. Deformable Transformers for end-to-end Object Detection
• 3.4.1. Deformable Attention Module
• 3.4.2. Multi-scale Deformable Attention Module
• 3.4.3. Deformable Transformer Encoder
• 3.4.4. Deformable Transformer Decoder
• 3.4.5. Cải tiến bổ sung và Variants cho Deformable DETR
• 3.4.6. Iterative Bounding Box Refinement
• 3.4.7. Deformable DETR hai giai đoạn
• 3.5. So sánh các cơ chế attention và kết hợp các module attention vào mạng sâu
• 3.6. Khảo sát các bộ dữ liệu
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Quy trình nghiên cứu, thực nghiệm
• 4.2. Dữ liệu thực nghiệm
• 4.3. Phương pháp đánh giá
• 4.3.1. Intersection Over Union (IoU)
• 4.3.2. Mean Average Precision (mAP)
• 4.4. Kết quả thực nghiệm và đánh giá
• 4.4.1. Kết quả thực nghiệm
• 4.4.2. Trực quan hóa kết quả
• 4.4.3. Đánh giá kết quả
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Khảo Sát Các Phương Pháp Phát Hiện Đối Tượng

Khảo sát các phương pháp phát hiện đối tượng trong tài liệu ảnh là một lĩnh vực nghiên cứu quan trọng. Việc phát hiện các đối tượng như bảng, hình và công thức trong tài liệu không chỉ giúp cải thiện khả năng truy xuất thông tin mà còn hỗ trợ trong việc phân tích dữ liệu. Các phương pháp hiện tại bao gồm cả truyền thống và hiện đại, với sự phát triển mạnh mẽ của công nghệ học sâu. Nghiên cứu này sẽ cung cấp cái nhìn tổng quan về các phương pháp và thách thức trong việc phát hiện đối tượng.

1.1. Định Nghĩa và Tầm Quan Trọng Của Phát Hiện Đối Tượng

Phát hiện đối tượng là quá trình xác định và phân loại các đối tượng trong hình ảnh. Điều này rất quan trọng trong việc trích xuất thông tin từ tài liệu, giúp cải thiện độ chính xác của các hệ thống OCR và các ứng dụng khác.

1.2. Lịch Sử Phát Triển Các Phương Pháp Phát Hiện Đối Tượng

Các phương pháp phát hiện đối tượng đã trải qua nhiều giai đoạn phát triển, từ các thuật toán truyền thống đến các mô hình học sâu hiện đại. Sự chuyển mình này đã mở ra nhiều cơ hội mới trong việc xử lý hình ảnh tài liệu.

II. Các Thách Thức Trong Phát Hiện Đối Tượng Trong Tài Liệu Ảnh

Phát hiện đối tượng trong tài liệu ảnh gặp nhiều thách thức do sự đa dạng về hình thức và chất lượng của tài liệu. Các yếu tố như độ phân giải thấp, ảnh bị mờ, và sự che khuất của các đối tượng đều ảnh hưởng đến khả năng phát hiện. Những thách thức này cần được giải quyết để cải thiện hiệu suất của các phương pháp hiện tại.

2.1. Ảnh Bị Mờ và Chất Lượng Thấp

Chất lượng ảnh là một yếu tố quan trọng ảnh hưởng đến khả năng phát hiện đối tượng. Ảnh bị mờ hoặc có độ phân giải thấp sẽ làm giảm độ chính xác của các thuật toán phát hiện.

2.2. Sự Đa Dạng Trong Hình Thái Đối Tượng

Các đối tượng trong tài liệu có thể có nhiều hình thái khác nhau, từ bảng đến hình ảnh. Sự đa dạng này tạo ra khó khăn trong việc phát hiện và phân loại chính xác.

III. Phương Pháp Truyền Thống Trong Phát Hiện Đối Tượng

Các phương pháp truyền thống như sử dụng các thuật toán hình học và phân tích hình ảnh đã được áp dụng để phát hiện đối tượng trong tài liệu. Mặc dù có những hạn chế, nhưng các phương pháp này vẫn đóng vai trò quan trọng trong việc phát triển các giải pháp hiện đại.

3.1. Các Thuật Toán Hình Học Cơ Bản

Các thuật toán hình học như phân đoạn và nhận diện biên được sử dụng để xác định vị trí của các đối tượng trong tài liệu. Tuy nhiên, chúng thường gặp khó khăn với các đối tượng phức tạp.

3.2. Phân Tích Hình Ảnh Truyền Thống

Phân tích hình ảnh truyền thống dựa vào các đặc trưng hình học và màu sắc để phát hiện đối tượng. Mặc dù hiệu quả trong một số trường hợp, nhưng không thể so sánh với các phương pháp học sâu hiện đại.

IV. Phương Pháp Học Sâu Trong Phát Hiện Đối Tượng

Phương pháp học sâu đã cách mạng hóa lĩnh vực phát hiện đối tượng. Các mô hình như Faster R-CNN, YOLO và SSD đã cho thấy hiệu suất vượt trội trong việc phát hiện đối tượng trong tài liệu ảnh. Những phương pháp này sử dụng mạng nơ-ron sâu để cải thiện độ chính xác và tốc độ phát hiện.

4.1. Faster R CNN Mô Hình Tiên Tiến

Faster R-CNN là một trong những mô hình học sâu tiên tiến nhất cho phát hiện đối tượng. Nó kết hợp giữa phân loại và định vị, cho phép phát hiện nhanh chóng và chính xác.

4.2. YOLO Phát Hiện Thời Gian Thực

YOLO (You Only Look Once) là một phương pháp phát hiện đối tượng nổi bật, cho phép phát hiện trong thời gian thực. Mô hình này chia hình ảnh thành lưới và dự đoán các bounding box cho từng ô.

V. Ứng Dụng Thực Tiễn Của Phát Hiện Đối Tượng Trong Tài Liệu Ảnh

Phát hiện đối tượng trong tài liệu ảnh có nhiều ứng dụng thực tiễn, từ việc trích xuất thông tin đến hỗ trợ trong các hệ thống tìm kiếm tài liệu. Các ứng dụng này không chỉ giúp cải thiện hiệu suất làm việc mà còn nâng cao trải nghiệm người dùng.

5.1. Trích Xuất Thông Tin Từ Tài Liệu

Việc phát hiện đối tượng giúp trích xuất thông tin quan trọng từ tài liệu, hỗ trợ trong việc phân tích và xử lý dữ liệu.

5.2. Hệ Thống Tìm Kiếm Tài Liệu

Các hệ thống tìm kiếm tài liệu sử dụng phát hiện đối tượng để cải thiện khả năng truy xuất thông tin, giúp người dùng dễ dàng tìm kiếm và truy cập dữ liệu cần thiết.

VI. Kết Luận và Hướng Phát Triển Tương Lai

Khảo sát các phương pháp phát hiện đối tượng trong tài liệu ảnh cho thấy sự phát triển mạnh mẽ của công nghệ học sâu. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết. Hướng phát triển tương lai có thể tập trung vào việc cải thiện độ chính xác và khả năng xử lý của các mô hình hiện tại.

6.1. Tương Lai Của Phát Hiện Đối Tượng

Tương lai của phát hiện đối tượng trong tài liệu ảnh sẽ phụ thuộc vào sự phát triển của các mô hình học sâu và công nghệ mới. Việc cải thiện độ chính xác và khả năng xử lý sẽ là mục tiêu chính.

6.2. Nghiên Cứu Thêm Về Các Phương Pháp Mới

Cần tiếp tục nghiên cứu và phát triển các phương pháp mới để giải quyết các thách thức hiện tại trong phát hiện đối tượng, từ đó nâng cao hiệu suất và khả năng ứng dụng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong quy trình số hóa và tự động hóa xử lý văn bản, việc trích xuất thông tin chính xác từ các tài liệu dạng ảnh là một bài toán nền tảng. Phần lớn thông tin quan trọng trong tài liệu quét (scanned documents) hoặc tệp PDF không chỉ lưu trữ dưới dạng văn bản thuần túy mà còn được biểu diễn qua các đối tượng đồ họa như bảng biểu (tables), hình vẽ/biểu đồ (figures), công thức toán học (formulas) và chú thích (captions). Các công nghệ nhận dạng ký tự quang học (OCR) hiện đại nhất không thể trích xuất chính xác cấu trúc dữ liệu nếu thiếu bước định vị và phân loại sơ bộ các đối tượng này. Bên cạnh đó, hầu hết các kiến trúc học sâu trong thị giác máy tính vốn được thiết kế và huấn luyện trên các tập dữ liệu ảnh tự nhiên (như ImageNet, COCO), dẫn đến khoảng cách miền (domain gap) đáng kể khi áp dụng trực tiếp vào ảnh tài liệu – môi trường chủ yếu bao gồm ký tự, đường viền và cấu trúc đồ họa rời rạc.

Trước thực tiễn đó, khóa luận xác định 7 mục tiêu và nhiệm vụ nghiên cứu cụ thể:

1. Tìm hiểu tổng quan về bài toán phát hiện đối tượng trong trang tài liệu dạng ảnh.
2. Khảo sát các bộ dữ liệu chuẩn được công bố rộng rãi liên quan đến hướng giải quyết bài toán.
3. Khảo sát các phương pháp truyền thống và các phương pháp học sâu hiện đại phục vụ cho bài toán.
4. Khảo sát các độ đo phổ biến được dùng trong bài toán phát hiện đối tượng trong tài liệu dạng ảnh.
5. Nghiên cứu, so sánh và đánh giá các bộ dữ liệu dựa trên các nghiên cứu sẵn có.
6. Nghiên cứu, cài đặt thực nghiệm các phương pháp đã tìm hiểu và so sánh, đánh giá các phương pháp đó.
7. Tổng hợp, phân tích, đánh giá kết quả thực nghiệm và viết báo cáo.

Đối tượng nghiên cứu của đề tài là các thành phần đồ họa trong tài liệu dạng ảnh, trọng tâm bao gồm bảng, hình ảnh, công thức và văn bản/chú thích. Về phạm vi nghiên cứu, tác giả khảo sát các công trình học thuật và bộ dữ liệu chuẩn được công bố trong hơn một thập kỷ, đồng thời thực hiện cài đặt thực nghiệm, đo kiểm 6 kiến trúc học sâu trên 3 bộ dữ liệu: bộ dữ liệu tiếng Việt UIT-DODV (phát triển tại Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM), bộ dữ liệu Marmot và ICDAR-2019.

Nghiên cứu phân loại các thách thức cốt lõi của bài toán thành hai nhóm:

• Thách thức từ yếu tố bên ngoài: Chất lượng thu nhận ảnh kém (ảnh bị mờ, nhòe, biến dạng hình học, bị nghiêng hoặc che khuất), độ phân giải thấp, và sự chênh lệch chất lượng rõ rệt giữa tài liệu quét quang học so với tệp PDF gốc sinh ra từ máy tính.
• Thách thức từ yếu tố bên trong: Bố cục trang phức tạp và không đồng nhất, mật độ và độ giãn cách giữa các đối tượng phân bố không đều, sự đa dạng hình thái trong cùng một lớp đối tượng (ví dụ: bảng có đường viền bao quanh và bảng hoàn toàn không có đường viền), công thức toán học thể hiện lẫn vào dòng văn bản, và độ biến thiên giữa các lớp (inter-class variance) rất thấp khiến mô hình dễ nhầm lẫn giữa bảng, hình và công thức.

Cơ sở lý thuyết và phương pháp

Khóa luận phân loại và đối chiếu hai nhóm phương pháp tiếp cận chính trong lịch sử nghiên cứu:

• Phương pháp xử lý ảnh truyền thống: Khai thác các kỹ thuật tiền xử lý hình thái học như nhị phân hóa (binarization), phân tích thành phần liên thông (Connected Component Analysis), biến đổi khoảng cách (Distance Transform), kết hợp các mô hình thống kê như mô hình Markov ẩn (Hidden Markov Models - HMMs) và các thuật toán phỏng đoán (heuristics) dựa trên khoảng trắng, từ khóa hoặc giao điểm đường kẻ dọc/ngang (tiêu biểu qua các nghiên cứu của Tupaj và cộng sự, Wang và cộng sự, Kieninger và cộng sự với hệ thống T-Recs, Gatos và cộng sự, Costa e Silva và cộng sự, Shafait và cộng sự tích hợp trong Tesseract OCR).
• Phương pháp học sâu (Deep Learning): Ứng dụng mạng nơ-ron tích chập (CNN) và Transformer làm mạng trích xuất đặc trưng (backbone) để tự động xây dựng bản đồ đặc trưng không gian. Các khung phát hiện bao gồm mạng hai giai đoạn (Faster R-CNN, Mask R-CNN, Cascade Mask R-CNN), mạng tích chập hoàn toàn (FCNN kết hợp Conditional Random Fields - CRF), mạng tích chập biến dạng (Deformable Convolutions), tối ưu hóa vùng đề xuất bằng quy hoạch động (Dynamic Programming), và các mô hình thị giác Transformer (DiT, Deformable DETR).

Sáu kiến trúc học sâu trọng tâm được khảo sát sâu về mặt cấu trúc và toán học gồm:

• DiT (Document Image Transformer): Sử dụng mạng Vision Transformer thuần túy, tiền huấn luyện theo cơ chế mô hình hóa ảnh che (Masked Image Modeling - MIM) với bộ mã hóa biến phân rời rạc (dVAE) được huấn luyện riêng trên 42 triệu ảnh tài liệu IIT-CDIP để thu nhận visual tokens rời rạc, sau đó tinh chỉnh qua khung phát hiện Mask R-CNN hoặc Cascade R-CNN trên nền tảng Detectron2.
• CDeC-Net: Khung phát hiện bảng phức hợp dựa trên Cascade Mask R-CNN, sử dụng dual backbone ResNeXt-101 kết hợp các bộ lọc tích chập biến dạng (Deformable Convolution) thay thế cho tích chập thông thường, nhằm thích ứng với các biến đổi hình học và nâng cao độ chính xác ở các ngưỡng giao cắt cao.
• EfficientNet: Kiến trúc mạng tối ưu hóa đồng thời độ chính xác và FLOPS thông qua phương pháp chia tỷ lệ kết hợp (compound scaling) đồng đều cả ba chiều: độ sâu (depth), độ rộng (width) và độ phân giải đầu vào (resolution), với khối cơ sở MBConv tích hợp cơ chế squeeze-and-excitation.
• Dynamic R-CNN: Phương pháp phát hiện thích ứng với đặc tính động của quá trình huấn luyện thông qua hai kỹ thuật: Gán nhãn động (Dynamic Label Assignment - DLA) tự động tăng dần ngưỡng IoU theo chất lượng vùng đề xuất, và Hàm mất mát Dynamic SmoothL1 Loss (DSL) tự động co giãn tham số $\beta$ để tăng cường gradient đóng góp từ các mẫu có độ chính xác định vị cao.
• Deformable DETR: Bộ phát hiện đầu-cuối (end-to-end) giải quyết sự hội tụ chậm và giới hạn độ phân giải của Transformer gốc bằng mô-đun Multi-scale Deformable Attention, chỉ tập trung vào một tập hợp nhỏ gồm $K$ điểm lấy mẫu xung quanh điểm tham chiếu trên các mức bản đồ đặc trưng khác nhau.
• Empirical Attention: Khung toán học tổng quát hóa cơ chế attention, phân tích mối tương quan giữa self-attention không gian, attention theo kênh đặc trưng, tích chập biến dạng và tích chập động (dynamic convolution).

Phương pháp đánh giá thực nghiệm dựa trên hai chỉ số chuẩn trong bài toán phát hiện đối tượng:

• Intersection over Union (IoU): Tỷ lệ diện tích giao nhau trên diện tích hợp nhất giữa hộp giới hạn dự đoán ($b$) và hộp nhãn thực tế ($G$).
• Mean Average Precision (mAP): Trung bình độ chính xác trung bình của các lớp đối tượng tại các ngưỡng IoU xác định.

Nguồn dữ liệu thực nghiệm bao gồm: bộ dữ liệu UIT-DODV, tập dữ liệu Marmot và tập dữ liệu ICDAR-2019 (cTDaR), được chia thành các tập huấn luyện (train), kiểm định (val) và kiểm tra (test).

Nội dung chính theo từng chương

Chương 1. Tổng quan đề tài

Chương mở đầu phân tích sự cần thiết của việc phát hiện đối tượng trang đồ họa trước giai đoạn OCR trong các hệ thống trích xuất và truy xuất tài liệu tự động. Tác giả định nghĩa bài toán phát hiện đối tượng dưới dạng bài toán kết hợp giữa phân loại (classification) và định vị hộp giới hạn (localization), với đầu vào là ảnh trang tài liệu (PDF hoặc scan) và đầu ra là danh sách các bounding box kèm nhãn tương ứng (table, figure, caption, text). Chương này xác định chi tiết 7 nhiệm vụ nghiên cứu, đồng thời hệ thống hóa các rào cản kỹ thuật thành hai nhóm: rào cản ngoại cảnh (nhiễu scan, biến dạng, che khuất, lệch độ phân giải) và rào cản nội tại (hình thái bảng có viền/không viền, công thức toán học chìm trong dòng chữ, bố cục đa dạng, phương sai liên lớp thấp).

Chương 2. Các nghiên cứu liên quan

Chương 2 cung cấp bức tranh toàn cảnh về lịch sử phát triển của các phương pháp phát hiện đối tượng tài liệu, chia tách thành hai nhánh kỹ thuật:

• Các phương pháp truyền thống: Đánh giá phương pháp của Tupaj và cộng sự (dùng OCR phân tích khoảng trắng và từ khóa; hạn chế là phụ thuộc tập từ khóa định sẵn); Wang và cộng sự (dùng khoảng cách từ để tìm dòng bảng, giới hạn tối đa 2 cột); hệ thống T-Recs của Kieninger và cộng sự (dùng đồ thị phân đoạn từ dưới lên, dễ lỗi khi bảng có nhiều hàng/cột); Gatos và cộng sự (tính giao điểm đường ngang/dọc, đòi hỏi bảng phải có đường kẻ rõ ràng); Costa e Silva và cộng sự (dùng HMM trên luồng văn bản từ pdftotext); Hu và cộng sự; Shafait và cộng sự (tích hợp trong Tesseract OCR). Nhược điểm chung của nhóm này là phụ thuộc vào cấu trúc mẫu định trước và xử lý hậu kỳ phức tạp, không thích ứng được trên các bộ dữ liệu không đồng nhất.
• Các phương pháp học sâu: Khảo sát các công trình khai thác mạng Faster R-CNN (Schreiber và cộng sự dùng ZFNet/VGG-16 với transfer learning từ Pascal-VOC; Võ và cộng sự kết hợp RPN của Faster R-CNN và Fast R-CNN trên ICDAR-17 POD; Younas và cộng sự cùng Gilani và cộng sự biến đổi khoảng cách Euclid, tuyến tính và cực đại trên 3 kênh màu RGB trước khi đưa vào Faster R-CNN); Mask R-CNN (Saha và cộng sự với hệ thống Graphical Object Detection - GOD, khai thác segmentation loss để phân tách các lớp đối tượng có phương sai thấp mà không cần tiền xử lý phức tạp); Tích chập biến dạng (Siddiqui và cộng sự với De-CNT và deformable FPN; Younas và cộng sự với Fi-Fo Detector); Mạng FCNN (Kavasidis và cộng sự xử lý bảng và biểu đồ dưới dạng bản đồ đối tượng nổi bật kết hợp CRF); Phương pháp dựa trên quy hoạch động (Yi và cộng sự thay thế Non-Maximum Suppression bằng thuật toán quy hoạch động để giải quyết tỷ lệ khung hình có phương sai cao).

Chương 3. Nghiên cứu phương pháp và bộ dữ liệu

Chương này đi sâu vào chi tiết kiến trúc, giải thuật và cơ sở toán học của 6 phương pháp học sâu hiện đại:

• DiT: Mô tả quá trình tiền huấn luyện MIM trên 42 triệu ảnh tài liệu IIT-CDIP bằng dVAE để sinh chuỗi visual tokens, cơ chế mã hóa chuỗi patch qua các khối Transformer Encoder, và phương thức thích ứng ViT đơn tỷ lệ với cấu trúc FPN đa tỷ lệ trong khung Detectron2 (Mask R-CNN, Cascade R-CNN) qua 4 mô-đun biến đổi độ phân giải.
• CDeC-Net: Phân tích cấu trúc Cascade Mask R-CNN đa tầng sử dụng dual backbone ResNeXt-101 kết hợp tích chập biến dạng $3 \times 3$, cho phép receptive field tự thích ứng theo offset vị trí học được, giúp mô hình duy trì hiệu suất cao ở các ngưỡng IoU khắt khe.
• EfficientNet: Trình bày quy trình compound scaling dựa trên mô hình cơ sở EfficientNet-B0 (thiết kế bằng tìm kiếm kiến trúc mạng đa mục tiêu với hàm $ACC(m) \times [FLOPS(m)/T]^w$, mục tiêu 400M FLOPS, cấu tạo từ các khối MBConv1, MBConv6 tích hợp squeeze-and-excitation). Tác giả làm rõ quy trình tìm kiếm hệ số tỷ lệ $\alpha, \beta, \gamma$ ở bước 1 và cố định để mở rộng lên các dòng từ B1 đến B7 ở bước 2.
• Dynamic R-CNN: Trình bày hiện tượng phân phối nhãn hồi quy $\Delta = (\delta_x, \delta_y, \delta_w, \delta_h)$ thay đổi trong quá trình huấn luyện và đề xuất hai giải pháp: (a) Dynamic Label Assignment (DLA) cập nhật tự động ngưỡng $T_{now}$ dựa trên giá trị top-$K_L$ lớn nhất của IoU giữa các đề xuất và nhãn mục tiêu sau mỗi $C$ lần lặp; (b) Dynamic SmoothL1 Loss (DSL) điều chỉnh tự động tham số $\beta_{now}$ theo giá trị trung vị của top-$K_R$ nhỏ nhất của sai số hồi quy nhằm tập trung tối ưu các mẫu chất lượng cao.
• Deformable DETR: Phân tích công thức Multi-scale Deformable Attention, chứng minh độ phức tạp tính toán giảm xuống $O(2N_q C^2 + \min(HWC^2, N_q K C^2))$ — đạt mức tuyến tính $O(HWC^2)$ ở encoder ($N_q = HW$) và $O(N K C^2)$ ở decoder ($N_q = N$). Đồng thời mô tả cấu trúc tinh chỉnh hộp giới hạn lặp lại (iterative bounding box refinement) và biến thể Deformable DETR hai giai đoạn (two-stage).
• Empirical Attention: Thiết lập công thức attention tổng quát, so sánh cơ chế tính trọng số attention giữa Transformer attention, deformable convolution và dynamic convolution theo không gian và kênh đặc trưng. Chương cũng hoàn thành việc thống kê, phân loại các bộ dữ liệu chuẩn đã công bố (UIT-DODV, Marmot, ICDAR-2019, PubLayNet, TableBank, UNLV, ICDAR-13, ICDAR-17 POD).

Chương 4. Thực nghiệm và đánh giá

Chương 4 thiết lập quy trình thực nghiệm gồm các bước: chuẩn bị dữ liệu, phân chia tập train/val/test, tiền xử lý và huấn luyện các mô hình DiT, CDeC-Net, EfficientNet, Dynamic R-CNN, Deformable DETR, Empirical Attention. Tác giả trình bày phương pháp đánh giá dựa trên IoU và mAP, thống kê chi tiết số lượng ảnh và đối tượng trên từng tập dữ liệu thực nghiệm (UIT-DODV, Marmot, ICDAR-2019). Kết quả thực nghiệm được tổng hợp qua các bảng so sánh định lượng trên tập kiểm tra của từng bộ dữ liệu, đi kèm các hình ảnh trực quan hóa hộp giới hạn dự đoán so với nhãn thực tế, chỉ ra các trường hợp true positive, false positive và phân tích nguyên nhân sai lệch khi định vị ranh giới bảng biểu.

Chương 5. Kết luận và hướng phát triển

Chương cuối tóm tắt toàn bộ các đóng góp chính của đề tài về mặt lý thuyết và thực nghiệm, tổng kết ưu điểm và hạn chế của từng phương pháp tiếp cận khi giải quyết bài toán phát hiện đối tượng trong tài liệu dạng ảnh, đồng thời đề xuất các hướng mở rộng nghiên cứu trong tương lai.

Kết quả và đóng góp

Khóa luận đã hoàn thành việc hệ thống hóa và so sánh toàn diện các phương pháp tiếp cận phát hiện đối tượng trang đồ họa bằng mạng nơ-ron sâu, được tổng hợp trong bảng đối chiếu sau:

Phương pháp	Kiến trúc nền tảng	Ưu điểm chính	Nhược điểm / Hạn chế
De-CNT	Deformable Convolutions trong Faster R-CNN	Trường tiếp nhận động (dynamic receptive field) giúp nhận diện ranh giới bảng có bố cục tùy ý	Chi phí tính toán lớn hơn so với CNN thông thường
Fi-Fo Detector	Biến đổi màu sắc, phân tích thành phần liên thông, biến đổi khoảng cách + Deformable FPN	Biểu diễn ảnh biến đổi giúp mạng tập trung vào đối tượng tốt hơn ảnh thô	Phụ thuộc vào các bước tiền xử lý ảnh phức tạp
DeepDeSRT	Faster R-CNN kết hợp transfer learning	Cách tiếp cận trực tiếp, đơn giản và hiệu quả trên tập dữ liệu chuẩn	Độ chính xác phát hiện thấp hơn các kiến trúc cải tiến sau này
Phương pháp của Võ và cs	Kết hợp Fast R-CNN và Faster R-CNN	Tận dụng Selective Search và RPN để sinh vùng đề xuất (RoIs) đáng tin cậy	Chi phí tính toán cao do kết hợp song song hai mạng phát hiện
Phương pháp của Gilani và cs	Biến đổi khoảng cách 3 kênh (Euclid, tuyến tính, cực đại) + Faster R-CNN	Biến đổi khoảng cách giúp mạng tăng cường khả năng hội tụ vào ranh giới bảng	Yêu cầu bước tiền xử lý bổ sung trên từng kênh màu
CDeC-Net	Cascade Mask R-CNN với Deformable Convolutions	Kiến trúc kim tự tháp đa tỷ lệ, cải thiện rõ rệt độ chính xác ở các ngưỡng IoU cao	Yêu cầu tài nguyên tính toán lớn do kết hợp dual backbone ResNeXt-101
Phương pháp của Kavasidis và cs	Mạng FCNN kết hợp fully connected CRF	Mô hình hóa bài toán dưới dạng phát hiện đối tượng nổi bật, tích chập thưa tăng hiệu suất	Phụ thuộc nhiều bước tiền xử lý để đạt kết quả tối ưu
Phương pháp của Yi và cs	Mạng CNN chuyên biệt kết hợp thuật toán quy hoạch động	Thay thế NMS bằng quy hoạch động, xử lý tốt đối tượng có tỷ lệ khung hình biến thiên mạnh	Cần quy trình hậu xử lý tính toán riêng biệt
DiT	Vision Transformer với MIM pre-training trên IIT-CDIP	Khắc phục domain gap giữa ảnh tự nhiên và tài liệu, đa năng cho nhiều tác vụ Document AI	Đòi hỏi tài nguyên tiền huấn luyện cực lớn (42 triệu ảnh)
Dynamic R-CNN	Faster R-CNN với DLA và DSL	Tự động thích ứng ngưỡng IoU và hình dạng hàm loss theo tiến trình cải thiện vùng đề xuất	Cần tinh chỉnh thêm các siêu tham số cập nhật ($K_L, K_R, C$)
Deformable DETR	Transformer End-to-End với Multi-scale Deformable Attention	Hội tụ nhanh gấp nhiều lần DETR gốc, độ phức tạp tính toán tuyến tính theo kích thước ảnh	Khó khăn tối ưu hóa nếu không có cơ chế bù điểm tham chiếu

Các đóng góp chính mà tác giả đã thực hiện bao gồm:

• Khảo sát có hệ thống quá trình phát triển của bài toán phát hiện đối tượng trang từ các giải pháp truyền thống (heuristics, phân đoạn hình thái) đến các kiến trúc học sâu hiện đại nhất (CNN hai giai đoạn, mạng tích chập biến dạng, mạng Transformer).
• Phân tích chi tiết cơ sở toán học và cơ chế vận hành của 6 phương pháp tiên tiến: DiT, CDeC-Net, EfficientNet, Dynamic R-CNN, Deformable DETR và Empirical Attention.
• Thống kê định tính và định lượng các bộ dữ liệu chuẩn trong hơn một thập kỷ, đồng thời thực hiện cài đặt thực nghiệm, đánh giá đối sánh các mô hình trên tập kiểm tra của 3 bộ dữ liệu: UIT-DODV, Marmot và ICDAR-2019.
• Xây dựng thành công một chương trình ứng dụng minh họa tiếp nhận ảnh đầu vào của trang tài liệu và xuất ra các bounding box định vị chính xác kèm nhãn phân loại của các đối tượng quan tâm.

Hạn chế và hướng nghiên cứu tiếp

Theo trình bày của tác giả trong văn bản, nghiên cứu còn tồn tại một số hạn chế:

• Phạm vi kiến thức của lĩnh vực thị giác máy tính cho tài liệu là rất rộng, trong khi thời gian và tài nguyên phần cứng phục vụ nghiên cứu khóa luận có giới hạn nhất định.
• Các kiến trúc học sâu đạt độ chính xác cao (như CDeC-Net với dual backbone ResNeXt-101 hay DiT với mô hình Transformer sâu) đòi hỏi tài nguyên tính toán và bộ nhớ đồ họa rất lớn trong cả giai đoạn huấn luyện lẫn suy luận.
• Kết quả nhận diện vẫn còn gặp lỗi (false positives hoặc định vị lệch biên) đối với các trường hợp ảnh quét chất lượng thấp, ảnh bị nghiêng, các bảng không có đường viền phân tách cột/hàng, hoặc các công thức toán học nội dòng có cấu trúc tương tự văn bản thông thường.

Các hướng mở rộng được tác giả đề xuất bao gồm:

• Mở rộng phạm vi đánh giá thực nghiệm trên các bộ dữ liệu tài liệu đa dạng hơn về ngôn ngữ, thể loại ấn phẩm và cấu trúc trình bày.
• Nghiên cứu tối ưu hóa kích thước và tốc độ suy luận của mô hình để có thể triển khai trên các hệ thống có cấu hình phần cứng giới hạn.
• Cải thiện độ chính xác phát hiện đối với các trường hợp hình thái phức tạp và có tính nhập nhằng cao (bảng không viền, biểu đồ lồng chữ).
• Kết hợp mô hình phát hiện đối tượng với các giai đoạn tiếp theo trong đường ống xử lý tài liệu thông minh, bao gồm nhận dạng cấu trúc bảng chi tiết và trích xuất nội dung bằng OCR.

Giá trị tham khảo

Khóa luận là nguồn tài liệu tham khảo có giá trị học thuật và thực tiễn cho:

• Sinh viên, học viên cao học thuộc các ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo, Công nghệ Thông tin đang thực hiện các đề tài nghiên cứu về Thị giác máy tính (Computer Vision), Xử lý tài liệu thông minh (Document AI) và Phân tích bố cục tài liệu (Document Layout Analysis).
• Các kỹ sư phát triển phần mềm đang xây dựng các hệ thống tự động hóa xử lý văn bản, trích xuất hóa đơn, hợp đồng số hóa hoặc xây dựng các công cụ hỗ trợ đọc hiểu tài liệu khoa học.

Các nội dung đáng tham khảo nhất trong tài liệu:

• Chương 2 và Chương 3: Phần tổng hợp lý thuyết, sơ đồ phân loại các phương pháp luận qua từng năm, bảng so sánh ưu/nhược điểm của các phương pháp học sâu và phần phân tích toán học chi tiết của các kỹ thuật tiên tiến (MIM trong DiT, cơ chế DLA/DSL trong Dynamic R-CNN, Multi-scale Deformable Attention trong Deformable DETR).
• Chương 4: Quy trình thiết lập thực nghiệm chuẩn hóa, việc ứng dụng các độ đo IoU và mAP, cùng kết quả đánh giá đối sánh đa mô hình trên bộ dữ liệu tài liệu tiếng Việt UIT-DODV.

Câu hỏi thường gặp

1. Khóa luận đã cài đặt thực nghiệm những mô hình học sâu cụ thể nào?
Tác giả đã tìm hiểu, cài đặt thực nghiệm và đánh giá đối sánh 6 phương pháp học sâu gồm: DiT, CDeC-Net, EfficientNet, Dynamic R-CNN, Deformable DETR và Empirical Attention.

2. Ba bộ dữ liệu được sử dụng trực tiếp để đo kiểm thực nghiệm trong khóa luận là gì?
Các mô hình được thực nghiệm và đánh giá trên tập kiểm tra (test set) của 3 bộ dữ liệu: UIT-DODV (bộ dữ liệu tài liệu tiếng Việt do UIT xây dựng), Marmot và ICDAR-2019 (cTDaR).

3. Cơ chế hoạt động của Dynamic Label Assignment (DLA) và Dynamic SmoothL1 Loss (DSL) trong Dynamic R-CNN là gì?

• Dynamic Label Assignment (DLA): Tự động nâng dần ngưỡng IoU ($T_{now}$) trong quá trình huấn luyện dựa trên giá trị top-$K_L$ lớn nhất của các đề xuất sau mỗi $C$ lần lặp, giúp bộ phân loại thích ứng với chất lượng ngày càng tăng của vùng đề xuất mà không làm mất mẫu dương tính.
• Dynamic SmoothL1 Loss (DSL): Tự động điều chỉnh tham số ngưỡng $\beta_{now}$ dựa trên giá trị trung vị của top-$K_R$ nhỏ nhất của sai số hồi quy sau mỗi $C$ lần lặp, làm thay đổi hình dạng hàm mất mát để tập trung tối ưu hóa các mẫu chất lượng cao.

4. Vì sao mô hình DiT phải huấn luyện lại bộ mã hóa dVAE trên tập dữ liệu IIT-CDIP thay vì sử dụng dVAE có sẵn của DALL-E?
Bộ mã hóa dVAE của DALL-E được huấn luyện trên 400 triệu ảnh tự nhiên, dẫn đến sự không khớp về miền (domain gap) khi áp dụng cho tài liệu vốn chủ yếu chứa ký tự và đồ họa rời rạc. Do đó, tác giả DiT đã huấn luyện lại dVAE trên 42 triệu ảnh tài liệu của tập IIT-CDIP để tạo ra các visual tokens rời rạc phù hợp hơn cho miền ảnh tài liệu.

5. Điểm mấu chốt giúp Deformable DETR giảm độ phức tạp tính toán so với DETR nguyên bản là gì?
Thay vì để mỗi phần tử truy vấn chú ý đến toàn bộ các vị trí không gian trên bản đồ đặc trưng (gây ra độ phức tạp bậc hai và hội tụ rất chậm), mô-đun Multi-scale Deformable Attention trong Deformable DETR chỉ lấy mẫu một số lượng cố định gồm $K$ điểm chính xung quanh một điểm tham chiếu ($K \ll HW$). Nhờ đó, độ phức tạp tính toán giảm xuống mức tuyến tính $O(HWC^2)$ đối với encoder và $O(NKC^2)$ đối với decoder.

Kết luận

Khóa luận của tác giả Nguyễn Thanh Tường Vi đã thực hiện một khảo sát toàn diện và có hệ thống về bài toán phát hiện đối tượng trang đồ họa trong tài liệu dạng ảnh, bao quát từ các phương pháp xử lý ảnh truyền thống đến các kiến trúc học sâu và Transformer hiện đại. Đề tài đã phân tích sâu sắc cơ sở lý thuyết, mô hình toán học của 6 phương pháp tiên tiến (DiT, CDeC-Net, EfficientNet, Dynamic R-CNN, Deformable DETR, Empirical Attention) và các thách thức đặc thù của miền dữ liệu tài liệu. Đồng thời, nghiên cứu đã tiến hành thực nghiệm đo kiểm, so sánh định lượng các mô hình trên 3 bộ dữ liệu (UIT-DODV, Marmot, ICDAR-2019) và xây dựng chương trình minh họa phát hiện đối tượng trực quan, cung cấp tài liệu tham khảo giá trị cho cộng đồng nghiên cứu thị giác máy tính và phân tích tài liệu thông minh.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KHOA HOC VA KY THUAT THONG TIN NGUYEN THANH TUONG VI KHOA LUAN TOT NGHIEP KHAO SAT CAC PHUONG PHAP PHAT HIEN DOI Review of object detection methods for document images CU NHAN NGANH KHOA HOC DU LIEU TP. HO CHi MINH, 2022 ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC VÀ KỸ THUẬT THÔNG TIN NGUYEN THANH TƯỜNG VI-18521636 KHÓA LUẬN TÓT NGHIỆP KHẢO SÁT CÁC PHƯƠNG PHÁP PHÁT HIỆN ĐÓI TƯỢNG TRONG TÀI LIỆU DẠNG ẢNH Review of object detection methods for document images CU NHAN NGANH KHOA HOC DU LIEU GIANG VIEN HUONG DAN THS.

VO DUY NGUYEN TP. HO CHi MINH, 2022 THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số. của Hiệu trưởng Trường Dai học Công nghệ Thông tin. LỜI CẢM ƠN Lời đầu tiên, tôi xin gửi lời cảm ơn chân thành đến Thầy Võ Duy Nguyên-giảng viên hướng dẫn cho tôi trong khóa luận tốt nghiệp.

Thay đã tận tình giúp đỡ, chỉ bảo dé tôi có thé hoàn thành đề tài. Thầy cũng đã tạo điều kiện thuận lợi, giải đáp các thắc mắc, cung cấp nhiều tài liệu tham khảo quý giá để hỗ trợ tôi trong suốt quá trình nghiên cứu. Bên cạnh đó tôi xin cảm ơn các em, các bạn và các anh/chi trong nhóm đã hỗ trợ, giúp đỡ cho tôi trong giai đoạn tìm hiểu, nghiên cứu và tiễn hành thực nghiệm. Tôi xin chân thành gửi lời cảm ơn đến trường Đại Học Công Nghệ Thông Tin-Đại học Quốc gia Thành phó Hồ Chí Minh và phòng thí nghiệm Truyền thông Da phương tiện (MMLab) đã tạo điều kiện, môi trường để tôi có cơ hội nghiên cứu và thực nghiệm trong suốt thời gian học tập tại trường.

Cuối cùng, tôi muốn gửi lời cảm ơn chân thành đến những người thân đã luôn bên cạnh hỗ trợ, giúp đỡ dé tôi có động lực hoàn thành khóa luận này. Theo đó, phạm vi kiến thức là vô cùng lớn. Vậy nên, với những giới hạn về kiến thức và thời gian, trong quá trình tìm hiểu và hoàn thành dé tài sẽ không tránh khỏi thiếu sót, tôi rat mong nhận được nhận xét từ quý Thay/C6 và lời góp ý từ Thầy/Cô chính là động lực dé tôi có thé hoàn thiện hơn nữa những kiến thức của mình. Sinh viên thực hiện Nguyễn Thanh Tường Vi MỤC LỤC TOM TAT KHOA LUAN001057.

TONG QUAN DE TAL. Lí do chọn để tải. Mục đích, đối tượng và phạm vi nghiÊn CỨU.- Ăn HH HH TH Hà HH ngư 14 1. _ Đối tượng và phạm vi nghiên cứu.

GiGi thidu Dai tOAN ae. Các thách thire. sọ TT HH Hà Hà Hà ng ngà 17 Chương 2. CÁC NGHIÊN CỨU LIEN QUAN.

Các phương pháp truyền thống. Các phương pháp học sâu. Faster R-CNN [24] oo. Ăn SH HH HH gi, 26 2.

Dynamic Programming Based Approach. Fully Convolutional Neural NetWOTKkS.ẶS-S se 29 Chương 3. NGHIÊN CỨU PHƯƠNG PHAP VA BỘ DU LIỆU. Khảo sát các phương phấp .-- --- «+ + vn HH ng ng ưệt 31 3.

HH HH HT TH HH nh nh 31 3. Kiến trúc mô hình.-- -- kg ng ng ệt 32 3.- 25 S4 SH HH TH TH HH HH ng re34 3. Dynamic Quality in the Training Procedure. ---- «+ 38 (a) Proposal ClasSIÍiCafION.-- - + Ă 1x11 vn ng 39 (b) Bounding Box R€BT€SSIOII.

SG 1v 1S HH net 40 3. -- Ăn HH HH kg 41 (a) Dynamic Label Assignment .- 25 + + 1+3 ESvEeseEeeeerseere 41 (b) Dynamic Smooth LOSS. Deformable Transformers for end-to-end Object Detection. 45 (a) Deformable Attention Module.cccccccccceesscccceeessscececesesseeeeeeeseeee 45 (b) Multi-scale Deformable Attention Module .-------< «5+2 47 (c) Deformable Transformer Encoder.-- -- - ---- «+ + sss+++++sss+48 (d) Deformable Transformer ÏDe€Od€T.

Cải tiến bố sung và Variants cho Deformable DETR. 49 (a) Iterative Bounding Box Refinemer(.- - --«---««++ss+++eexssesesers 49 (b) Deformable DETR hai giai doan. Công thức attention tổng quất. Transformer aff€ntiOI.

Tích chập thông thường và deformable. Dynamic €onVOÌÏUIOH.---- 5 s + xxx vn nh ng rư 55 3. So sánh các cơ chế attention. Kết hợp các module attention vào mạng sâu.

Khảo sát các bộ dit liỆu.-- 5 5S TH TH TH ng HH tư 58 3. SG LH HH HH TH ng ệt 63 3. HH ng ng kg 64 3. HH HH ng như64 3.

Ăn * kg HH ng ệt 64 3.-SẶ S n S212 3S HH Hệ, 65 Chương 4. THỰC NGHIEM VÀ DANH GIIÁ. Quy trình nghiên cứu, thực nghiỆm. Mô tả thực nghiỆm.

t1 19 9 HH HH Hưng ry 66 4. Dữ liệu thực nghiỆm. Phuong pháp đánh giá. Intersection Over Union (lo).

Mean Average Precision (mAIP). Kết quả thực nghiệm và đánh gid. Kết quả thực nghiệm .-- 2-2 c+ESE+EE+EESEE2EEEEEEerkerkerkerree 71 4. Trực quan hóa kết quả.

Đánh giá kết quả.---¿25¿+c+2EteEESEkEEkeEkrerkrerkrrrree Chương 5. KÉT LUẬN VÀ HƯỚNG PHÁT TRIỂN.--- 2 2 s2 szzxzsz TÀI LIỆU THAM KHẢO DANH MỤC HÌNH Hình 1.1: Minh họa đầu vào-đầu ra của bài toán. Hình bên trái là ảnh đầu vào (trang tài liệu chứa các đối tượng cần được phát hiện). Hình bên phải là ảnh đầu ra (các đối tượng được bao quanh bởi các hộp giới hạn (hình chữ nhật) bao gồm table (bảng)-màu vàng, hình (figure)-màu xanh dương va chú thích (caption)-mau đỏ).2: Hình thái thé hiện của các đối tượng đa dạng.3: Cấu trúc, bố cục phức tạp.----2- s5 +E2+EE+EE+EE£EEE2EEEEEEEEerEkrrkerkerkrrer 18 Hình 1.4: Độ giãn cách giữa các lớp đối tuONg.5: Công thức được thé hiện dưới dạng văn bản.--- -- «<< ss+<<ss+ 18 Hình 1.6: Ảnh tài liệu bị nghiêng, biến dang, che khuất.7: Độ phân giải chênh lệch giữa ảnh scan và PDE.1: Hình minh họa su khác biệt co ban giữa các phương pháp truyền thống va các kỹ thuật dựa trên học sâu.

1911991112 11g ng ky 19 Hình 2.2: Hình minh họa các phương pháp truyền thống qua từng năm.3: Hình minh họa các phương pháp học sâu theo từng năm.4: Phân loại các phương pháp luận. Van dé phát hiện đối tượng trang được giải quyết thông qua việc sử dụng các khái niệm học sâu khác nhau. Các cách tiép cận được giải thích được phân chia theo khái niệm [Ï].5: Hình minh họa kiến trúc Faster R-CNN [24].---- +c=szszszszszs+szs2 24 Hình 2.6: Giải thích kiến trúc Mask R-CNN [26].7: Kiến trúc mạng Deformable Convolution kích thước 3 x 3.8: Kiến trúc mang Fully Convolutional Neural Networks. Hình được tham [long 0.1: Kiến trúc mô hình DiT với MIM pre-training [45].2: Minh họa áp dụng DIT làm backbone trong các khung phát hiện khác nhau [45].------ <1 E11 112231111111112301 111111192311 KTS Hy 33 Hình 3.3: Minh họa CDEC-NET được đề xuất, tạo thành từ Mask Cascade R-CNN với deformable convolution thay vì tích chập thông thường [2[].

(a) là một ví dụ về mang baseline. (e) là phương pháp chia tỷ lệ kết hợp được đề xuất của tác giả nhằm chia tỷ lệ đồng nhất cả ba chiều với một ty lệ có định. Hình được tham khảo từ [52].5: Quy trình tổng thé của Dynamic R-CNN [59].-- ¿5c 5 s+cs+ss2 38 Hình 3.6: Phân phối 4 tại các lần lặp và ngưỡng IoU khác nhau. Cột 1 & 2: Dưới ngưỡng IoU, các nhãn hồi quy tập trung hơn khi huấn luyện.

Cột 2 & 3: Ở cùng một lần lặp, tăng ngưỡng IoU sẽ thay đổi đáng ké phân phối [59].7: Đường cong cho (a) loss và (b) gradient của SmoothL1 Loss với Ø khác nhau. được thiết lập mặc định là 1.8: Hình minh họa phương pháp Deformable DETR [60].9: Minh họa Module Deformable Attention [60].10: Hình minh họa phương pháp Empirical Attention. Cac modules có chữ màu xanh được thêm vào các khối có sẵn [63].-:-¿-:+2+c+E+E+EsEEEEEzEzE+tsrrrsrrsee 51 Hình 3.11: Hình minh họa các attention terms khác nhau. Thanh màu phía trên một điểm lây mẫu biểu thị đặc trưng nội dung của nó.

Sự tồn tại của các đặc trưng nội dung và/hoặc vị trí tương đối chỉ ra rằng thuật ngữ này sử dụng chúng để tính toán trọng số attention.NÔÔẨÔẨÔÔÔÔÒÒÔỎ 52 Hình 3.12: Minh họa một vài mẫu trong các bộ dữ liệu chuẩn đã công bồ rộng rãi.1: Hình minh họa quy trình thực nghiệm.- 555235 ‡*++se++seesseess 66 Hình 4.2: Hình ảnh minh họa dữ liệu thực nghiệm.- 55 255555 <++£+sec+xx 67 Hình 4.3: Thống kê số lượng ảnh từng tập train/test/val trong các bộ dữ liệu.4: Thống kê số lượng đối tượng từng tập train/val/test trong các bộ dữ liệu thực nghiỆm. - - œ3 11v 9v HH nh 68 Hình 4.5: Một ví dụ về phát hiện bảng chính xác và không chính xác. Màu xanh lá đại diện cho nhãn của vùng chứa bang trong khi màu đỏ biểu thị ranh giới bang 001u9150005/71 200002020577.6: Minh họa trực quan IoU trong các phương pháp phát hiện đối tượng. Hộp giới hạn có mau xanh lam đại diện cho nhãn trong khi hộp giới hạn có mau đỏ biêu thị hộp giới han được dự đoán.

Xem xét ngưỡng IoU được đặt thành 0.5, chỉ hai dự đoán đầu tiên từ phải sang trái được coi là true positives trong khi dự đoán còn lại được coi là false DOSIẨIVE.- «LH HT TT TH HH HH Hư hệt 70 Hình 4.7: Trực quan hóa kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ liệu UIT-IDODV. Gv HH TT TT HH HH Hàn HH gà 74 Hình 4.8: Trực quan hóa kết quả thực nghiệm của các phương pháp trên tập test của 1905080019180 ì6i: 0275557.AlÀˆẦằ 75 Hình 4.9: Trực quan hóa kết quả thực nghiệm của các phương pháp trên tập test của bd dit ligt ICDAR-2019. 77 DANH MỤC BANG Bang 2.1: Tóm tắt các phương pháp phát hiện đối tượng trang đồ họa khác nhau đã sử dụng mạng nơ-ron sâu [ Í ].-- - <6 + E111 9119930 1991112 ng ngư 24 Bảng 3.1: Mạng EfficientNet-BO baseline-Mỗi dòng mô tả một giai đoạn i với Li lớp, độ phân giải đầu vào Hi, Wi và đầu ra Ci kênh. Bảng được tham khảo từ [52].2: Thống kê chi tiết số liệu của tat cả các bộ dữ liệu.1: So sánh kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ liu UIT-DODV 62011757.2: So sánh kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ J008/b90011062077Ẻ7.3: So sánh kết quả thực nghiệm của các phương pháp trên tập test của bộ dữ I08(99.

72 TÓM TẮT KHÓA LUẬN Phát hiện các đối tượng trong trang tài liệu là một nhiệm vụ cần thiết trước khi thực hiện các nhiệm vụ mở rộng khác như tóm tắt tài liệu, trích xuất hay tra cứu thông tin. Đây là một vấn đề thách thức trong cộng đồng nghiên cứu. Đã có rất nhiều nghiên cứu cho kết quả đạt kỳ vọng trên các bộ dữ liệu chuẩn. Tuy nhiên, hầu hết các phương pháp đều chưa phải là giải pháp tốt nhất khi một mô hình duy nhất dễ dàng sử dụng dé phát hiện và phát triển cho các nghiên cứu tiếp theo van còn hạn chế.