Luận văn thạc sĩ khoa học máy tính một hàm mất mát mới cho bài toán phát hiện đối tượng trên tài liệu dạng ảnh tiếng việt

Luận văn thạc sĩ toán học nghiên cứu máy tính một hàm mất mát mới cho bài toán phát hiện đối tượng trên tài liệu dạng ảnh tiếng việt, khảo sát thực trạng, phân tích nguyên nhân,

• Tác giả: Trương Quốc Dũng
• Người hướng dẫn: TS. Nguyễn Tấn Trần Minh Khang
• Trường học: Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Một hàm mất mát mới cho bài toán phát hiện đối tượng trên tài liệu dạng ảnh tiếng Việt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. ĐỘNG LỰC NGHIÊN CỨU
• 1.2. PHÁT BIỂU BÀI TOÁN
• 1.3. CÁC THÁCH THỨC
• 1.4. MỤC TIÊU VÀ PHẠM VI NGHIÊN CỨU
• 1.5. ĐÓNG GÓP CỦA NGHIÊN CỨU
• 1.6. BỐ CỤC CỦA LUẬN VĂN
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. TÌNH HÌNH NGHIÊN CỨU
• 2.2. CÁC NGHIÊN CỨU LIÊN QUAN
• 3. CHƯƠNG 3: KHẢO SÁT MỘT SỐ PHƯƠNG PHÁP HỌC SÂU TIÊN TIẾN, HUẤN LUYỆN MÔ HÌNH TỪ TÀI LIỆU TIẾNG VIỆT
• 4. CHƯƠNG 4: TÌM HIỂU CÁC HÀM MẤT MÁT HỒI QUY IOU, GIOU, DIOU, CIOU VÀ ĐỀ XUẤT HÀM MẤT MÁT EIOU
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• PHỤ LỤC 1: BẢN SAO BÀI BÁO “GADOCNET: RETHINKING THE ANCHORING SCHEME AND LOSS FUNCTION IN VIETNAMESE DOCUMENT IMAGES”
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT LUẬN VĂN

Tóm tắt

I. Hàm mất mát

Luận văn tập trung vào việc đề xuất một hàm mất mát mới, EIOU, để cải thiện hiệu suất trong bài toán phát hiện đối tượng trên ảnh tiếng Việt. Hàm mất mát này được thiết kế để tối ưu hóa quá trình hồi quy hộp giới hạn, giúp mô hình học sâu xác định vị trí các đối tượng chính xác hơn. Các hàm mất mát truyền thống như IOU, GIOU, DIOU, và CIOU được phân tích để làm cơ sở cho đề xuất mới. EIOU kết hợp ưu điểm của các hàm này, đồng thời khắc phục các hạn chế như độ lệch tâm và kích thước hộp giới hạn.

1.1. Phân tích hàm mất mát truyền thống

Các hàm mất mát truyền thống như IOU, GIOU, DIOU, và CIOU được đánh giá chi tiết. IOU đo lường sự chồng lấp giữa hộp giới hạn dự đoán và hộp giới hạn thực tế, nhưng không xử lý được trường hợp không chồng lấp. GIOU khắc phục điều này bằng cách tính toán diện tích bao phủ, nhưng vẫn có hạn chế về độ lệch tâm. DIOU và CIOU bổ sung thêm yếu tố khoảng cách và tỷ lệ khung hình, nhưng vẫn chưa tối ưu cho các đối tượng đa dạng trong ảnh tiếng Việt.

1.2. Đề xuất hàm mất mát EIOU

Hàm EIOU được đề xuất để giải quyết các hạn chế của các hàm mất mát truyền thống. Nó kết hợp yếu tố khoảng cách, tỷ lệ khung hình và độ lệch tâm, giúp mô hình học sâu hội tụ nhanh hơn và đạt độ chính xác cao hơn. Kết quả thực nghiệm trên bộ dữ liệu UIT-DODV cho thấy EIOU cải thiện đáng kể hiệu suất phát hiện đối tượng, đạt 76,1% mAP, cao hơn 1,6% so với các phương pháp hiện có.

II. Phát hiện đối tượng

Bài toán phát hiện đối tượng trên ảnh tiếng Việt được nghiên cứu với mục tiêu xác định vị trí các đối tượng như bảng, hình, chú thích, và công thức trong tài liệu dạng ảnh. Luận văn sử dụng các mô hình học sâu tiên tiến như Dynamic Faster R-CNN, Guided Anchoring R-CNN, PointRend, và CascadeTabNet để giải quyết bài toán này. Các mô hình này được huấn luyện trên bộ dữ liệu UIT-DODV, bộ dữ liệu đầu tiên về ảnh tiếng Việt với các đối tượng đa dạng.

2.1. Các mô hình học sâu tiên tiến

Các mô hình học sâu như Dynamic Faster R-CNN và Guided Anchoring R-CNN được sử dụng để cải thiện độ chính xác trong việc phát hiện đối tượng. PointRend tập trung vào việc tinh chỉnh các biên của đối tượng, trong khi CascadeTabNet được thiết kế đặc biệt để phát hiện và nhận diện cấu trúc bảng. Các mô hình này được đánh giá dựa trên các tiêu chí như IOU và mAP.

2.2. Thách thức trong phát hiện đối tượng

Bài toán phát hiện đối tượng trên ảnh tiếng Việt đối mặt với nhiều thách thức như độ nghiêng, độ mờ, tiếng ồn, và sự đa dạng trong bố cục tài liệu. Các đối tượng như bảng và hình có thể có cấu trúc phức tạp, đòi hỏi mô hình học sâu phải có khả năng xử lý tốt các biến thể này. Bộ dữ liệu UIT-DODV được sử dụng để đánh giá khả năng của các mô hình trong việc giải quyết các thách thức này.

III. Ảnh tiếng Việt

Luận văn tập trung vào việc phát hiện đối tượng trên ảnh tiếng Việt, một lĩnh vực còn nhiều hạn chế trong nghiên cứu. Bộ dữ liệu UIT-DODV được sử dụng làm cơ sở để đánh giá các phương pháp đề xuất. Bộ dữ liệu này bao gồm các đối tượng như bảng, hình, chú thích, và công thức, được thu thập từ các tài liệu tiếng Việt. Các thử nghiệm được thực hiện để đánh giá hiệu suất của các mô hình học sâu trong việc xử lý ảnh tiếng Việt.

3.1. Bộ dữ liệu UIT DODV

Bộ dữ liệu UIT-DODV là bộ dữ liệu đầu tiên về ảnh tiếng Việt với các đối tượng đa dạng. Nó bao gồm các hình ảnh được scan từ tài liệu và các tệp PDF, với các đối tượng được chú thích chi tiết. Bộ dữ liệu này được sử dụng để huấn luyện và đánh giá các mô hình học sâu, giúp cải thiện khả năng phát hiện đối tượng trong ảnh tiếng Việt.

3.2. Đánh giá hiệu suất

Các mô hình học sâu được đánh giá dựa trên các tiêu chí như IOU và mAP. Kết quả thực nghiệm cho thấy các mô hình đề xuất đạt hiệu suất cao hơn so với các phương pháp truyền thống. Đặc biệt, mô hình GaDocNet kết hợp với hàm mất mát EIOU đạt được kết quả ấn tượng, mở ra hướng nghiên cứu mới trong lĩnh vực xử lý ảnh và nhận diện đối tượng.

IV. Luận văn thạc sĩ

Luận văn này là một phần của chương trình thạc sĩ khoa học máy tính, tập trung vào việc đề xuất các phương pháp mới trong phát hiện đối tượng trên ảnh tiếng Việt. Nghiên cứu đóng góp vào lĩnh vực học máy và deep learning bằng cách đề xuất hàm mất mát EIOU và mô hình GaDocNet. Kết quả nghiên cứu đã được công bố tại hội nghị quốc tế MAPR 2022, khẳng định giá trị học thuật và ứng dụng thực tiễn của luận văn.

4.1. Đóng góp học thuật

Luận văn đóng góp vào lĩnh vực khoa học máy tính bằng cách đề xuất các phương pháp mới trong phát hiện đối tượng và xử lý ảnh. Hàm mất mát EIOU và mô hình GaDocNet được xem là những cải tiến quan trọng, giúp nâng cao hiệu suất của các mô hình học sâu trong việc xử lý ảnh tiếng Việt.

4.2. Ứng dụng thực tiễn

Nghiên cứu có tiềm năng ứng dụng cao trong các lĩnh vực như xử lý tài liệu, trích xuất thông tin, và nhận diện đối tượng. Các kết quả thực nghiệm cho thấy các phương pháp đề xuất có thể được áp dụng trong các hệ thống tự động hóa, giúp cải thiện hiệu quả và độ chính xác trong việc xử lý ảnh tiếng Việt.

Nội dung chính

Tổng quan nghiên cứu

Phát hiện đối tượng trên tài liệu dạng ảnh là một lĩnh vực nghiên cứu quan trọng trong thị giác máy tính, đặc biệt trong bối cảnh chuyển đổi số và xử lý dữ liệu lớn hiện nay. Theo ước tính, các tài liệu khoa học, tài chính, kế toán và chính phủ chứa nhiều bảng, hình ảnh, chú thích và công thức, tạo ra nhu cầu cấp thiết về tự động hóa phát hiện các đối tượng này nhằm nâng cao hiệu quả trích xuất và hiểu nội dung. Tuy nhiên, các ứng dụng hiện tại còn hạn chế, đặc biệt đối với tài liệu tiếng Việt do thiếu bộ dữ liệu chuẩn và các phương pháp phù hợp.

Luận văn tập trung vào bài toán phát hiện đối tượng trên tài liệu dạng ảnh tiếng Việt, với mục tiêu chính là nghiên cứu và đề xuất một hàm mất mát mới nhằm cải thiện hiệu quả phát hiện các đối tượng như bảng, hình, chú thích và công thức. Nghiên cứu thực nghiệm trên bộ dữ liệu UIT-DODV – bộ dữ liệu ảnh tài liệu tiếng Việt đầu tiên với 2.394 ảnh và 4 lớp đối tượng – trong khoảng thời gian gần đây, đã chứng minh tính khả thi và hiệu quả của phương pháp đề xuất. Kết quả đạt được mức mean Average Precision (mAP) 76,1%, vượt trội hơn 1,6% so với các phương pháp cơ sở.

Nghiên cứu có ý nghĩa quan trọng trong việc thúc đẩy phát triển các ứng dụng xử lý tài liệu tiếng Việt, hỗ trợ tự động hóa trong trích xuất thông tin, tóm tắt nội dung và tra cứu tài liệu khoa học, góp phần nâng cao năng suất và chất lượng công việc trong nhiều lĩnh vực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình học sâu tiên tiến trong phát hiện đối tượng, bao gồm:

• Mạng nơ-ron tích chập (CNN): Là nền tảng cho việc trích xuất đặc trưng từ ảnh tài liệu, với các tầng convolution, pooling và fully-connected để nhận diện các đặc trưng quan trọng.

• Các kiến trúc phát hiện đối tượng hiện đại:

  • Faster R-CNN với mạng đề xuất vùng (RPN) giúp phát hiện đối tượng theo thời gian thực.
  • Dynamic Faster R-CNN cải tiến bằng cách điều chỉnh ngưỡng IoU và hàm mất mát hồi quy để tăng chất lượng đề xuất.
  • Guided Anchoring R-CNN thay đổi chiến lược neo (anchor) truyền thống, tập trung neo vào vùng có khả năng chứa đối tượng cao hơn.
  • CascadeTabNet kết hợp Cascade R-CNN và HRNet để phát hiện và nhận diện cấu trúc bảng hiệu quả.
  • PointRend cho phân đoạn ảnh bằng cách dự đoán nhãn điểm dựa trên nội suy đặc trưng.

• Các hàm mất mát hồi quy hộp giới hạn (IoU, GIoU, DIoU, CIoU): Được sử dụng để đánh giá và tối ưu hóa vị trí dự đoán của các hộp giới hạn, giúp cải thiện độ chính xác phát hiện.

• Hàm mất mát EloU: Đề xuất mới kết hợp ưu điểm của các hàm mất mát trên nhằm nâng cao hiệu quả phát hiện đối tượng trên ảnh tài liệu tiếng Việt.

Phương pháp nghiên cứu

Nghiên cứu sử dụng bộ dữ liệu UIT-DODV gồm 2.394 ảnh tài liệu tiếng Việt với 4 lớp đối tượng: bảng, hình, chú thích và công thức. Bộ dữ liệu được chia thành ba tập: huấn luyện (1.440 ảnh), đánh giá (234 ảnh) và kiểm thử (720 ảnh). Dữ liệu đa dạng về nguồn gốc (chuyển đổi từ PDF và ảnh scan), độ phân giải và bố cục, phản ánh thực tế sử dụng.

Phương pháp phân tích bao gồm:

• Huấn luyện và đánh giá các mô hình phát hiện đối tượng state-of-the-art: Dynamic Faster R-CNN, Guided Anchoring Faster R-CNN, PointRend, CascadeTabNet.

• So sánh hiệu quả các hàm mất mát hồi quy hộp giới hạn truyền thống và hàm mất mát EloU đề xuất.

• Sử dụng framework MMDetection trên hệ thống GPU GeForce RTX 2080 Ti với bộ nhớ 11GB, đảm bảo khả năng xử lý và huấn luyện mô hình hiệu quả.

• Đánh giá mô hình dựa trên các tiêu chí chuẩn như mean Average Precision (mAP) và Intersection over Union (IoU).

Timeline nghiên cứu kéo dài trong năm 2023, bao gồm các giai đoạn khảo sát lý thuyết, thực nghiệm mô hình, phân tích kết quả và hoàn thiện luận văn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của hàm mất mát EloU:
   Hàm mất mát EloU kết hợp các thành phần của GIoU, DIoU và CIoU với trọng số cân bằng 0.6, giúp cải thiện độ chính xác phát hiện đối tượng trên bộ dữ liệu UIT-DODV. Kết quả thực nghiệm cho thấy EloU đạt mAP 76,1%, cao hơn 1,6% so với các hàm mất mát truyền thống.

2. Mô hình GaDocNet vượt trội:
   GaDocNet – mô hình kết hợp Guided Anchoring và CascadeTabNet cùng hàm mất mát EloU – cho kết quả phát hiện đối tượng tốt hơn so với các phương pháp Dynamic Faster R-CNN, PointRend và CascadeTabNet riêng lẻ. Mức tăng mAP trung bình khoảng 1,5-2% so với baseline.

3. Phân phối dữ liệu không đồng đều ảnh hưởng đến kết quả:
   Biểu đồ phân phối các lớp đối tượng trong bộ dữ liệu cho thấy lớp công thức có số lượng ít nhất trong tập kiểm thử và đánh giá, trong khi chú thích và bảng chiếm tỷ lệ lớn hơn. Điều này ảnh hưởng đến độ chính xác phát hiện các lớp ít dữ liệu hơn, đòi hỏi các kỹ thuật cân bằng dữ liệu hoặc tăng cường dữ liệu trong tương lai.

4. So sánh với các phương pháp state-of-the-art khác:
   Các mô hình như Deformable DETR, PAA, Reppoints, Foveabox, FSAF và ATSS cũng được đánh giá trên bộ dữ liệu UIT-DODV, tuy nhiên GaDocNet vẫn giữ ưu thế về độ chính xác và khả năng phát hiện đa dạng đối tượng.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện đến từ việc hàm mất mát EloU tận dụng đồng thời các đặc điểm của các hàm mất mát IoU truyền thống, giúp mô hình học được các đặc trưng vị trí hộp giới hạn chính xác hơn. Việc áp dụng Guided Anchoring giúp giảm số lượng anchor không cần thiết, tập trung vào các vùng có khả năng chứa đối tượng, từ đó tăng recall và precision.

So với các nghiên cứu trước đây, kết quả này khẳng định tính hiệu quả của việc điều chỉnh hàm mất mát và chiến lược neo trong phát hiện đối tượng trên tài liệu tiếng Việt, một lĩnh vực còn nhiều hạn chế về dữ liệu và phương pháp. Kết quả có thể được trình bày qua biểu đồ so sánh mAP giữa các mô hình và bảng thống kê chi tiết hiệu suất theo từng lớp đối tượng, giúp minh họa rõ ràng ưu nhược điểm từng phương pháp.

Đề xuất và khuyến nghị

1. Triển khai hàm mất mát EloU trong các mô hình phát hiện đối tượng:
   Áp dụng EloU làm hàm mất mát chuẩn trong các hệ thống phát hiện đối tượng tài liệu tiếng Việt để nâng cao độ chính xác, ưu tiên trong vòng 6-12 tháng tới, do các nhóm nghiên cứu và phát triển AI thực hiện.

2. Phát triển và mở rộng bộ dữ liệu UIT-DODV:
   Tăng cường số lượng và đa dạng hóa dữ liệu, đặc biệt các lớp đối tượng ít dữ liệu như công thức, nhằm cải thiện khả năng tổng quát của mô hình. Khuyến nghị thực hiện trong 1-2 năm bởi các tổ chức nghiên cứu và trường đại học.

3. Tối ưu hóa chiến lược neo (anchor) và kiến trúc mạng:
   Nghiên cứu thêm các phương pháp neo động và kiến trúc mạng sâu hơn như Transformer-based để nâng cao hiệu quả phát hiện, đặc biệt với các tài liệu có bố cục phức tạp. Thời gian nghiên cứu 12-18 tháng, do các nhóm chuyên gia thị giác máy tính đảm nhận.

4. Ứng dụng trong các hệ thống trích xuất và xử lý tài liệu tự động:
   Tích hợp mô hình GaDocNet vào các phần mềm quản lý tài liệu, hệ thống tra cứu và tóm tắt nội dung tài liệu khoa học, tài chính nhằm nâng cao hiệu quả công việc. Triển khai trong 6-12 tháng, do các doanh nghiệp công nghệ và tổ chức nghiên cứu phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Thị giác máy tính:
   Có thể sử dụng luận văn làm tài liệu tham khảo để phát triển các mô hình phát hiện đối tượng trên tài liệu tiếng Việt, đặc biệt trong lĩnh vực học sâu và xử lý ảnh.

2. Chuyên gia phát triển phần mềm xử lý tài liệu và OCR:
   Áp dụng các phương pháp và hàm mất mát đề xuất để cải thiện độ chính xác và hiệu suất của các hệ thống nhận diện và trích xuất thông tin từ tài liệu dạng ảnh.

3. Doanh nghiệp và tổ chức quản lý dữ liệu lớn, tài liệu số hóa:
   Sử dụng kết quả nghiên cứu để tự động hóa việc phân loại, trích xuất và xử lý các đối tượng trong tài liệu, nâng cao hiệu quả quản lý và tra cứu thông tin.

4. Các nhà khoa học và kỹ sư trong lĩnh vực xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo:
   Tham khảo để kết hợp phát hiện đối tượng với các kỹ thuật xử lý ngôn ngữ nhằm xây dựng hệ thống đọc hiểu tài liệu toàn diện hơn.

Câu hỏi thường gặp

1. Hàm mất mát EloU khác gì so với các hàm mất mát truyền thống?
   EloU kết hợp ưu điểm của GIoU, DIoU và CIoU với trọng số cân bằng, giúp mô hình học được vị trí hộp giới hạn chính xác hơn, đặc biệt trong các trường hợp không trùng lắp hoặc tỷ lệ hộp khác nhau. Ví dụ, EloU cải thiện mAP lên 76,1% so với 74,5% của các hàm truyền thống.

2. Bộ dữ liệu UIT-DODV có đặc điểm gì nổi bật?
   UIT-DODV là bộ dữ liệu ảnh tài liệu tiếng Việt đầu tiên với 2.394 ảnh, bao gồm 4 lớp đối tượng đa dạng (bảng, hình, chú thích, công thức), dữ liệu đa dạng về nguồn gốc (PDF chuyển đổi và ảnh scan), độ phân giải và bố cục, phản ánh thực tế sử dụng.

3. Tại sao cần sử dụng Guided Anchoring trong mô hình GaDocNet?
   Guided Anchoring giúp giảm số lượng anchor không cần thiết, tập trung neo vào các vùng có khả năng chứa đối tượng cao, từ đó tăng recall và precision, đồng thời giảm chi phí tính toán so với phương pháp neo truyền thống.

4. Các thách thức chính khi phát hiện đối tượng trên tài liệu tiếng Việt là gì?
   Bao gồm độ nghiêng, mờ, tiếng ồn, ánh sáng không đồng đều, bố cục phức tạp (cột đơn, cột đôi), đa dạng kiểu phông chữ, cỡ chữ và định dạng nội dung, cũng như sự chênh lệch độ phân giải giữa ảnh scan và PDF.

5. Mô hình GaDocNet có thể áp dụng cho các loại tài liệu khác ngoài tiếng Việt không?
   Mô hình có thể được điều chỉnh và huấn luyện lại cho các ngôn ngữ khác, tuy nhiên cần có bộ dữ liệu tương ứng và điều chỉnh tham số phù hợp để đảm bảo hiệu quả phát hiện.

Kết luận

• Luận văn đã đề xuất hàm mất mát EloU mới, kết hợp ưu điểm của các hàm mất mát hồi quy hộp giới hạn truyền thống, nâng cao hiệu quả phát hiện đối tượng trên tài liệu dạng ảnh tiếng Việt.

• Mô hình GaDocNet, tích hợp Guided Anchoring và CascadeTabNet cùng hàm mất mát EloU, đạt mAP 76,1% trên bộ dữ liệu UIT-DODV, vượt trội hơn các phương pháp hiện có.

• Bộ dữ liệu UIT-DODV được xây dựng đa dạng về nguồn gốc và đối tượng, là nền tảng quan trọng cho nghiên cứu phát hiện đối tượng tài liệu tiếng Việt.

• Nghiên cứu góp phần thúc đẩy phát triển các ứng dụng tự động hóa xử lý tài liệu tiếng Việt, hỗ trợ trích xuất, tóm tắt và tra cứu thông tin hiệu quả.

• Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, tối ưu hóa mô hình và ứng dụng thực tiễn trong các hệ thống quản lý tài liệu số hóa. Đề nghị các nhà nghiên cứu và doanh nghiệp quan tâm phối hợp phát triển.

Trích đoạn nội dung tài liệu

Chương 1 - TONG QUAN Chương 2 - CAC NGHIÊN CUU LIEN QUAN: trình bày một cách day đủ các khảo sát và day đủ nhất các cách tiếp cận ở các công trình trước đây trên cả hai bài toán bao gồm nhận diện đối tượng trên tài liệu dạng ảnh. Khảo sát, tìm hiêu trên các hội nghị, tạp chí về lĩnh vực xử lý ảnh, thị giác máy tính như Conference on Computer Vision and Pattern Recognition (CVPR), International Conference on Document Analysis and Recognition (ICDAR) dé tìm các học viên liên quan. Chương 3 - KHẢO SÁT MOT SO PHƯƠNG PHAP HỌC SÂU TIÊN TIEN, HUAN LUYEN MÔ HÌNH TỪ TAI LIEU TIENG VIỆT: nghiên cứu trình bay các phương pháp phát hiện đối tượng học sâu tiên tiến chung và trên tài liệu dạng ảnh, các bài toán phát hiện đối tượng: figure, table, caption, formula trên trang tài liệu. Đồng thời, thử nghiệm một số phương pháp “state- of-the-art”: Dynamic Faster R-CNN, Guided Anchoring R-CNN, PointRend, CascadeTabNet.

Chương 4 — TÌM HIỂU CAC HAM MAT MAT HOI QUY IOU, GIOU, DIOU, CIOU VÀ DE XUẤT HAM MÁT MÁT EIOU: trình bày về về chức năng của các hàm mắt mát trong máy dò phát hiện đối tượng, mat mát hồi quy hộp giới hạn, các hàm mắt mát GIoU, DIoU, CloU va thử nghiệm cho ra két quả huấn luyện và đánh giá các ham mat mát đã tìm hiểu trên bộ dữ liệu dữ liệu dạng ảnh tiếng Việt UIT-DODV. Phân tích ưu, nhược diém của các ham mắt mát dé làm cơ sở cho các dé xuất. Chương 5 - KET QUÁ THỰC NGHIỆM: dựa trên kết quả phân tích và dé xuất hàm mat mát EloU và thực nghiệm chứng minh hiệu quả của hàm mat mát này. Chương 6— KET LUẬN VÀ HƯỚNG PHAT TRIEN: điểm lại một số nội dung chính trong toàn bộ nội dung học viên và trình bày một sé ý tưởng cải tiến mà học viên chưa kịp thực hiện trong nội dung luận văn này CHƯƠNG 2 - CÁC NGHIÊN CỨU LIÊN QUAN 2.1 TÌNH HÌNH NGHIÊN CỨU Ngày nay, hình và bảng là một cách thức rất quan trọng để tổ chức dữ liệu và trình bày thông tin rõ ràng và trực quan trong việc trình bày và soạn thảo văn bản.

Do đó, trong thời đại dữ liệu lớn hiện nay, có rất nhiều bảng và hình xuất hiện trong các tập tin tài liệu, đặc biệt là trong các tài liệu tài chính, tài liệu kế toán và tài liệu chính phủ. Các đối tượng này mang đến một nhu cầu lớn đề phát hiện các đối tượng từ các tài liệu một cách tự động và nhanh chóng, vì vậy nhiều nhà nghiên cứu đã đóng góp cho lĩnh vực này. Trong lĩnh vực Thị giác máy tính tính, Phát hiện đối tượng trong tài liệu dạng ảnh [1] là bài toán thuộc hướng nghiên cứu Phân tích tài liệu [4] — một lĩnh vực ngày càng quan trọng trong thời đại chuyển đổi kỹ thuật số hiện nay. International Conference on Document Analysis and Recognition (ICDAR) là sự kiện quốc tế hàng đầu dành cho các nhà khoa học nghiên cứu liên quan đến phân tích và ghi nhận tài liệu.

Gần đây nhất, ICDAR tổ chức thử thách “Scientific Literature Parsing” [5] vào năm 2021 và đã thu hút được sự quan tâm rất lớn bởi các nhà khoa học trên thế giới.2 CÁC NGHIÊN CỨU LIÊN QUAN Schreiber và cộng sự [6] đã trình bày một hệ thống end-to-end đề đọc hiểu bảng trong hình anh tài liệu được gọi là DeepDeSRT , đây là một cách tiếp cận dựa trên học sâu đề nhận diện cấu trúc bảng (xác định các hàng, cột và vị trí ô trong các bảng được phát hiện). Bên cạnh đó, DeepDeSRT được cho là phù hợp với các tệp PDF được tự động chuyền đổi thành hình ảnh và các van dé thách thức khác như tài liệu được scan. Qasim và cộng sự [7] đã đề xuất một kiến trúc dựa trên mạng đồ thị như một hướng mới để nhận diện bảng. Tác giả lập luận rằng mạng đồ thị là một lựa chọn tự nhiên cho những van đề nay và khám phá hai mạng nơ-ron đồ thị dựa trên gradient.

Prasad và cộng sự [8] đã dé xuất CascadeTabNet: một mô hình dựa trên Mang phân giải cao với CNN và mặt nạ phân tầng để phát hiện các vùng của đối tượng bảng và nhận diện đồng thời các ô (cell) cấu trúc từ các bảng được phát hiện. Shen và cộng sự [9] đã giới thiệu LayoutParser với một tập hợp các giao diện trực quan đề áp dụng và tùy chỉnh các mô hình học sâu cho phát hiện bố cục, nhận diện ký tự và nhiều tác vụ xử lý tài liệu khác. Các mạng học sâu vẫn đang chiếm ưu thế trong các nhiệm vụ liên quan như phát hiện đối tượng trang tài liệu và nhận diện cấu trúc. Tuy nhiên, đối với phân tích ấn phẩm tiếng Việt vẫn còn tương đối hạn chế khi vẫn chưa có một bộ dữ liệu chuẩn da dạng nguồn dé liệu và một quy trình phân tích tổng quát.

Gần đây, các nghiên cứu liên quan đến tiếng Việt đã được quan tâm. Le và cộng sự [10] đã giải quyết bài toán phát hiện đối tượng trong tài liệu dạng tiếng Việt thông qua sơ đồ neo có hướng dẫn, một mô-đun bồ sung cho R-CNN để cải thiện các vùng đề xuất. Nguyen và cộng sự [11] và Kiệt và cộng sự [12] tập trung vào phát hiện đối tượng trang theo thời gian thực với YOLOF và YOLOX. Nguyen và cộng sự [13] đã giới thiệu CDeRSNet dé nâng cao chất lượng của các hộp giới hạn dự đoán.3 MẠNG HỌC SÂU Mạng nơ-ron nhân tạo (Artificial Nơ-ron Networks) hay gọi tắt Nơ-ron Networks (NNs) là mạng lưới thần kinh được liên kết đầy đủ giữa các lớp với nhau.

ANN xuất phát từ ý tưởng mô phỏng hoạt động của não bộ con người, cụ thé là nơ ron thần kinh. Mang nơ-ron sâu — mạng học sâu (Deep Neural Network — DNN) là một mang no ron nhân tao (Artificial Neural Networks — ANNs) với một kiến trúc phức tap và “sâu” hon so với mang nơ-ron nông. 10 impulses carried toward cell body branches dendrites of axon axon nucleus terminals impulses carried away from cell body cell body Hình 2-1. Y tưởng mô phỏng hoạt động của não bộ con người của mang ann!.

Kiến trúc của mạng nơ-ron sâu tương tự như mạng nơ-ron nhân tạo với 3 thành phan: lớp đầu vào, các lớp an (số lượng các lớp và số lượng nơ-ron trên mỗi lớp không giới hạn) và lớp đầu ra. Kiến trúc của một mạng học sâu 3 lớp được minh họa ở Hình 2-2.io/neural-networks-1/. ll ‹ '8‘if `" we JIN Input Hidden Output Hinh 2-2. Minh hoa kién tric mạng no ron sâu?.

Đối với từng node trong các lớp của mang, độ lớn trọng số của node hiện tai đang xem xét sẽ là tổng các độ lớn trong số của các node thuộc lớp đầu vào trước đó và chuyển sang hàm kích hoạt phi tuyến tính đề tính toán trọng số. Các node này là đầu ra của lớp trước đó và là đầu vào của lớp tiếp theo. Mạng sẽ tính toán và tối ưu hóa các trọng số đối với từng nốt trong mạng xuyên suốt quá trình huấn luyện.4 MẠNG NƠ-RON TÍCH CHẬP Mạng nơron tích chập (còn gọi là ConvNet/CNN) là một thuật toán Deep Learning có thé lay hình ảnh đầu vào, gan độ quan trọng cho các đặc trung/déi tượng khác nhau trong hình ảnh và có thể phân biệt được từng đặc trưng/đối tượng này với nhau. Công việc tiền xử lý được yêu cầu cho mạng nơron tích chập thì ít hơn nhiều so với các thuật toán phân loại khác.

Trong các phương thức sơ khai, các bộ lọc được ? https://www.org/paper/Towards-Robust-Combined-Deep-Architecture-for-%3A- on-Dridi-Ouni/30639ca50fbbdefbc48064c6d3d61c4ef1b9e2f7 12 thiết kế bằng tay, với một quá trình huấn luyện để chọn ra các bộ lọc phù hợp thì mạng noron tích chập lai có kha năng tự học để chọn ra các bộ lọc tối ưu nhất. Kiến trúc của noron tích chập tương tự như mô hình kết nối của các nơron trong bộ não con người và được lấy cảm hứng từ hệ thống vỏ thị giác trong bộ não (Visual cortex). Các nơ-ron riêng lẻ chỉ phản ứng với các kích thích trong một khu vực hạn chế của trường thị giác được gọi là Trường tiếp nhận (Receptive Field). Một tập hợp các trường như vậy chồng lên nhau bao phủ toàn bộ khu vực thị giác.

— car = TRUCK — VAN elie L7ANPUT CONVOLUTION + RELU POOLING CONVOLUTION + R&LU POOIING FLATTEN FULLY cofULlY 4 SoFTMAX FEATURE LEARNING CLASSIFICATION Hình 2-3. Kiến trúc tong quan của mô hình cnn}. Mạng nơ-ron tích là một trong những phương pháp được áp dụng nhiều nhất trong lĩnh vực xử lý ảnh (Computer vision) dé giải quyết các bài toán như nhận dang hình ảnh, phân loại hình ảnh, phát hiện đối tượng, nhận diện khuôn mặt,. Mô hình CNN sẽ có kiến trúc gồm các tầng như sau: tầng tích chập (Convolution), tang tổng hợp (pooling) dùng đề trích xuất đặc trưng và tang liên kết đầy đủ (fully connected) dùng dé phân lớp đối tượng.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep- learning-99760835f148 13 2.1 TANG TÍCH CHAP (CONVOLUTION LAYER) ° Image Image Image " 'Convolved feature kim Image Hình 2-4.

Minh hoa convolution layer’. Mục đích của tầng nay là trích xuất đặc trưng tương ứng với đầu vào. Mô hình sẽ tiến hành chọn | bộ lọc dé tìm và trích xuất những thông tin quan trọng từ dit liệu đầu vào, đồng thời giảm số chiều cho các lớp ân tiếp theo. Các giá trị đầu ra cho vùng lọc sẽ được tính toán bằng các hàm kích hoạt (Activated Function).

Một số hàm kích hoạt nỗi tiếng thường dùng có thé ké đến như ReLU, Sigmoid. Hiện nay, hàm ReLU được sử dụng nhiều hơn các hàm còn lại. Đây là lớp quan trọng nhất của CNN, lớp này có nhiệm vụ thực hiện mọi tính toán. Những yếu tô quan trọng của một tang tích chập là: stride, padding, filter map, feature map.

CNN sử dụng các bộ lọc để áp dụng vào vùng của hình ảnh. Những filter map này được gọi là ma trận 3 chiều, mà bên trong nó là các con số và chúng là trọng SỐ.com/topics/mathematics/convolutional-layer 14 2.2 TANG TONG HỢP (POOLING LAYER) Sau tầng tích chập, tang tổng hợp trích chon đặc trưng và giảm số chiều cho dữ liệu đầu vào. Khi giảm số chiều, mô hình giảm số lượng tham số, rút ngắn được thời gian huấn luyện và hạn chế over-fitting. Cũng như tang tích chập, tang tông hợp sử dụng bộ lọc trượt qua dit liệu đầu vào dé trích xuất đặc trưng cần thiết, nhưng các bộ lọc ở đây sẽ không chứa tham số.

Các phương pháp phô biến được sử dụng ở tầng tổng hợp là MaxPooling và AveragePooling. Trong đó MaxPooling chỉ lấy giá trị cao nhất trong vùng của bộ lọc đi qua còn AveragePooling sẽ tính toán giá trị trung bình trong vùng bộ lọc đi qua. Max Pool > Filter - (2 x 2) Stride - (2, 2) Hình 2-5. Minh họa Oooling layerŸ.