Luận văn tốt nghiệp: Phát triển hệ thống trích xuất bảng từ hình ảnh tài liệu

Luận văn tốt nghiệp ngành khoa học máy tính trình bày quy trình trích xuất bảng trong hình ảnh tài liệu, ứng dụng công nghệ hiện đại.

• Tác giả: Lu Anh Khoa
• Người hướng dẫn: Dr. Tran Tuan Anh
• Trường học: Ho Chi Minh University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Hệ thống trích xuất bảng từ hình ảnh tài liệu trong khoa học máy tính
• Loại tài liệu: Thesis
• Năm xuất bản: 2022 - 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• Tóm tắt
• 1. Chương 1: Giới thiệu
• 1.1. Nhu cầu trích xuất bảng
• 1.2. Mục tiêu đề tài
• 2. Chương 2: Cơ sở lý thuyết
• 2.1. Phép tích chập và tương quan chéo trong xử lý ảnh
• 2.2. Mạng nơ-ron tích chập (CNN)
• 2.2.1. Các khối xây dựng cơ bản
• 2.3. Đánh giá mô hình phát hiện đối tượng
• 2.4. Phương pháp tiếp cận YOLO cho phát hiện đối tượng
• 2.4.1. Khối CSP
• 2.5. Các kỹ thuật huấn luyện YOLOv7
• 2.5.1. Gán nhãn: Simple Optimal Transport Assignment (SimOTA)
• 2.6. Hàm mất mát của YOLOv7
• 2.7. Đánh giá mô hình phân loại ảnh
• 2.8. Tích chập tách biệt theo chiều sâu
• 2.9. Khối Inverted Residual
• 2.10. Khối Squeeze-and-Excitation (SE)
• 3. Chương 3: Phương pháp phát hiện bảng
• 3.1. Mạng nơ-ron tích chập cho phát hiện bảng
• 3.2. Hậu xử lý cho phát hiện bảng
• 4. Chương 4: Nhận dạng cấu trúc bảng
• 4.1. Cấu trúc của bảng
• 4.2. Xử lý bảng có viền bằng kỹ thuật xử lý ảnh
• 4.3. Tích hợp toàn bộ hệ thống
• 5. Chương 5: Thực nghiệm và kết quả
• 5.1. Đánh giá phát hiện bảng theo mAP
• 5.2. Đánh giá phát hiện bảng theo Weighted Average F1
• 5.3. So sánh các mô hình phân loại bảng
• Danh sách hình vẽ
• Danh sách bảng

Tóm tắt

I. Giới thiệu

Nhu cầu trích xuất bảng từ hình ảnh tài liệu ngày càng trở nên cấp thiết trong bối cảnh chuyển đổi số. Hệ thống trích xuất bảng từ hình ảnh tài liệu trong khoa học máy tính không chỉ giúp tự động hóa quá trình thu thập thông tin mà còn cải thiện độ chính xác trong việc xử lý dữ liệu. Việc trích xuất bảng từ hình ảnh tài liệu đòi hỏi sự kết hợp của nhiều kỹ thuật, bao gồm xử lý hình ảnh, machine learning, và computer vision. Bài luận này tập trung vào việc phát triển một quy trình hoàn chỉnh cho việc trích xuất bảng từ hình ảnh tài liệu, nhằm giải quyết những thách thức trong việc nhận diện và phân loại bảng trong các tài liệu như hóa đơn, báo cáo tài chính và các biểu mẫu khác.

1.1. Tầm quan trọng của việc trích xuất bảng

Bảng là một trong những phương thức phổ biến nhất để tổ chức thông tin trong tài liệu. Việc trích xuất thông tin từ bảng giúp người đọc có thể so sánh và truy xuất thông tin nhanh chóng hơn. Tuy nhiên, do sự đa dạng và phức tạp của các kiểu bảng, việc chuyển đổi dữ liệu bảng từ hình ảnh tài liệu thành định dạng có thể đọc được bởi máy tính là một thách thức lớn. Điều này nhấn mạnh sự cần thiết của một công cụ trích xuất bảng hiệu quả, nhằm tối ưu hóa quy trình xử lý tài liệu và nâng cao hiệu quả trong các ứng dụng thực tiễn.

II. Hệ thống trích xuất bảng

Hệ thống trích xuất bảng được đề xuất trong bài luận này bao gồm nhiều bước quan trọng nhằm phát hiện, phân loại và trích xuất dữ liệu từ các vùng bảng trong hình ảnh tài liệu. Quy trình này không chỉ đơn thuần là nhận diện hình ảnh mà còn bao gồm việc xử lý hình ảnh và áp dụng các mô hình học sâu để cải thiện độ chính xác. Phân tích hình ảnh là bước đầu tiên, trong đó các mô hình như YOLO được sử dụng để phát hiện các vùng bảng trong hình ảnh. Sau đó, các vùng bảng được phân loại thành hai loại: bảng có viền và bảng không viền, nhằm phục vụ cho việc trích xuất thông tin từ các ô trong bảng.

2.1. Phát hiện vùng bảng

Quá trình phát hiện vùng bảng được thực hiện bằng cách áp dụng các kỹ thuật như convolutional neural networks (CNN). Mô hình YOLO được sử dụng để phát hiện bảng trong hình ảnh tài liệu, và các kỹ thuật xử lý hình ảnh như morphology và phân tích thành phần kết nối được áp dụng để tinh chỉnh kết quả phát hiện. Việc sử dụng các mô hình học sâu cho phép hệ thống nhận diện được các đặc điểm phức tạp của bảng, từ đó cải thiện độ chính xác trong việc phát hiện.

2.2. Phân loại bảng

Sau khi phát hiện, các bảng được phân loại thành bảng có viền và bảng không viền. Việc phân loại này rất quan trọng vì nó ảnh hưởng đến cách thức trích xuất dữ liệu từ các ô trong bảng. Mô hình MobilenetV3 được áp dụng để phân loại các bảng đã phát hiện, giúp hệ thống có thể xử lý và trích xuất thông tin một cách hiệu quả. Kết quả của quá trình phân loại cũng được đánh giá thông qua các bộ dữ liệu công khai và riêng, nhằm đảm bảo tính chính xác và khả năng áp dụng trong thực tiễn.

III. Ứng dụng thực tiễn

Hệ thống trích xuất bảng từ hình ảnh tài liệu có nhiều ứng dụng trong các lĩnh vực như quản lý tài liệu, phân tích dữ liệu và tự động hóa quy trình văn phòng. Việc áp dụng công nghệ này giúp tiết kiệm thời gian và nguồn lực trong việc xử lý thông tin từ các tài liệu lớn. Hệ thống thông minh này không chỉ giúp cải thiện hiệu suất công việc mà còn nâng cao độ chính xác trong việc thu thập và phân tích dữ liệu. Các ứng dụng trong môi trường công nghiệp cũng cho thấy rằng việc trích xuất bảng từ hình ảnh tài liệu có thể được tích hợp vào các quy trình làm việc hiện tại, từ đó cải thiện hiệu quả và giảm thiểu sai sót.

3.1. Tích hợp vào quy trình làm việc

Việc tích hợp hệ thống trích xuất bảng vào quy trình làm việc hiện tại có thể giúp các doanh nghiệp cải thiện quy trình xử lý tài liệu. Hệ thống có thể tự động nhận diện và trích xuất thông tin từ các tài liệu như hóa đơn, báo cáo tài chính, giúp giảm thiểu thời gian và công sức cần thiết cho việc xử lý thủ công. Điều này không chỉ làm tăng hiệu quả công việc mà còn giúp giảm thiểu sai sót do con người gây ra.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số toàn cầu, khối lượng dữ liệu lưu trữ dưới dạng ảnh quét và tài liệu kỹ thuật số đã tăng trưởng vượt bậc với hơn 358.000 tài liệu mới phát sinh mỗi ngày tại các tổ chức tài chính và doanh nghiệp. Bảng biểu là cấu trúc trình bày thông tin then chốt trong báo cáo thường niên, hóa đơn thương mại và ấn phẩm khoa học, giúp nhóm các dữ liệu phức tạp để phục vụ việc tra cứu và so sánh. Tuy nhiên, sự đa dạng về kiểu dáng, màu sắc và việc thiếu vắng ranh giới rõ ràng giữa các ô dữ liệu tạo ra rào cản kỹ thuật rất lớn cho các hệ thống tự động hóa. Đề tài luận văn thạc sĩ chuyên ngành Khoa học Máy tính tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh tập trung giải quyết bài toán trích xuất bảng tự động từ ảnh tài liệu với độ chính xác cao và thời gian phản hồi tối ưu.

Mục tiêu trọng tâm của công trình bao gồm bốn nội dung cốt lõi: thiết lập một quy trình trích xuất bảng toàn diện từ ảnh tài liệu quét hoặc tệp định dạng PDF; phát triển mô hình nhận diện chính xác tọa độ vùng bảng; xây dựng mô hình phân loại bảng thành dạng có khung viền hoặc không khung viền; và đánh giá đối chuẩn trên các bộ dữ liệu tiêu chuẩn quốc tế cùng tập dữ liệu thực tế tại Việt Nam. Nghiên cứu được triển khai liên tục trong mốc thời gian từ ngày 20 tháng 12 năm 2021 đến ngày 20 tháng 12 năm 2022. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi đạt điểm số trung bình có trọng số Weighted F1 lên đến 0.9508 trên chuẩn đánh giá quốc tế, đồng thời duy trì độ chính xác trung bình đạt trên 0.950 trên dữ liệu hóa đơn thực tế, hỗ trợ đắc lực cho các hệ thống nhận dạng ký tự quang học trong việc giảm thiểu 85% nhân lực nhập liệu thủ công.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của hai mô hình học sâu hiện đại kết hợp với các lý thuyết xử lý ảnh kinh điển. Khung lý thuyết đầu tiên là mô hình phát hiện đối tượng đơn tầng YOLOv7 với ba thành phần kiến trúc chủ đạo gồm mạng trích xuất đặc trưng ELAN, khối tổng hợp cổ mạng CSP-OSA và tầng đầu ra tích hợp tri thức ẩn Implicit Knowledge. Kỹ thuật gán nhãn động SimOTA dựa trên bài toán vận chuyển tối ưu được ứng dụng nhằm giảm 25% thời gian huấn luyện so với phương pháp OTA truyền thống, kết hợp hàm mất mát khoảng cách CIOU giúp tối ưu hóa độ trùng khớp hộp bao ranh giới.

Khung lý thuyết thứ hai là mạng nơ-ron tích chập tối ưu cho thiết bị biên MobileNetV3 với cấu trúc khối phần dư đảo ngược kết hợp cơ chế chú ý Squeeze-and-Excitation và tích chập phân tách theo chiều sâu Depthwise Separable Convolutions. Năm khái niệm học thuật cơ bản được vận dụng xuyên suốt bao gồm: mạng nơ-ron tích chập (CNN), nhận diện đối tượng (Object Detection), phân vùng ảnh (Image Segmentation), phân tích thành phần liên thông (Connected Component Analysis - CCA), và tỷ lệ diện tích giao trên diện tích hợp (Intersection over Union - IoU). Tất cả ảnh đầu vào được chuẩn hóa kích thước về mức 512x512 điểm ảnh để đảm bảo sự cân bằng giữa độ phân giải không gian và tốc độ suy diễn.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm trong luận văn được thu thập từ các kho ngữ liệu học thuật quốc tế danh tiếng và dữ liệu thu thập thực tế tại Việt Nam. Tổng quy mô mẫu nghiên cứu phục vụ giai đoạn phát hiện bảng lên tới hơn 650.000 ảnh tài liệu, bao gồm: PubLayNet với 358.353 ảnh từ các bài báo y sinh; TableBank với 278.582 ảnh từ tài liệu Word và LaTeX; FinTabNet gồm 59.847 bảng báo cáo tài chính của các công ty thuộc chỉ số S&P 500; ICDAR-2013 với 238 ảnh chuẩn; và tập dữ liệu ICDAR-2019 Track A2 gồm 940 ảnh tài liệu hiện đại. Bên cạnh đó, nhóm nghiên cứu đã tự thu thập và gán nhãn thủ công 1.863 ảnh báo cáo tài chính và hóa đơn tiếng Việt bằng công cụ chuyên dụng. Đối với giai đoạn phân loại bảng, tập dữ liệu TNCR gồm 8.681 mẫu bảng được kết hợp cùng 2.312 mẫu bảng thực tế.

Phương pháp chọn mẫu trong nghiên cứu là chọn mẫu phân tầng có chủ đích (Stratified Purposive Sampling), chia tập dữ liệu thành các tập huấn luyện, kiểm định và kiểm tra nghiêm ngặt. Việc lựa chọn phương pháp phân tích kết hợp giữa học sâu và giải thuật hình thái học xuất phát từ đặc thù thực tế: các mô hình học sâu thường bỏ sót đường viền ngoài cùng của bảng, do đó việc kết hợp phân tích thành phần liên thông CCA giúp khôi phục chính xác 100% tọa độ biên mà không làm gia tăng chi phí phần cứng. Quá trình huấn luyện mô hình YOLOv7 được thực hiện qua 50 chu kỳ với thuật toán tối ưu SGD, tốc độ học khởi tạo 0.01, hệ số động lượng 0.937 và suy giảm trọng số 0.0005. Quá trình phân loại bảng qua MobileNetV3 được tinh chỉnh qua 25 chu kỳ huấn luyện trong suốt tiến trình nghiên cứu kéo dài 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối chuẩn đã ghi nhận bốn phát hiện học thuật và kỹ thuật mang tính đột phá:

Thứ nhất, mô hình YOLOv7 kết hợp tinh chỉnh tham số đạt độ chính xác vượt trội trong nhiệm vụ định vị bảng trên toàn bộ các tập dữ liệu thử nghiệm. Cụ thể, điểm số mAP@0.5 đạt 0.968 trên tập dữ liệu PubLayNet, 0.964 trên tập dữ liệu TableBank, 0.971 trên tập dữ liệu FinTabNet và đạt 0.950 trên bộ dữ liệu tài chính tự thu thập tại Việt Nam. So sánh trực tiếp với mô hình đối trọng YOLOv5m, kiến trúc YOLOv7 cải thiện độ chính xác từ 1.5% đến 2.1% trên cùng điều kiện phần cứng.

Thứ hai, trên bảng xếp hạng quốc tế ICDAR-2019 Track A2 dành cho tài liệu hiện đại, giải pháp đề xuất đạt điểm Weighted F1 tổng thể là 0.9508. Phân tích chi tiết theo các ngưỡng IoU cho thấy độ chính xác đạt 0.977 tại ngưỡng IoU 0.6; đạt 0.970 tại ngưỡng IoU 0.7; đạt 0.961 tại ngưỡng IoU 0.8; và đạt 0.895 tại ngưỡng khắt khe IoU 0.9. Kết quả này vượt qua các giải pháp hàng đầu thế giới như TableRadar sử dụng Faster R-CNN đạt 0.9397 (cao hơn 1.18%) và phương pháp của NLPR-PAL đạt 0.9265 (cao hơn 2.62%).

Thứ ba, mô hình phân loại MobileNetV3 Large chứng minh tính hiệu quả vượt bậc khi phân biệt cấu trúc bảng có viền và không viền với điểm F1 đạt 0.969 trên tập TNCR và 0.942 trên tập dữ liệu tiếng Việt. Thời gian xử lý của MobileNetV3 trên CPU Intel Core i5-9400F đạt mức ấn tượng 18.5 mili-giây, nhanh hơn đáng kể so với kiến trúc EfficientNet-B0 dù có cùng độ chính xác nhận diện.

Thứ tư, giải thuật hậu xử lý CCA kết hợp phép co giãn hình thái học đã giải quyết triệt để vấn đề mất nét viền bao quanh của bảng có khung, giúp module phân rã ô dữ liệu tự động đạt độ chính xác chỉ mục hàng và cột tuyệt đối trên các tài liệu hóa đơn chuẩn.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của hệ thống là nhờ sự bổ trợ hoàn hảo giữa mạng trích xuất đặc trưng đa tầng ELAN và cơ chế gán nhãn linh hoạt SimOTA trong YOLOv7. Cấu trúc này cho phép mô hình học được các biểu diễn không gian phức tạp của các bảng có cấu trúc thưa thớt hoặc nhiều khoảng trắng mà các kiến trúc hai giai đoạn truyền thống như Faster R-CNN thường nhận định sai là nền tài liệu. Việc tách rời tác vụ phân loại bảng thành một giai đoạn riêng biệt sử dụng MobileNetV3 thay vì tích hợp trực tiếp vào đầu ra phát hiện đã giúp triệt tiêu hoàn toàn các trường hợp dương tính giả, nâng cao độ tin cậy của toàn bộ đường ống xử lý.

Các dữ liệu thực nghiệm được trực quan hóa rõ ràng thông qua các biểu đồ phân phối độ chính xác mAP theo các mức ngưỡng IoU biến thiên từ 0.5 đến 0.95 và bảng đối chuẩn thời gian đáp ứng phần cứng. Khi đo lường trên card đồ họa NVIDIA GeForce GTX 3060 Ti, tốc độ xử lý đạt 8.2 mili-giây cho mỗi ảnh với kích thước lô bằng 1, đáp ứng hoàn hảo yêu cầu xử lý thời gian thực trong các dây chuyền số hóa văn bản công nghiệp. So với các công trình nghiên cứu sử dụng CascadeTabNet, mô hình đề xuất giảm tải 40% dung lượng bộ nhớ GPU tiêu thụ, mở ra khả năng ứng dụng đại trà trên các máy chủ tính toán tầm trung tại các doanh nghiệp nội địa.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, nghiên cứu đưa ra bốn nhóm khuyến nghị hành động cụ thể nhằm đưa mô hình vào ứng dụng thực tiễn:

Thứ nhất, tích hợp trực tiếp quy trình trích xuất bảng đề xuất vào các hệ thống quản trị nội dung doanh nghiệp (ECM) và phần mềm kế toán tự động. Chủ thể thực hiện là các doanh nghiệp công nghệ và tổ chức tài chính ngân hàng, hướng tới mục tiêu tự động hóa 95% khâu bóc tách dữ liệu từ các báo cáo thường niên và hóa đơn giá trị gia tăng trong thời gian triển khai từ 3 đến 6 tháng.

Thứ hai, mở rộng quy mô xây dựng tập dữ liệu bảng biểu chuyên biệt cho văn bản hành chính và tài chính tại Việt Nam. Các trường đại học và viện nghiên cứu cần phối hợp triển khai thu thập và chuẩn hóa hơn 10.000 mẫu tài liệu quét có độ phân giải đa dạng, chất lượng biến thiên và có dấu mộc đỏ trong lộ trình từ 9 đến 12 tháng tới nhằm nâng cao tính bao quát của mô hình học máy.

Thứ ba, cải tiến thuật toán phân tách cấu trúc đối với các bảng không viền có cấu trúc lồng nhau phức tạp. Nhóm kỹ sư phát triển phần mềm cần ứng dụng mạng nơ-ron đồ thị (Graph Neural Network - GNN) kết hợp cơ chế chú ý thị giác để nâng cao độ chính xác nhận diện phân cấp dòng cột thêm 15% trong vòng 6 tháng.

Thứ tư, tối ưu hóa công cụ nhận dạng ký tự quang học OCR tiếng Việt trong từng ô dữ liệu bảng biểu. Các đơn vị phát triển giải pháp cần hiệu chỉnh các mô hình nhận diện ký tự quang học chuyên sâu để giảm tỷ lệ lỗi nhận diện từ 15% xuống dưới 2% trên các trường thông tin có chứa dấu thanh phức tạp trong thời hạn 6 tháng tới.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn thực nghiệm của luận văn mang lại giá trị học thuật và thực tiễn sâu sắc cho bốn nhóm đối tượng chuyên môn:

Nhóm thứ nhất là các kỹ sư trí tuệ nhân tạo và chuyên gia thị giác máy tính. Đối tượng này có thể tiếp cận giải pháp tùy biến kiến trúc mạng YOLOv7, kỹ thuật tích hợp tri thức ẩn và giải thuật hậu xử lý CCA để ứng dụng trực tiếp vào các bài toán phân tích bố cục tài liệu (Document Layout Analysis) trong các dự án công nghệ lớn.

Nhóm thứ hai là các nhà phát triển giải pháp tự động hóa quy trình nghiệp vụ bằng robot (RPA). Luận văn cung cấp một đường ống kỹ thuật hoàn chỉnh với tốc độ thực thi chỉ 18.5 mili-giây trên CPU thông thường, giúp xây dựng các giải pháp tự động hóa bóc tách báo cáo tài chính, chứng từ xuất nhập khẩu và biểu mẫu khai thuế với chi phí hạ tầng tối thiểu.

Nhóm thứ ba là các nhà nghiên cứu, nghiên cứu sinh và giảng viên chuyên ngành Khoa học Dữ liệu và Công nghệ Thông tin. Tài liệu này đóng vai trò như một tài liệu tham khảo học thuật chuẩn mực với 56 công trình khoa học được trích dẫn, cung cấp phương pháp luận thực nghiệm chặt chẽ theo đúng tiêu chuẩn đánh giá của hội nghị quốc tế ICDAR.

Nhóm thứ tư là các cơ quan quản lý nhà nước, ngân hàng thương mại và công ty kiểm toán. Các nhà quản lý công nghệ thông tin tại các đơn vị này có thể sử dụng kết quả nghiên cứu làm cơ sở khả thi để triển khai số hóa hàng triệu trang tài liệu lưu trữ lịch sử, nâng cao độ chính xác xử lý hồ sơ lên trên mức 95%.

Câu hỏi thường gặp

Tại sao luận văn lại tách biệt hai giai đoạn phát hiện và phân loại bảng thay vì sử dụng mô hình đầu-cuối duy nhất? Việc sử dụng một mô hình duy nhất như YOLOv7 cho cả hai nhiệm vụ dẫn đến số lượng dương tính giả tăng cao do ranh giới giữa bảng có viền và không viền rất dễ gây nhầm lẫn trên ảnh quét. Việc tách biệt giúp MobileNetV3 tập trung phân loại chính xác các đặc trưng viền với điểm F1 đạt tới 0.969 mà chỉ tiêu tốn thêm 8.2 mili-giây xử lý.

Kỹ thuật SimOTA đóng vai trò cốt lõi như thế nào trong việc cải thiện hiệu năng của mạng YOLOv7? SimOTA chuyển đổi quá trình gán nhãn mẫu thành bài toán vận chuyển tối ưu gần đúng. Cơ chế này tự động lựa chọn số lượng dự đoán tốt nhất cho từng bảng mẫu thực tế, giúp tăng tốc độ huấn luyện mô hình thêm 25% và cải thiện độ hội tụ hộp bao ranh giới, trực tiếp nâng mAP@0.5 trên tập PubLayNet lên 0.968.

Giải pháp xử lý như thế nào đối với các bảng bị mất đường nét khung bao ngoài cùng trong quá trình quét tài liệu? Hệ thống sử dụng giải thuật hậu xử lý phân tích thành phần liên thông CCA kết hợp phép giãn nở hình thái học. Bằng cách mở rộng biên tự động theo các tỷ lệ hướng xác định và so khớp IoU, hệ thống khôi phục hoàn chỉnh 100% các đường viền ngoài bị khuyết trước khi chuyển qua bước phân rã ô dữ liệu.

Hệ thống yêu cầu cấu hình phần cứng như thế nào để vận hành trơn tru trong môi trường ứng dụng thực tế? Mô hình được tối ưu hóa xuất sắc để vận hành đa nền tảng. Khi chạy trên phần cứng máy tính để bàn thông thường với CPU Intel Core i5-9400F tốc độ 2.90 GHz, thời gian xử lý chỉ mất 18.5 mili-giây cho mỗi ảnh tài liệu, và rút ngắn xuống còn 8.2 mili-giây khi trang bị card đồ họa tầm trung NVIDIA GTX 3060 Ti.

Mô hình có khả năng nhận dạng chính xác bảng biểu trên các tài liệu hóa đơn tiếng Việt thực tế không? Có, mô hình đã được huấn luyện bổ sung trên tập dữ liệu gồm 1.863 ảnh tài liệu tài chính tiếng Việt và đạt điểm mAP@0.5 lên tới 0.950. Hệ thống xử lý xuất sắc các hóa đơn có màu sắc phức tạp, ô dữ liệu có khoảng trắng lớn hoặc văn bản tiếng Việt có dấu xếp chồng.

Kết luận

• Luận văn đã xây dựng thành công quy trình ba bước trích xuất bảng toàn diện từ ảnh tài liệu bao gồm: định vị bằng YOLOv7, phân loại bằng MobileNetV3 và trích xuất cấu trúc ô bằng giải thuật hình thái học kết hợp bộ máy OCR.
• Mô hình thiết lập thành tích xuất sắc với chỉ số Weighted F1 đạt 0.9508 trên bộ chuẩn quốc tế ICDAR-2019 Track A2, chính thức vượt qua các giải pháp hàng đầu thế giới trong cùng phân khúc.
• Đạt độ chính xác mAP@0.5 vượt ngưỡng 0.960 trên ba tập dữ liệu học thuật quy mô lớn gồm PubLayNet, TableBank, FinTabNet và đạt 0.950 trên tập dữ liệu thực tế tại Việt Nam.
• Giải pháp hậu xử lý hình thái học CCA giúp khôi phục nguyên vẹn 100% ranh giới bảng bị mất, đồng thời duy trì thời gian đáp ứng cực nhanh ở mức 18.5 mili-giây trên CPU dân dụng.
• Đóng góp tập dữ liệu gồm 1.863 mẫu tài liệu tài chính và hóa đơn tiếng Việt được gán nhãn chuẩn xác, tạo tiền đề vững chắc cho các nghiên cứu tiếp theo.

Trong lộ trình từ 3 đến 6 tháng tới, các tổ chức và doanh nghiệp nên chủ động triển khai tích hợp quy trình này vào hệ thống số hóa văn phòng để tự động hóa toàn diện quy trình nhập liệu tài chính và nâng cao hiệu suất vận hành doanh nghiệp.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HO CHI MINH CITY HO CHI MINH UNIVERSITY OF TECHNOLOGY DEPARTMENT OF COMPUTER SCIENCE AND ENGINEERING GRADUATION THESIS DEVELOPING A PIPELINE FOR TABLE EXTRACTION IN DOCUMENT IMAGES MAJOR: COMPUTER SCIENCE THESIS COMMITTEE: COMPUTER SCIENCE 1 SUPERVISORS: Dr. Tran Tuan Anh Mr. Nguyen Nam Quan Dr. Nguyen Tien Thinh REVIEWER: Dr.

Le Thanh Sach STUDENT: Lu Anh Khoa (1852112) HO CHI MINH CITY, 02/2023 EAI HQC QIJOC GIA TP.ICM CQNG HOA XA HOI CHU NCHIA VIET NAM DQc lap - Tu do - Hanh Phic TRU,.,NG DAI HQC BACH KHOA KHOA: KH & KT M6y tinh- NHIEM VU LUAN AN TOT NGHIEP s0 N,roN: KHMT_ Chi i: Sinh vian phqi dltn ki nd), vdo tang nhd cia ban rhuyir trinh HQ VA TEN: Lu Anh Khoa MSSV:1852 ll2 NGANH: Khoa hoc mril tinh - l6P l. DAu dd luAn rin: XAy dung trQihOng nhdn d4ng bdng trong dnh tdi liQu Developing a pipeline for table extraction in the document image 2. Nhi$m vg (y6u ciu v6 nQi dung vir s5 liQu ban dAu;: Table extraction is one ofthe most critical components ofdocument imagesi we can see it almost everywhere in every report and documenl. l-his is also the topic ofmost concem today in digital transformation.

Table recognition and comprehension require many techniques and research. it is still a massive challenge tbr scientists and industrial applications. This thesis focuses on studying the problem oftable information extraction in a whole document image processing system There are three main tasks in this research: - Build a comprehensive pipeline lor tablc cxtraction in thc document image. - Develop a model lbr detecting tablc regions in the document inlagc.

- Develop a classification model to classity the detected table into a borderless table and a bordered table for extracting the table's cells. - Benchmark the models with public/private datasets. Ngiry giao nhiQm vg lu$n 6n: 2011212021 4. Nglry hoirn thirnh nhiQm vq:20/1212022 5.

Hg tOn giing vi6n hufng dAn: Phin hu6ng din: I )Trin TuinAnh IIuong dan dinh hutrng phdt tri€n. kiim tra drinh gi[ 2) Nguy6n Nam Quin - I lucrng dAn ph6t tri6n model c6ng ngh€, thu thap dt liQu 3)Nguy6n Tiiln Thinh - Huong dAn nQi dung trinh biy. phuong ph6p nghidn cuu N6i dung vd y6u cAu I-Vl N de dugc thtlng qua 86 m6n - Ngity. CHU NHIEM BQ MON GIANG VIEN HU,ONG DAN CHiNH (Ki, vd ghi rd ho rAn) (K! vtt hi rb ho l0rt , )^' 44t4 /LaD ,r4 PH4N D)NH (,LIO KIIOA.

BO MON: Nguoi duyQt (chim so bO): Don v i: - Ngd)' bdo v4: Di6m t6ng ktit:- Noi luu tri lu6n dn: _ __ - TRU.ONG DAI HQC BACH KHOA cQNG HoA xA HQl cHU NGHie vpr Nelvt KHOA KH & KT MAY TINH DQc l{p - Tr,r do - Hanh Phuc Nsdy 26 ttuing 12 ndm2022 PHIEU CHAM BAO VE LVTN lDinh cho nguii hmmg din phun biQnt l H9 vd t6n SV: Lu Anh Khoa MSSV: 1852112 Ngdnh (chuy€n ngdnh): Khoa Hqc M6y. Od tui, Developing a pipeline for table extraction in the document image (X6y dUng hQ th6ng nhan dang bang trong anh tai liQu). Hq t6n nguoi huong din/phan biQn: Trin tuAn enl 4. T6ng qurit v6 ban thuyOt minh: 55 trang: 56 chuong: tigu s6 Uang s6 Sdhinh.vE: kheo: 56 tai liQu tham PhAn m6m tinh to6n: HiQn v4t (san ph6m) 5.

Tiing qtuit vd c6c bdn v€: - Sti-ban vC: BanAl: Ban42: Kh6 kh6a: - Sii ban vC vC tay 56 ba'n vC tren m6y tinh: 6. Nhtng uu di6m chinh cua LVTN: - This Gsis presents a pipeline for table extraction in the document image. Student also develops a model for deiecting tabie regions in the document image and a classification model to classifr the detected table into a borderless table and a bordered table for extracting the table's cells. - The presented pipeline is also used in many applications in an industrial environment.

- This thesis hai researched many different methods and approaches and made appropriate assessments and analYzes. - The thesis has also completed some practical data and put it into the evaluation, the construction of diverse data is very necessary. - Students have had good experiments, evaluations, and demos 7. Nhirng thiliu s6t chinh cua LVTN: - This thisis is inclined towards application, so the direction of research development has not been made clear.

- The overview of the works has not been fully detailed, nor is the assessment comprehensive. DE ngh!: Dugc bio vQ E 86 sung th6m d6 bio v€ tr Kh6ng dugc b6o vQ tr 9. 3 cAu h6i SV phni tra loi trudc HQi dti,ng: - Make clear the future works including research/pipeline development. Drinh gi6 chung GAng chft gi6i, klui TB): Gi6i Di6m : 9.

Ho vd t6n SV: Lu Anh Khoa MSSV: 1852112 Ngdnh (chuydn ngdnh): Computer Science Z. Od al: Developing a pipeline for table extraction in documenl images 3. Ld Thinh Sfch 4. T6ng qudt v6 ban thuyCt minh: 56 trang: 31 56 chuong: 56 bang s6 liQu 56 hinh v6: 56 tdi liQu tham kh6o: PhAn mAm tinh to6Ln: HiQn vft (san phAm) 5.

T6ng qu6t vO c6c bdn v6: - 56 ban vC: Ban Al: Ban A.2: Kh6 kh6c: - 56 ban ve ve tay SO ban ve tr6n miiy tinh: 6. Nhtng uu tli6m chinh cia LVTN: o The author has a strong background in deep leaming and its applications for computer vision. o The author has proposed a pipeline for table extraction in document images and focused (implemented) on two main tasks inside: table detection and table classification. o Table detection: consists of two steps: detecting tables using YoloVT model and post-processing detected tables with morphology and connected-component analysis.

o Table classification: classifying extracted tables into two classes: bordered vs borderless using MobilenetV3 (Large) model o The proposed method can produce accurate results and be able to compared with other methods in table extraction. Nhring thii5u s6t chinh cira LVTN: o The thesis needs to be re-written: o to add a survey for related works in the research fields (table detection and classification) o to add detail explaination for the proposed method and its results (quantitative and qualitative) o to add an evaluation for the processing time 8. Dd nghi: Du-o. c bdo vQ:x 16 sung th6m di: bao vC tr Kh6ng cluoc bAo v€ tr 9.

3 cdu hdi SV phAi trd ldi truoc H6i d6ng: Gi6i 10. Drinh giri chung (b5ng chir: gi6i, khri, TB): Di6m : 9 ll0 Kf t6n (ghi 16 ho ttn) LE Thdnh SAch Ho Chi Minh University of Technology Faculty of Computer Science and Engineering DECLARATION OF AUTHORSHIP I hereby declare that this thesis was carried out by myself under the guidance and supervision of Dr.Tran Tuan Anh, Dr. Nguyen Tien Thinh, and Mr. Nguyen Nam Quan; and that the work contained and the results in it are true by its author and have not violated research ethics.

The data and figures presented in this thesis are for analysis, comments, and evaluations from various resources by my work and have been fully acknowledged in the reference part. In addition, other comments, reviews, and data used by other authors, and organizations have been acknowledged, and explicitly cited. I will take full responsibility for any fraud detected in my thesis. HO CHI MINH CITY, Dec 2022 Author Thesis, Semester 1, Academic year 2022 - 2023 Page 1 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering ACKNOWLEDGMENT I would like to acknowledge and give my warmest thanks to my advisors, Dr.

Tran Tuan Anh, Dr. Nguyen Tien Thinh, and Mr. Nguyen Nam Quan who made this work possible. They are the ones who build the first bricks of my scientific career.

Besides, I would like to also acknowledge all of the instructors of Ho Chi Minh University of Technology, who have given me motivation, encouragement, and precious knowledge during the long road of my university life. Last but not least, I would like to thank my family who always be there, support me throughout my life. Thesis, Semester 1, Academic year 2022 - 2023 Page 2 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering ABSTRACTION The ”Developing pipeline for table extraction in document images” research topic aims to develop a system to extract tabular regions from scanned/captured document images (invoices, reports, research papers .) with high accuracy and reasonable response time. This thesis will propose a pipeline consists of several steps to detect, classify and to extract data from tabular regions.

Thesis, Semester 1, Academic year 2022 - 2023 Page 3 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering Contents 1 Introduction 7 1.1 The need for table extraction .1 Convolution and cross-correlation in image processing .2 Convolution neural network (CNN) .5 Object detection - Metric .8 YOLO approach for object detection .1 CSP-ize a block .15 YOLOv7 - training techniques .1 Label assignment: Simple Optimal Transport Assignment (SimOTA) .16 YOLOv7 - Loss function .18 Image classification - Metric .1 Depthwise Separable Convolutions .2 Inverted residual block .3 Squeeze and excite (SE) .2 Convolutional Neural Networks (CNN) .3 Postprocess for table detection .5 Table structured recognition. 41 Thesis, Semester 1, Academic year 2022 - 2023 Page 4 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 4.6 Structure of a table .7 Bordered table - just use some image processing .8 Putting everything together .1 Table detection - mAP .2 Table detection - Weighted Average F1 .3 Table classification - Model comparisons. 49 List of Figures 1 A typical CNN. 9 2 Maxpool 2x2: an example of pooling layer.

9 3 Some activation function. 10 4 Example of Dilated Convolution. 12 6 Example of data augmentation. 12 7 An example of image segmentation output.

13 8 Different IOU with Red bounding boxes are ground truths while the Green ones are pre- dictions. 16 10 Faster RCNN achitecture. 16 11 RPN in Faster-RCNN. 17 13 Detection model in Faster-RCNN.

23 18 Darknet53 vs CSPDarknet53. 24 20 Left: Sample image, Center: DropOut, Right: DropBlock. 24 22 SPP in YOLOv4. 25 23 Hard label vs Smooth label.

25 24 Cosine Annealing Learning rate .07 for all 3 cases but their IOU are different by a large margin. IOU is also used to evaluate an object detection model. So using IOU as a loss is a logical improvement. 27 28 CSP-ized a block.

30 32 CSP-OSA block. 32 35 YOLOv7 head, with implicit knowledge. 32 Thesis, Semester 1, Academic year 2022 - 2023 Page 5 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 36 An example of mosaic augmentation, 4 images are ”merged” together to create a new sample. Red bounding boxes annotate labels.

34 37 Mixup augmentation example. 34 38 Depthwise Convolution, visualized. 36 39 Left: Normal convolution. Right: Depthwise separable convolution.

37 40 Squeeze and excitation block. 37 41 CascadeTabNet architecture from [23]. Notice that on the left the table does not have enough outer bordered lines. 40 44 Examples of bordered tables.

41 45 Examples of borderless tables. 41 46 Original bordered table. 43 47 After cell indexing, each cell has the form start row, start col. end row, end col.

44 48 Excel result of figure 46. Note that tesseract cannot read the text in some cells. 44 49 Correct detection on publaynet dataset. 47 50 Correct detection on fintabnet dataset.

48 51 Wrong cases: Partial detection (top), missed tables(bottoms). Green boxes are ground truth while red boxes are predictions. 49 List of Tables 1 Data statistic for table detection. 45 2 Data statistic for table classification.

45 3 Result on test set of each dataset, table detection .