Chương 1: Giới thiệu - trình bày giới thiệu về bài toán cần giải quyết, minh họa đầu vào, đầu ra, các thách thức, đóng góp và cấu trúc của khóa luận. Chương 2: Công trình liên quan và Kiến thức cơ bản - trình bày các công trình liên quan và các phương pháp sử dụng trong các bài toán con (Phát hiện văn bản, Nhận diện văn bản, Trích xuất thông tin) để nghiên cứu. Chương 3: Xây dựng bộ hóa đơn Tiếng Việt. Chương 4: Thực nghiệm - trình bày các bộ dữ liệu, độ đo sử dụng trong khóa luận, thực nghiệm, đánh giá từng phương pháp trong các bài toán con với một số phương pháp liên quan và thử nghiệm để cái thiện ứng dụng khóa luận.
Chương 5: Ứng dụng minh họa - trình bày cài đặt ứng dụng, đánh giá, so sánh với ứng dụng liên quan khác và một số kết quả của ứng dụng. Chương 6: Kết luận - trình bày tóm tắt khóa luận, những vấn dé đã giải quyết, các hạn chế và hướng phát triển tiếp theo của khóa luận tốt nghiệp. Chương 2 CÔNG TRÌNH LIÊN QUAN VÀ KIÊN THỨC CƠ BẢN 2.1 Phát hiện văn bản 2.1 Tổng quan về phát hiện văn bản Những phương pháp phát hiện văn bản trong hình ảnh có thể được phân loại thành classical machine learning-based và deep learning-based Text Detection Methods Classical Machine- Deep-Learning Learning Connected Bounding-Box Sliding Window Component Regression Segmentation Hybrid E—— | Sementic | Instance HINH 2.1: Tổng quan về phát hiện văn ban! Chương 2. CÔNG TRINH LIÊN QUAN VÀ KIÊN THUC CƠ BẢN 2.1 Phuong pháp dựa trên máy học cổ điển (Classical Machine Learning- based) Phần này tóm tắt các phương pháp truyền thống được sử dụng cho phát hiện văn bản trong hình ảnh, có thể được phân loại thành hai phương pháp tiếp cận chính, cụ thể là cửa sổ trượt (sliđing-window) và các phương pháp tiếp cận dựa trên thành phần kết nối (connected-component).
* Cửa số trượt: Sử dụng một cửa số trượt với kích thước xác định, sau đó những đặc trưng của tam ảnh sẽ được trích xuất (như là sự khác biệt trung bình và độ lệch chuẩn [9], biểu đồ định hướng (HOG) [6] và những vùng cạnh [19}) từ những cửa sổ trượt (sliding-window) và sau đó sẽ được phân loại vào những lớp với nhiều bộ phân lớp khác nhau (ví dụ: cây quyết định (decision trees) [19], log-likelihood El, kiểm tra tỷ lệ khả năng (likelihood ratio test) (91) để phát hiện văn ban trong mỗi cửa sổ trượt. Tuy nhiên, những phương pháp này chỉ có thể áp dụng để phát hiện văn bản nằm ngang và có hiệu suất phát hiện thấp trên hình ảnh mà có nhiều hướng của văn bản. ¢ Thanh phần kết nối: nhằm mục đích trích xuất các vùng hình ảnh có các thuộc tính tương tự (màu sắc (44), kết cầu [46], ranh gidi [20], các điểm góc 48|) để tạo thành các thành phần ứng viên có thể được phân loại thành văn bản hoặc không phải văn bản sử dụng các thuật toán phân loại truyền thống: support vector machine (SVM) 0], Random Eorest [27], va nearest- neighbor [31]. Các phương pháp này phát hiện những ky tự của một bức ảnh và kết hợp các ký tự được trích xuất thành một từ hoặc dòng chữ IHỆ Không giống như cửa sổ trượt, các phương pháp dựa trên các thành phần được kết nối hiệu quả và nhanh hơn và luôn cho một tỉ lệ lỗi thấp hơn, điều này rất quan trọng trong việc phát hiện văn bản trong hình ảnh.
Tuy nhiên các phương pháp cổ điển được dé cập trên nhằm mục đích phát hiện những ky tự độc lập do đó dé dàng gây ra việc loại bỏ các vùng ký tự không rõ ràng hoặc tạo ra một số lượng lớn phát hiện sai lầm làm giảm hiệu suất phát hiện của chúng. 1 Ảnh lay từ Chương 2. CÔNG TRÌNH LIEN QUAN VÀ KIÊN THUC CƠ BẢN 2.2 Phương pháp dựa trên học sâu (Deep Learning-based) Sự xuất hiện và phát triển nhanh chóng của học sâu|17] đã thay đổi cách các nhà nghiên cứu tiếp cận bài toán phát hiện văn bản và đã mở rộng phạm vi nghiên cứu trong lĩnh vực này cho đến nay. Kể từ khi các kỹ thuật dựa trên học sâu có nhiều lợi thế hơn so với những kỹ thuật dựa trên máy học cổ điển (chẳng hạn như nhanh hơn và đơn giản hơn).
Trong phần này, chúng tôi trình bày đánh giá về những ưu điểm và sự tiến bộ gần đây trong các phương pháp phát hiện văn bản dựa trên học sâu được tóm tắt trong|2.5| IF Neural Network Detection Challenges có ie Model Training Datasets a — BB SB Hy Architecture Backbone Target Quad Curved Foe Colle Name First-Staze Fine-Tune Jaderberger af[33] 2014 - — CNN - Ww - - DR - DSOL MJSynth - Huang eral. [30] 2014 — — CNN - Ww - - D - RSTD - TCI1 or ICIS Tian et al. [34] 2016 “ - Faster R-CNN VGG-16 TW ~ - D ư CTPN PD ICI3 Zhang efal.(39] 2016 - wv FCN VOG-16 Ww vĩ D MOTD - 1C13, IC15 or M500 Yao et al. [40] 216 - ¥ FCN VGG-16 Ww Zw D ¥ STDH - 1C13, IC15 or M500 Shi et al.
[59] MT — 55D VGG-l6 cw ¥ - Dv SegLink ST 1013, IC15 or M500 He er anf. 2017 - ¥ 55D VGOG-16 Ww vể - D SSTD - 1C13 or ICIS Hu et al. - D - Wordsup ST IC15 or COCO Zhou et al. [35] MIT — FCN VOG-16 WT w - Dw EAST - IC15*, COCO or M500 He et al.
[106] WT — DenseBox - WT v D - DDR - IC13, IC15 & PD Ma et al. [38] 2018 w# — Faster R-CNN VGG-l6 Ww vĩ - D ¥ RRPN M500 TC13 or ICIS Jiang etal [107] 21S — Faster R-CNN VGG-l6 WwW v - Dw R2CNN ICl5&PD - Long et al. [42] 218 - ¥ U-Net VGŒ-l6 Ww ¥ LẢ D / TextSnake ST TC15, M500, TOT or CTW Liao er al. [37] 2018 4 - ssn VGG-16 Ww w — DR TextBoxcs++ ST ICI5 He et al.
[50] 218 - FCN PVA cw v - DR w E2ET 5T IC13 or ICIS Lyu er af. [48] 2018 - ¥ Mask-RCNN ResNet-50 Ww w - DR # MTSpotter ST IC13. 1C15 or TOT Liao etal [108] 2018 ¥ — 53D VGG-16 Ww Pa D ¥ RED 5T 1013, IC15, COCO or M500 Lyu et al. [10%] 218 - ¥ FCN VOG-16 Ww v - D ¥ MOSTD 5T TC13 or ICIS Deng et al.*[43] 2018 4 — FCN VGG-16 Ww w - D # Pixellink* ICI5 1C13, IC15* or M500 Liu et al.[49] 2018 w#'ˆ — CNN ResNet-50) Ww v - DR # POTS 5T IC13.
IC15 of IC17 Back et al.*[46] 2019 — ¥ U-Net VGG-16 CWT “ D # CRAFT* ST IC13, IC15* or ICT Wang et af.*[110] 2019 - ¥ FPEM+FFM ResNet-lä Ww “. we D ¥ PAN* 5T IC15*, M500, TOT or CTW Liu et al.*[47] 2019 - -— & Mask-RCNN ResNet-50 WwW w“ “ D # PMTD* ICI7 1C13 of IC15* Xu et al. [111] 20198 - ¥ FCN VGG-16 Ww w v D w Trxtirld ST IC15, M500, TOT or CTW Livetal.*[112] 2019 - ¥ Mask-RCNN ResNet-101 Ww w “ D MB* ST IC15*, ICL7 or M500 Wang eral.*[{113] 2019 - v FPN ResNet Ww w“ w D w# PSENet* ICIT ICH3 of IC15* HÌNH 2.2: Tóm tắt sự so sánh giữa một số kỹ thuật hiện đại nhất trong lĩnh vực này. 2 Các phương pháp phát hiện van bản dựa trên học sâu gần đây lay cảm hứng từ các pipelines phát hiện vật thể (object detection)|12j [14] có thể được phân loại thành các phương pháp tiếp cận dựa trên hồi quy hộp giới hạn (bounding-box regression based), dựa trên phân đoạn (segmentation-based) và cách tiếp cận lai (hybrid approaches) được minh họa trongl2.1| 2 Ảnh lay từ Chương 2.
CÔNG TRINH LIÊN QUAN VÀ KIÊN THUC CƠ BẢN ® Bounding-box regression based methods: coi văn bản như một đối tượng với mục đích dự đoán trực tiếp các bounding-box sử dụng một số thuật toán như Yolo[35], Faster-RCN N56], SSD(21]. Tuy nhiên các phương pháp này được lay cảm hứng từ phát hiện đối tượng, có thể không xử lý được văn bản nhiều hướng bởi vì không giống như phát hiện đối tượng, phát hiện văn bản hoặc các vùng văn bản nhiều hướng yêu cầu các bounding-box có tỷ lệ cỡ ảnh lớn. Mặc dù các phương pháp dựa trên Bounding-box regression có kiến trúc đơn giản, chúng yêu cầu thiết kế trước các anchor phức tạp khó điều chỉnh trong quá trình đào tạo, không thể khái quát hóa được hình ảnh văn bản trong thế giới thực và có thể không xử lý được khi phát hiện văn bản cong và nhiều hướng. * Segmentation-based methods: coi phát hiện văn bản như một van dé của phân đoạn ngữ nghĩa với mục đích là phân loại văn bản trong hình ảnh có cùng các mức độ pixel.
Các phương pháp này, trước tiên trích xuất các khối văn bản từ bản đồ phân đoạn do FCN tạo ra và sau đó có được các bounding-box của văn bản bằng các bước xử lý sau đó. Với một số công trình gần đây đã coi việc phát hiện văn bản như là một vấn dé của phân đoạn cá thể (instance segmentation) và một trong số đó áp dụng Mask R- CNN để cải thiện hiệu suất của phát hiện văn bản cho văn bản có nhiều hình dạng bắt kỳ. ¢ Hybrid methods: dựa trên phương pháp phân đoạn để dự đoán score maps của văn bản và đồng thời nhắm đến việc thu được các bounding-box thông qua sự hồi quy. CÔNG TRÌNH LIÊN QUAN VÀ KIEN THUC CƠ BẢN 2.2 Phương pháp Character Region Awareness for Text Detec- tion (CRAFT) 2.1 Kiến trúc Mô hình phát hiện văn ban CRAFT được công bố trong hội nghị CVPR2019 với hiệu suất cực kỳ ấn tượng khi đạt SoTA trên cả 6 bộ dữ liệu IC13, IC15, IC17, Total- Text, CTW1500, MSRA-TD500, trong đó 3 bộ dữ liệu TotalText, CTW1500, MSRA- TD500 hoàn toàn không can trải qua quá trình fine-tuning, hứa hẹn sẽ mang lại tính tổng quát hóa cao phù hợp cho dữ liệu UIT-RIW (UIT-ReceiptsInTheWild).
CRAFT bao gồm một kiến trúc fully convolutional network dựa trên VGG-16 với batch normalization được sử dụng như mạng trích xuất đặc trưng. Mô hình CRAFT bỏ qua phần kết nối ở Decoder tương tự như U-net trong đó nó tổng hợp các tính năng cấp thấp. Đầu ra cudi cùng có 2 nhánh score maps: region score (vùng có khả năng là ký tự) va affinity score (vùng chỉ ra liên kết giữa các ký tự) được minh họa trong hình 11 Chương 2. CÔNG TRINH LIÊN QUAN VÀ KIÊN THUC CƠ BẢN Image Region score (hxwx3) Conv[1%1% 16] (h/2xw/2x1) Conv[3x3x 16] M.
VGG16-BN Conv[3x 3x32] ị Conv[3x3x32] Conv Stagel † (h/2xw/2x1) 2x w/2x 64) UpConv Block Ỷ (h/2xw/2x32) Conv Stage2 ; ; Stage4 (h/4xw/4x128) i : UpSample (2x) ị UpConv Block (h/4xw/4x64) Conv Stage3 ; é Stage3 i | (h/8xw/8x256) | ! UpSample (2x) UpCony Block | ________.3: Minh hoa kiến trúc của CRAFT.