Chương 1. Lý do chọn để tài.- - + S+2SE2E2EEEEEEEEEEE1E11011211211 111111111111 cv 2 1.- ---- S111 vn ng ng cư. Đối tượng và phạm vi nghiên CỨU. --2- 2 s22 £+££+E££Ee£Eerxerxerxrresreee 2 Chương2.-¿-2¿©2+22+2EE22EE2EE2221271221211221.
Hướng tiẾp cận. Các công trình liÊn Quañ.- - << 111119119911 19 11 9v ng ng ng 6 2. Khó khăn và thách thỨC.- ¿22 +5 S4 123k n TH TH HH ng nh nh 7 2. Hướng nghiên CUu oe.
Phát hiện vùng chứa ngày thang năm (Date Detection). Phát hiện lỗi từ kết quả OCR. Phát hiện vi trí lỗi trên bề mặt bang Deep Learning (Defect Bo ivuil 00. CO SỞ LÝ THUYẾÊT.--- -©E+EE+EE£EE£EEEEEEEEEEeEEEEEerkrrkrree 10 3.
Convolutional Neural Network (CNN). LH HH HH ng HH Hết 10 3. HH HH nghiệt 12 3.-- -- «+ + 111v vn ng giết 14 3. - - - - << << kk 1111111111111 S SE SE 55555111 1 ki 14 3.- Ăn HH HH TH TH ngàng ng như 15 3.
Thur vidn VietOCR. Segmentation+Decision Net (end-to-end|).- --- «+ s-sssssssssessseresee 19 Chương 4. (5-5252 222v St +t+tSxexexerrkrrrrrrkrrrrersee 21 AL. _ Giới thiệu tong quan.
Tiền xử lý dữ liệu. Đối với nhiệm vụ phát hiện đối tượng (object đetection). Đối với nhiệm vu OCR (detect + TCCOØTI1Z€). Đối với nhiệm vụ phát hiện lỗi in sai (defect detection).
Môi trường và ngôn ngữ Cal at. Mô hình tiẾp Canc eccececececcscsssesssessssssueescssecssessuessscssecsusesscssecsuecsueeseesseeseeess 29 4. Yolov§ + PaddleOCR + ƯNet. PaddleDet + PaddleOCR + Mixed SegDeecNet.A, Tham số huấn luyỆn.---- 2-2 £++E+SE+EE+EEE2EESEEEEEEEEEEEEEEEEEEEEEEEEEEEErrrrrer 32 Chương 5.
ĐÁNH GIÁ VÀ KET QUẢ. DO do dank gia. Mean Average Precision (mAIP). H6 thong Kiem naad.
KẾT LUAN wicececcecceccccsscssssscsscssessessesscssssucsvcsssesscssesussussnssessesseesessease 42 6. Những van đề gặp phải. HUONG PHÁT TRIẾN.--- 2c 52+S2+EE+EE+EEtzEzrxerxerkerex 42 DANH MỤC HÌNH Hình 2.1 Một số hình anh vi dụ lỗi in sản phẩm.2 Dinh dạng ngày hết hạn được sử dụng trong ExpDate.3 Kiến trúc tổng thé của khung đề xuất. Hình A có hình ảnh đầu vào bị in lỗi, hình B là ảnh đầu vào không bị lỗi.1 Sơ đồ kiến trúc VGG16 và VGG109.2 Sơ đồ cau trúc mang ResÌNet.---2- 2 2+Sk+EE+2E2EE2EEeEEeEEErrkerkerkerex 11 Hình 3.3 Sơ đồ cấu trúc mang R-CNN .4 Kiến trúc mới Faster R-CNN .5 Cấu trúc của YoU.6 Trang github của PaddlePaddÌe.- <6 + + E + EE+seeEsseeseeeeseeere 14 Hình 3.7 Các mạng được dao tạo trong Paddle Detection.8 Pipe line của PP OCR .-- G11 1236210 E93 9v ng ng ng trên 16 Hình 3.9 Sơ đồ minh họa kiến trúc Mang Craft 007 .10 Kiến trúc TransformerOCR trong VietOCR.--¿- 2-5 s scs+£s2ss2 18 Hình 3.11 Kiến trúc mạng Unet.-------- 2 2 %+E2E£+EE+EE£EEE£EE+EEvEEerEerrkerxerkerex 19 Hình 3.12 Kiến trúc 2 mạng con kết hợp trong SecDeelNet.1 Một số ảnh trong bộ dữ liệu ExpDate.
Nó chứa nhiều challenge về hình anh date như định dạng phông chữ, ngày tháng khác nhau, nhiều ngày,.2 Một số hình anh trong bộ dữ liệu Date-Defect .3 Dinh dạng label trong file fXẮ.4 Ví dụ biểu diễn các tọa độ x, y, w, h trong YOÌO.----<<<«c<sx<xx 23 Hình 4.5 Cấu trúc thư mục dé training Yolov§.---¿---¿-+¿©++cxz+zxrzrxerxesree 24 Hình 4.6 Quy ước các định dạng PaddleDet hỗ trợ.---- - 5-5 5+ z+x+sz+xzss24 Hình 4.7 Định dạng trong mỗi file annotation và cấu trúc thư mục sử dụng dé dao tao Paddle IDetectIOI:.8 Dinh dang thư mục train, test Của CTAÏẨ.9 Dinh dạng trong 1 file label, có tọa độ của 4 điểm, ở vị trí cuối mỗi dòng là glá tri tFASCTIDfIOH.-- G< xxx TH ng TH TH Hà HH Hư Hưng hờ 26 Hình 4.10 Ví dụ từng dòng trong file annotations. -- «se csecsseesesrske 26 Hình 4.11 Ví dụ về trường hợp nhận diện được kí tự nhưng sai giá trỊ.12 Dinh dạng thư mục train, test của net .- 555cc S<x*+scs+eseereee 27 Hình 4.13 Dinh dang thư mực train, test của SeglDecÌNet.14 Quy trình huấn luyện chung của các mô hình.15 Luéng huấn luyện của mô hình cho hệ thống kiểm tra lỗi in han sử dụng trén bao bi san Pham TƯNờợ.1 Ví du cấu trúc 1 folder trong bộ dữ liệu ExpDate.2 Hệ thống hién thị khi kiểm tra bằng webcam (bị lỗi in — dính mực).3 Hệ thống hiển thị khi kiểm tra bằng webcam (không bị lỗi in). 40 DANH MỤC BANG Bảng 2.2 Thách thức các mẫu ví dụ date trong nhận dạng ngày tháng năm (A.3 Các lớp và các mẫu tương ứng được sử dụng trong đào tạo +? J8! IA), E1. HZ có nghĩa la “expiration date”, “until”, “from” và “manufactured” trong tiếng HN.2 Các tham số được tinh chỉnh trong quá trình huấn lUYỆN.1 Kết quả đánh giá mô hình Yolovồ .--2-55c©522ce+cecctectesrsreerxerree 35 Bảng 5.2 Kết quả đánh giá mô hình PaddlelÔet.
- 5-52 2+5e+te+te£tecerersscez 35 Bảng 5.3 Kết quả đánh giá mô hình Craƒ.---- 5-5 Ss+SE+E++E+Et£EeEEerkererssrsee 36 Bang 5.4 Kết quả đánh giá mô hình PP-OCRv3_ đet.-----5: 55c ©52+5s+cs+cxecsez 36 Bang 5.5 Kết quả đánh giá mô hình Unet ccccccccccesscssssssessesssessessessessesssessessessesseeseeses 37 Bảng 5.6 Kết quả đánh giá mô hình SeglQeciNet.- 2-2 ©52©c2+ce+£te£te+E+resrxersez 37 DANH MỤC TỪ VIET TAT STT Tên viết tắt Tên day du 1 AP Average Precision 2 CNN Convolutional Neural Network 3 DMY Day Month Year 4 FCN Fully convolutional network 5 ILSVRC ImageNet Large Scale Visual Recognition Challenge 6 IoU Intersection over Union 7 mAP Mean Average Precision 8 MSER Maximally Stable Extremal Regions 9 OCR Optical Character Recognition 10 OCV Optical Character Verification 11 PP-OCR PaddleOCR 12 PR Precision-Recall 13 RPN Region proposal network 14 SOTA State-of-the-Art TÓM TẮT KHÓA LUẬN Thực phẩm, đồ uống và thuốc là các yếu tố quan trọng trong cuộc sống hàng ngày. Thông tin liên quan đến các sản phẩm này thường được cung cấp trên bao bì, bao gồm thông tin về hạn sử dụng và thành phan. Tuy nhiên, đôi khi thông tin này có thé bị bỏ qua hoặc khó hiểu, và trong một số trường hợp, lỗi in hạn sử dụng không bị phát hiện và sản phẩm được đưa đến tay người tiêu dùng. Điều này làm cho việc nhận diện và phát hiện lỗi in ngày hết hạn trở nên càng quan trọng hơn và dé người tiêu dùng có thé yên tâm sử dung các sản phẩm.
Đây là một nhiệm vụ day thách thức vi tùy từng công ty sản xuất sẽ có những yêu cầu in ấn đặc thù riêng, ví dụ như về các loại phông chữ khác nhau, định dạng ngày tháng đa dạng, sự làm mờ hoặc nhiễu của nên bao bì, và các lỗi do in ân. Trong khóa luận này, chúng tôi xây dựng hệ thống kiểm tra ký tự in lỗi trên bao bì sản phẩm dựa vào ký tự quang học. Trong đó, chúng tôi sử dụng những model hiện đại nhất dé nhận diện vùng chứa Date, sau đó kết qua được xử lý và đưa vào OCR dé nhận diện ngày tháng năm, kết hợp với kết quả của mô hình sử dụng Deep learning dé nhận diện lôi in sai (vi trí bi lôi). Lý do chọn đề tài Có nhiều loại thông tin được in trên bao bì các loại thực phẩm bán lẻ, bao gồm như tên sản phẩm, danh sách các thành phan, han sử dụng, số lô,.
Việc in ấn, nhận diện và kiểm tra hạn sử dụng là đặc biệt quan trọng trong việc đảm bảo phân phối sản pham còn hạn ra thị trường và dé tránh những rủi ro do sản phẩm hết hạn anh hưởng đên sức khỏe của khách hàng. Mục đích Mục dich của hệ thống kiểm tra lỗi in sản phẩm trên bao bì dựa trên kí tự quang học là dé cải thiện sản xuất và hạn chế mức thiệt hại đối với người dùng và công ty sản xuất nếu như thực phẩm đóng gói hết hạn được đưa ra ngoai thị trường. Vì trường hợp hộp mực và đầu in của máy in thường bị nghẽn mà không được phát hiện thì việc in thiếu hay in sai chỉ một chút thông tin về hạn sử dụng sản phẩm lại có thé làm cho cả một lô hàng ảnh hưởng và bị gửi trả lại. Đối tượng và phạm vi nghiên cứu Hiện nay, ở Việt Nam cũng có nhiều công ty nghiên cứu giải quyết vấn đề trên, điển hình là Cognex và VSTECH.
Tuy nhiên, hầu hết các công ty đều tích hợp vào một hệ thống dây chuyền dé đưa ra thị trường (bao gồm có băng chuyền, camera nhận diện, cảm ứng, phần mềm quản ly,.), vì vậy, sản phẩm có giá thành rất cao. Những công ty in ấn bao bì thực pham họ muốn một phần mềm có thé tự động nhận diện, kiểm tra lỗi in ấn và hạn sử dụng sau khi in với giá thành rẻ, không bao gồm máy móc (băng chuyền, camera,. Dé đáp ứng với nhu cầu của doanh nghiệp hiện nay, chúng tôi đã bắt đầu nghiên cứu và giải quyết bài toán “Kiểm tra ký tự quang học được in trên bề mặt sản phẩm hoặc bao bì thực phẩm”. Giới thiệu bài toán Phương pháp hoc sâu đã trở nên phổ biến hơn trong các ứng dụng công nghiệp và mang lại nhiều lợi ích đa dạng.
Trong số đó, việc sử dụng nhận dạng ký tự quang học dựa trên học sâu (OCR) đã trở thành một trong những phương pháp phổ biến nhất. Có nhiều ứng dụng đã được phát triển cho các nhiệm vụ nhận dạng cụ thể, bao gồm nhận dạng văn bản trong cảnh (Baek và cộng sự, 2019 [1]; Nguyen Nguyen và cộng sự, 2021) [2], văn bản viết tay (Bhunia và cộng sự, 2019) [3], thông tin thuốc (Godbole và cộng sự, 2020) [4] và nhiều nhiệm vụ khác. Một trong những nhiệm vụ quan trọng khác là nhận biết ngày hết hạn trong các ứng dụng công nghiệp. Ở Việt Nam cũng có nhiều công ty nghiên cứu giải quyết van dé trên, điển hình là Cognex (Deep learning đọc mã OCR trên túi nhựa) và VSTECH (phần mềm MVS- OCV phát hiện lỗi in DATE).
Tuy nhiên, trong dây chuyền sản xuất, máy in đôi khi cũng gặp sự cố khiến cho phần in những thông tin quan trọng như hạn sử dụng bi lỗi (in nhòe mực, bị dính mực. Và việc kiểm tra hạn sử dụng sau khi in ấn theo cách thủ công sẽ vô cùng tốn thời gian và công sức. Điều này dễ dẫn đến việc kiểm tra bị thiếu sót, do đó cần có một hệ thống tự động nhận diện, kiểm tra lỗi in ấn và hạn sử dụng sau khi in lên sản phẩm thực phẩm.1 Một số hình anh ví dụ lỗi in sản pham 2. Hướng tiếp cận Hướng tiép cận mới nhat ở thời điêm hiện tại, chúng tôi dựa vào bài báo của A.
An (2022) [5] để xây dựng pIpeline cho framework của mình. Trong bài toán này, chúng tôi đề xuất một framework tổng quát dé phát hiện, hiểu và kiểm tra lỗi in của hạn sử dụng trên bao bì sản phẩm. Đề hiểu ý nghĩa của hạn sử dụng thì phải qua 3 bước: mạng phát hiện Date, nhận diện kết quả của bước phía trước và một hàm dé nhận diện ngày tháng năm sau bước thứ 2 (nhận diện được 13 định dạng phổ biến của hạn sử dụng — hình 2. Bởi vì miền giá trị của ngày và năm gần nhau, chính vì thế ở trường hợp 7 (YYMMDD - hình 2.2), chúng tôi sẽ quy ước hệ thống của chúng tôi nhận dang là DDMMYY.