Chương 1. Tổng quan 8 màu sắc) và các chức năng khác nhau như tìm kiếm khuôn mặt hay so khớp ảnh mẫu. © Chương 6: Tổng kết những gì đã đạt được và hướng phát triển trong tương lai. Chương 2 Cơ sở lý thuyết 2.1 Các mô hình may học liên quan Để giải quyết bài toán, chúng tôi phân tách bài toán thành nhiều bài toán con.
Đối với mỗi bài toán con chúng tôi sử dụng các thuật toán phù hợp để giải quyết. Đầu tiên chúng tôi đi vào bài toán nhận diện vật thể, vì chúng tôi đã chia bài toán của mình thành nhiều bài toán con nên việc xử lý có thể tốn rất nhiều thời gian nên ở bài toán nhận diện vật thể chúng tôi hướng đến nhóm thuật toán có thời gian trích xuất nhanh như YOLOv4 và EfficientDet và có độ chính xác cao để đảm bảo các bài toán con tiếp theo không bị ảnh hưởng quá nhiều do sự sai sót trong việc dự đoán của mô hình nhận diện trước đó. Tiếp đó chúng tôi quan tâm đến một số mô hình phổ biến dé áp dung cho vấn dé tìm kiếm đối tượng của chúng tôi như: nhận điện màu sắc, nhận diện khuôn mặt và Template Matching. Chúng tôi thử nghiệm thuật toán K-means cho bài toán con nhận điện màu sắc của mình, sử dụng K-means để rút trích thông tin màu sắc của đối tượng.
Đối với bài toán nhận điện khuôn mặt, chúng tôi hướng đến việc tìm hiểu một số mô hình phát hiện khuôn mặt đã huấn luyện sẵn như Haar - Cascade classifier, HoG Face Detector, Cascade CNN hay TinaFace. Tiếp theo, chúng tôi sử dung các mô hình xác thực khuôn mặt dé trích xuất thông tin đặc trưng về khuôn mặt và phục vụ cho quá trình tìm kiếm. Cuối cùng, Chương 2. Cơ sở lý thuyết 10 chúng tôi hướng đến việc thử nghiệm bài toán Template Matching trong quá trình tìm kiếm đối tượng mong muốn bằng ảnh mẫu.2 Nhận diện vật thé 2.1 Nhóm thuật toán nhận diện vật thể YOLO[3] [4] Kể từ năm 2014, cùng với sự phát triển Deep Learning thì YOLO là bộ single- stage detector đầu tiên ứng dung Deep Learning.
YOLO xem là bộ nhận diện có thời gian thực hiện cực kỳ nhanh với 155 fps trong khi đạt được gấp đôi mAP đối với các bộ nhận diện thời gian thực khác. Đối với các hệ thống nhận diện vật thể trước đó, việc nhận này sẽ được thực hiện nhận diện các hệ thống này sẽ sử dụng một bộ phân lớp cho đối tượng đó và đánh giá nó trên nhiều vị trí và tỉ lệ khác nhau trên một ảnh thử nghiệm. Ví dụ như DPM l6] , sử dụng một cửa sổ trượt (sliding window) để bộ phân lớp có thể phân lớp các vị trí cách đều nhau trên toàn bộ hình ảnh. Gần đây hơn, có các phương pháp như R-CNN [7].
Đối với phương pháp này, nó sẽ sử dụng region proposal để có thể đưa ra các vị trí có khả năng chứa vật thể trong đó và sau đó chạy bộ nhận diện vật thể trên các vị trị đã được dé xuất này. Sau quá trình phân lớp là quá trình hậu xử lý. Quá trình này sẽ loại bỏ bớt các dự đoán trùng lắp và đánh giá lại các dự đoán. Đây là một quy trình phức tập nên vẫn còn chậm và khó trong việc tối ưu hóa hệ thống vì mỗi quá trình phải được tối ưu một cách riêng biệt.
Đối với YOLO thì bài toán nhận diện vật thể sẽ được xem như bài toán hồi quy. Hệ thống nhận diện của YOLO khá đơn giản. Nó bao gồm một mạng nơ-ron tích chập dự đoán đồng thời cả vị trí và độ chính xác của đối tượng (hình 2. YOLO được huấn luyện trên toàn bộ hình ảnh và được tối ưu hóa hiệu năng nhận diện một cách trực tiếp.
Nhờ sự thống nhất của mô hình nên hệ thống đã có những lợi ích vượt các các phương pháp truyền thống khác. Cơ sở lý thuyết 11 HÌNH 2.1: Mô hình phát hiện vật thể YOLO Đầu tiên, Tốc độ xử lý của YOLO cực kỳ nhanh. Việc mô hình hóa bài toán nhận diện thành bài toán hồi quy khiến quy trình xử lý không trở nên quá phức tạp giống như phương pháp region proposal của R-CNN. YOLO có thể thực thi 45 hình trong một giây trên GPU tian X và lên đến 155 fps đối với phiên bản tối ưu hóa cho tốc độ.
Đối với tốc độ này thì YOLO đã có thể thực hiện các tác vụ thời gian thực. Cùng với đó, YOLO có độ chính xác gần đôi so với các hệ thống thực thi thời gian thực khác. Thứ hai, mô hình YOLO dự đoán một cách tổng quát hơn. So với phương pháp sử dụng cửa sổ trượt hay region-proposal thì YOLO được huấn luyện với toàn bộ hình ảnh trong suốt quá trình huấn luyện vì vậy nó có thể hiểu được các thông tin ngầm định như ngữ cảnh của các vật thể xuất hiện trong hình.
Một phương pháp có độ chính xác cao là Fast R-CNN thì dự đoán sai về nền như là vật thể vì phương pháp này không thấy được ngữ cảnh của cả một bức ảnh. Đối với YOLO thì tỷ lệ dự đoán nhầm lẫn nền của ảnh là đối tượng thì giảm một nửa so với Fast R-CNN. Thứ ba, YOLO hoc được cách sự tổng quát của các đối tượng. Khi huấn luyện trên các ảnh bình thường và thử nghiệm trên các ảnh nghệ thuật, YOLO vượt trội hơn các phương pháp nhận diện khác như DPM và R-CNN.
Nhờ vậy, YOLO ít bị giảm hiệu năng của mô hình khi xử lý trên các miền dit liệu khác cũng như đầu vào không mong muốn. + Cách hoạt động: Chương 2. Cơ sở lý thuyết 12 Mô hình sẽ chia ảnh đầu vào thành một tam lưới có kích thước là S x S. Nếu trung tâm của đối tượng rơi vào một trong các ô lưới thì ô lưới đó sẽ chịu trách nhiệm cho việc nhận diện đối tượng trong đó.
Mỗi ô lưới sẽ phải dự đoán B hộp chứa vật bounding box và kèm theo là một giá trị thể hiện độ chính xác (confident score). Confident score sẽ phản ánh việc bounding box B có chứa vật thể hay không và nó được định nghĩa như sau: Pr(OÙ/ect)TOLItruth. Trong trường hợp 6 lưới không chứa vật thể thì confident score sẽ có giá trị là 0. Mỗi bounding box sẽ đưa ra dự đoán cho 5 giá trị: x, y, w, h và confident score.
Giá trị (x„y) cho biết tọa độ trung tâm của bounding box trong ô lưới. Giá trị (w,h) là chiều đài và chiều rộng của bounding box. Cuối cùng, Confident score là IOU giữa bounding mà mô hình dự đoán và bounding box thật sự chứa đối tượng. Thêm vào đó, mỗi ô lưới còn phải dự đoán C xác suất có điều kiện Pr(Classi | Object).
Day là xác suất của đối tượng được dự đoán thuộc về lớp thứ i. Trong quá trình thử nghiệm, xác suất điều kiện của lớp thứ ¡ khi xuất hiện đối tượng trong bound- ing box sẽ được nhân với xác suất xuất hiện đối tượng. Giá trị (1) này vừa thể hiện được xác suất xuất hiện của class I và cả việc bounding box có vừa với đối tượng dự đoán hay không.1) + Thiết kế mạng: Kiến trúc mạng được lấy cảm hứng từ GoogleNet cho bài toán phân lớp. Kiến trúc mạng bao gồm 24 lớp convolutional layers và sau đó là 2 lớp fully connected.
Tiếp theo, thay vì sử dụng inception module như GoogleNet thì mô hình đơn giản sử dụng 1x1 reduction layer và kèm theo 3x3 convolutional layers giống như Í9|- Chi tiết kiến trúc mang (hình|2.2): Đối với phiên bản fast YOLO thì số lớp convolutional và filler sẽ ít hơn cụ thể là chỉ có 9 lớp convolutional layers so với 24 lớp. Cơ sở lý thuyết 13 Conv. Layer 7x7 xb4e2 3x3x192 1x1 x128 1x1x256]yq IxIx51l2 1„; 3x3x1024 Maxpool Layer Maxpeol Layer 3x3x256 3x3x512 3x3x1024 3x3x1024 2x2+2 2x2+2 1x1x256 1x]x512 3x3x1024 3x3x512 3x3x1024 3x3x1024+-2 Maxpeol L¢ Layer Maxpool Layer 2x2+2 HÌNH 2.2: Kiến trúc mạng mô hình phát hiện vật thể YOLO + Hàm mat mát: Trong quá trình huấn luyện, mô hình sẽ được tối ưu hóa nhiều thành phần như sau: Acoord » i V(x i=0j=0 2+ (Yi — 9i) ] bas yay - vi)?+ (vn— Vf?) bj A ¡=0 /=0 SB obj ^ +3) ,1/ (Ci — Gi)? (2.2) rors +Anoobj > 3 1y ”(aCe Ci)? i=0j=0 bj Ss? bi e) — pile +),1,” }„ (pil ))? i=0 céclasses Dau ra của YOLO được sử dung sum-squared error để tối ưu hóa. Tuy nhiên, cách hoạt động của nó còn hạn chế.
Sum-squared error sẽ xem bounding box error và classification error là như nhau. Điều này dẫn đến sự thiếu ổn định của Chương 2. Cơ sở lý thuyết 14 mô hình. Để xử lý điều này, sử dụng thêm 2 tham số là coord and noobj.
Sai số về tọa độ sẽ được đánh trọng số cao hơn coord = 5 cao hơn trọng số noobj = 0.5 được gán cho những sai số về confidence score. + Hạn chế: YOLO sử dụng các ràng buộc về không gian và mỗi ô lưới chỉ có thể dự đoán 2 bounding box và một lớp đối tượng duy nhất. Do đó, các ràng buộc này sẽ giới hạn số lượng các đối tượng ở gần nhau mà mô hình có thể dự đoán được. Điều này dẫn đến YOLO gặp khó khăn trong việc dự đoán các đối tượng nhỏ và các đối tượng xuất hiện theo nhóm như đàn chim.
Thêm vào đó, trong quá trình huấn luyện thì hàm lỗi của YOLO đánh giá lỗi về các bounding box có kích thước nhỏ và bounding box có kích thước lớn là như nhau. Các lỗi nhỏ trên bounding box có kích thướng lớn thì có thể chấp nhận được. Tuy nhiên lỗi nhỏ trên bounding box có kích thước nhỏ thì ảnh hưởng rất lớn đến IOU. Do đó vẫn đề chính mô hình vẫn đang còn gặp phải là định vị các bounding box chính xác.
Để giải quyết các hạn chế còn tổn đọng trong YOLOv1, nhóm thuật toán đã đề xuất ra phiên bản YOLOv2 vào năm 2016. Tại thời điểm công bố, YOLOv2 đạt được state-of-the-art trên tập dữ liệu PASCAL-VOC va COCO [11]. Với 67 FPS và 76.8 mAP trên tập VOC-2007.6 mAP trên tập COCO. Những kết quả này đã vượt trội hơn các phương pháp state-of-the-art trước đó như Faster R- CNN, SSD trong khi tốc độ xử lý nhanh hon đáng kể.
Đối với phiên bản YOLOv2, mục tiêu hướng đến là cải thiện tốc độ , có thể chạy được trên nhiều kích thước ảnh khác nhau, có thể đánh đổi một cách dé dàng giữa tốc độ và độ chính xác của mô hình. Ngoài ra, nhóm tác giả còn dé xuất một phương pháp kết hợp giữa bài toán object detection là classification. Mô hình sử dụng phương pháp này được gọi là YOLO9000 và được huấn luyện đồng thời trên tập dir liệu COCO và tập dữ liệu ImageNet classification.