Chương 1: Tổng quan dé tài. © Chương 2: Các công trình liên quan và kiến thức nền tảng. e Chương 3: Xây dựng bộ dữ liệu đánh giá. e Chương 4: Phương pháp và kết quả đánh giá.
© Chương 5: Ung dụng quản lý cửa hàng tiện lợi. © Chương 6: Kết luận và hướng phát triên. CÔNG TRÌNH LIEN QUAN VÀ KIEN THỨC NEN TANG Trong chương này, tôi trình bày các giải quản lý cửa hàng tiện lợi đã được triển khai, kiến thức nên tảng và các công trình liên quan đến tính năng nhận dạng khuôn mặt và phát hiện hành vi bat thường. Giải pháp quản lý Đề hạn chế sự phụ thuộc vào yếu tố con người trong khâu đảm bảo an ninh, một số giải pháp giám sát thông minh đã được đề xuất: 2.
Hệ thống nhận diện khuôn mặt - KBVISION Hệ thống đảm bảo an ninh cho công ty, cửa hàng, ngân hàng đến từ công ty KBVISION (xem Hình 2.1) có một số tính năng chính: Nhận diện khách hang VIP, báo động người trong danh sách đen, thống kê số lượng người ra vào. 6 — | Switch ¬—> † Hình ảnh | Camera chụp khuôn mặt Hình 2.1: Giải pháp nhận diện khuôn mặt của KB Vision* 4 Ảnh được tham khảo từ kbvision. 10 Đây là một hệ thống hoàn chỉnh với các thiết bị đầu cuối, trong đó: e Phần cứng: Camera giám sát, bộ chuyên mạch, đầu thu nhận diện khuôn mặt, máy chủ quản lý và thiết bị di động. e Phần mềm: Ung dụng quản lý trên máy tính và ứng dụng cảnh báo trên thiết bị di động.
e Uudiém: Hệ thong hoàn chỉnh, chức nang phat hiện, nhận diện và thống kê được thực hiện ngay trên đầu thu xử lý; ứng dụng theo dõi cho phép kiểm tra camera và nhận cảnh báo từ xa. e Nhược điểm: Cần triển khai đồng bộ các thiết bị đầu cuối mà KBVISION yêu cầu, quy trình cài đặt và cấu hình mạng của thiết bị phức tạp, tốn nhiều thời gian khi triển giám sát cho nhiều cửa hàng trong cùng một hệ thống. Bên cạnh đó, KBVISION cho phép khách hàng lựa chọn chất lượng camera giám sát và năng lực đầu thu xử lý phù hợp cho mục đích giám sát tại những địa điểm có không gian rộng: Siêu thị, trường học, bãi giữ xe. Nhìn chung, ứng dụng phù hợp đề lắp đặt tại những địa điểm riêng lẻ, đòi hỏi lưu trữ và xử lý tại địa điểm giám sát.
Tuy nhiên, sản phẩm này chưa đáp ứng yêu cầu giám sát tại các cửa hàng tiện lợi do phụ thuộc vào thiết bị đầu cuối, quy trình lắp đặt, cầu hình phức tạp, khó triển khai đồng bộ cho các cửa hang trong hệ thống. Camera giám sát Yi— Xiaomi Yi Camera là dòng sản phẩm camera giám sát không dây, gồm nhiều thiết bị được phát triển bởi Xiaomi cho nhu cầu giám sát trong hộ gia đình, cửa hàng và ngoài trời (xem Hình 2. Sản pham có thiết kế nhỏ gọn, tích hợp tính năng phát hiện chuyền động và phát hiện âm thanh. Với quy trình cài đặt và sử dụng dễ dàng thông qua qua ứng dụng Mihome, Yi Camera được nhiều người lựa chọn cho giám sát, dam bảo an ninh.
Các đặc điêm của Yi Camera: e Phân cứng: Camera giám sát, thiệt bị có màn hình dé theo dõi. e Phần mềm: Ung dụng Mihome quản lý camera, cho phép theo dõi và nhận cảnh báo từ xa. lãi e Ưu điểm: Thiết kế nhỏ gon, cai đặt dé dàng qua ứng dụng; tích hợp chức năng phát hiện chuyển động, phát hiện âm thanh, cảnh báo online. e Nhược điểm: Cần thiết bị có màn hình dé theo dõi, chưa được trang bị tính lứ Thiết kế nhỏ gọn, quy trình sử dụng đơn giản khiến Yi Camera thích hợp cho yêu cầu giám sát tại những địa điểm riêng lẻ.
Tuy nhiên, ứng dụng này chưa đáp ứng yêu cầu giám sát tại các cửa hàng tiện lợi do chưa được trang bị tính năng giúp nhận diện các đối tượng trong danh sách quản lý và phát hiện hành vi vi phạm. Muc tiêu giám sát cửa hang Hình 2.3 mô tả mục tiêu giám sát của hệ thống quan lý cửa hàng tiện. Dé việc quan lý các cửa hàng một cách an toàn, hệ thống giám sát cần nhanh chóng nhận diện các đối tượng tình nghi ngay khi đối tượng này bước vào cửa hàng và cảnh báo đề nhân viên tập trung theo dõi các đối tượng này. Bên cạnh đó, hệ thống cũng cần thông Ảnh được tham khảo từ www.
12 báo sự có mặt của khách hàng thân thiệt dé nâng cao trải nghiệm mua sam, hướng đên sự thoải mái của nhóm khách hàng này. Tuy nhiên, việc phân loại đối tượng khách hàng chỉ là một bước trong quá trình quản lý và đảm bảo an toàn cho cửa hàng. Hệ thống giám sát cũng cần phát hiện và cảnh báo các vi phạm: Trộm, cướp, tan công nhân viên. Trong khi quá trình phân loại khách hàng chỉ xác định được những đối tượng mà danh tính của họ đã ton tại trong cơ sở dữ liệu.
Điều này khiến việc bỏ qua những đối tượng không có trong cơ sở dit liệu là điều có thể xảy ra. Dé bồ sung cho khoảng trống này, trong phạm vi dé tài khóa luận, tôi cũng tiến hành khảo sát và đánh giá phương pháp phát hiện bat thường cho bài toán phát hiện các hành vi cần cảnh báo. cần cảnh báo Hình 2.3: Hệ thông giám sát cửa hàng tiện lợi” Cuôi cùng, đê có thê triên khai cho nhiêu cửa hàng trong hệ thông, sản phâm can có giao diện dé sử dụng, không cân kết nói với nhiều thiết bị đầu cuối. Trong phân còn lại của chương, tôi sẽ trình bày các công trình liên quan và các kiến thức nền tảng cho từng tính năng trong hệ thống.
5 Ảnh được tác giả thực hiện với các thành phần tổng hợp từ Internet. Nhận dạng khuôn mặt Nhận dạng khuôn mặt là bai toán xác định danh tinh của một hoặc nhiêu người thông qua khuôn mặt của người đó. Đâu vào của bài toán có thê là hình ảnh hoặc video, đâu ra là vi trí khuôn mặt và danh tính (nêu có) của người xuât hiện trong dữ liệu dau vào (minh họa trong Hình 2. Bộ nhận dạng khuôn mặt Đầu vào Đầu ra Hình 2.4: Mô tả bài toán nhận dạng khuôn mặt” Nhận dạng khuôn mặt có hai 2 toán con tương ứng với 2 module: e Phát hiện khuôn mặt - Bộ phát hiện khuôn mặt.
e_ diện danh tính khuôn mặt - Bộ nhận diện danh tính. Độ chính xác của chương trình phụ thuộc vào độ chính xác của từng module trong hệ thống. Phat hiện khuôn mặt Là quá trình xác định liệu trong khung ảnh đầu vào có chứa khuôn mặt hay không và trả về vị trí của khuôn mặt trong ảnh nếu có (minh họa trong Hình 2. Phát hiện khuôn mặt có thé mô tả theo: e Đầu vào: Một khung ảnh có một hay nhiều khuôn mặt hoặc không chứa khuôn mặt nào.
e Đâura: VỊ trí của các khuôn mặt (nêu có) trong hình. 7 Ảnh được tác giả thực hiện với các thành phần tổng hợp từ Internet. 14 Đầu vào Đầu ra Hình 2.5: Mô tả bài toán phát hiện khuôn mat® Sự phát triển của các kỹ thuật học sâu cũng gắn liền với sự cải tiến của các phương pháp phát hiện khuôn mặt. Trong khóa luận này, với mục tiêu thực hiện quá trình thu nhận hình ảnh và xử lý cục bộ trên thiết bị di động, tôi tiễn hành khảo sat các phương pháp pháp hiện khuôn mặt cho ứng dụng di động.
Microsoft Azure Face Detection: Được phát triển bởi Microsoft và triển khai trên nền tảng đám mây Azure, tính năng phát hiện khuôn mặt của hãng có một số ưu điêm: e Quá trình phát hiện được thực hiện thông qua API. © Có thé phát hiện khuôn mặt có kích thước tối thiểu 36x36 pixel và tối đa 1920x1080 pixel. Có dung lượng từ IKB đến 6MB. Xác định 27 điểm đặc trưng có trên khuôn mặt.
© Có thé phát hiện tối đa 100 khuôn mặt và tối đa 10 giao dịch/giây. Nhược điểm lớn nhất của giải pháp này là chi phí 1$ cho 1000 ngàn giao dịch. KAIROS: Dịch vu phát hiện và nhận dạng khuôn mặt của KAIROS, được triển khai trên nền tang AWS - Amazon Web Services. Tính năng phát hiện và nhận dạng khuôn mặt của hãng có một sô đặc diém: e Sử dụng dịch vụ thông qua API.
e Hỗ trợ phát hiện, xác thực và nhận dạng khuôn mặt. e H6 trợ theo dõi (tracking) nhiều đối tượng trong video. e Hỗ trợ tối đa 500 giao dịch/phút. 8 Ảnh được tác giả thực hiện với các thành phần tổng hợp từ Internet.
15 Giống với Microsoft Azure, nhược điểm của giải pháp này là chi phí khi bên cạnh chi phí cố định $249, KAIROS còn tính phí $0.002 trên mỗi giao dich. Google ML Kit: Công cụ hé trợ lập trình ứng dụng của Google. Thông qua ML Kit API, người lập trình có thể sử dụng các mô hình máy học đã được Google tích hợp sẵn trên hệ điều hành Android vào ứng dụng của mình. Với các thiết bị có hệ điều hành khác, ML Kit cũng cho phép người lập trình sử dụng các mô hình tự xây dựng dé tích hợp vào trong ứng dụng thông qua TensorFlow-Lite.
Một số đặc điểm trong tính năng phát hiện khuôn mặt khi được sử dụng thông qua ML Kit: e_ Quá trình xử lý được thực hiện nhanh chóng, ngay trên thiết bị, thông qua API. e Hỗ trợ xác định tối đa 133 điểm của đường contour. e H6 trợ theo dõi những người xuất hiện trong ảnh trong một khoảng thời gian. Do được xử lý trên thiết bị, quá trình phát hiện khuôn mặt không tốn nhiều chỉ phí như những giải pháp khác.
Bên cạnh đó, khi áp dụng các phương pháp lọc và giới hạn khuôn mặt, số lượng khuôn mặt cần phải nhận dạng trong mỗi khung hình cũng giảm, điều này giúp giảm khối lượng công việc cho bộ nhận diện danh tính. Nhận diện danh tính Là quá trình xác định danh tính của khuôn mặt đã được bộ phát hiện khuôn mặt xác định trước đó (xem Hình 2. Nhận diện danh tính có thể mô tả theo: Bộ nhận diện Ross danh tính Đầu vào Đầu ra Hình 2.6: Mô tả bài toán nhận diện danh tính khuôn mặt? ° Ảnh được tác giả thực hiện với các thành phần tổng hợp từ Internet. 16 e Đầu vào: Ảnh chỉ chứa khuôn mặt người.
e Đầu ra: Danh tính của người trong ảnh (nếu có). Quá trình nhận dạng khuôn mặt từ hình ảnh được bộ phát hiện khuôn mặt xác định được thực hiện thông qua API mà [1] cung cấp. Việc sử dụng API cho mục đích nhận dạng khuôn mặt tuy có một số nhược điểm: e Phụ thuộc vào việc triển khai của mô hình nhận dạng khuôn mặt tại Server. e Phụ thuộc vào tốc độ và đường truyền Internet.