Chương 1.1 Lí do chọn đề tai. Mục đích nghiên ctr 1. Phạm vi nghiên cứu.1 Tinh hình trong nưỚC.- ¿kh HT HH net 5 2.2 Tinh hinh ngoadi nue. Vấn đề cần giải Quy6tec.cccccscccccccscsssssessssccssssnuseseccssssnseseccssssnseseecssssiusesecsesssneseeeessssiees 7 Chương3.1 Phát hiện khuôn mặt (Face detection) 3.1 Tổng quan về Haar Cascade.
Haar-like feature 3. Ảnh tích phân (Integral image). Thuật toán Adaboos(.2 __ Tiền xử lý anh (Preprocessing Image). Điều chỉnh hướng của khuôn mặt 3.
Principal Components Analysis. Mô tả phương phương thức thực hiện của PCA. Mô hình máy học dé phân loại (Suport Vector Machine).5 Huấn luyện mô hình máy học .-- ác nhìn tình HH HH HH HH re 28 TA. Cảm biến hồng ngoại (IR Sensor 3.
Công tắc hành trình. Triển khai phần cứng và phần mềm.-- :¿222EE++2++++22222222z+rrrrrrrx 41 Chương 4. KÉT QUA THỰC NGHIỆM.1 Két ốc cố mm. Thuật toán phát hiện khuôn mặt .2 Tiền xử lý ảnh và thu thập Dataset 4.
Nhận dạng khuôn mặt 4. Cải thiện độ chính xác nhi 4.5 — Thiết kế giao điện.6 Mô hình cửa tự động.--cs St kg 82 4.17 Công suất tiêu thụ 4.2 _ Ưu điểm — Nhược điểm của khoá luận .--2--s¿++2+++£EE+tEE+etEExevrxkesrrrrrrke 87 4.1 UU Gin iecceccseeeessccsssssssesecccesssnnesseccesssnnnseeeccsssnmnseeecessstseeecessnnseeeeeesssnseecessneee 87 4.2 Nhược điểm.1 _ Các kết quả đã thực hiện 5.2 _ Những đóng góp, đề xuất mớ Chương 6. HƯỚNG PHÁT TRIÊN.1 Về mô hình cửa tự động. Về mô hình nhận dang khuôn mặt.
63 Về để tài cửa tự động ứng dụng nhận dạng khuôn mặt. 97 DANH MỤC HÌNH Hình 3.1 Năm loại đặc trưng Haar điển hình lì Hình 3.2: Ví dụ về cách tính toán một đặc trưng Haar.3: Đặc trưng đường được dùng dé phát triển con ngươi.4 Ví dụ về cách tính giá trị của một pixel trong ảnh tích phân 13 Hình 3.5 Mô tả trực quan về cách hoạt động của thuật toán Adaboost 15 Hình 3.6 Thuật toán Adaboost trong trường hop dung dé phát hiện khuôn mặt 15 Hình 3.7: Một ví dụ khi phát hiện khuôn mặt băng phương pháp Haar Cascade.8 Mô tả 68 điểm của Dlib's face landmark detector [7] 17 Hình 3.9 Kết qua sau khi áp dụng Dlib Face landmark detector 19 Hình 3.10 Ví dụ cho ảnh gốc, sau khi xoay 15 độ kim đồng hồ 19 Hình 3.11 Ví dụ về một bức ảnh landmark có góc mặt bị nghiêng.12 Minh họa toàn bộ các bước tiền xử lý hình ảnh.13 Mô phỏng các bước thực hiện PCA 23 Hình 3.15 Dữ liệu khuôn mặt xét trong không gian 2 chiều 27 Hình 3.16 Các bước của quá trình Hyperparameter cho mô hình SVM 28 Hình 3.17 Sơ đồ liên kết của các Thread 32 Hình 3.18 Ví dụ việc hệ thống bỏ qua ảnh khi quá trình dự đoán vẫn chưa hoàn thành 33 Hình 3.19 Thread 3 xử lý dữ liệu dau vào liên tục mà không phải đợi một cách tuần tự 33 Hình 3.20 Sơ đồ khối phần cứng của hệ thông 34 Hình 3.21 Sơ do kêt nôi cua module L298N 35 Hình 3.22 Cầu tạo cơ bản của một IR Sensor 36 Hình 3.23 Schematic của một mạch chia áp đơn giản 37 Hình 3.24 Mặt trước mô hình với IR Sensor được đánh dấu "1" 38 Hình 3.25 Mặt sau của mô hình 38 Hình 3.26 Lưu đồ giải thuật quá trình hoạt động của hệ thống với các IR Sensor 39 Hình 3.27 Nguyên lý hoạt động của công tắc hành trình 40 Hình 3.28 Sơ đồ khi kết nôi module L298N với 2 công tắc hành trình và động cơ 4I Hình 3.29 Sơ đồ kết nối phần cứng và phần mềm 42 Hình 3.30 Quá trình training và nhúng mô hình vào máy tính nhúng.31 Quá trình Three-way Handshake 45 Hình 4.1 Quá trình trích xuất hình ảnh khuôn mặt khi sử dụng Haar cascade.2 Các bước tiền xử lý hình ảnh 49 Hình 4.3 Hai đối tượng trong dataset đã được xử lý để đúng với yêu cầu đặt ra.4 Mã chương trình thực thi Tuning Hyperparameter 51 Hình 4.5 Kết quả cặp tham số C, gamma tốt nhất đối với kernel linear 52 Hình 4.6 FPS hệ thống đạt được khiáp dụng Multi-Threading 54 Hình 4.7 FPS hệ thống đạt được khi chưa áp dụng Multi-Threading 54 Hình 4.8 Mức tiêu thụ CPU của hệ thống khi chưa áp dụng Multi-Threading 55 Hình 4.9 Mức tiêu thụ CPU của hệ thông khi đã áp dụng Multi-Threading 55 Hình 4.10 Ví dụ về lượng phép toán tích chập của một mạng CNN tiêu chuẩn [10] 57 Hình 4.11 Ví dụ về lượng phép toán tích chập của MobileNet [10] 58 Hình 4.12 Sự khác biệt giữa MobileNet và MobileNetV2 59 Hình 4.13 Khai báo model MobileNetV2, không train lại pre-trained model 60 Hình 4.14 Loss và accuracy khi evaluate tập dữ liệu Validation 61 Hình 4.15 Lượng tham số của mô hình MobileNetV2 với input size 96x96 62 Hình 4.16 Lượng tham số của mô hình MobileNetV3 với input size 224x224 62 Hình 4.17 Evaluate tập dữ liệu Training và Validating trên MobileNetV2 63 Hình 4.18 Evaluate tập dit liệu Training va Validating trên MobileNetV3 Hình 4.19 Xác thực admin dé truy cập ứng dung 68 Hình 4.20 Giao diện lựa chọn mô hình máy học 69 Hình 4.21 Các tính năng chính của ứng dụng 70 Hình 4.22 Giao diện của chức năng cửa tự động khi đang bật chế độ tự động 71 Hình 4.23 Giao diện của chức năng cửa tự động khi đã tắt chế độ tự động 72 Hình 4.24 Giao diện nhận dạng khuôn mặt của chế độ tự động 73 Hình 4.25 Giao diện đổi mật khâu bao mật.26 Một ví dụ cho tính năng Verification Testing 75 Hình 4.27 Gợi ý người dùng thêm mới dữ liệu và database cho lần training kế tiếp.28 Các chức năng con của tính năng quản lý dữ liệu khuôn mặt T7 Hình 4.29 Anh GIF về quá trình tương tác di liệu giữa Raspbery Pi và Laptop 78 Hình 4.30 Ảnh tĩnh về giao điện huấn luyện mô hình máy học 78 Hình 4.31 Anh GIF về quá trình thu thập dữ liệu cho người dùng mới 79 Hình 4.32 Ảnh tĩnh về giao diện thu thập dữ liệu cho người dùng mới 80 Hình 4.33 Ảnh tĩnh cho kết quả cuối cùng của việc thu thập mẫu cho người mới 80 Hình 4.34 Giao diện xoá người dùng ra danh sách được phép vào nhà.35 Tổng quan về cách bó trí của mô hình.36 Điện năng tiêu thụ bình thường của Raspberry Pi + Camera 83 Hình 4.37 Điện năng tiêu thụ đỉnh của Raspberry Pi + Camera 84 Hình 4.38 Điện năng tiêu thụ bình thường của các linh kiện khác 85 Hình 4.39 Điện năng tiêu thụ đỉnh các linh kiện khác 85 Hình 4.40 Một vài trường hợp phát hiện khuôn mặt sai của Haar Cascade 88 DANH MỤC BANG Bảng 3. Một số đặc trưng trên khuôn mặt mà Dlib face detector có thể phát hiện được .2 Một vài kernel funtion và các bộ phân loại mà chúng được định nghĩa Bảng 3.3 Bang mô tả input va output của L298N Bảng 3.4 Thời gian training trên các thiết bị.1 Bảng két qua qué trinh trich xuất ảnh từ video.2 Các thông sô trung bình của quá trình Hyperparameter trên tập dữ liệu Test.3 Kết quả chỉ tiết của 31 đối tượng với các kernel riêng biệt trên tập validation Bảng 4.4 Kết quả chỉ tiết của các đối tượng khi triển khai trên MobileNetV2.5 Kết quả chi tiết của các đối tượng khi triển khai trên MobileNetV3 Bang 5.1 So sánh một số đề tài đã thực hiện DANH MỤC TU VIET TAT RFID Radio Frequency Identification GPU Graphics Processing Unit SVM Support Vector Machine PCA Principal Components Analysis NFC Near-Field Communications PIR Passive infrared IR Infrared MTCNN Multi-task Cascaded Convolutional Networks ANN Artificial Neural Network CNN Convolutional Neural Network HOG Histogram of oriented gradients Faster R-CNN Faster Region-based Convolutional Neural Network OpenCV Open Source Computer Vision Library FPS Frames Per Second Al Artificial Intelligence Gaussian RBF Gaussian radial basis function VCC Voltage Common Collector GND Ground Ww Watt A Ampe V Voltage CPU Central Processing Unit USB Universal Serial Bus RAM Random-access memory GPIO General Purpose Input/Output OpenGL Open Graphics Library CUDA Compute Unified Device Architecture loTs Internet of Things FTP File Transfer Protocol SYN Synchronize SYN-ACK Synchronize - Acknowledgement SYN-Req Synchronize — Requirement TÓM TAT ĐÈ TÀI Hiện nay trong kỷ nguyên của công nghệ - kỹ thuật, chúng ta luôn gặp phải những rắc rồi, bat cập xung quanh van dé bảo mật. Đề giải quyết vấn dé này, các giải pháp bảo mật liên tục được cải thiện, cập nhật.
Liên hệ với đề tài này, cửa ra vào là một đồ vật cực kỳ quen thuộc và không thể thiếu đối với mọi ngôi nhà. Từ trước đến nay, luôn có rất nhiều cách cho việc đóng mở cửa, từ những cách truyền thống như thanh gạt từ thời xưa cho đến những 6 khóa sử dung chìa, rồi hiện đại hơn với RFID, mật khẩu hay pattern. Cho đến hiện nay, các công nghệ mở khóa cửa bằng các biện pháp bảo mật sinh trắc học trở nên nỗi bật và ngày càng được biết đến rộng rãi. Bởi sở dĩ, sinh trắc học mang đến một giải pháp bảo mật với tốc độ cao và đáp ứng sự tiện lợi đối với nhu cầu của người dùng hiện nay do không đòi hỏi nhiều thao tác, công cụ đề có thể mở khoá.
Tuy nhiên, vấn đề về độ an toàn của các phương pháp bảo mật, nhất là bảo mật sinh trắc khuôn mặt vẫn đang tồn đọng nhiều vấn đề xung quanh khả năng nhận dạng của nó. Trong đề tài này, nhóm sinh viên áp dụng mô hình nhận dạng khuôn mặt lên một hệ thống cửa lùa có tích hợp khả năng đóng/mở tự động. Đề tài hướng đến việc xây dựng mô hình có chỉ phí thấp tuy nhiên vẫn đảm bảo được độ chính xác cũng như tốc độ phản hồi nhanh. Với việc những mô hình cửa tự động và 6 khoá có tích hợp nhận dang khuôn mặt đã và đang phát triển mạnh mẽ thì giảm chỉ phí cho mô hình giúp tăng giá trị cạnh tranh, đồng thời tiếp cận tới đa dạng đối tượng người dùng hơn.
Do đó, việc lựa chọn phần cứng cũng như phương pháp học máy là bước quan trọng hàng đầu. Raspberry PI 4 là một máy tính nhúng với kích thước nhỏ gọn, được tích hợp GPU nên thích hợp cho việc huấn luyện các mô hình học máy (Machine Learning) và xử lý quá trình đóng/mở cửa. Việc nhận diện khuôn mặt bao gồm hai quá trình là phát hiện khuôn mặt và nhận dạng khuôn mặt. Nhóm sử dụng phương pháp Haar-cascade cho việc phát hiện khuôn mặt, phương pháp nay sử dụng các đặc trưng phát hiện được dé xuất bởi Viola và Jones.
SVM va PCA là hai phương pháp được sử dụng cho nhận dạng khuôn mặt. Đặt trong trường hợp triển khai mô hình trên một hệ thống nhúng có cấu hình hạn chế, hơn nữa đây còn là xử lý ảnh thì việc giảm chiều dữ liệu nhưng vẫn giữ lại được những chỉ tiết chính sẽ tăng tốc độ xử lý.