Chương 1. TONG QUAN DE TÀI 1. Các công nghệ hiện nay. _ Các nghiên cứu tương tỰ:.
Giải pháp đề xudt. Mục tiêu và giới hạn đề tai. Mục tiêu của đề tài. Giới hạn của dé tải.
_ Ý nghĩa thực tiễn của đề tài. _ Cấu trúc của báo cáo Khóa ii n.2-- 222¿+22EE+++tEEEESEtEEEEEE2tEEEEEErrrrrkrcer 3 2. _ Thị giác máy tính — Computer Vision. Thư viện xử lý ảnh OpenCV.
Thư viện Pytorch. HT HH Hết 7 2. Un-Supervised Learning. CNN - Convolutional Neural ÑetwOrk.
Cấu trúc của mang CNN. Cách chọn tham số cho CNN. Thư viện MTCNN [2]. Các mô hình được thử nghiệm.cc Sàn TH HH HH rệt29 2.
PN ie A a en. Support Vector Machine (SVM). ToT và Google IoT FlatForm. Tổng quan về Internet of Thỉngs.
Tổng quan về Google Flatform. cà LH HH HH HH HH HH 40 2. Cơ sở lý thuyết về Server. Giao thức MQÏTT.
Các khải niệm cơ bản trong MQTTT. HyperText Transfer Protocol (HTTTP). Các thành phần chính của HTTP.----:¿522vve+czz+zrx 44 Chương 3. PHAN TÍCH THIET KE HE THÔNG.
So dé hệ thống. Ngôn ngữ lập trình được sử dụng:. Cai đặt môi trường cho KIT. Thiết kế hệ thống LOT .ccsccccssssesssssseessssssesesssseessssssecesssseeeesesseeeeessees 53 Chương 4.
THỰC NGHIỆM VÀ ĐÁNH GIA. Cài đặt hệ thống:. Thời gian delay Kit thực hiện chương trình:. Thời gian xử lý tao file phân loại với số người tương ứng:.
Thử nghiêm các IoT platform hỗ trợ hệ thống IOT. __ Quá trình train Model. __ Thử nghiệm model vừa train qua các bộ dữ liệu phô biến:. Kết quả thử nghiệm 2 phương pháp xác định vị trí khuôn mặt:.
_ Đưa dữ liệu lên PlatForm. Gửi dữ liệu định danh lên Server: .- ¿+55 <5ss+s+ec+s<esss+ 65 4. Lấy dữ liệu định danh về phần mềm Java. Téc độ xử lý dữ liệu của FlatfOrm:.9, Giao diện người dùng.
ti 67 Chương 5. KET LUẬN VA HƯỚNG PHAT TRIẺN. Kết quả thu được thông qua quá trình thực hiện đề tài khóa luận. Hướng phát triển của để tài.----:c222vvcccvcrvvrerrrrvrrrrrrrrreerrvei 69 DANH MỤC HÌNH VẼ Hình 1-1 Bảng thống kê thời gian ra mắt các loss function.----z-+ 9 Hình 1-2 Bảng thống kê độ chính xác của từng loss function.------ 10 Hình 2-1 Mô tả ảnh dưới góc nhinfcuar máy tính .---- ---- +©s+c++c+cx++ 14 Hình 2-2 Mô hình input và output thông qua xử lý các hàm .------ 18 Hình 2-3 Ham số regressiOn.---2¿©22+++22EE+++2EEEYY+tSEEEEEttEEEErrrrrrkrrrrrrrrree 19 Hình 2-4 Kernel trong CÌNN.
+ tt ng HH TT HH it21 Hình 2-5 Mô tả cách hoạt động của mỗi kernel với ảnh input.----- 21 Hình 2-6 Tổng quan về mô hình CNN.------¿¿-22v2+++z+22EEEvvvrrrrrrrrrrree 22 Hình 2-7 Mô tả các tác vụ extra-supervision và self-supervision hoạt động song song với việc xử lý bounding box và phân loại ảnh. Và cho ra bốn output tương ứng: phân loại ảnh, box chứa khuôn mặt, năm điểm landmarks và mô hình 3D trên cùng một bức ảnh.--¿- - cece SE 2 **E k2 E E1 11211111121 110101 1 te. 25 Hình 2-8 Mô tả tổng quan về cách hoạt động của Retina-face: mô hình kim tự tháp (feature pyramid) được áp dụng vào với mỗi bức ảnh và được xử lý với các module tương ứng khác nhau.--¿--- ¿52 +56+22£S2S*2*‡E2E£EE*E£E£EeEeEeEekexekekerrkekererree 25 Hình 2-9 Phương thức xử lý các pyramid image theo phương thức bottom-up và top Gown pa(hWAyY. cành HH HH HH TT HT HH TT HH HH hi 26 Hình 2-10 Mô hình tổng quan về 3 lớp xử lý p-net, r-net -o net của MTCNN [2].26 Hình 2-11 Sơ đồ CNN của P-netL.-ccccccE1 re27 Hình 2-12 Sơ đồ CNN của R-net và O-Net.----22222vcccrrecccrrrvrrrrrrrrrrrrree 28 Hình 2-13 Sơ đồ CNN của O-net.
crrrrrrrrrree 28 Hình 2-16 Y tưởng Siam Network được sử dụng khá phổ biến trong các dé tài nhận i6n 4010/0017. 29 Hình 2-17 Triplet loss [4].--- -- + 1k ng it31 Hình 2-22 Cấu trúc tổng quan của Arcface [7] .ssscsssssssssssssssssssteessceesssssessseeeessnneeees 33 Hình 2-23 So sánh mức độ hiệu quả trong việc phân lớp dữ liệu giữa Softmax và Arcface [7]. „34 Hình 2-24 Mô hình phân loại SVM. „35 Hình 2-25 Sự gia tăng nhanh chóng của giao tiếp máy — MAY .---- 37 Hình 2-26 Logo Google Cloud PlatfOrim.-- 5 <3 1v vn ng trên 37 Hình 2-27 Những dich vụ Google Cloud Platform cung cấp .:-- 39 Hình 2-28 Mô hình tổng quan về MQTT.----¿+¿©++x++x+2E£+£x++rxezrxrrxeeree 41 Hình 2-29 Sơ đồ hoạt động của HT'TP.-¿- 2 ¿+ +E+EE£EE+EE+EE+E£E£EerEerkerxererree 43 Hình 2-30 Gói tin Request chứa các thông tin cần thiết.-- 5-5 s52 ss2 45 Hình 3-1 Sơ đồ tổng quan quá trình tạo file phân loại SVM.---- 46 Hình 3-2 Sơ đồ tổng quan xử lý các tín.------¿- +¿©c++2x++x++zxtzrxerreerxeerxrre 41 Hình 3-3 Sơ đồ tổng quan về các bước nhận diện khuôn mặt.----48 Hình 3-4 Sơ đồ chân của Module ESP32.---2¿ 2 5£+2x++Ex2EEtEE+erxezrxrrreeree 51 Hình 3-5 Thẻ hiện tốc độ xử ly nhận diện khuôn mặt đạt tốc độ tốt với 29 FPS va độ chính xác lên đến 99Ố%.
54 Hình 3-6 Các gói tin được mã hóa được truyền tải thành công về Firebase từ PC .55 Hình 3-7 Với cấu hình GPU thấp hon, tốc độ xử lý bị ảnh hưởng giảm xuống 15- 18FPS tuy nhiên model và độ chính xác không bị ảnh hưởng nên van đạt 95-98% 55 Hình 3-8 Quá trình gửi thông tin về Firebase thành công tương tự PC. 56 Hình 3-9 Kết quả nhận diện khuôn mặt từ Jetson nano đạt FPS khá thấp với 2FPS 56 Hình 3-10 Dinh danh khuôn mặt cùng độ tin cậy .-- ---- 5-5 5+5 ‡+++se++seessesss 57 Hình 4-1 Kết qủa truyền dir liệu về FireBase .-----2- ¿©c+z22++cs+ezxesrxere 59 Hình 4-2 Kết quả truyền dữ liệu về Database của AWS IOT Core. 60 Hình 4-3 Tiến hành train model (1) .---cc+++c+++eetttrktrrrtrrktrrrrrrrkrrrrrrrkeg 61 Hình 4-6 Các File model xuất ra sau khi train bao gom model Mobilenet, 1 file bién đối Arcface và một file lưu loss quá trÌnh.--- 2-2 2 + x+£k£E£E++E++Ezxrxerxee 62 Hình 4-7 Kết quả kiểm thử (1) với model tại thời điểm epoch 6 ta thu được kết quả độ chính xác tương ứng với 7 bộ dữ liệu khuôn mặt người.-- --‹--s«+-«+ 63 Hình 4-8 Kết quả kiểm thử (2) với model tại thời điểm epoch 10 ta thu được kết qua độ chính xác tương ứng với 7 bộ dữ liệu khuôn mặt người. ---- --‹++-«++<+ 63 Hình 4-9 Kết quả gửi dữ liệu lên Firebase ((Ï).-- -- << *++v+sskEseeereeeeeeere 65 Hình 4-10 Kết quả gửi dữ liệu lên Firebase (2) .- 5 S1 sisssreeserrske 66 Hình 4-11 Kết quả gửi dữ liệu lên Firebase (3) .---- - 55+ cc+cscsesrereeeecee 66 Hình 4-12 Kết quả lấy dữ liệu từ về Java.----2222¿222E2zttSEEEEerrrrrkrrrrrrkrcee 67 Hình 4-13 Hình ảnh giao diện đăng nhập .--- ¿5-5252 522ccs+csccsrzrerxsrx 68 Hình 4-14 Giao diện truy xuất thông tỉn.---¿¿©2+++2cvvzretvvvvrrerrvsrreeex 68 DANH MỤC BANG Bảng 1-1: Bảng thống kê về độ chính xác, số lượng tham số cần thiết và tốc độ xử lý với các biến thé của MobileFaceNet và ShuffleNet trên 2 bộ dữ liệu LFW và AgeDB-30.- 2 2222220210222 re 8 Bang 2-1: Sơ đồ kiến trúc CNN của Facenet.----c2c:+222222vvvrrrrrrrrrrrrrerree 30 Bảng 2-2: Kiến trúc CNN của MobileFacenet.
Bảng 2-3 Bảng thống kê và so sánh các phương thức tính loss .34 Bang 3-1 Sơ đồ chân kết nối ESP32. 53 Bảng 4-1 So sánh kết quả thu được với model.64 Bang 4-2 Kết quả so sánh nhận diện khuôn mặt trên Laptop.----- 64 Bảng 4-3 Kết quả so sánh nhận diện khuôn mặt trên JetSon Nano. 65 DANH MỤC TỪ VIẾT TẮT FPS Frame per second loT Internet of Things API Application programming Interface CNN Convolutional Neural Network DCNN Deep convolutional neural network GCP Google Cloud Protocol TÓM TAT KHÓA LUẬN Hiện nay, các công nghệ nghiên cứu xử lý ảnh đã và đang được quan tâm và phát triển rất mạnh. Đi kèm theo đó là các ứng dụng áp dụng các thành tựu của xử lý ảnh.
Một trong những dé tài nồi bật và thu hút nhiều sự chú ý đó là nhận diện — di khuôn mặt. Nội dung chính của đề tài sẽ tập trung vào các Deep Convolutional Neural Network (DCNN) để giải quyết vấn đề. Cụ thể nhóm sẽ tạo ra một hệ thống nhận diện khuôn mặt với độ chính xác > 85% và tốc độ xử lý đạt 5 FPS. Từ đó nhóm sẽ tiến hành lưu trữ dit liệu hoạt động về loT platform( cụ thể là FireBase thuộc Google Cloud).
Để mở rộng tiện ích cho đề tài, nhóm có thực hiện xây dựng và lắp đặt thêm các cảm biến ngoại vi cho hệ thống để theo dõi đánh giá việc truyền tải dữ liệu — cảm biển ngoại vi bao gồm: - Cảm biến khí ga - Cảm biến chuyền động - Cam biến nhiệt độ - Cảm biến độ âm MỞ DAU Hiện nay, các hệ thống IOT dan trở nên quen thuộc và được sử dụng rộng rãi. Tuy vậy van đề về bảo mật luôn được quan tâm hàng đầu, các phương pháp dé nhận dang định danh thông thường có thể kể đến: vân tay, ADN, vân mắt, khuôn mặt,. Trong đó thì phương pháp nhận diện khuôn mặt ngày càng chứng tỏ sự hiệu quả cũng như sự tiện lợi và được áp dụng với nhiều mục đích khác nhau, ví dụ: hệ thông gán nhãn tự động của Facebook, nhận diện khuôn mặt thực hiện các giao dịch ATM ở Hệ thống nhận diện khuôn mặt được phát triển với nhiều model khác nhau để phục vụ cho việc tối ưu về thời gian và độ chính xác. Ưu điểm của việc xử lý ảnh có thé ké đến là việc nhận diện theo thời gian thực, không cần tương tác vật lý,.
Nhược điểm, một số model cần lượng dir liệu lớn kèm theo thời gian train dai để ra được một model hoàn chỉnh, hoặc dữ liệu có thé bị thay đổi theo thời gian do sự co giản của khuôn mặt. Vì những tiện ích và nhược điểm kể trên, nhóm muốn thực hiện train lại một model đề tối ưu những lợi ích của model cũng như giảm thiểu những bắt lợi khi train và sử dụng model. Sau khi tham khảo qua một số bài báo khoa học về Inception v4, Facenet, MobileFacenet, Arcface, Cosface,. thì các mô hình tao các vector đặc trưng (feature vector) dé thực hiện phân nhóm nhận diện với 128 chiều dữ liệu.
Vector này đã được giảm chiều dữ liệu từ vô số chiều xuống 128 chiều dé phủ hợp với các tiêu chí về thời gian và dữ liệu để so sánh các vector khác dé thực hiện việc training. Vì vậy nhóm dự định sẽ thực hiện một mô hình tạo ra 512 điểm ảnh với độ chính xác cao hơn trên nền MobileFaceNet và Pytorch, từ đó so sánh kết quả thực hiện được với mô hình 128 điểm ảnh đã được thiết kế trên. Theo [1], Việc định danh khuôn mặt sử dụng Kit IloT JSON TXI dùng model MobileNet-V2 với 128 chiều dữ liệu có độ chính xác 71.8% với tốc độ định danh trong 10s. TONG QUAN DE TÀI 1.
Cac công nghệ hiện nay Ngày nay công nghệ nhận dạng khuôn mặt được quan tâm và được coi là một lĩnh vực quan trọng trong khoa học nhận dạng là do nhu cầu ứng dụng nhận dạng khuôn mặt trong nhiều lĩnh vực như: kinh tế, điều tra tội phạm, bảo mật,.