Chương 1. Giới thiệu về dé tài khóa luận tốt nghiệp:. Mục tiêu của đề tài:. Giải pháp Va gI1ới hạn:.- «cty nhanh 3 Chương 2.---22:+eeS2222EEE22EE22.
Kit Raspberry Pi 3 mode B+, module Camera Rev l. Kit Raspberry Pi 5, module Camera V3, module RFID,LCD16x2 và mOdule I2: .---ss-- + tồn HH Hư HH HH HH Hee 7 2. Công nghệ OpenCV và thuật toán xử lý ảnh, máy học, deep learning, Facenet, K1 10a 1717777. Tìm hiểu về firebase:.
_ Tìm hiểu về Sendgrid:. Tìm hiểu về công nghệ ReactJS, Vite, TailwindCSS, Ant Design dùng dé thiết kế giao GiSMcecccssssssseessnneesssssnssenesnssnnenscasssssesssasonneeesaasonnennunssnnennnassoneeennaaseneenneaseneees 28 Chương 3. PHAN TÍCH VÀ THIẾT KẾ HỆ THỐNG. Kết nối Raspberry Pi với camera nhận diện khuôn mặt:.
Kết nối Raspberry Pi với firebase:. Kết nối giao diện người dùng với firebase:. Kết nối Raspberry Pi với SendGrid:. _ Danh sách thư viện sử dụng: .-------e-cexer+rerrrertrirtrrirrrrrrrirrree 47 Chương 4.
KẾT QUA THỰC NGHIỆM. Một số thông số và tiêu chí đánh giá độ chính xác hệ thống nhận diện khuôn mmặT:.---- <5 x£cc£ts+tv+EEEteEtstterkEkrrrtkrrkrrkrrrrrrrkrrkrrrrrrkrrkrrkrrkrrrrrrkrrsrrrrrrrsrk 48 4. Banh giá độ chính xác của hệ thống dựa trên tập dataset người nồi tiếng 49 4. Đánh giá về độ chính xác khi sử dung data thực tế:.
Kết quả độ tin cậy mà hệ thống dựa trên nhận diện trực tiếp qua camera:53 AS. TOC AG XU LY? số. Diém danh thông qua hệ thống RFID wcsessssssessesssssssesssssesssssssessssssesnsesessesssee 54 4. _ Giao diện hién thị và một số chức năng khác:.
Kịch bản sử dụng:.eeecerreerErrirreerrirertEriirrttriirrtrriirrrrrirrrrrrrrrrrr 57 Chương 5. HƯỚNG PHÁT TRIỂN.--2-:+ec22++2EEEE22EEEEreSEEErirerrrrre 58 5. Phần Cứng: 6 ae ee Sn See 58 3. Chức nang ARM.
wore ace renner TESTED a scose Passeseaylesseessessnssanesseessuessecanessnesseesaeesseensss 58 V. 59 DANH MỤC HÌNH Hinh 08010 100037.1: Hình ảnh tong thé kit Raspberry Pi 3 Mode B+.--ss-csc th thành hinh 6 Hình 2.3: Hình ảnh tổng thé kit raspberry pi 5.4: Camera Module VỔ.------s-ccxs+rt+kttrrrtrrtrirtritrrrtkirrrirrririirrriirirrrrrrrrrriiee 9 Hình 2.5: Màn hình LCD16x2 & Module I2C.-----cccc5ccsesrxeeerreerrrrree 10 Hình 2.6: Sơ đồ chân Module RFID-RC522.---s--s«csxtekekEkttthH hà hư hà hy nhanh ngưet 12 Hình 2.8: Convolutional Neural Networks.9: Kiến trúc ConvNet.11: Cách tính khi qua bộ loc filter.14: Tầng fully connected.----ccs--eecceerreveerrrereerrrreerrrrerrrre 17 Hình 2.15: kiến trúc MTCNN.16: Hình ảnh được làm nhỏ lại như kim tự tháp.17:Kiến trúc P-Net.18:Kiến trúc R-Net.19: Tống thé của P-R-O net.---ss+ccssreeeeteeeetrrreerreeerrrerrr 21 Hình 2.20: Logo công nghệ dùng trong thiết kế giao diện web.2: Kết nỗi Raspberry Pi với Camera.3: Cây thư mục dé chạy hệ thống.-cs2+eeesteeevttrrvrrrerrrrrerre 32 Hình 3.4:Phát hiện gương mặt trực tiếp qua camera.----ccse+cccerrrrceerre 32 Hình 3.5: Thay đổi Rules ở Realtime đatabase.6: VỊ trí của web app.---c-ccrcrirtrritirH he ret 33 Hình 3.7: Các thông tin để gửi data.---cc5s-ccccestreevetrrervrrrrrrvrrrrrrerrrrrrerre 34 Hình 3.8: Code gửi data đến firebase.9: Kết quả gửi data đến firebase.10: Cau trúc dit liệu lớp học.11: Cấu trúc dữ liệu sinh viên.12: Cấu trúc dữ liệu điểm danh.13: Sơ đồ hoạt động Web dé hiền thị thông tin điểm danh.14: Trang chủ W€DSI(G.-- «s2 HH nHYnHHY HH Hà Hà Hà Hàng 38 Hình 3.15: Trang Quản Ly.16: Trang Danh sácCh.--- --s-+c++x+e+vsrktsrrkttrrttrrtkkrtkkrrrirrrirrriirrrrrieeriree 39 i06 Wor iu na .18: Trang Danh sácCh.---e-c+ccc+scxeEktEEkrrkkrkrtkrrtkkrkkkrkrirrirrirrrrriee 40 Hình 3.19: Trang Quản Ly.20: Đăng nhập với OOgÏ€.21: Giao diện được đơn giản hÓa.22: Chức năng thêm sinh VIÊn.---------ss‡cExeterkxtrrkeetrrkertrrkrrrrkrrrrrieee 42 Hình 3.23: Chức năng cập nhật và xóa thông tin sinh viÊn.24: Các bước lấy API Key.----cc-:rcecccvertrreererttrirerrrtrrrtrrrrrrrrrrrrere 44 Hình 3.25: Tạo tên key sau đó chon Create & VICW.26: Lưu lại Key dé sử dụng vì key chỉ hiển thị một lần.27: Cài dat Single Sender Ver1fiCafIOI.---cs--cceeccceererxeerrrkerrrrkerrrrrree 45 Hình 3.28: Cai đặt email sử dung Python và thư viện sendgrid.29: Đã nhận được mailÏ.--s-scc<5c++csvctv+teEkEEtertertettersertstrrrrsersrrrsrrrrrsrree 47 Hình 4.1: Hình anh trước và sau khi căn chỉnh.2: Ma trận nhầm lẫn.3: Các tham số độ chính xác.-------+-cec++tEtttt+evvvvEEEEEtttrreeevvvrrrrrrrirrcee 51 Hình 4.4: Hình ảnh dé thử nghiệm.5: Ma trận nhằm lẫn 100 hình của mỗi người.------cc-e+reccccv+ 52 Hình 4.6: kết quả tiêu chí đánh giá hệ thống.7: Kết quả nhận diện.----c52i++cc22treevEEEtrvvvErtrrvttrrrrvtrrrrrrtrrrrrerre 53 Hình 4.9: Ghi thông tin va ỞỌC.cc-cctcrtierHHHHHH re, 54 Hình 4.10: Thông tin sinh viên đã tồn tại hoặc không tỒn tại.11: Gửi thông tin thẻ lên firebase để điểm danh.12: Giao diện hiển thị thông tin điểm danh.13: Danh sách điểm danh file excel.ccccccccccccccrcrrrrrrrrrrrrrrrrrrrrrrrrrrrre 56 DANH MỤC BANG Bảng 2.1: Cấu hình của Kit Raspberry Pi 3 mode B+.2: Cấu hình của Kit Raspberry Pi 5.3: Cấu hình Module RFID-RC522.-++cccccettrreeevvttrrrrrevrrrrrrrrrrr 11 DANH MỤC TU VIET TAT RFID - Radio-Frequency Identification CNN - Convolutional Neural Network SVM - Support Vector Machine P-Net - Proposal Network R-Net - Refinement Network O-Net - Output Network FP - False Positive TP - True Positive TN - True Negative FN - False Negative ReLU - Rectified Linear Unit TOM TAT KHÓA LUẬN Trong bối cảnh các cơ sở giáo dục và doanh nghiệp đang tìm kiếm các giải pháp quản lý chấm công và điểm danh hiệu quả hơn, hệ thống điểm danh băng thẻ RFID và nhận diện khuôn mặt đã trở thành những công nghệ nôi bật. Mặc dù mang lại sự tiện lợi và nhanh chóng, cả hai phương pháp này đều có những hạn chế riêng. Thẻ RFID có thé bị gian lận khi người dùng chuyên giao thẻ cho người khác dé điểm danh hộ.
Trong khi đó, nhận diện khuôn mặt có thể gặp phải các vấn đề như nhiễu ánh sáng, góc chụp không lý tưởng, hoặc sai lệch danh tính. Do đó, việc kết hợp cả hai phương pháp này có thé giúp khắc phục những hạn chế và nâng cao hiệu quả điểm danh. Khóa luận này đề xuất một hệ thống tích hợp thẻ RFID và nhận điện khuôn mặt để đảm bảo tính chính xác và tiện lợi trong quy trình điểm danh. Cu thé, hệ thống sé sử dụng thẻ RFID dé xác định danh tính ban đầu của người dùng, sau đó xác thực danh tính bằng nhận diện khuôn mặt.
Đề nâng cao tính bảo mật và minh bạch, hệ thống còn tích hợp chức năng gửi email thông báo cho sinh viên, người quản lý hoặc phụ huynh sau mỗi lần điểm danh. Giới thiệu về đề tài khóa luận tốt nghiệp: - Hệ thống điểm danh bang thẻ hoặc nhận diện khuôn mặt đang trở nên ngày càng phổ biến trong các cơ sở giáo dục và doanh nghiệp dé quản lý cham công cho nhân viên hoặc điểm danh học sinh. Sự tiện lợi và tốc độ của hai phương pháp này giúp giảm thiểu thời gian và công sức cần thiết để thực hiện quy trình điểm danh, tuy nhiên, mỗi phương pháp đều mang theo những hạn chế riêng. Một trong những van đề phổ biến khi sử dung thẻ điểm danh là khả năng của học sinh hoặc nhân viên dé gian lận bằng cách chuyển giao thẻ cho người khác để điểm danh hộ.
Điều này gây ra sự không chính xác trong việc ghi nhận dữ liệu chấm công hoặc điểm danh. Trong khi đó, việc sử dụng nhận diện khuôn mặt có thé giam thiéu viéc nay, nhung no vẫn có thể gặp phải các vấn đề như nhiễu ánh sáng, góc chụp không lý tưởng hoặc thậm chí là việc nhận diện sai danh tính. - Với mục tiêu cải thiện hiệu suất và dam bảo tính chính xác của quá trình điểm danh, hệ thống của chúng tôi sẽ tích hợp cả hai phương pháp, tức là sử dụng cả thẻ và nhận diện khuôn mặt. Bằng cách này, chúng tôi có thể tận dụng những lợi ích của cả hai phương pháp và đồng thời giảm thiểu nhược điểm.
Việc sử dụng thẻ sẽ giúp xác định rõ danh tính của người điểm danh, trong khi nhận diện khuôn mặt sẽ là một lớp bổ sung giúp xác thực danh tính một cách chính xác và nhanh chóng. - Bén cạnh đó, để đảm bảo tính chính xác và bảo mật của dữ liệu, hệ thống cũng sẽ được tích hợp với chức năng gửi mail thông báo. Khi một người được điểm danh, hệ thống sẽ tự động gửi một email thông báo cho người quản lý hoặc phụ huynh, báo cáo về việc điểm danh đó. Điều này giúp tăng cường sự minh bạch và giám sát trong quá trình quản lý điểm danh, đồng thời cung cấp một cơ chế xác thực và thông báo cho các bên liên quan về tình trạng diém danh của sinh viên.
Mục tiêu của đề tài: Khóa luận tốt nghiệp xây dựng một hệ thống điểm danh bằng thẻ sau đó xác thực khuôn mặt đồng thời gửi mail thông báo về tình trạng điểm danh của sinh viên vào cuối buổi học. Cụ thể đề tài sẽ thực hiện: © Nghiên cứu và tìm hiểu về thuật toán nhận dạng khuôn mặt CNN, Facenet, SVM. Với giải pháp trên ta có thể nhận diện ở nhiều góc khác nhau mà không cần nhìn thăng, nhận diện chính xác và trích xuất được nhiều đặc trưng khuôn mặt. o Áp dụng deep learning vào bài toán nhận diện khuôn mặt kết hợp cùng với thẻ rfid nhằm cải thiện các nhược điểm của hai loại điểm danh.
o Thử nghiệm và thực thi trên máy tính nhúng Kit Raspberry. Giải pháp và giới hạn: về ý tưởng: Sử dụng thẻ định danh sinh viên sau đó xác thực khuôn mặt để hoàn thành việc điểm danh , thiết lập giao diện người dùng kết nối cơ sở dit liệu firebase. Về phan cứng: Máy tính nhúng Raspberry Pi 5 4GB, Module RFID kèm thẻ, Camera module V3 Về chương trình: Ngôn ngữ Python. Sử dụng các công nghệ OpenCV, Tensorflow, sendgrid,.
Về sơ đồ hệ thống bao gồm: Kit raspberry Pi 5, Camera module V3, dataset khuôn mặt sinh viên, Module RFID va thẻ, Model training và nhận diện khuôn mặt, giao diện web, API firebase dé lưu thông tin điểm danh, API sendgrid để gửi mail. Khối xử ly dataset & training > - ———— Trích xuất >| > đặc trưng Dataset | khuôn mặt —_ ~ ——x—— pan Sensor Video kh (ceo x MÒn Training Cam ) h _| mặt với các h khác nhau + tệpluyén Huan) output INPUT Ỷ INPUT Sensor OUTPUT my, (Feoe ) camera ( CSI RASPBERRY Face & nrip|_ HTTPS (ais Giao den PI5 indentity Firebase (ai ngườsi den SPI OUTPUT [mre RFID : RFID Thé RFID / Module, ———— 2c Mail ï LCD 16x2 OUTPUT Khối Xử lý chính Hình 1.1; Sơ đồ hệ thống - Giới hạn của dé tài: o Dataset tối thiểu 20 sinh viên mỗi sinh viên 350 ảnh thu thập từ việc quay video xoay trái, phải, trên, xuống dé lấy được các đặc trưng khuôn mặt từ các góc độ khác nhau. o Tốc độ xử lý khoảng 10 FPS, nhận diện ban ngày độ chính xác trên 90%. o_ Nhận diện tuần tự từng sinh viên một.
o_ Nhận diện không bao gồm người đeo khẩu trang, mắt kính, che khuất mặt, băng bó,. o_ Trong một phòng học cụ thé. Phòng học này sẽ bao gồm tat cả lớp đã được đăng ký học ở phòng này từ thứ 2 đến thứ 7. Các lớp học ở phòng này sẽ có danh sách học sinh đã đăng ký trước đó.
Kit Raspberry Pi 3 mode B+, module Camera Rev 1. Kit Raspberry Pi3 Mode B+: Raspberry Pi 3 model B+ là một board máy tính nhỏ gon với nhiều tinh năng như Wi-Fi, Bluetooth, céng Ethernet, công USB và các công GPIO dé kết nói với các ngoại vi khác.1: Hình anh tong thé kit Raspberry Pi 3 Mode B+ Cấu hình của board: Bang 2.1: Cấu hình của Kit Raspberry Pi 3 mode B+ CPU Broadcom BCM2837B0, SoC ARMv8s 64-bit, quad-core A53, tốc độ 1.