Hệ Thống Điểm Danh Kết Hợp RFID và Nhận Diện Khuôn Mặt Sử Dụng CNN, Facenet, SVM

Khóa luận trình bày hệ thống điểm danh kết hợp thẻ RFID và nhận diện khuôn mặt sử dụng CNN, Facenet và SVM trong kỹ thuật máy tính.

• Tác giả: Võ Sỹ Dũng
• Người hướng dẫn: Thầy Phan Đình Duy
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hệ Thống Điểm Danh Kết Hợp RFID và Nhận Diện Khuôn Mặt Sử Dụng CNN, Facenet, SVM
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ ĐỀ TÀI KHÓA LUẬN TỐT NGHIỆP
• 1.1. Mục tiêu của đề tài
• 1.2. Giải pháp và giới hạn
• 2. CHƯƠNG 2: KIT RASPBERRY PI 3 MODE B+, MODULE CAMERA REV 1, KIT RASPBERRY PI 5, MODULE CAMERA V3, MODULE RFID, LCD16X2 VÀ MODULE I2C
• 2.1. Kit Raspberry Pi 3 Mode B+
• 2.2. Kit Raspberry Pi 5, module Camera V3, module RFID, LCD16x2 và module I2C
• 2.3. Module RFID
• 2.4. Công nghệ OpenCV và thuật toán xử lý ảnh, máy học, deep learning, Facenet, Tensorflow
• 2.5. Tìm hiểu về firebase
• 2.6. Tìm hiểu về Sendgrid
• 2.7. Tìm hiểu về công nghệ ReactJS, Vite, TailwindCSS, Ant Design dùng để thiết kế giao diện
• 3. CHƯƠNG 3: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG
• 3.1. Kết nối Raspberry Pi với camera nhận diện khuôn mặt
• 3.2. Kết nối Raspberry Pi với firebase
• 3.3. Kết nối giao diện người dùng với firebase
• 3.4. Kết nối Raspberry Pi với SendGrid
• 3.5. Danh sách thư viện sử dụng
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM
• 4.1. Một số thông số và tiêu chí đánh giá độ chính xác hệ thống nhận diện khuôn mặt
• 4.2. Đánh giá độ chính xác của hệ thống dựa trên tập dataset người nổi tiếng
• 4.3. Đánh giá về độ chính xác khi sử dụng data thực tế
• 4.4. Kết quả độ tin cậy mà hệ thống dựa trên nhận diện trực tiếp qua camera
• 4.5. Điểm danh thông qua hệ thống RFID
• 4.6. Giao diện hiển thị và một số chức năng khác
• 4.7. Kịch bản sử dụng
• 5. CHƯƠNG 5: HƯỚNG PHÁT TRIỂN
• 5.1. Phần cứng
• 5.2. Chức năng ARM
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT

Tóm tắt

I. Giới thiệu về Hệ Thống Điểm Danh Kết Hợp RFID và Nhận Diện Khuôn Mặt

Hệ thống điểm danh kết hợp giữa thẻ RFID và nhận diện khuôn mặt đang trở thành xu hướng trong các cơ sở giáo dục và doanh nghiệp. Công nghệ này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc ghi nhận thông tin. Việc sử dụng thẻ RFID giúp xác định danh tính ban đầu, trong khi nhận diện khuôn mặt đảm bảo tính xác thực cao hơn. Hệ thống này hứa hẹn sẽ mang lại nhiều lợi ích cho việc quản lý điểm danh.

1.1. Tổng quan về công nghệ RFID trong giáo dục

Công nghệ RFID (Radio-Frequency Identification) đã được áp dụng rộng rãi trong giáo dục để quản lý điểm danh. Hệ thống này cho phép ghi nhận thông tin nhanh chóng và chính xác, giảm thiểu tình trạng gian lận khi điểm danh. Việc sử dụng thẻ RFID giúp dễ dàng theo dõi sự hiện diện của sinh viên trong lớp học.

1.2. Nhận diện khuôn mặt bằng CNN và Facenet

Nhận diện khuôn mặt là một trong những ứng dụng nổi bật của công nghệ học sâu. Sử dụng CNN (Convolutional Neural Network) và Facenet, hệ thống có khả năng nhận diện khuôn mặt với độ chính xác cao. Điều này giúp cải thiện đáng kể hiệu suất của quy trình điểm danh, đặc biệt trong môi trường có nhiều yếu tố gây nhiễu.

II. Vấn đề và Thách thức trong Hệ Thống Điểm Danh

Mặc dù hệ thống điểm danh kết hợp RFID và nhận diện khuôn mặt mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần giải quyết. Các vấn đề như ánh sáng không đủ, góc chụp không lý tưởng, và khả năng gian lận vẫn là những yếu tố cần được xem xét. Việc cải thiện độ chính xác và tính bảo mật của hệ thống là rất quan trọng.

2.1. Những hạn chế của thẻ RFID trong điểm danh

Thẻ RFID có thể bị gian lận khi người dùng chuyển giao thẻ cho người khác để điểm danh hộ. Điều này dẫn đến việc ghi nhận thông tin không chính xác, ảnh hưởng đến quy trình quản lý điểm danh. Cần có các biện pháp bổ sung để đảm bảo tính chính xác của dữ liệu.

2.2. Thách thức trong nhận diện khuôn mặt

Nhận diện khuôn mặt có thể gặp phải các vấn đề như nhiễu ánh sáng, góc chụp không lý tưởng, và sai lệch danh tính. Những yếu tố này có thể làm giảm độ chính xác của hệ thống. Việc cải thiện thuật toán và điều kiện chụp hình là cần thiết để nâng cao hiệu suất.

III. Phương Pháp Kết Hợp RFID và Nhận Diện Khuôn Mặt

Để khắc phục những hạn chế của từng phương pháp, hệ thống điểm danh kết hợp RFID và nhận diện khuôn mặt được đề xuất. Phương pháp này sử dụng thẻ RFID để xác định danh tính ban đầu và sau đó xác thực danh tính bằng nhận diện khuôn mặt. Điều này không chỉ nâng cao tính chính xác mà còn đảm bảo tính bảo mật cho dữ liệu.

3.1. Cách thức hoạt động của hệ thống

Hệ thống hoạt động bằng cách sử dụng thẻ RFID để ghi nhận danh tính của người dùng. Sau đó, camera sẽ chụp hình khuôn mặt và sử dụng CNN để nhận diện. Nếu nhận diện thành công, thông tin sẽ được ghi nhận vào cơ sở dữ liệu. Điều này giúp đảm bảo tính chính xác và nhanh chóng trong quy trình điểm danh.

3.2. Ứng dụng của SVM trong phân loại hình ảnh

SVM (Support Vector Machine) được sử dụng để phân loại hình ảnh trong quá trình nhận diện khuôn mặt. Thuật toán này giúp cải thiện độ chính xác của việc nhận diện, đặc biệt trong các trường hợp có nhiều yếu tố gây nhiễu. Việc áp dụng SVM trong hệ thống sẽ giúp nâng cao hiệu suất và độ tin cậy.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Hệ thống điểm danh kết hợp RFID và nhận diện khuôn mặt đã được thử nghiệm và cho thấy kết quả khả quan. Độ chính xác của hệ thống đạt trên 90% trong điều kiện ánh sáng tốt. Hệ thống không chỉ giúp tiết kiệm thời gian mà còn nâng cao tính chính xác trong việc ghi nhận thông tin điểm danh.

4.1. Kết quả thử nghiệm trên thực địa

Kết quả thử nghiệm cho thấy hệ thống hoạt động hiệu quả trong môi trường thực tế. Độ chính xác của việc nhận diện khuôn mặt đạt trên 90% khi sử dụng dataset với nhiều góc chụp khác nhau. Điều này chứng tỏ tính khả thi của hệ thống trong việc quản lý điểm danh.

4.2. Lợi ích của hệ thống trong quản lý điểm danh

Hệ thống không chỉ giúp tiết kiệm thời gian mà còn nâng cao tính chính xác trong việc ghi nhận thông tin. Việc tích hợp chức năng gửi email thông báo cũng giúp tăng cường sự minh bạch và giám sát trong quá trình quản lý điểm danh.

V. Kết Luận và Tương Lai của Hệ Thống Điểm Danh

Hệ thống điểm danh kết hợp RFID và nhận diện khuôn mặt là một giải pháp hiệu quả cho việc quản lý điểm danh trong các cơ sở giáo dục và doanh nghiệp. Với những lợi ích mà nó mang lại, hệ thống này hứa hẹn sẽ trở thành xu hướng trong tương lai. Việc tiếp tục nghiên cứu và cải tiến công nghệ sẽ giúp nâng cao hiệu suất và độ chính xác của hệ thống.

5.1. Tương lai của công nghệ điểm danh thông minh

Công nghệ điểm danh thông minh sẽ tiếp tục phát triển và mở rộng ứng dụng trong nhiều lĩnh vực khác nhau. Việc kết hợp các công nghệ mới như AI và machine learning sẽ giúp nâng cao hiệu suất và độ chính xác của hệ thống.

5.2. Đề xuất cải tiến cho hệ thống

Để nâng cao hiệu suất của hệ thống, cần tiếp tục nghiên cứu và cải tiến các thuật toán nhận diện khuôn mặt và RFID. Việc tích hợp thêm các công nghệ mới sẽ giúp hệ thống hoạt động hiệu quả hơn trong các điều kiện khác nhau.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý đào tạo tại các cơ sở giáo dục và quản trị nhân sự tại doanh nghiệp, quy trình chấm công và điểm danh đóng vai trò thiết yếu nhằm duy trì kỷ luật và ghi nhận thời gian làm việc, học tập. Hai phương pháp tự động hóa phổ biến hiện nay gồm điểm danh bằng thẻ RFID và nhận diện khuôn mặt qua thị giác máy tính. Tuy nhiên, mỗi phương pháp đều tồn tại những nhược điểm cố hữu khi vận hành độc lập:

• Phương pháp sử dụng thẻ RFID có tốc độ xử lý nhanh nhưng dễ xảy ra tình trạng gian lận thông qua việc sinh viên hoặc nhân viên chuyển giao thẻ cho nhau để điểm danh hộ.
• Phương pháp nhận diện khuôn mặt giúp định danh sinh trắc học trực tiếp nhưng dễ bị suy giảm độ chính xác dưới tác động của điều kiện ánh sáng thay đổi, góc quay của camera không lý tưởng, hoặc phát sinh sai lệch danh tính khi không có thông tin định danh ban đầu làm đối sánh.

Nhằm giải quyết các hạn chế trên, khóa luận tốt nghiệp ngành Kỹ thuật Máy tính của tác giả Võ Sỹ Dũng (Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM, dưới sự hướng dẫn của thầy Phan Đình Duy) đề xuất xây dựng hệ thống điểm danh tích hợp hai cơ chế: quẹt thẻ RFID để xác định danh tính ban đầu, kết hợp nhận diện khuôn mặt bằng thị giác máy tính và học sâu để xác thực lớp thứ hai. Đồng thời, hệ thống tự động gửi email thông báo kết quả điểm danh vào cuối buổi học nhằm tăng cường tính minh bạch.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định cụ thể như sau:

1. Nghiên cứu và tìm hiểu về các thuật toán nhận dạng khuôn mặt gồm mạng nơ-ron tích chập (CNN), kiến trúc đa tầng MTCNN, mô hình Facenet và thuật toán phân loại SVM nhằm trích xuất đặc trưng và nhận diện khuôn mặt ở nhiều góc nhìn khác nhau mà không bắt buộc phải nhìn thẳng.
2. Áp dụng kỹ thuật học sâu (Deep Learning) vào bài toán nhận diện khuôn mặt kết hợp với thẻ RFID nhằm khắc phục triệt để nhược điểm gian lận điểm danh hộ của thẻ và hạn chế sai lệch danh tính của hệ thống camera.
3. Thử nghiệm, tối ưu hóa và thực thi toàn bộ mô hình cùng chương trình điều khiển trên phần cứng máy tính nhúng Raspberry Pi 5.

Đối tượng và phạm vi nghiên cứu của đề tài bao gồm:

• Đối tượng nghiên cứu: Quy trình xử lý tín hiệu thẻ từ qua module RFID-RC522, luồng thu nhận hình ảnh từ Camera Module V3, các mô hình học sâu (MTCNN, Facenet, SVM) và hệ thống đồng bộ dữ liệu thời gian thực trên nền tảng đám mây Firebase.
• Phạm vi dữ liệu: Tập dữ liệu huấn luyện (dataset) tối thiểu gồm 20 sinh viên, mỗi sinh viên thu thập 350 ảnh được trích xuất từ video quay ở các góc độ khuôn mặt khác nhau (xoay trái, xoay phải, ngửa lên, cúi xuống).
• Phạm vi không gian và điều kiện hoạt động: Triển khai trong một phòng học cụ thể với danh sách các lớp học được xếp lịch từ thứ 2 đến thứ 7; hệ thống nhận diện trong điều kiện ánh sáng ban ngày, xử lý tuần tự từng cá nhân một, không áp dụng cho đối tượng đeo khẩu trang, mắt kính, che khuất mặt hoặc băng bó.

---

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp giữa nghiên cứu lý thuyết về học sâu trong thị giác máy tính và phương pháp thực nghiệm kỹ thuật trên hệ thống nhúng.

1. Khung lý thuyết và mô hình thị giác máy tính

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Đóng vai trò nền tảng trong việc trích xuất đặc trưng không gian từ ảnh thông qua các lớp tích chập (Convolution Layer), hàm kích hoạt phi tuyến (ReLU/PReLU), lớp gộp (Pooling Layer: Max Pooling kích thước $2 \times 2$, stride 2) và lớp kết nối đầy đủ (Fully Connected Layer) kết hợp hàm Softmax để phân loại.
• Mạng MTCNN (Multi-task Cascaded Convolutional Networks): Sử dụng cấu trúc hình kim tự tháp (Image Pyramid) để phát hiện khuôn mặt ở nhiều tỷ lệ kích thước khác nhau qua 3 giai đoạn nối tiếp:
  • P-Net (Proposal Network): Mạng tích chập hoàn toàn (FCN) nhằm sinh ra các vùng ứng viên tiềm năng và vector hồi quy tọa độ khung bao (bounding box regression).
  • R-Net (Refinement Network): Lọc và loại bỏ các khung bao trùng lặp bằng thuật toán non-maximum suppression (NMS), tinh chỉnh tọa độ bounding box.
  • O-Net (Output Network): Xác định chính xác vị trí khung bao khuôn mặt và định vị 5 điểm đặc trưng khuôn mặt (facial landmarks: hai mắt, mũi và hai khóe miệng).
• Mô hình Facenet: Chuyển đổi dữ liệu ảnh khuôn mặt thành vector nhúng (vector embedding) trong không gian Euclide. Mô hình tối ưu hóa khoảng cách thông qua hàm mất mát bộ ba (Triplet Loss) với công thức:

$$\mathcal{L}(A, P, N) = \sum_{i=0}^{N} \max\left(|f(A_i) - f(P_i)|_2^2 - |f(A_i) - f(N_i)|_2^2 + \alpha, ; 0\right)$$

Trong đó $A$ là ảnh gốc (Anchor), $P$ là ảnh cùng danh tính (Positive), $N$ là ảnh khác danh tính (Negative), và $\alpha$ là hệ số biên (margin) không âm.

• Thuật toán SVM (Support Vector Machine): Phân loại vector đặc trưng thu được từ Facenet để xác định chính xác danh tính sinh viên.
• Thư viện và Framework: OpenCV (xử lý tiền xử lý ảnh và video stream), TensorFlow (xây dựng, huấn luyện mạng nơ-ron), Pyrebase4 (giao tiếp Python với Firebase).

2. Nền tảng công nghệ đám mây và giao diện

• Firebase: Dịch vụ đám mây của Google gồm Realtime Database (cơ sở dữ liệu NoSQL đồng bộ thời gian thực), Firebase Authentication (xác thực đăng nhập tài khoản Google cho cán bộ quản lý), và Firebase Storage (lưu trữ ảnh đại diện, ảnh chụp điểm danh).
• SendGrid API: Dịch vụ gửi email trên nền tảng đám mây, sử dụng thư viện sendgrid trên Python để gửi email tự động tổng hợp kết quả điểm danh cho giảng viên, phụ huynh hoặc quản trị viên.
• Tech stack giao diện Web: ReactJS (kiến trúc Component, Virtual DOM), Vite (công cụ build và dev server tốc độ cao), TailwindCSS (framework CSS tiện ích), và Ant Design (bộ thư viện UI components).

3. Phương pháp nghiên cứu và phân tích phần cứng

Tác giả tiến hành so sánh, phân tích thông số kỹ thuật giữa các thế hệ phần cứng để lựa chọn cấu hình tối ưu cho quá trình xử lý Edge AI:

Thành phần / Thông số	Raspberry Pi 3 Model B+	Raspberry Pi 5 (Lựa chọn chính)	Module RFID-RC522
Vi xử lý (CPU)	Broadcom BCM2837B0, Quad-core A53 @ 1.4GHz	Broadcom BCM2712, Quad-core Cortex-A76 @ 2.4GHz	-
Quy trình SoC	Đang cập nhật	16nm	-
Bộ nhớ RAM	1GB LPDDR2	4GB LPDDR4X-4267	-
Bộ xử lý đồ họa (GPU)	VideoCore IV, OpenGL ES 1.0/2.0	VideoCore VII @ 800MHz, OpenGL ES 3.2	-
Vi điều khiển I/O	Tích hợp SoC	Chip ngoại vi RP1 (tăng tốc độ I/O)	-
Giao thức ngoại vi	40 chân GPIO, CSI Camera, DSI Display	40 chân GPIO, 2 cổng MIPI CSI/DSI, PCIe 2.0	Chuẩn giao tiếp SPI (tốc độ tối đa 10Mbit/s)
Tần số / Tầm hoạt động	Wi-Fi 2.4/5GHz, Bluetooth 4.2	Wi-Fi 2.4/5GHz, Bluetooth 5.0, BLE	Tần số 13.56MHz, tầm đọc $0 \sim 6\text{ cm}$ (thẻ Mifare)
Điện áp & Nguồn	5V / 2.5A (microUSB)	5V / 5A (USB Type-C), hỗ trợ PCIe/PoE+	3.3V DC, dòng hoạt động $13 \sim 26\text{ mA}$

Module Camera V3 (12MP, cảm biến hỗ trợ lấy nét tự động theo pha PDAF, dải động cao HDR, tốc độ khung hình tối đa 120 FPS qua thư viện Picamera2) được lựa chọn thay thế cho Camera Rev 1 (5MP, 90 FPS) nhằm tăng trường nhìn và chất lượng ảnh đầu vào.

---

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế dưới dạng mô hình IoT nhúng kết hợp Cloud, phân tách rõ ràng giữa khối xử lý trung tâm, khối thu nhận ngoại vi và khối ứng dụng người dùng.

1. Kiến trúc tổng thể và luồng xử lý

• Khối xử lý trung tâm (Raspberry Pi 5):
  • Kết nối với Module RFID-RC522 qua giao thức SPI (giao tiếp 4 dây MISO, MOSI, SCK, NSS).
  • Kết nối với Camera Module V3 qua cáp FPC chuẩn MIPI CSI.
  • Kết nối với màn hình LCD16x2 qua bộ chuyển đổi giao tiếp $I^2C$ (sử dụng 2 dây tín hiệu SDA và SCL) để hiển thị thông báo trạng thái: quét thẻ thành công, yêu cầu nhìn vào camera, kết quả nhận diện.
  • Giao tiếp với cơ sở dữ liệu Firebase Realtime Database qua giao thức HTTPS bằng thư viện pyrebase4.
  • Gọi API SendGrid thông qua Python SDK để tự động phát email thông báo điểm danh.
• Khối xử lý dữ liệu và huấn luyện:
  • Cấu trúc thư mục mã nguồn Smartclass_FaceRecog bao gồm các nhánh dữ liệu thô (Dataset/FaceData/raw) và dữ liệu đã tiền xử lý (processed) được chuẩn hóa tên theo định dạng <Họ tên>.<MSSV>.
  • Script src/sign_up_cam.py chịu trách nhiệm thu nhận khung hình trực tiếp từ camera, cắt khuôn mặt và tạo bộ dữ liệu 350 ảnh/người.
  • Trích xuất đặc trưng bằng MTCNN và Facenet, lưu trữ vector embedding để huấn luyện bộ phân loại SVM.

2. Thiết kế cấu trúc dữ liệu trên Firebase Realtime Database

Cơ sở dữ liệu được tổ chức dưới dạng cây JSON phân cấp phục vụ truy vấn thời gian thực:

• Nhánh classes (Thông tin lớp học): Quản lý mã lớp (classCode, ví dụ: "CE206"), tên môn học (className, ví dụ: "Đồ án 2"), phòng học (classRoom, ví dụ: "A1.01"), số tiết (classTime), và sĩ số sinh viên (numberOfStudents).
• Nhánh students (Thông tin sinh viên): Quản lý mã số sinh viên (mssv), họ tên (name), mã định danh thẻ (id_card, ví dụ: "2124487365"), lớp sinh hoạt (class), email (gmail), số điện thoại (phone), và đường dẫn ảnh đại diện (avt trên Firebase Storage).
• Nhánh List_reconize (Dữ liệu điểm danh theo ngày): Lưu trữ lịch sử điểm danh theo cấu trúc ngày YYYY-MM-DD $\rightarrow$ mã lớp $\rightarrow$ danh sách mssv kèm mốc thời gian chi tiết (time, ví dụ: "2024-01-07 14:06:39") và ảnh chụp thực tế (avt).

3. Thiết kế ứng dụng Web quản lý

• Đồng bộ dữ liệu thời gian thực: Ứng dụng Web sử dụng hàm lắng nghe sự kiện onValue() của Firebase SDK. Khi Raspberry Pi 5 đẩy dữ liệu lên Realtime Database:
  • Nếu sinh viên chỉ quẹt thẻ RFID mà chưa nhận diện khuôn mặt: Web hiển thị thông tin thẻ, ảnh thẻ, tên và thời gian quẹt thẻ.
  • Khi hệ thống nhận diện khuôn mặt thành công: Giao diện lập tức cập nhật ảnh chụp thực tế từ camera, tên sinh viên, mốc thời gian và hiển thị dấu tích xanh xác thực.
• Chức năng nghiệp vụ: Đăng nhập an toàn qua tài khoản Google (Firebase Authentication); hiển thị lịch học theo tuần; thêm, sửa, xóa hồ sơ sinh viên; quản lý sĩ số theo phòng học; xuất dữ liệu điểm danh và danh sách lớp ra định dạng bảng tính Excel (.xlsx).

---

Nội dung chính theo từng chương

Chương 1. Giới thiệu về đề tài khóa luận tốt nghiệp

• Trình bày tính cấp thiết của việc tự động hóa công tác điểm danh trong trường học và cơ sở đào tạo.
• Phân tích chi tiết ưu điểm và nhược điểm của phương pháp thẻ từ RFID và phương pháp nhận diện khuôn mặt độc lập.
• Xác định mục tiêu nghiên cứu, phương pháp tiếp cận tích hợp hai lớp xác thực và giới hạn kỹ thuật của hệ thống (tập dữ liệu tối thiểu 20 sinh viên x 350 ảnh, tốc độ ~10 FPS, độ chính xác ban ngày > 90%, xử lý tuần tự, phòng học từ thứ 2 đến thứ 7).

Chương 2. Tổng quan phần cứng và cơ sở lý thuyết

• Khảo sát chi tiết phần cứng: Phân tích thông số kỹ thuật, sơ đồ chân và ưu thế vượt trội của máy tính nhúng Raspberry Pi 5 (CPU 4 lõi BCM2712 2.4GHz, RAM 4GB LPDDR4X, chip RP1) so với phiên bản Raspberry Pi 3 Model B+; phân tích Camera Module V3 (12MP, PDAF, HDR), Module RFID-RC522 (tần số 13.56MHz, giao tiếp SPI) và màn hình LCD16x2 qua giao tiếp $I^2C$.
• Trình bày cơ sở toán học và kiến trúc mô hình học sâu: Mạng tích chập CNN, cơ chế trích xuất đặc trưng và 3 tầng P-Net, R-Net, O-Net của MTCNN; nguyên lý nhúng vector không gian Euclide và hàm mất mát Triplet Loss của Facenet; cấu trúc dữ liệu đồ thị tính toán của framework TensorFlow; thư viện thị giác máy tính OpenCV.
• Tổng quan các dịch vụ Cloud và công nghệ Web: Dịch vụ đám mây Firebase (Realtime Database, Authentication, Storage), dịch vụ gửi email SendGrid (cấu hình API Key, Single Sender Verification), và bộ công cụ phát triển giao diện Web (ReactJS, Vite, TailwindCSS, Ant Design).

Chương 3. Phân tích và thiết kế hệ thống

• Xây dựng sơ đồ khối tổng thể hệ thống mô tả mối liên kết giữa khối thu thập dữ liệu (Camera, RFID), khối xử lý nhúng (Raspberry Pi 5), khối Cloud (Firebase, SendGrid) và khối giao diện người dùng (Web Application).
• Thiết lập quy trình tiền xử lý và cấu trúc cây thư mục mã nguồn Smartclass_FaceRecog, các bước cấu hình camera và thu nhận dữ liệu khuôn mặt thời gian thực qua tập lệnh sign_up_cam.py.
• Thiết lập quy tắc (Rules) phân quyền truy cập đọc/ghi trên Firebase Realtime Database và cấu hình kết nối ứng dụng thông qua cấu hình firebaseConfig.
• Thiết kế lược đồ cấu trúc dữ liệu JSON cho 3 thực thể chính: Lớp học (classes), Sinh viên (students) và Lịch sử điểm danh (List_reconize).
• Thiết kế giao diện người dùng trên công cụ Figma và triển khai chi tiết các màn hình chức năng trên nền tảng ReactJS/Vite (Trang chủ, Trang quản lý danh sách sinh viên, Đăng nhập Google, Lịch tuần, và chức năng xuất file Excel).
• Quy trình tích hợp dịch vụ SendGrid API vào Python để thực hiện gửi email báo cáo tình trạng điểm danh tự động.

Chương 4. Kết quả thực nghiệm

• Trình bày các tiêu chuẩn và tham số đánh giá độ chính xác của hệ thống nhận diện khuôn mặt dựa trên ma trận nhầm lẫn (Confusion Matrix): True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN).
• Đánh giá độ chính xác của hệ thống trên tập dữ liệu khuôn mặt người nổi tiếng chuẩn và tập dữ liệu thực nghiệm gồm 100 hình ảnh cho mỗi cá nhân.
• Đo lường độ tin cậy và tốc độ xử lý khi nhận diện trực tiếp qua Camera Module V3 gắn trên Raspberry Pi 5 (đạt tốc độ xấp xỉ 10 FPS).
• Kiểm thử quy trình quẹt thẻ RFID-RC522, đồng bộ trạng thái lên Firebase, phản hồi hiển thị trên LCD16x2 và giao diện Web (cập nhật tích xanh xác thực qua hàm onValue()).
• Kiểm thử chức năng xuất danh sách điểm danh ra file Excel (.xlsx) và quy trình gửi email thông báo kết quả.

Chương 5. Hướng phát triển

• Đề xuất các cải tiến về phần cứng và cấu trúc module ngoại vi nhằm tăng tính bền bỉ và thuận tiện khi lắp đặt trong môi trường lớp học thực tế.
• Định hướng tối ưu hóa các mô hình AI để cải thiện tốc độ khung hình (FPS) và mở rộng tính năng nhận diện trong điều kiện môi trường phức tạp hơn.

---

Kết quả và đóng góp

1. Kết quả kỹ thuật và đo lường thực nghiệm

• Hiệu năng nhận diện: Hệ thống đạt độ chính xác trên 90% trong điều kiện ánh sáng ban ngày đối với tập dữ liệu sinh viên đăng ký trước; tốc độ xử lý của mô hình học sâu triển khai trên Raspberry Pi 5 duy trì ở mức ổn định xấp xỉ 10 FPS.
• Kiểm thử mô hình: Hoàn thành đánh giá ma trận nhầm lẫn (Confusion Matrix) với các chỉ số TP, FP, TN, FN trên cả tập dữ liệu người nổi tiếng và tập dữ liệu thực tế (100 ảnh thử nghiệm/người), chứng minh tính khả thi của sự kết hợp giữa MTCNN (phát hiện khuôn mặt), Facenet (trích xuất 128 chiều vector nhúng) và SVM (phân loại).
• Vận hành hệ thống: Kiểm thử thành công quy trình khép kín: Đọc mã thẻ từ RFID-RC522 qua SPI $\rightarrow$ Kích hoạt camera thu nhận khuôn mặt $\rightarrow$ Nhận diện bằng Facenet/SVM $\rightarrow$ Hiển thị kết quả lên màn hình LCD16x2 qua $I^2C$ $\rightarrow$ Đồng bộ tức thời lên Firebase Realtime Database $\rightarrow$ Hiển thị trạng thái tích xanh trên Web ReactJS $\rightarrow$ Tự động gửi email thông báo qua SendGrid API và xuất báo cáo điểm danh ra file Excel (.xlsx).

2. Đóng góp của đề tài

• Giải quyết bài toán gian lận điểm danh: Bằng cách kết hợp bắt buộc giữa mã định danh thẻ RFID và xác thực sinh trắc học khuôn mặt, hệ thống loại bỏ hoàn toàn khả năng nhờ người khác quẹt thẻ hộ mà không làm suy giảm tốc độ điểm danh chung.
• Tối ưu hóa Edge AI trên phần cứng nhúng: Triển khai thành công các mô hình học sâu phức tạp (MTCNN + Facenet) trực tiếp trên kit nhúng Raspberry Pi 5 mà không cần phụ thuộc vào máy chủ GPU rời đắt tiền cho tác vụ suy luận (inference).
• Tính toàn diện của giải pháp: Xây dựng trọn vẹn từ tầng phần cứng, tầng giải thuật thị giác máy tính, tầng cơ sở dữ liệu đám mây cho đến tầng ứng dụng giao diện Web quản lý hỗ trợ đăng nhập Google và xuất báo cáo bảng tính.

---

Hạn chế và hướng phát triển

1. Hạn chế của hệ thống

• Quy trình nhận diện hiện chỉ xử lý tuần tự từng người một, chưa hỗ trợ phát hiện và định danh đồng thời nhiều khuôn mặt cùng lúc trong khung hình.
• Chưa xử lý được các trường hợp sinh viên đeo khẩu trang, mắt kính râm, che khuất mặt hoặc băng bó.
• Độ chính xác bị giới hạn chủ yếu trong điều kiện ánh sáng ban ngày; môi trường thiếu sáng hoặc ngược sáng mạnh có thể gây suy giảm hiệu quả nhận diện.
• Phạm vi dữ liệu và cấu hình phục vụ cố định trong một phòng học cụ thể với danh sách lớp đăng ký trước.

2. Hướng phát triển tiếp theo

• Về phần cứng: Tối ưu hóa vỏ hộp bảo vệ, tích hợp thêm cảm biến ánh sáng hoặc đèn LED trợ sáng tự động để hệ thống hoạt động ổn định vào ban đêm hoặc trong phòng học thiếu sáng; nâng cấp các module kết nối ngoại vi.
• Về chức năng và giải thuật AI: Tối ưu hóa mô hình mạng nơ-ron (lượng tử hóa mô hình - Model Quantization) nhằm tăng tốc độ xử lý FPS; nghiên cứu bổ sung mô hình nhận diện khuôn mặt khi đối tượng đeo khẩu trang; mở rộng khả năng nhận diện đa luồng và đồng bộ liên phòng học trên toàn trường.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị chuyên môn cao cho:

• Sinh viên và học viên ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Kỹ thuật Điều khiển & Tự động hóa: Cung cấp tài liệu thực hành hoàn chỉnh về việc tích hợp hệ thống nhúng (Raspberry Pi 5) với các mô hình thị giác máy tính hiện đại (MTCNN, Facenet, SVM).
• Người nghiên cứu các đề tài IoT kết hợp Trí tuệ nhân tạo (Edge AI / AIoT): Tham khảo kiến trúc kết nối phần cứng (giao tiếp SPI, $I^2C$, MIPI CSI), cách tổ chức cơ sở dữ liệu NoSQL phân cấp trên Firebase Realtime Database, cách thiết lập cơ chế đồng bộ thời gian thực qua hàm onValue(), và tích hợp dịch vụ email tự động qua SendGrid API.
• Kỹ sư phát triển phần mềm Full-stack: Tham khảo mã nguồn và cấu trúc xây dựng giao diện ứng dụng quản trị bằng ReactJS, Vite, TailwindCSS kết hợp thư viện Ant Design và cơ chế xác thực Google Authentication.

---

Câu hỏi thường gặp

1. Tại sao hệ thống phải kết hợp cả thẻ RFID và nhận diện khuôn mặt thay vì chỉ dùng một trong hai?

Phương pháp dùng thẻ RFID có tốc độ nhanh nhưng dễ bị gian lận điểm danh hộ do thẻ có thể chuyển giao. Ngược lại, nhận diện khuôn mặt độc lập có thể gặp sai số danh tính hoặc suy giảm hiệu năng do góc chụp và ánh sáng. Việc quẹt thẻ RFID trước giúp hệ thống khoanh vùng chính xác danh tính sinh viên trong cơ sở dữ liệu, sau đó camera chỉ cần thực hiện bài toán so khớp khuôn mặt (Verification) với dữ liệu đã lưu, giúp tăng tốc độ xử lý và đảm bảo tính chính xác tuyệt đối.

2. Mô hình Facenet trong khóa luận hoạt động dựa trên nguyên lý nào?

Facenet sử dụng mạng nơ-ron tích chập (CNN) để ánh xạ (nhúng) ảnh khuôn mặt vào không gian vector Euclide 128 chiều. Mô hình được huấn luyện bằng hàm mất mát bộ ba (Triplet Loss) nhằm tối thiểu hóa khoảng cách giữa ảnh gốc (Anchor) và ảnh cùng người (Positive), đồng thời tối đa hóa khoảng cách giữa ảnh gốc và ảnh người khác (Negative). Vector embedding thu được sau đó được đưa vào bộ phân loại SVM để đưa ra kết luận danh tính.

3. Cấu hình phần cứng Raspberry Pi 5 đem lại cải tiến gì so với Raspberry Pi 3 Model B+ trong đề tài?

Raspberry Pi 5 sở hữu vi xử lý Broadcom BCM2712 Quad-core Cortex-A76 tốc độ 2.4GHz (nhanh gấp 2-3 lần so với BCM2837B0 1.4GHz trên Pi 3), bộ nhớ RAM 4GB LPDDR4X (thay vì 1GB LPDDR2), GPU VideoCore VII và chip ngoại vi RP1 giúp tăng tốc độ giao tiếp I/O. Cấu hình này đáp ứng yêu cầu tính toán phức tạp khi chạy trực tiếp các mạng nơ-ron MTCNN và Facenet với tốc độ ~10 FPS.

4. Giao diện Web hiển thị trạng thái điểm danh theo cơ chế nào khi có sinh viên thực hiện thao tác?

Giao diện Web viết bằng ReactJS kết nối với Firebase Realtime Database qua hàm onValue(). Khi sinh viên quẹt thẻ RFID, thông tin thẻ và thời gian quẹt được đẩy lên Firebase và hiển thị tạm thời trên Web. Khi sinh viên xác thực khuôn mặt thành công qua camera, dữ liệu được cập nhật lại gồm hình ảnh chụp thực tế kèm dấu tích xanh xác nhận.

5. Giới hạn về tập dữ liệu và điều kiện nhận diện của đề tài là gì?

Tập dữ liệu thu thập bao gồm tối thiểu 20 sinh viên, mỗi sinh viên 350 ảnh từ video quay các góc mặt khác nhau. Hệ thống chỉ xử lý tuần tự từng người trong điều kiện ánh sáng ban ngày, áp dụng cho danh sách lớp cố định trong một phòng học, và không hỗ trợ các trường hợp đeo khẩu trang, mắt kính hoặc bị che khuất khuôn mặt.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Võ Sỹ Dũng đã thiết kế và triển khai thành công hệ thống điểm danh thông minh hai lớp xác thực kết hợp giữa thẻ RFID và nhận diện khuôn mặt bằng học sâu trên nền tảng máy tính nhúng Raspberry Pi 5. Bằng việc ứng dụng linh hoạt các thuật toán MTCNN, Facenet và SVM kết hợp với dịch vụ đám mây Firebase và SendGrid, công trình đã giải quyết hiệu quả bài toán gian lận điểm danh hộ và nâng cao tính minh bạch trong quản lý đào tạo. Kết quả thử nghiệm đạt độ chính xác trên 90% với tốc độ xử lý ~10 FPS, mở ra khả năng ứng dụng thực tiễn cho các mô hình lớp học thông minh và hệ thống kiểm soát ra vào trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1. Giới thiệu về dé tài khóa luận tốt nghiệp:. Mục tiêu của đề tài:. Giải pháp Va gI1ới hạn:.- «cty nhanh 3 Chương 2.---22:+eeS2222EEE22EE22.

Kit Raspberry Pi 3 mode B+, module Camera Rev l. Kit Raspberry Pi 5, module Camera V3, module RFID,LCD16x2 và mOdule I2: .---ss-- + tồn HH Hư HH HH HH Hee 7 2. Công nghệ OpenCV và thuật toán xử lý ảnh, máy học, deep learning, Facenet, K1 10a 1717777. Tìm hiểu về firebase:.

_ Tìm hiểu về Sendgrid:. Tìm hiểu về công nghệ ReactJS, Vite, TailwindCSS, Ant Design dùng dé thiết kế giao GiSMcecccssssssseessnneesssssnssenesnssnnenscasssssesssasonneeesaasonnennunssnnennnassoneeennaaseneenneaseneees 28 Chương 3. PHAN TÍCH VÀ THIẾT KẾ HỆ THỐNG. Kết nối Raspberry Pi với camera nhận diện khuôn mặt:.

Kết nối Raspberry Pi với firebase:. Kết nối giao diện người dùng với firebase:. Kết nối Raspberry Pi với SendGrid:. _ Danh sách thư viện sử dụng: .-------e-cexer+rerrrertrirtrrirrrrrrrirrree 47 Chương 4.

KẾT QUA THỰC NGHIỆM. Một số thông số và tiêu chí đánh giá độ chính xác hệ thống nhận diện khuôn mmặT:.---- <5 x£cc£ts+tv+EEEteEtstterkEkrrrtkrrkrrkrrrrrrrkrrkrrrrrrkrrkrrkrrkrrrrrrkrrsrrrrrrrsrk 48 4. Banh giá độ chính xác của hệ thống dựa trên tập dataset người nồi tiếng 49 4. Đánh giá về độ chính xác khi sử dung data thực tế:.

Kết quả độ tin cậy mà hệ thống dựa trên nhận diện trực tiếp qua camera:53 AS. TOC AG XU LY? số. Diém danh thông qua hệ thống RFID wcsessssssessesssssssesssssesssssssessssssesnsesessesssee 54 4. _ Giao diện hién thị và một số chức năng khác:.

Kịch bản sử dụng:.eeecerreerErrirreerrirertEriirrttriirrtrriirrrrrirrrrrrrrrrrr 57 Chương 5. HƯỚNG PHÁT TRIỂN.--2-:+ec22++2EEEE22EEEEreSEEErirerrrrre 58 5. Phần Cứng: 6 ae ee Sn See 58 3. Chức nang ARM.

wore ace renner TESTED a scose Passeseaylesseessessnssanesseessuessecanessnesseesaeesseensss 58 V. 59 DANH MỤC HÌNH Hinh 08010 100037.1: Hình ảnh tong thé kit Raspberry Pi 3 Mode B+.--ss-csc th thành hinh 6 Hình 2.3: Hình ảnh tổng thé kit raspberry pi 5.4: Camera Module VỔ.------s-ccxs+rt+kttrrrtrrtrirtritrrrtkirrrirrririirrriirirrrrrrrrrriiee 9 Hình 2.5: Màn hình LCD16x2 & Module I2C.-----cccc5ccsesrxeeerreerrrrree 10 Hình 2.6: Sơ đồ chân Module RFID-RC522.---s--s«csxtekekEkttthH hà hư hà hy nhanh ngưet 12 Hình 2.8: Convolutional Neural Networks.9: Kiến trúc ConvNet.11: Cách tính khi qua bộ loc filter.14: Tầng fully connected.----ccs--eecceerreveerrrereerrrreerrrrerrrre 17 Hình 2.15: kiến trúc MTCNN.16: Hình ảnh được làm nhỏ lại như kim tự tháp.17:Kiến trúc P-Net.18:Kiến trúc R-Net.19: Tống thé của P-R-O net.---ss+ccssreeeeteeeetrrreerreeerrrerrr 21 Hình 2.20: Logo công nghệ dùng trong thiết kế giao diện web.2: Kết nỗi Raspberry Pi với Camera.3: Cây thư mục dé chạy hệ thống.-cs2+eeesteeevttrrvrrrerrrrrerre 32 Hình 3.4:Phát hiện gương mặt trực tiếp qua camera.----ccse+cccerrrrceerre 32 Hình 3.5: Thay đổi Rules ở Realtime đatabase.6: VỊ trí của web app.---c-ccrcrirtrritirH he ret 33 Hình 3.7: Các thông tin để gửi data.---cc5s-ccccestreevetrrervrrrrrrvrrrrrrerrrrrrerre 34 Hình 3.8: Code gửi data đến firebase.9: Kết quả gửi data đến firebase.10: Cau trúc dit liệu lớp học.11: Cấu trúc dữ liệu sinh viên.12: Cấu trúc dữ liệu điểm danh.13: Sơ đồ hoạt động Web dé hiền thị thông tin điểm danh.14: Trang chủ W€DSI(G.-- «s2 HH nHYnHHY HH Hà Hà Hà Hàng 38 Hình 3.15: Trang Quản Ly.16: Trang Danh sácCh.--- --s-+c++x+e+vsrktsrrkttrrttrrtkkrtkkrrrirrrirrriirrrrrieeriree 39 i06 Wor iu na .18: Trang Danh sácCh.---e-c+ccc+scxeEktEEkrrkkrkrtkrrtkkrkkkrkrirrirrirrrrriee 40 Hình 3.19: Trang Quản Ly.20: Đăng nhập với OOgÏ€.21: Giao diện được đơn giản hÓa.22: Chức năng thêm sinh VIÊn.---------ss‡cExeterkxtrrkeetrrkertrrkrrrrkrrrrrieee 42 Hình 3.23: Chức năng cập nhật và xóa thông tin sinh viÊn.24: Các bước lấy API Key.----cc-:rcecccvertrreererttrirerrrtrrrtrrrrrrrrrrrrere 44 Hình 3.25: Tạo tên key sau đó chon Create & VICW.26: Lưu lại Key dé sử dụng vì key chỉ hiển thị một lần.27: Cài dat Single Sender Ver1fiCafIOI.---cs--cceeccceererxeerrrkerrrrkerrrrrree 45 Hình 3.28: Cai đặt email sử dung Python và thư viện sendgrid.29: Đã nhận được mailÏ.--s-scc<5c++csvctv+teEkEEtertertettersertstrrrrsersrrrsrrrrrsrree 47 Hình 4.1: Hình anh trước và sau khi căn chỉnh.2: Ma trận nhầm lẫn.3: Các tham số độ chính xác.-------+-cec++tEtttt+evvvvEEEEEtttrreeevvvrrrrrrrirrcee 51 Hình 4.4: Hình ảnh dé thử nghiệm.5: Ma trận nhằm lẫn 100 hình của mỗi người.------cc-e+reccccv+ 52 Hình 4.6: kết quả tiêu chí đánh giá hệ thống.7: Kết quả nhận diện.----c52i++cc22treevEEEtrvvvErtrrvttrrrrvtrrrrrrtrrrrrerre 53 Hình 4.9: Ghi thông tin va ỞỌC.cc-cctcrtierHHHHHH re, 54 Hình 4.10: Thông tin sinh viên đã tồn tại hoặc không tỒn tại.11: Gửi thông tin thẻ lên firebase để điểm danh.12: Giao diện hiển thị thông tin điểm danh.