Cải Tiến Hệ Thống Điểm Danh Sinh Viên Tự Động Bằng Camera Kép và Mạng CNN

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp kỹ thuật phần mềm cải tiến hệ thống điểm danh sinh viên trong lớp học tự động bằng dual, vận dụng lý thuyết vào thực tế, đề xuất giải

• Tác giả: Huỳnh Thái Dương
• Người hướng dẫn: TS. Đoàn Duy
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư Kỹ thuật máy tính
• Đề tài: Cải Tiến Hệ Thống Điểm Danh Sinh Viên Tự Động Bằng Camera Kép và Mạng CNN
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: HIỆN TRẠNG
• 1.1. Nội dung thực hiện
• 1.2. Phương pháp
• 1.3. Giới hạn đề tài và kết quả mong đợi
• 2. CHƯƠNG 2: GIỚI THIỆU VỀ DEEP LEARNING
• 2.1. Deep Neural Network
• 2.2. Tìm hiểu bộ xác định facial landmark của Dlib
• 2.3. Convolutional Neural Network (CNN)
• 2.4. Sự xuất hiện mạng ResNet
• 2.5. Các bước trong CNN
• 3. CHƯƠNG 3: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG
• 3.1. Tổng quan hệ thống
• 3.2. Xây dựng hệ thống nhận diện khuôn mặt
• 3.3. Thiết kế web
• 3.4. Giải thuật điểm danh tự động
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ
• 4.1. Phát hiện khuôn mặt và định danh
• 4.2. Đánh giá kết quả
• 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Những điều đạt được
• 5.2. Những hạn chế
• 5.3. Hướng phát triển
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng Quan Về Cải Tiến Hệ Thống Điểm Danh Tự Động

Hệ thống điểm danh tự động bằng camera kép và mạng CNN đang trở thành xu hướng trong giáo dục hiện đại. Việc áp dụng công nghệ này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc ghi nhận sự có mặt của sinh viên. Hệ thống này sử dụng camera kép để thu thập hình ảnh và mạng CNN để phân tích và nhận diện khuôn mặt, từ đó tự động hóa quy trình điểm danh.

1.1. Lợi Ích Của Hệ Thống Điểm Danh Tự Động

Hệ thống điểm danh tự động giúp giảm thiểu thời gian và công sức của giáo viên. Nó cũng giảm thiểu khả năng gian lận trong điểm danh, đảm bảo tính chính xác và minh bạch.

1.2. Công Nghệ Camera Kép Trong Giáo Dục

Camera kép cho phép thu thập hình ảnh từ nhiều góc độ khác nhau, giúp tăng cường khả năng nhận diện khuôn mặt. Điều này đặc biệt hữu ích trong môi trường lớp học đông đúc.

II. Vấn Đề Trong Hệ Thống Điểm Danh Truyền Thống

Hệ thống điểm danh truyền thống thường gặp nhiều vấn đề như tốn thời gian, dễ xảy ra sai sót và không đảm bảo tính chính xác. Việc điểm danh bằng tay có thể dẫn đến tình trạng mạo danh và không phản ánh đúng sự có mặt của sinh viên.

2.1. Thách Thức Trong Việc Điểm Danh Thủ Công

Điểm danh thủ công thường mất nhiều thời gian và dễ gây ra sự nhầm lẫn. Điều này không chỉ ảnh hưởng đến quá trình học tập mà còn làm giảm hiệu suất giảng dạy.

2.2. Giải Pháp Công Nghệ Để Khắc Phục

Công nghệ nhận diện khuôn mặt và hệ thống camera kép có thể giải quyết các vấn đề trên. Việc áp dụng công nghệ này giúp tự động hóa quy trình và nâng cao độ chính xác.

III. Phương Pháp Cải Tiến Hệ Thống Điểm Danh

Phương pháp cải tiến hệ thống điểm danh bao gồm việc sử dụng camera kép và mạng CNN để nhận diện khuôn mặt. Hệ thống này được thiết kế để hoạt động hiệu quả trong môi trường lớp học với nhiều sinh viên.

3.1. Sử Dụng Mạng CNN Để Nhận Diện Khuôn Mặt

Mạng CNN là một trong những công nghệ tiên tiến nhất trong việc nhận diện hình ảnh. Nó cho phép hệ thống phân tích và nhận diện khuôn mặt một cách chính xác và nhanh chóng.

3.2. Tích Hợp Hệ Thống Nhúng Với Camera Kép

Hệ thống nhúng kết hợp với camera kép giúp thu thập dữ liệu một cách hiệu quả. Điều này cho phép hệ thống hoạt động mượt mà và nhanh chóng trong việc điểm danh.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Điểm Danh Tự Động

Hệ thống điểm danh tự động có thể được áp dụng rộng rãi trong các trường học, doanh nghiệp và tổ chức. Nó không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả quản lý.

4.1. Kết Quả Nghiên Cứu Từ Các Trường Học

Nghiên cứu cho thấy rằng việc áp dụng hệ thống điểm danh tự động đã giúp giảm thiểu thời gian điểm danh và nâng cao độ chính xác lên trên 90%.

4.2. Tác Động Đến Quản Lý Học Tập

Hệ thống này không chỉ giúp giáo viên quản lý điểm danh mà còn cung cấp thông tin kịp thời cho phụ huynh về tình hình học tập của sinh viên.

V. Kết Luận Về Tương Lai Của Hệ Thống Điểm Danh

Hệ thống điểm danh tự động bằng camera kép và mạng CNN hứa hẹn sẽ trở thành xu hướng trong giáo dục. Với sự phát triển của công nghệ, hệ thống này sẽ ngày càng hoàn thiện và được áp dụng rộng rãi hơn.

5.1. Triển Vọng Phát Triển Công Nghệ

Công nghệ nhận diện khuôn mặt sẽ tiếp tục phát triển, giúp cải thiện độ chính xác và hiệu suất của hệ thống điểm danh tự động.

5.2. Tương Lai Của Giáo Dục Thông Minh

Hệ thống điểm danh tự động sẽ góp phần vào việc xây dựng một môi trường giáo dục thông minh, nơi công nghệ hỗ trợ tối đa cho việc giảng dạy và học tập.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý đào tạo tại các trường đại học, cao đẳng và cơ sở giáo dục, điểm danh sinh viên là hoạt động diễn ra thường xuyên trước mỗi buổi học nhằm ghi nhận sự chuyên cần và theo dõi quá trình học tập. Tuy nhiên, phần lớn các đơn vị hiện nay vẫn áp dụng phương pháp điểm danh truyền thống thông qua việc giáo viên gọi tên thủ công từng sinh viên trong danh sách. Quy trình này chiếm dụng một lượng thời gian đáng kể của tiết học, làm gián đoạn bài giảng và tiềm ẩn rủi ro gian lận như sinh viên điểm danh hộ hoặc mạo danh.

Để khắc phục các hạn chế trên, nhiều giải pháp tự động hóa đã được nghiên cứu và ứng dụng, song mỗi phương pháp đều tồn tại những nhược điểm kỹ thuật nhất định trong môi trường lớp học thực tế:

• Nhận dạng tiếng nói: Độ chính xác chưa đạt mức tin cậy cao; tiếng ồn xung quanh và âm thanh hỗn loạn khi sinh viên ra vào lớp gây nhiễu nghiêm trọng, làm suy giảm hiệu suất phân loại âm thanh.
• Thẻ từ RFID: Đạt độ chính xác cao trong việc đọc mã định danh nhưng chi phí phát hành, quản lý thẻ lớn và dễ phát sinh tình trạng sinh viên mang thẻ quẹt hộ cho nhau.
• Nhập mã số cá nhân: Thao tác đơn giản nhưng độ bảo mật thấp do sinh viên có thể dễ dàng chia sẻ mã số cho người khác nhập hộ.
• Máy chấm công vân tay: Quy mô cơ sở dữ liệu mẫu thường bị giới hạn, chỉ đáp ứng việc xác nhận đơn lẻ tại một vị trí cố định gây ùn tắc trước giờ học, đồng thời dễ gặp sự cố khi ngón tay bị ướt do thời tiết hoặc dính bẩn.

Xuất phát từ thực trạng trên, khóa luận tốt nghiệp ngành Kỹ thuật Máy tính tại Trường Đại học Công nghệ Thông tin (ĐHQG-HCM) do sinh viên Huỳnh Thái Dương và Nguyễn Nhật Duy thực hiện (dưới sự hướng dẫn của TS. Đoàn Duy và TS. Nguyễn Minh Sơn, bảo vệ năm 2021) đã đề xuất giải pháp: "Cải tiến hệ thống điểm danh sinh viên trong lớp học tự động bằng Dual Camera có tích hợp mạng CNN". Đề tài tận dụng sự phát triển của công nghệ thị giác máy tính và phần cứng tính toán trí tuệ nhân tạo nhúng nhằm tự động hóa hoàn toàn việc nhận diện diện mạo sinh viên mà không làm gián đoạn hoạt động giảng dạy.

Mục tiêu nghiên cứu:

1. Xây dựng hệ thống điểm danh tự động ứng dụng kỹ thuật xử lý ảnh và mạng nơ-ron tích chập (CNN) triển khai trực tiếp trên bo mạch nhúng NVIDIA Jetson Nano, đảm bảo độ chính xác cao và thời gian thực thi ngắn.
2. Thiết lập cụm Dual Camera (gồm 1 camera góc gần và 1 camera góc xa) bố trí phía trên bảng với góc nghiêng 30 độ hướng xuống vị trí ngồi của sinh viên trong điều kiện ánh sáng đầy đủ.
3. Tối ưu hóa thuật toán nhận diện và gia tăng tốc độ xử lý khung hình (FPS) thông qua việc khai thác bộ xử lý đồ họa GPU trên Jetson Nano.
4. Phát triển ứng dụng Web hoàn chỉnh (sử dụng PHP/Laravel và MySQL) để tự động cập nhật, lưu trữ dữ liệu điểm danh, quản lý lớp học và hỗ trợ thông báo tiến độ học tập đến phụ huynh.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Quy trình nhận dạng khuôn mặt người thông qua luồng video từ camera kép, các mô hình học sâu (CNN, ResNet, ncnn UltraFace, Dlib), kỹ thuật phân loại vector đặc trưng và hệ thống web quản lý điểm danh.
• Phạm vi không gian & Quy mô: Không gian phòng học tiêu chuẩn với quy mô thử nghiệm giới hạn khoảng 30 sinh viên/lớp; hệ thống hoạt động tối ưu khi sinh viên ngồi hướng về phía bảng/camera trong điều kiện ánh sáng phòng học đầy đủ.
• Phạm vi công nghệ: Nền tảng phần cứng nhúng NVIDIA Jetson Nano Developer Kit kết hợp hệ điều hành Linux; ngôn ngữ lập trình C++ cho khối xử lý thị giác máy tính và PHP Framework (Laravel) cho ứng dụng quản trị.

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng kết hợp giữa lý thuyết mạng nơ-ron nhân tạo, thị giác máy tính thời gian thực và kiến trúc phần mềm hướng dịch vụ cho hệ thống nhúng.

1. Khung lý thuyết và mô hình giải thuật

• Mạng nơ-ron sâu (Deep Neural Network - DNN) và CNN: Mạng nơ-ron tích chập tiếp nhận dữ liệu ảnh đầu vào, truyền qua chuỗi các tầng tích chập (Convolution Layer) kết hợp hàm kích hoạt phi tuyến (ReLU), tầng giảm mẫu (Pooling Layer gồm Max Pooling và Average Pooling), tầng làm phẳng (Flatten) và các tầng kết nối đầy đủ (Fully Connected Layer) cùng hàm Softmax để trích xuất đặc trưng không gian và phân loại đối tượng.
• Mạng phần dư ResNet (Residual Network): Để khắc phục hiện tượng suy giảm đạo hàm (Vanishing Gradient) khi huấn luyện các mạng tích chập có độ sâu lớn, kiến trúc ResNet áp dụng khối liên kết tắt (Residual Block / skip connection). Đầu ra của khối được biểu diễn qua công thức $H(x) = \text{ReLU}(F(x) + x)$, giúp duy trì luồng truyền tín hiệu gradient qua các tầng sâu hơn mà không làm suy thoái hiệu năng mô hình.
• Bộ xác định Facial Landmark 68 điểm của Dlib: Dựa trên thuật toán hồi quy cây nhị phân tăng cường ("One Millisecond Face Alignment with an Ensemble of Regression Trees" của Kazemi và Sullivan, 2014), mô hình shape_predictor_68_face_landmarks.dat định vị chính xác 68 tọa độ $(x, y)$ trên khuôn mặt (mắt, mũi, miệng, viền hàm, lông mày), làm cơ sở hình học để xoay và căn chỉnh khuôn mặt về góc nhìn chính diện.
• Mô hình trích xuất đặc trưng Dlib ResNet: Sử dụng mô hình dlib_face_recognition_resnet_model_v1.dat để ánh xạ ảnh khuôn mặt đã căn chỉnh thành một vector đặc trưng 128 chiều (128-dimensional embedding) trong không gian Euclid.
• Mô hình phát hiện khuôn mặt UltraFace trên nền ncnn: Framework ncnn (do Tencent phát triển) được tối ưu hóa cho CPU và thiết bị di động bằng ngôn ngữ C++ thuần túy, hỗ trợ lượng tử hóa 8-bit và cấu trúc đa nhánh. Hàm detect() của UltraFace thực hiện định vị nhanh vùng khuôn mặt và trả về danh sách đối tượng FaceInfo.
• Thuật toán K-Nearest Neighbors (KNN): Phương pháp học có giám sát dựa trên tính toán khoảng cách hình học (khoảng cách Euclid) giữa điểm dữ liệu mới và $k$ láng giềng gần nhất trong tập huấn luyện để đưa ra nhãn dự đoán.

2. Công nghệ và công cụ phần mềm

• OpenCV (Open Source Computer Vision Library): Thư viện mã nguồn mở phát hành theo giấy phép BSD, hỗ trợ thu nhận luồng video (Video I/O), xử lý biến đổi ma trận ảnh và tối ưu hóa luồng đa lõi.
• Qt Framework: Bộ công cụ đa nền tảng gồm Qt Core, Qt GUI, Qt Widgets, QML/Qt Quick, Qt SQL và Qt Network, phục vụ xây dựng giao diện ứng dụng nhúng và quản lý luồng điều khiển.
• C/C++: Ngôn ngữ lập trình trung cấp được sử dụng để phát triển các module xử lý thị giác máy tính, tận dụng tính toán con trỏ và quản lý bộ nhớ trực tiếp trên Linux.
• PHP & Laravel Framework: Xây dựng hệ thống Web Application theo mô hình kiến trúc MVC (Model - View - Controller), cung cấp các module định tuyến, xác thực và quản trị cơ sở dữ liệu.
• MySQL: Hệ quản trị cơ sở dữ liệu quan hệ mã nguồn mở đảm nhận vai trò lưu trữ tập trung dữ liệu sinh viên, lớp học, thiết bị và bản ghi điểm danh.

---

Thiết kế và triển khai hệ thống

1. Kiến trúc phần cứng và thiết bị nhúng

Hệ thống sử dụng bo mạch NVIDIA Jetson Nano Developer Kit với chuẩn kích thước mô-đun SO-DIMM (69 mm x 45 mm), kết nối với 2 camera thông qua giao tiếp MIPI-CSI/USB.

Thành phần phần cứng	Chi tiết thông số kỹ thuật
GPU	NVIDIA Maxwell 128 nhân CUDA
CPU	Quad-core ARM Cortex-A57 @ 1.43 GHz (64-bit)
Bộ nhớ RAM	4 GB 64-bit LPDDR4 (băng thông 25.6 GB/s)
Năng lực tính toán	472 GFLOPS
Xử lý Video	Giải mã: 4K @ 60fps / 8x 1080p @ 30fps; Mã hóa: 4K @ 30fps
Giao tiếp Camera	2x MIPI CSI-2 DPHY lanes
Cổng kết nối ngoại vi	4x USB 3.0, Gigabit Ethernet, HDMI, DisplayPort, GPIO, I2C, UART
Nền tảng phần mềm	NVIDIA JetPack SDK, hỗ trợ CUDA, TensorRT, OpenCV

2. Thiết kế cơ sở dữ liệu (MySQL)

Hệ thống thiết kế 8 bảng dữ liệu quan hệ phục vụ lưu trữ thông tin nghiệp vụ:

1. users: Lưu tài khoản quản trị và người dùng hệ thống (id, email, password, level, remember_token, timestamps).
2. student: Quản lý hồ sơ sinh viên và liên lạc phụ huynh (mssv, name_sv, mail, sdt, name_parents, sdt_parents, link_file_dat).
3. class: Quản lý danh mục lớp học (id_class, name_class).
4. device: Quản lý thiết bị camera nhúng (id_cam, name_room, toanha, date_setup, bao_tri, status).
5. room: Quản lý phòng học (id_room, ten_room, toa_nha, id_cam).
6. studentofclass: Danh sách phân bổ sinh viên theo lớp (id, id_class, mssv_student).
7. schedule: Lịch học và thời khóa biểu (id_schedule, id_class, id_room, date, start, end).
8. studentattendence: Bản ghi điểm danh theo từng buổi học (id, id_class, mssv_student, các trường trạng thái status0 đến status14, updated_at).

3. Quy trình lấy mẫu dữ liệu khuôn mặt (Enrollment Pipeline)

1. Camera thu nhận luồng video qua OpenCV Streamer.
2. Ảnh khung hình được chuyển đổi sang định dạng ma trận của Dlib.
3. Hàm get_frontal_face_detector() phát hiện vùng mặt và mô hình shape_predictor_68_face_landmarks.dat căn chỉnh khuôn mặt về góc nhìn chính diện.
4. Hệ thống tự động thu thập tập hợp 100 ảnh khuôn mặt hợp lệ cho mỗi sinh viên.
5. Tập 100 ảnh được đưa qua mô hình dlib_face_recognition_resnet_model_v1.dat để trích xuất 100 vector đặc trưng 128 chiều tương ứng.
6. Tính toán giá trị trung vị (median) của 100 vector để tạo ra một vector trung vị 128 chiều duy nhất mang tính đại diện cho sinh viên và lưu trữ thành file dữ liệu mẫu (.dat).

4. Quy trình nhận dạng và điểm danh tự động (Recognition Pipeline)

1. Cụm Dual Camera ghi nhận video thời gian thực từ không gian lớp học; OpenCV trích xuất từng khung hình.
2. Dữ liệu ảnh được chuyển đổi sang định dạng ma trận ncnn; hàm detect() của UltraFace phát hiện vị trí các khuôn mặt trong khung hình và trả về danh sách đối tượng FaceInfo.
3. Từng vùng khuôn mặt được đưa qua mô hình shape_predictor_68_face_landmarks.dat để định vị 68 điểm mốc và chuẩn hóa góc nghiêng.
4. Mô hình dlib_face_recognition_resnet_model_v1.dat trích xuất vector đặc trưng 128 chiều cho từng khuôn mặt phát hiện được.
5. Hệ thống duyệt vector đặc trưng vừa trích xuất với danh sách các vector trung vị đã lưu trong cơ sở dữ liệu mẫu bằng phép tính bình phương khoảng cách Euclid ($d^2$).
6. Xử lý ngưỡng nhận dạng: Giá trị ngưỡng phân loại được xác lập thực nghiệm ở mức 0.16 (kiểu số float).
   • Nếu mọi khoảng cách tính được đều lớn hơn 0.16: Đối tượng không khớp với bất kỳ sinh viên nào trong danh sách.
   • Nếu tồn tại khoảng cách nhỏ hơn hoặc bằng 0.16: Hệ thống chọn đối tượng có bình phương khoảng cách nhỏ nhất và gán định danh sinh viên tương ứng.
7. Dữ liệu điểm danh được ghi nhận cục bộ trên bộ nhớ Jetson Nano, sau đó tự động đồng bộ hóa lên máy chủ cơ sở dữ liệu MySQL và hiển thị trên giao diện Web Laravel.

---

Nội dung chính theo từng chương

• Chương 1. Hiện trạng hiện nay, nội dung thực hiện, phương pháp, giới hạn đề tài và kết quả mong đợi: Phân tích bối cảnh quản lý điểm danh tại các cơ sở đào tạo; đánh giá ưu nhược điểm của các phương pháp điểm danh bằng tay, thẻ từ RFID, vân tay, giọng nói và mã số; trình bày mục tiêu xây dựng hệ thống Dual Camera trên nền tảng Jetson Nano; xác định phương pháp tiếp cận phần mềm (C++, Laravel, OpenCV, Dlib, CNN, MobileNetV1) và phần cứng; thiết lập giới hạn quy mô lớp học khoảng 30 sinh viên và đặt mục tiêu độ chính xác $\ge 90%$.
• Chương 2. Giới thiệu về Deep learning và các công nghệ liên quan: Trình bày hệ thống lý thuyết về Deep Neural Network; phân tích chi tiết cơ chế hoạt động của mạng CNN (Convolution, Padding, Stride, Max/Average Pooling, Flatten, Fully Connected, Softmax); giải thích hiện tượng Vanishing Gradient và cấu trúc Residual Block của ResNet; trình bày giải thuật KNN và bài toán xác định 68 điểm Facial Landmark; tổng quan thông số kỹ thuật của bo mạch NVIDIA Jetson Nano, thư viện OpenCV, Dlib, framework ncnn, bộ công cụ Qt, ngôn ngữ lập trình C++, hệ quản trị cơ sở dữ liệu MySQL, ngôn ngữ PHP và framework Laravel theo mô hình MVC.
• Chương 3. Phân tích và thiết kế hệ thống: Mô tả kiến trúc tổng quan hệ thống điểm danh nhúng và sơ đồ luồng dữ liệu; chi tiết hóa quy trình lấy mẫu khuôn mặt (thu thập 100 ảnh để tính vector trung vị 128 chiều) và quy trình nhận dạng thời gian thực kết hợp UltraFace, Dlib 68 landmarks và Dlib ResNet với ngưỡng bình phương khoảng cách 0.16; thiết kế sơ đồ cơ sở dữ liệu gồm 8 bảng thực thể; xây dựng giao diện ứng dụng web quản trị trên nền Laravel (đăng nhập, quản lý sinh viên, lớp học, thiết bị, phòng học, lịch biểu, trạng thái điểm danh) và giao diện cục bộ trên thiết bị nhúng bằng Qt (màn hình khởi động, luồng hiển thị video, giao diện Admin thêm ID sinh viên và tiến trình training).
• Chương 4. Thực nghiệm và kết quả: Trình bày các kịch bản thử nghiệm hệ thống thiết bị điểm danh trong điều kiện thực tế lớp học; khảo sát khả năng phát hiện khuôn mặt và định danh theo các mốc khoảng cách (2m, 4m, 7m, 10m) và góc nghiêng camera 30 độ; phân tích tài nguyên phần cứng sử dụng (mức độ chiếm dụng CPU/GPU) trên Jetson Nano; đánh giá biểu đồ so sánh thời gian xử lý trên một khung hình giữa GPU và CPU.
• Chương 5. Kết luận và hướng phát triển: Tổng kết các kết quả kỹ thuật đã hoàn thành (chế tạo thiết bị điểm danh nhúng tự động, tích hợp mạng CNN trích xuất đặc trưng khuôn mặt, xây dựng web quản trị đồng bộ cơ sở dữ liệu); chỉ rõ các giới hạn còn tồn tại về khoảng cách, góc nhìn và điều kiện ánh sáng; đề xuất các hướng nâng cấp giải thuật và mở rộng quy mô hệ thống trong tương lai.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

• Chế tạo hoàn chỉnh thiết bị nhúng: Triển khai thành công thiết bị điểm danh tự động tích hợp cụm Dual Camera hoạt động trên nền tảng máy tính AI NVIDIA Jetson Nano.
• Khảo sát hiệu năng nhận dạng theo cự ly: Hệ thống được thử nghiệm khả năng phát hiện và định danh sinh viên tại các mốc khoảng cách 2m, 4m, 7m và 10m với góc camera nghiêng 30 độ hướng từ bảng xuống ghế ngồi.
• Tối ưu hóa thời gian xử lý qua GPU: Khai thác 128 nhân CUDA trên GPU của Jetson Nano giúp giảm rõ rệt thời gian xử lý trên mỗi khung hình so với chỉ sử dụng CPU, duy trì tốc độ FPS ổn định cho luồng nhận dạng thời gian thực.
• Xác lập giá trị ngưỡng phân loại: Thực nghiệm xác định ngưỡng bình phương khoảng cách Euclid ở mức 0.16 (float) giúp cân bằng giữa khả năng nhận diện chính xác sinh viên có trong dữ liệu và loại bỏ các đối tượng lạ.
• Đồng bộ hệ thống Web quản lý: Xây dựng hoàn chỉnh ứng dụng web Laravel kết nối cơ sở dữ liệu MySQL 8 bảng, hỗ trợ các tác vụ quản trị danh sách sinh viên, thời khóa biểu, trạng thái phòng học và lưu trữ kết quả điểm danh.

2. Đóng góp khoa học và kỹ thuật

• Mô hình Dual Camera khắc phục góc khuất: Đề xuất bố trí 2 camera (1 góc gần, 1 góc xa) lắp đặt phía trên bảng giúp bao quát không gian lớp học tốt hơn so với mô hình camera đơn truyền thống.
• Kết hợp pipeline đa mô hình tối ưu: Phối hợp linh hoạt giữa UltraFace trên nền framework ncnn (giúp tăng tốc phát hiện vùng mặt trên phần cứng nhúng), Dlib 68 landmarks (căn chỉnh hình học khuôn mặt) và Dlib ResNet (trích xuất vector đặc trưng 128 chiều chuẩn xác).
• Cơ chế biểu diễn đặc trưng bằng vector trung vị: Sử dụng vector trung vị tính từ 100 mẫu ảnh khuôn mặt của mỗi cá nhân thay vì một mẫu ảnh đơn lẻ, giúp nâng cao độ ổn định và giảm thiểu sai lệch do góc chụp hoặc biểu cảm.
• Cơ chế lưu đệm chống mất mát dữ liệu: Dữ liệu điểm danh được biên dịch và lưu trữ trên bộ nhớ trong của thiết bị nhúng trước khi gửi lên máy chủ MySQL, đảm bảo thông tin không bị gián đoạn ngay cả khi mất kết nối Internet tạm thời.

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế của đề tài

• Phụ thuộc điều kiện môi trường: Hệ thống yêu cầu lớp học phải có điều kiện ánh sáng đầy đủ và sinh viên phải ngồi hướng mặt về phía camera để đảm bảo thuật toán căn chỉnh 68 điểm mốc hoạt động chính xác.
• Giới hạn cự ly và góc quan sát: Độ chính xác nhận dạng giảm dần khi khoảng cách vượt quá 10m do kích thước vùng ảnh khuôn mặt thu được từ camera bị thu nhỏ; góc nghiêng lắp đặt camera bị ràng buộc ở mức khoảng 30 độ.
• Quy mô lớp học thử nghiệm: Đề tài giới hạn thử nghiệm trong phạm vi lớp học quy mô nhỏ khoảng 30 sinh viên/lớp.

2. Hướng nghiên cứu và phát triển tiếp theo

• Mở rộng thuật toán để đáp ứng các phòng học giảng đường quy mô lớn với số lượng sinh viên vượt quá 30 người.
• Nghiên cứu các giải thuật tăng cường chất lượng ảnh hoặc mô hình học sâu kháng nhiễu nhằm nâng cao độ chính xác trong điều kiện ánh sáng phức tạp hoặc ngược sáng.
• Ứng dụng các thuật toán siêu phân giải (Super-Resolution) để hỗ trợ nhận diện khuôn mặt ở khoảng cách xa trên 10m.
• Tối ưu hóa sâu hơn nữa các mô hình học sâu bằng công cụ NVIDIA TensorRT nhằm đẩy cao tốc độ xử lý khung hình (FPS) trên phần cứng nhúng.

---

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo hữu ích cho các nhóm đối tượng và mục đích học thuật sau:

• Sinh viên, học viên ngành Kỹ thuật Máy tính, Khoa học Máy tính và Hệ thống Nhúng: Cung cấp tài liệu tham khảo thực tế về quy trình tích hợp các mô hình thị giác máy tính Deep Learning (CNN, ResNet) lên phần cứng biên (Edge AI) giới hạn tài nguyên như NVIDIA Jetson Nano.
• Người làm đề tài về nhận diện sinh trắc học và IoT: Cung cấp chi tiết kỹ thuật về pipeline nhận diện khuôn mặt (ncnn UltraFace kết hợp Dlib 68 facial landmarks và ResNet embedding), phương pháp tính vector trung vị từ 100 mẫu ảnh để tối ưu độ chính xác.
• Lập trình viên và kỹ sư hệ thống: Cung cấp mô hình kiến trúc kết nối giữa thiết bị nhúng (C++/Qt trên Linux) với máy chủ web quản trị (Laravel/MySQL), bao gồm thiết kế sơ đồ cơ sở dữ liệu 8 bảng cho bài toán quản lý điểm danh và thiết bị.

---

Câu hỏi thường gặp

1. Khóa luận sử dụng các mô hình học sâu nào trong pipeline nhận dạng khuôn mặt?
Hệ thống sử dụng mô hình UltraFace chạy trên nền framework ncnn (thông qua hàm detect()) để phát hiện vị trí khuôn mặt, mô hình shape_predictor_68_face_landmarks.dat của Dlib để xác định 68 điểm mốc hình học căn chỉnh khuôn mặt về góc chính diện, và mô hình dlib_face_recognition_resnet_model_v1.dat để trích xuất vector đặc trưng 128 chiều.

2. Quy trình lấy mẫu dữ liệu khuôn mặt cho sinh viên mới được thực hiện như thế nào?
Hệ thống thu thập luồng video qua OpenCV và cắt 100 ảnh khuôn mặt của sinh viên cần lấy mẫu, sau đó căn chỉnh chính diện bằng 68 điểm mốc Dlib. Toàn bộ 100 ảnh được đưa qua mô hình Dlib ResNet để tạo ra 100 vector đặc trưng 128 chiều. Cuối cùng, hệ thống tính toán giá trị trung vị của 100 vector này để thu được một vector trung vị 128 chiều duy nhất đại diện cho sinh viên và lưu trữ thành file dữ liệu mẫu (.dat).

3. Ngưỡng phân loại nhận diện trong khóa luận được xác định là bao nhiêu và cơ chế định danh hoạt động ra sao?
Ngưỡng bình phương khoảng cách Euclid ($d^2$) giữa vector khuôn mặt hiện tại và vector trung vị trong cơ sở dữ liệu được xác định tối ưu ở mức 0.16 (float). Nếu tất cả các khoảng cách tính được đều lớn hơn 0.16, hệ thống kết luận đối tượng không thuộc danh sách lớp. Nếu tồn tại khoảng cách nhỏ hơn hoặc bằng 0.16, hệ thống chọn sinh viên có giá trị bình phương khoảng cách nhỏ nhất để ghi nhận điểm danh.

4. Thiết bị Jetson Nano xử lý thế nào khi đường truyền mạng Internet bị ngắt quãng?
Thông tin điểm danh sau khi được biên dịch sẽ được lưu trữ tạm thời trực tiếp trên bộ nhớ trong của bo mạch Jetson Nano trước khi gửi về máy chủ cơ sở dữ liệu MySQL. Nhờ đó, dữ liệu thu thập được trong quá trình điểm danh không bị thất thoát ngay cả khi kết nối mạng tạm thời bị gián đoạn.

5. Cấu hình phần cứng cốt lõi của bo mạch NVIDIA Jetson Nano sử dụng trong đề tài gồm những gì?
Bo mạch được trang bị GPU NVIDIA Maxwell 128 nhân CUDA, CPU 4 nhân ARM Cortex-A57 @ 1.43 GHz (64-bit), 4GB RAM LPDDR4 64-bit, năng lực tính toán 472 GFLOPS, hỗ trợ 2 giao tiếp camera MIPI-CSI và chạy hệ điều hành Linux tích hợp bộ công cụ lập trình NVIDIA JetPack SDK.

---

Kết luận

Khóa luận tốt nghiệp của Huỳnh Thái Dương và Nguyễn Nhật Duy đã thiết kế và thử nghiệm thành công hệ thống điểm danh tự động tích hợp cụm Dual Camera và mạng nơ-ron CNN trên bo mạch nhúng NVIDIA Jetson Nano. Đề tài kết hợp hiệu quả giữa mô hình phát hiện UltraFace (ncnn), căn chỉnh hình học 68 điểm mốc Dlib, trích xuất đặc trưng 128 chiều bằng ResNet và thuật toán so khớp vector trung vị với ngưỡng phân loại 0.16. Hệ thống được hoàn thiện đồng bộ với cơ sở dữ liệu MySQL và ứng dụng web Laravel, đáp ứng mục tiêu tự động hóa quy trình quản lý điểm danh lớp học với quy mô khoảng 30 sinh viên trong điều kiện ánh sáng đầy đủ.

Trích đoạn nội dung tài liệu

Chương 1.Hiện trạng hiện may :.Nội dung thực hiện :.Phương pháp: .Giới hạn đề tài và kết quả mong đợi :.--22-©2+22E++22EE++t2EE++ttrxrrerrrrrrrrrs 5 2.Giới thiệu về Deep learning:.Deep Neural NÑetWOrK:.- cà th 12H11 HH1 H10 101 11x re. --- c1 111191131 9118 1E 191 vn nh ng rưy 9 2. -- c1 91 E1 1E E1 91 211 ng HH Hàn 9 2.Tìm hiểu bộ xác định facial landmark của Dlib :. HH HH HH HH HH TH HH HH Hy 21 2.Convolutional Nerural Network (CNN)[ I7]:.Sự xuất hiện mạng ResÌNet:.Các bước trong KNN:.

PHAN TÍCH VÀ THIET KE HE THÓNG:.Tổng quan hệ thống :. Téng quan toàn bộ của hệ thống:.Xây dựng hệ thống nhận diện khuôn mặt: .Thiết kế web :. Giải thuật điểm danh tự ỘNĐ::.- ng nh Hàn HH51 Chuong 4. THUC NGHIEM VA KET QUẢ: .------2¿52-z+2sz+cssesrx 52 lun.Phát hiện khuôn mặt và định danh 53 AB.Daamh gids an.

KET LUẬN VÀ HƯỚNG PHAT TRIÊN:.Những điều đạt được:.Những hạn chế:.Hướng phat tren: .1: Sơ đồ mô phỏng cấu trúc một neural network đơn.1: Cấu trúc của Deep Neural NetWOrk.3: Minh hoa tinh năng OpenC V.4: Logo DLID oo.6: Nvidia Jetson Nano.7: Thông sé JETSON NANO DEVELOPER KIT cơ bản.8: Độ phổ biến của các ngôn ngữ lập trình trên thé giới.9: Facial landmark xác định 68 điểm trên khuôn mặt.10: Mô tả quy trình tiếp nhận và xử lý dữ liệu mang CNN.11: Mô tả quá trình tích chập và kết qua đầu ra tương ứng .12: Phép phân tích pooling.13: Phép làm phẳng .-- 22:22 ©252222+2EEE2ESE2EEEEEEEESEEErEEkrrrrrrrrrrrrrk 24 Hìn 2.14: Mạng thần kinh đã được làm phẳng.15: Chuỗi các vector ảnh sau khi phân tách.16: Van đề suy thoái mạng neural.17: ResNet sử dụng kết nối tắt xuyên qua một hay nhiều lớp Hìn h 2.19: Minh hoa ChO 01 .- ¿+ 11121111111 101 1T HT TH HT Hàng ghế30 Hìn h 2.23: Laravel tuân theo Mô hình MVC .1: Sơ đồ tổng quát hệ thống điểm danh.---- 5 + s2 £s+£+zx+£zx+=+2 32 Hình 3.2: Sơ đồ hệ thống thiết bị nhúng.3: Sơ đồ lay mẫu dữ liệu khuôn mặt trước nhận dạng.4: Quy trình lấy mẫu .--¿- ¿- ¿5£ +2SE2E+2EE2E2E£EEEEESEEEEEEerxerxerreree 36 Hình 3. - - - Gà T g n rự 38 Hình 3.6: Trang đăng nhập hệ thống .- ¿2 - ¿2E +E££E+E+E£EE+E+EeEErErEerersrkee 40 Hình 3.7: Trang hệ thống quản lý điểm danh sinh viên .8: Trang quản lý điểm danh.-- - 2 2-5 S22E+E£EEE£E£E£EE£EeEeEErkrrerersrkee 4I Hình 3.9: Trang thông tin điểm danh lớp học.-----:--: ¿5 ++5+22++xz+x+zxez+zz+zs+2 42 Hình 3.10: Trang quản lý lớp hỌC.11: Trang quản lý thông tin lớp hỌc. -- <5 52+ Ex+sseeeereeeeeeeeres 44 Hình 3.12: Trang quản lý thông tin danh sách sinh viên.13: Trang quản lý thông tin thêm mới sinh viên .14: Trang quản lý thông tin edit sinh viÊn. - --- 55+ *£++sc+sseeesss 46 Hình 3.15: Giao điện khi bật thiết bị .-:- ¿52-52 2E2222E22E2ECEE2EEEEErkerrkerrrrrree 47 Hình 3.16: Giao diện tính năng ““VIIDEO”.- c1 1191 1 vn re 48 Hình 3.17: Giao diện khi click/touch chọn icon “AIDDMIN”.18: Giao diện khi đăng nhập thành công vào Admin .19: Giao diện thêm ID sinh viên vào cơ sở dit liệu .20: Quá trình tra1nn1g.-- - - - -- c6 1111139 10111119 911 ng ng re 50 Ipi1:6/2006-1i10i0à419)59n.1: Thiết bị điểm danh o.2: Phát hiệ khuôn mặt và định danh.3: Nhận diện và định danh khoảng cách 2m.4: Nhận diện và định danh khoảng cách 4m .5: Nhận diện và định danh khoảng cách 7m.6: Nhận diện và định danh khoảng cách IÖm.7: Nhận diện với góc nghiêng khoảng 30 độ.8: Biêu đồ Độ chính xác (%) khi phát hiện và nhận diện theo khoảng cách 56 Hình 4.9: Lúc chưa có đối tượng.---¿-¿- - + +s+x+E+EE+E+E£EEEEEEEEEEEEEEEEEErErkerrkrkee 57 Hình 4.10: Tài nguyên sử dụng CPU.-- -- - - -G 1 211v ng ng re 57 Hình 4.11: Biểu đồ thời gian sử lý trên 1 khung hình giữa GPU va CPU.

58 DANH MUC BANG Bang 2.1: Các thành phan của Qt.2 : Các thông số của Jetson Nam0.1 : Bảng số liệu thời gian thực thi hệ thống.--2:55 25255255256 DANH MUC TU VIET TAT Cum tù/Kí hiệu Mô tả REID Radio Frequency Identification CNN Convolutional Neural Network FPS Frames-per-second GPU Graphics Processing Unit CPU Central Processing Unit GUI Graphical User Interface GCC GNU Compiler Collection XML Extensible Markup Language JSON JavaScript Object Notation AI Artificial Intelligence SO-DIMM Small Outline Dual In-line Memory Module HDMI High-Definition Multimedia Interface SDIO Secure Digital Input Output ĐC Inter-Integrated Circuit UART Universal Asynchronous Receiver-Transmitter MIPI-CSI MIPI Camera Serial Interface ARM Advanced RISC Machine RAM Random Access Memory PCIe PCI Express GFLOPS Giga Floating Point Operations Per Second LPDDR Low-Power Double Data Rate SDK Software Development Kit OpenCV Open Source Computer Vision Library HTML Hypertext Markup Language CSS Cascading Style Sheets MySQL "My" is the name of co-founder Michael Widenius's daughter and "SQL" is Structured Query Language QML Qt Modeling Language JSON JavaScript Object Notation CUDA Compute Unified Device Architecture KNN K-Nearest Neighbors PHP | Hypertext Preprocessor MVC | Model View Controller TÓM TẮT KHÓA LUẬN Điểm danh là một công việc thường xuyên tại các cơ quan nhà nước, doanh nghiệp, trường học, tuy nhiên hiện nay công việc điểm danh này tại hầu hết các trường học, doanh nghiệp và các cơ quan vẫn còn thực hiện thủ công bằng tay hoặc nhận diện vân tay làm tiêu tốn nhiều khá nhiều thời gian và dé xảy ra sự cố khi có tác động từ môi trường (mưa làm ướt vân tay, tiêu tốn tài nguyên nhân lực dé điểm danh, .) Từ đó chúng tôi xây dựng hệ thống điểm danh sinh viên trong lớp học tự động băng Dual Camera có tích hợp mạng CNN kết hợp hệ thống nhúng trong phạm vi lớp học. Bằng cách sử dụng board Jetson Nano để xử lý ảnh và đưa dữ liệu điểm danh lên Website dé tự động cập nhật dữ liệu và quản lý, kiểm soát người dùng, kiểm tra việc điểm danh của sinh viên. Thông báo quá trình học tập trên lớp của sinh viên đến phụ huynh một cách chính xác và nhanh chóng nhất. Hiện trang hiện nay : Việc điểm danh vân tay trong các trường hoc là một công việc thường xuyên và tốn thời gian của giáo viên và học sinh trước mỗi giờ học.

Các hệ thống điểm danh vân tay tự động hiện nay thường chỉ có một cơ sở đữ liệu mẫu hạn chế nên không đáp ứng đủ cho trường hợp sỐ lượng sinh viên hoặc học sinh lớn. Đồng thời việc điểm danh tự động trong trường học hiện nay thường là sử dụng các hệ thống máy chấm công vân tay, các hệ thống này chỉ xác nhận đơn lẻ thông tin sinh viên tham gia hay không tham gia tại một địa điểm cố định nao đó. Điểm danh là một công việc thường xuyên tại các đơn vị trường học, tuy nhiên hầu hết các trường học hiện nay thì công việc này đang được thực hiện bằng tay. Nghĩa là mỗi giáo viên hoặc người quản lý sẽ phải gọi tên và kiểm tra sự có mặt của học sinh hoặc sinh viên trước giờ học, hoặc trước giờ thi.

Việc này gây mat thời gian đồng thời có thé có hiện tượng mạo danh. Có nhiều giải pháp công nghệ dé tự động hóa quá trình điểm danh một cách tự động và hạn chế việc giả mạo như nhận dạng giọng nói, thẻ từ RFID, nhập mã số, nhận dạng ảnh. Mỗi công nghệ đêu có các ưu và khuyêt điêm riêng. — Phương pháp nhận dạng tiếng nói chưa đạt độ chính xác tin cậy, tại lúc điểm danh có nhiều sinh viên hỗn loạn gây nhiễu sẽ càng làm giảm chất lượng nhận dạng.

— Phương pháp thẻ từ RFID đạt độ chính xác tin cậy nhưng dễ bị làm giả và tốn nhiều chi phí cho việc cấp phát thẻ. — Phương pháp nhập mã số đơn giản, chính xác 100% nhưng dễ bị giả mạo do học sinh, sinh viên có thê cung câp mã cho người khác. Chúng tôi có một giải pháp có thé giải quyết các nhược điểm trên. Đó là điểm danh bằng cách sử dụng công nghệ xử lý ảnh.

Trên thế giới, khu vực Newham của London, Anh, trước đây đã thử nghiệm hệ thống nhận dạng khuôn mặt được tích hợp vào hệ thống camera khu vực lân cận hay ở Sân bay quốc tế Tocumen ở Panama vận hành hệ thống giám sát toàn sân bay sử dụng hàng trăm camera nhận dạng trực tiếp khuôn mặt để xác định các cá nhân đi qua qua sân bay (trích Wikipedia) Tại Việt Nam, việc áp dụng công nghệ xử lý ảnh vào thực tế là một thách thức về công nghệ và tài chính. Chi một số nhà hàng, khách san và siêu thi dùng dé nghiên cứu hành vi người dùng. Mục tiêu đề tài : Xây dựng hệ thống điểm danh tự động sử dụng công nghệ xử lý ảnh trên board Jetson Nano với độ chính xác cao, thời gian thực hiện ngắn. Cu thé hơn: Hiện thực được hệ thống điểm danh tự động trên một lớp học và cập nhật thông tin điểm danh sinh viên trên website.

Website cập nhật thông tin điểm danh sinh viên trong một lớp học day đủ. Xử lý và cải tiễn thuật toán, tăng tốc FPS sử dụng GPU trên board Jetson Nano nhằm tăng hiệu năng tối đa của hệ thống điểm danh. Camera với điều kiện ánh sáng đầy đủ, hệ thống sẽ tự động nhận diện, điểm danh sinh viên (1 Camera gan va 1 Camera xa). Hệ thống nhận dang qua video quay từ 2 camera trên thiết bi nhúng.

Kết quả mong đợi: Hệ thống hoạt động chính xác dự kiến > 90% (khi cả 2 Camera được lắp đặt phía trên bảng với góc nghiêng 30 độ hướng xuống ché ngồi các sinh viên trong điêu kiện ánh sáng đây đủ và sinh viên phải nhìn vê hướng camera). Nội dung thực hiện : Nghiên cứu thuật toán nhận dạng người và website thống kê điểm danh: o Tìm kiếm các tài liệu liên quan machine learning, các thuật toán về machine learning, các tài liệu dé xây dựng một website. o Nghiên cứu, đọc hiểu, chọn lọc những tài liệu phù hợp có thé áp dụng cho đề tài. Thực hiện thuật toán trong hệ thống nhúng: o Mô tả thiết kế hệ thống.

o Chuan bị môi trường bao gồm các thư viện liên quan. o_ Lập trình các chức năng của hệ thống. Xây dựng website điểm danh: o_ Thiết kế và xây dựng giao diện cho website. o Thiết kế và xây dựng back-end của website.

o_ Thiết kế và quản lý Database của website. ©_ Quản lý Database và Website trên Server Internet. Đánh giá hiệu suất của hệ thống thông qua độ chính xác và thời gian hoàn thành điểm danh đôi với từng đôi tượng sinh viên: o Test lỗi, test chức năng, sự én định của hệ thống. o_ Tối ưu hóa hệ thống dé đạt yêu cầu đặt ra từ trước.

Phương pháp: Về phần mềm: Thiết kế sơ đồ hệ thống. Lập trình C/C++ trên linux. Lập trình Laravel, HTML, CSS, MySQL,. để xây dựng website và cập nhật Database thông tin sinh viên vào hệ thống quản lý điểm danh.

Nghiên cứu thuật toán về machine learning như: CNN, MobileNetV1,. Sử dụng các thu viện như: Dlib, OpenCV. Về phần cứng: Thiết lập Linux trong jetson nano va cài đặt thư viện.