Đồ án hệ thống điểm danh thời gian thực bằng nhận diện khuôn mặt tại ĐH Sư phạm Kỹ thuật TP.HCM

Nghiên cứu thiết kế hệ thống điểm danh thời gian thực sử dụng kỹ thuật nhận diện khuôn mặt và phát hiện đeo khẩu trang bằng OpenCV, CNN tại ĐH SPKT TP.HCM.

• Tác giả: Nguyễn Đắc Đương
• Người hướng dẫn: TS. Phạm Ngọc Sơn
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật điện tử - truyền thông
• Đề tài: Real – Time Attendance Management System Based on Face Recognition with Facial Features Techniques
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan hệ thống điểm danh khuôn mặt thời gian thực tại ĐH SPKT

Nghiên cứu về hệ thống điểm danh khuôn mặt thời gian thực tại Trường ĐH SPKT TP.HCM do sinh viên Nguyễn Đắc Đương và Nguyễn Quốc Hùng thực hiện dưới sự hướng dẫn của Tiến sĩ Phạm Ngọc Sơn. Đề tài thuộc ngành Công nghệ Kỹ thuật Điện tử và Truyền thông thuộc Khoa Đào tạo Chất lượng cao. Mục tiêu trọng tâm là tự động hóa quy trình quản lý điểm danh lớp học bằng công nghệ thị giác máy tính. Giải pháp kết hợp thư viện OpenCV và các mô hình học máy hiện đại để phát hiện khuôn mặt sinh viên. Hệ thống vận hành độc lập, giảm thiểu thao tác ghi chép giấy tờ truyền thống. Mọi dữ liệu điểm danh được trích xuất tự động sang bảng tính Excel phục vụ công tác quản lý đào tạo. Công nghệ nhận diện sinh trắc học đem lại sự tiện lợi, tự nhiên và thân thiện cho môi trường giảng đường đại học. Thiết bị ghi hình theo dõi không gian lớp học liên tục mà không gây gián đoạn tiết giảng. Dữ liệu khuôn mặt được mã hóa thành các chuỗi số học đặc trưng riêng biệt cho từng cá nhân. Mô hình đảm bảo tính chính xác cao, tạo tiền đề chuyển đổi số toàn diện trong công tác quản lý sinh viên tại trường.

1.1. Bối cảnh nghiên cứu tại Trường ĐH SPKT TP.HCM

Đồ án tốt nghiệp được triển khai vào tháng 8 năm 2022 tại Khoa Đào tạo Chất lượng cao. Đề tài tập trung giải quyết bài toán quản lý lớp học thực tế. Giảng viên cần công cụ tự động hóa khâu giám sát lớp học đông người. Nhu cầu ứng dụng thị giác máy tính vào quản trị giáo dục ngày càng cấp thiết. Đề tài kết hợp nhận diện khuôn mặt và nhận biết khẩu trang trong bối cảnh dịch tễ. Môi trường giảng đường đại học đòi hỏi tốc độ xử lý nhanh và độ ổn định cao. Công trình nghiên cứu đáp ứng trọn vẹn yêu cầu hiện đại hóa trường học số.

1.2. Mục tiêu và phạm vi ứng dụng của hệ thống

Hệ thống hướng đến việc thay thế hoàn toàn sổ điểm danh truyền thống. Phần mềm tự động nhận diện danh tính từng sinh viên khi bước vào khung hình camera. Sản phẩm xuất file Excel chi tiết chứa thời gian điểm danh cụ thể của mỗi người. Phạm vi ứng dụng bao gồm các phòng học lý thuyết và phòng thực hành chuyên ngành. Giải pháp giúp tiết kiệm ít nhất mười lăm phút đầu giờ cho mỗi buổi giảng. Giảng viên tập trung trọn vẹn vào việc truyền tải kiến thức chuyên môn. Dữ liệu điểm danh được lưu trữ an toàn, minh bạch và dễ dàng tra cứu khi cần đối soát.

II. Phân tích hạn chế khi điểm danh khuôn mặt thời gian thực thủ công

Phương pháp điểm danh gọi tên truyền thống bộc lộ nhiều điểm nghẽn tại giảng đường quy mô lớn. Giảng viên mất nhiều thời gian điểm danh thay vì bắt đầu bài giảng đúng giờ. Tình trạng sinh viên điểm danh hộ người vắng mặt diễn ra thường xuyên. Các hình thức ký tên trên giấy dễ bị giả mạo chữ ký. Thẻ từ hay vân tay gây ùn ứ nghiêm trọng tại cửa ra vào vào giờ cao điểm. Thiết bị quẹt thẻ tiếp xúc vật lý tiềm ẩn nguy cơ lây lan mầm bệnh qua tiếp xúc gián tiếp. Sai sót trong quá trình nhập liệu thủ công từ giấy lên hệ thống số thường xuyên xảy ra. Quá trình kiểm tra sĩ số thủ công phân tán sự tập trung của sinh viên trong lớp học. Mọi dữ liệu giấy tờ dễ thất lạc hoặc hư hỏng theo thời gian lưu trữ. Các trường đại học lớn đòi hỏi một cơ chế tự động hóa minh bạch hơn. Nhận diện khuôn mặt thời gian thực giải quyết triệt để vấn đề gian lận học đường. Hệ thống loại bỏ hoàn toàn các rào cản thao tác tiếp xúc vật lý gây phiền hà.

2.1. Rủi ro gian lận và sai lệch dữ liệu

Gian lận điểm danh gây ảnh hưởng tiêu cực đến chất lượng đào tạo đại học. Sinh viên thường đối phó bằng cách điểm danh giúp người vắng mặt trong lớp đông. Danh sách ký tay xuất hiện nhiều chữ ký giả mạo khó phân biệt bằng mắt thường. Việc phát hiện sai phạm đòi hỏi giảng viên phải đối chiếu thủ công từng người. Điều này tiêu tốn nhiều công sức và gây căng thẳng trong quá trình giảng dạy. Dữ liệu sai lệch làm méo mó kết quả đánh giá chuyên cần cuối khóa học. Điểm danh tự động qua camera là chìa khóa loại bỏ triệt để hành vi tiêu cực trên. Mọi lượt xác thực đều đi kèm bằng chứng hình ảnh rõ ràng.

2.2. Thách thức nhận dạng trong điều kiện thực tế

Nhận diện khuôn mặt thời gian thực trong giảng đường đối mặt nhiều thử thách kỹ thuật. Góc quay camera thay đổi liên tục khi người học di chuyển tự do. Cường độ ánh sáng phòng học biến đổi mạnh theo các thời điểm trong ngày. Khoảng cách từ camera đến sinh viên ở hàng ghế cuối thường khá xa. Gương mặt bị che khuất một phần bởi tóc, kính mắt hoặc khẩu trang y tế. Các yếu tố biểu cảm khuôn mặt cũng gây khó khăn cho việc trích xuất đặc trưng. Thiết kế thuật toán cần tối ưu độ trễ xử lý khung hình liên tục trên máy tính. Mô hình phải phân biệt chính xác người thật với ảnh chụp hiển thị trên điện thoại.

III. Phương pháp xây dựng hệ thống điểm danh khuôn mặt thời gian thực

Giải pháp kỹ thuật của nhóm nghiên cứu xây dựng dựa trên nền tảng thư viện thị giác máy tính OpenCV và mã nguồn face_recognition. Kiến trúc hệ thống áp dụng kỹ thuật đa luồng (multi-threading) nhằm tối ưu hiệu năng vận hành. Luồng thứ nhất thực hiện thu nhận liên tục các khung hình từ các camera C1 và C2 qua hàm cv2.VideoCapture. Luồng thứ hai nhận dữ liệu để tiến hành phát hiện vị trí khuôn mặt và trích xuất đặc trưng hình học 2D. Thuật toán phân tích chi tiết khoảng cách mắt, độ sâu hốc mắt, xương gò má và hình dáng khuôn miệng. Dữ liệu hình ảnh được chuyển hóa thành vector số học đại diện (faceprint) duy nhất. Mô hình phân loại K láng giềng gần nhất (KNN Classifier) so khớp khuôn mặt với cơ sở dữ liệu sinh viên có sẵn. Thuật toán chống giả mạo kiểm tra tính sống của vật thể để ngăn chặn hành vi sử dụng ảnh chụp trên điện thoại hoặc video ghi sẵn. Sau khi khớp danh tính thành công, hệ thống tự động ghi nhận thời gian và xuất dữ liệu ra file Excel phục vụ lưu trữ.

3.1. Thu nhận và xử lý đa luồng qua OpenCV

Kỹ thuật đa luồng đóng vai trò then chốt trong việc duy trì tốc độ khung hình mượt mà. Luồng thu nhận hình ảnh khởi tạo kết nối camera thông qua đối tượng cv2.VideoCapture. Vòng lặp liên tục đọc từng khung hình và truyền trực tiếp vào bộ nhớ đệm. Quá trình này diễn ra song song với luồng nhận diện mà không gây nghẽn cổ chai. Việc tách biệt luồng xử lý giúp phần mềm tận dụng tối đa sức mạnh tính toán của CPU đa nhân. Giao diện điều khiển hiển thị đồng thời hai góc camera giám sát trong thời gian thực. Cơ chế xử lý luồng đảm bảo hệ thống không bị đóng băng khi có nhiều đối tượng xuất hiện.

3.2. Mã hóa đặc trưng khuôn mặt và phân loại KNN

Thư viện face_recognition thực hiện định vị các mốc hình học giải phẫu trên khuôn mặt. Thuật toán biến đổi cấu trúc hình ảnh 2D thành chuỗi vector số học 128 chiều. Chuỗi dữ liệu số này mang đặc trưng cá nhân độc nhất tương tự dấu vân tay. Bộ phân loại KNN so sánh vector đầu vào với tập dữ liệu huấn luyện đã lưu. Thuật toán đo khoảng cách Euclid để tìm ra danh tính có độ tương đồng cao nhất. Hệ thống tích hợp cơ chế phát hiện gian lận bằng hình ảnh hoặc video giả lập. Nếu khuôn mặt không thuộc danh sách lớp, phần mềm lập tức từ chối và cảnh báo nghi vấn.

IV. Kết luận về hệ thống điểm danh khuôn mặt thời gian thực ở SPKT

Đồ án tốt nghiệp của sinh viên Trường ĐH SPKT TP.HCM chứng minh tính khả thi cao của công nghệ điểm danh khuôn mặt thời gian thực. Hệ thống giúp rút ngắn thời gian chuẩn bị lớp học và hạn chế tối đa sai sót do con người. Quy trình quản lý trở nên thông minh, khoa học và hoàn toàn minh bạch. Sản phẩm phần mềm hoạt động ổn định trên phần cứng máy tính thông dụng mà không đòi hỏi chi phí đầu tư đắt đỏ. Dữ liệu trích xuất tự động qua file Excel giúp bộ phận giáo vụ kiểm soát chuyên cần nhanh chóng. Ngoài ra, tính năng nhận biết gian lận nâng cao mức độ tin cậy trong môi trường đại học hiện đại. Giải pháp mở ra hướng đi bền vững cho đề án chuyển đổi số giáo dục tại các cơ sở đào tạo lớn. Việc mở rộng hệ thống sang mô hình mạng phân tán hứa hẹn mang lại giá trị thực tiễn to lớn cho toàn bộ khuôn viên đại học.

4.1. Hiệu quả triển khai thực tế tại nhà trường

Kết quả thử nghiệm tại các phòng học cho thấy hệ thống hoạt động ổn định và chính xác. Tốc độ nhận diện nhanh giúp sinh viên không phải xếp hàng chờ đợi khi vào lớp. Giảng viên tiết kiệm đáng kể thời gian điểm danh để tập trung cho bài giảng chuyên môn. Mọi dữ liệu xuất ra bảng tính Excel với đầy đủ thông tin mã sinh viên và thời gian. Điều này giúp bộ phận quản lý đào tạo nắm bắt sĩ số tức thời và chính xác. Sự kết hợp giữa OpenCV và thuật toán KNN cho thấy chi phí vận hành thấp nhưng hiệu năng cao. Mô hình hoàn toàn đáp ứng tốt nhu cầu quản lý thực tế tại giảng đường.

4.2. Định hướng nâng cấp và mở rộng trong tương lai

Hướng phát triển tiếp theo tập trung vào việc nâng cấp thuật toán học sâu để tăng tốc độ xử lý. Hệ thống có thể tích hợp trực tiếp vào hệ thống quản lý học tập số của nhà trường. Việc kết nối cơ sở dữ liệu đám mây sẽ cho phép đồng bộ thông tin trên toàn bộ các cơ sở đào tạo. Công nghệ nhận diện qua camera góc siêu rộng giúp bao quát toàn bộ giảng đường hàng trăm sinh viên cùng lúc. Ngoài ra, khả năng phân tích hành vi học tập và sự tập trung của sinh viên cũng là hướng mở rộng tiềm năng. Giải pháp khẳng định năng lực ứng dụng công nghệ cao của sinh viên kỹ thuật trong thời đại số hóa.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING CAPSTONE PROJECT ELECTRONICS AND COMMUNICATIONS ENGINEERING TECHNOLOGY REAL – TIME ATTENDANCE MANAGEMENT SYSTEM BASED ON FACE RECOGNITION WITH FACIAL FEATURES TECHNIQUES LECTURERPHAM NGOC SON, Dr. STUDENT: NGUYEN DAC DUONG NGUYEN QUOC HUNG SKL 0 0 9 3 6 3 Ho Chi Minh City, August 2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING CAPSTONE PROJECT REAL – TIME ATTENDANCE MANAGEMENT SYSTEM BASED ON FACE RECOGNITION WITH FACIAL FEATURES TECHNIQUES Student 1: NGUYEN DAC DUONG Student ID: 18161006 Student 2: NGUYEN QUOC HUNG Student ID: 18161018 Major: ELECTRONICS AND COMMUNICATIONS ENGINEERING TECHNOLOGY Advisor: PHAM NGOC SON, Dr. Ho Chi Minh City, August 2022 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, July 27, 2022 CAPSTONE PROJECT ASSIGNMENT Student name: NGUYEN DAC DUONG Student ID: 18161006 Student name: NGUYEN QUOC HUNG Student ID: 18161018 Major: Electronics and Communications Engineering Class: 18161CLA Technology Advisor: PHAM NGOC SON, Dr. Phone number: 0966609555 Date of assignment: 06/03/2022 Date of submission: 20/07/2022 1.

Project title: Attendance system using face recognition and face mask detection 2. Initial materials provided by the advisor: Papers, book, regulations on ethics in scientific research. Content of the project: Develop a system using OpenCV and machine learning that automatically takes attendance in class using facial recognition and converts data to an excel file for time attendance. Final product: Software CHAIR OF THE PROGRAM ADVISOR (Sign with full name) (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, …, …, 2022 PRE-DEFENSE EVALUATION SHEET Student name: NGUYEN DAC DUONG Student ID: 18161006 Student name: NGUYEN QUOC HUNG Student ID: 18161018 Major: Electronics and Communications Engineering Technology Project title: Attendance system using face recognition and face mask detection Name of Reviewer:.

Content and workload of the project. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, … month … day, …… year REVIEWER (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, …, …., 2022 EVALUATION SHEET OF DEFENSE COMMITTEE MEMBER Student name: NGUYEN DAC DUONG Student ID: 18161006 Student name: NGUYEN QUOC HUNG Student ID: 18161018 Major: Electronics and Communications Engineering Technology Project title: Attendance system using face recognition and face mask detection Name of Defense Committee Member:. Content and workload of the project .) Ho Chi Minh City, … month … day, …… year COMMITTEE MEMBER (Sign with full name) ACKNOWLEDGMENTS The success and outcome of this project were made possible by the guidance and support of many people. Our team is incredibly privileged to have got this all along with the achievement of our project.

It required a lot of effort from each individual involved in this project, and we would like to thank them. No success is entirely self-made, because to achieve the best success, it must depend on many factors. Firstly, our team would like to thank the School Board of the Ho Chi Minh City University of Technology and Education and the Faculty for High-Quality Training for creating wonderful conditions for us to complete our project. Secondly, our team would like to express our deep and sincere gratitude to our research supervisor and advisor.

Pham Ngoc Son, for giving us the opportunity to do research and providing invaluable guidance throughout this project. His dynamism, vision, sincerity, and motivation have deeply inspired us. The lecturer taught us the methodology to carry out the project and to present the project work as clearly as possible. It was a great privilege and honor to work and study under the guidance of Dr.

Pham Ngoc Son. Once again, our team would like to thank the advisor. Pham Ngoc Son. Thirdly, we are grateful to all of our friends in class 18161CLA who helped us out by giving us counsel and kind assistance whenever we needed it.

Finally, we thank go all the people who have supported me in completing the research work, directly or indirectly. i Table of Contents ACKNOWLEDGMENTS. vii CHAPTER 1: OVERVIEW .