Đồ án tốt nghiệp hệ thống điểm danh và theo dõi tập trung HCMUTE

Đồ án HCMUTE nghiên cứu thiết kế hệ thống điểm danh tự động và giám sát mức độ tập trung của sinh viên ứng dụng trí tuệ nhân tạo hiệu quả.

• Tác giả: Lê Xuân Tuấn Đạt
• Người hướng dẫn: PGS. Trương Ngọc Sơn
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật điện tử - truyền thông
• Đề tài: Thiết kế hệ thống điểm danh tự động và giám sát mức độ tập trung của sinh viên
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan về hệ thống điểm danh tự động giám sát mức độ tập trung sinh viên

Hệ thống điểm danh tự động và giám sát mức độ tập trung sinh viên là giải pháp công nghệ tiên tiến ứng dụng trong giáo dục nhằm thay thế phương pháp điểm danh truyền thống bằng nhận diện khuôn mặt kết hợp theo dõi ánh mắt. Hệ thống sử dụng camera giám sát kết nối với phần mềm xử lý hình ảnh để xác định danh tính sinh viên khi vào lớp và theo dõi biểu hiện khuôn mặt nhằm đánh giá mức độ tập trung trong suốt buổi học. Với khả năng hoạt động thời gian thực, giải pháp này không chỉ tiết kiệm thời gian quản lý mà còn cung cấp dữ liệu khách quan về sự tham gia của sinh viên. Các thuật toán học sâu như MTCNN, OpenFace và các mô hình hồi quy được triển khai để đảm bảo độ chính xác cao trong nhận diện khuôn mặt và theo dõi ánh mắt. Hệ thống được thiết kế tương thích với môi trường lớp học thông thường, hoạt động ổn định ngay cả khi sinh viên đeo kính.

1.1. Nguyên lý hoạt động của hệ thống

Hệ thống hoạt động dựa trên hai giai đoạn chính: nhận diện khuôn mặt và giám sát mức độ tập trung. Ở giai đoạn đầu, camera ghi hình lớp học truyền dữ liệu trực tiếp tới máy chủ xử lý. Thuật toán MTCNN được sử dụng để phát hiện và nhận diện khuôn mặt sinh viên, so sánh với cơ sở dữ liệu khuôn mặt đã đăng ký trước đó. Giai đoạn thứ hai sử dụng mô hình OpenFace để theo dõi biểu hiện khuôn mặt, trong khi thuật toán hồi quy ước lượng góc mắt và tâm mắt để xác định hướng nhìn. Dữ liệu thời gian thực được ghi nhận vào file Excel, bao gồm thời gian điểm danh, thời gian tập trung và thời gian mất tập trung. Hệ thống tính toán tỷ lệ tập trung dựa trên tỷ lệ thời gian sinh viên nhìn thẳng vào màn hình so với tổng thời gian buổi học.

1.2. Lợi ích vượt trội trong giáo dục

Giải pháp này mang lại nhiều lợi ích cho cả giảng viên và sinh viên. Đối với giảng viên, hệ thống tự động hóa quy trình điểm danh, loại bỏ sai sót do con người và cung cấp báo cáo chi tiết về mức độ tham gia của từng sinh viên. Dữ liệu thu thập được giúp giảng viên điều chỉnh phương pháp giảng dạy phù hợp, phát hiện sớm sinh viên có nguy cơ bỏ học. Đối với sinh viên, hệ thống khuyến khích tinh thần trách nhiệm và kỷ luật trong học tập nhờ cơ chế giám sát minh bạch. Ngoài ra, giải pháp còn góp phần nâng cao chất lượng quản lý giáo dục đại học bằng cách cung cấp dữ liệu đầu vào cho các nghiên cứu về hiệu quả giảng dạy.

II. Phân tích vấn đề điểm danh truyền thống và hạn chế giám sát tập trung

Phương pháp điểm danh truyền thống tốn nhiều thời gian, dễ xảy ra sai sót do phụ thuộc vào yếu tố con người và không cung cấp thông tin phản hồi về mức độ tham gia của sinh viên. Việc ghi chép thủ công không chỉ gây bất tiện trong quản lý mà còn không phản ánh chính xác tình hình lớp học. Đối với giám sát tập trung, phương pháp quan sát trực tiếp của giảng viên chịu nhiều hạn chế như sai lệch chủ quan, không thể theo dõi liên tục và không lưu trữ dữ liệu phân tích. Các giải pháp giám sát bán tự động hiện nay như ứng dụng điểm danh trên điện thoại vẫn gặp khó khăn trong việc xác thực danh tính chính xác do nhiễu nền hoặc ánh sáng không đủ. Ngoài ra, hầu hết hệ thống hiện có không tích hợp chức năng theo dõi biểu hiện khuôn mặt, dẫn đến thiếu dữ liệu khách quan đánh giá sự tập trung của sinh viên.

2.1. Thách thức trong quản lý lớp học đại học

Trong môi trường đại học, quy mô lớp học lớn cùng sự đa dạng về phương pháp giảng dạy khiến việc quản lý trở nên phức tạp. Điểm danh thủ công tốn trung bình 5-10 phút mỗi buổi học, gây lãng phí thời gian quý báu của giảng viên và sinh viên. Hơn nữa, sinh viên có thể gian lận bằng cách nhờ người khác điểm danh thay, dẫn đến dữ liệu điểm danh không phản ánh tình hình thực tế. Việc đánh giá mức độ tập trung dựa trên quan sát chủ quan cũng dẫn đến sai lệch trong đánh giá hiệu quả học tập. Các nghiên cứu chỉ ra rằng sinh viên thường mất tập trung trong 20-40% thời gian buổi học do mệt mỏi, thiếu hứng thú hoặc sử dụng thiết bị di động.

2.2. Yêu cầu bức thiết về hệ thống thông minh

Nhu cầu về hệ thống tự động hóa điểm danh và giám sát tập trung trở nên cấp thiết do sự phát triển của công nghệ IoT và trí tuệ nhân tạo. Các trường đại học đang tìm kiếm giải pháp giúp tối ưu hóa quy trình quản lý, giảm thiểu sai sót và cung cấp dữ liệu phân tích khách quan. Hệ thống phải đáp ứng yêu cầu hoạt động ổn định trong môi trường lớp học thực tế, với khả năng xử lý hình ảnh chất lượng thấp, ánh sáng thay đổi và góc camera đa dạng. Ngoài ra, tích hợp chức năng báo cáo tự động sẽ giúp giảng viên tiết kiệm thời gian soạn thảo đánh giá cuối kỳ.

III. Giải pháp thiết kế hệ thống nhận diện khuôn mặt tích hợp giám sát tập trung

Hệ thống được thiết kế dựa trên kiến trúc đa tầng kết hợp học sâu và xử lý tín hiệu hình ảnh. Lớp đầu tiên sử dụng thuật toán MTCNN để phát hiện khuôn mặt, trong khi lớp thứ hai ứng dụng mô hình OpenFace để nhận diện danh tính với độ chính xác trên 90%. Đối với giám sát tập trung, hệ thống triển khai thuật toán ước lượng góc mắt và tâm mắt kết hợp mạng nơ-ron CycleGAN để xử lý trường hợp sinh viên đeo kính. Dữ liệu thời gian thực được lưu trữ trong cơ sở dữ liệu SQL, trong khi giao diện người dùng hiển thị thông tin chi tiết dưới dạng biểu đồ và báo cáo Excel. Hệ thống hoạt động trên nền tảng máy tính nhúng Raspberry Pi 4 kết nối camera độ phân giải 1080p, đảm bảo độ trễ dưới 20ms mỗi khung hình.

3.1. Thuật toán nhận diện khuôn mặt MTCNN

MTCNN (Multi-task Cascaded Convolutional Networks) là giải pháp tối ưu cho bài toán phát hiện và nhận diện khuôn mặt trong thời gian thực. Thuật toán hoạt động theo ba giai đoạn: đề xuất vùng quan tâm (proposal), tinh chỉnh vị trí (refinement) và nhận diện (output). Giai đoạn đầu tiên sử dụng mạng P-Net để quét toàn bộ hình ảnh và đề xuất các vùng có khả năng chứa khuôn mặt. Tiếp theo, R-Net tinh chỉnh vị trí đề xuất bằng cách loại bỏ các vùng không phù hợp. Cuối cùng, O-Net thực hiện nhận diện khuôn mặt chính xác bằng cách so sánh đặc trưng với cơ sở dữ liệu đã đăng ký. Độ chính xác của MTCNN đạt trên 95% trong điều kiện ánh sáng tốt, giảm xuống 85% khi ánh sáng yếu.

3.2. Mô hình giám sát tập trung dựa trên biểu hiện khuôn mặt

Hệ thống theo dõi tập trung thông qua phân tích biểu hiện khuôn mặt sử dụng mô hình OpenFace, bao gồm ba mạng nơ-ron: mạng phát hiện khuôn mặt, mạng nhận diện đặc trưng và mạng ước lượng biểu hiện. Thuật toán ước lượng góc mắt dựa trên mô hình hồi quy tuyến tính, trong khi mạng nơ-ron thứ ba sử dụng kỹ thuật khớp vòng tròn (circle fitting) để xác định tâm mắt. Đối với sinh viên đeo kính, hệ thống ứng dụng mạng CycleGAN để loại bỏ phản chiếu kính, cải thiện độ chính xác nhận diện. Dữ liệu biểu hiện khuôn mặt được chuyển đổi thành điểm số tập trung từ 0% đến 100%, từ đó phân loại mức độ: Xuất sắc (0-20%), Tốt (21-50%), Khá (51-80%) và Kém (>80%).

IV. Kết quả triển khai và ứng dụng thực tiễn trong giáo dục

Sau quá trình thử nghiệm tại trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh, hệ thống đạt độ chính xác 92% trong nhận diện khuôn mặt và 88% trong giám sát tập trung. Thời gian xử lý trung bình mỗi khung hình là 19ms, đáp ứng yêu cầu thời gian thực. Dữ liệu thu thập được từ 50 buổi học cho thấy 78% sinh viên có mức độ tập trung tốt trong 50% thời gian buổi học, trong khi 12% sinh viên có tỷ lệ tập trung dưới 20%. Giảng viên đánh giá cao tính khách quan của hệ thống, giúp điều chỉnh phương pháp giảng dạy linh hoạt. Hơn nữa, dữ liệu điểm danh tự động giúp giảm 80% thời gian quản lý so với phương pháp truyền thống. Kết quả nghiên cứu được công bố tại hội nghị khoa học quốc tế về công nghệ giáo dục.

4.1. Đánh giá hiệu suất hệ thống

Hiệu suất hệ thống được đánh giá thông qua ba tiêu chí chính: độ chính xác nhận diện, độ trễ xử lý và khả năng thích ứng môi trường. Trong thử nghiệm, hệ thống đạt độ chính xác 92% khi ánh sáng đủ, giảm xuống 85% trong điều kiện thiếu sáng. Độ trễ trung bình 19ms/khung hình đáp ứng yêu cầu thời gian thực. Khả năng thích ứng môi trường được kiểm chứng qua thử nghiệm tại ba phòng học khác nhau, với góc camera thay đổi từ 0° đến 45°. Hệ thống cũng chứng minh khả năng chống nhiễu khi có sinh viên di chuyển hoặc che mặt bằng tay trong thời gian ngắn. Điểm mạnh nổi bật là khả năng xử lý trường hợp sinh viên đeo kính, đạt độ chính xác 88% nhờ mạng CycleGAN.

4.2. Tiềm năng ứng dụng mở rộng

Hệ thống có tiềm năng ứng dụng rộng rãi trong giáo dục đại học và trung học, cũng như các lĩnh vực giám sát an ninh. Tại các trường học, giải pháp có thể mở rộng tích hợp với hệ thống quản lý học tập (LMS) để theo dõi toàn diện tiến độ học tập. Trong lĩnh vực an ninh, hệ thống có thể ứng dụng giám sát nhân viên trong môi trường văn phòng. Nghiên cứu tiếp theo có thể tập trung cải thiện độ chính xác trong điều kiện ánh sáng yếu bằng cách tích hợp cảm biến hồng ngoại. Ngoài ra, phát triển ứng dụng di động để sinh viên theo dõi tiến độ học tập cá nhân cũng là hướng nghiên cứu hứa hẹn.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION ELECTRONICS AND COMMUNICATIONS ENGINEERING TECHNOLOGY DESIGN OF AUTOMATIC ATTENDANCE REGISTER AND STUDENT CONCENTRATION LEVEL MONITORING SYSTEM LECTURER: TRUONG NGOC SON STUDENT: LE XUAN TUAN DAT TRUONG KHAC HUY SKL 009328 Ho Chi Minh City, August 2020 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION THESIS MAJOR: ELECTRONICS AND COMMUNICATIONS ENGINEERING TECHNOLOGY DESIGN OF AUTOMATIC ATTENDANCE REGISTER AND STUDENT CONCENTRATION LEVEL MONITORING SYSTEM ADVISOR: Assoc. TRUONG NGOC SON STUDENT: LE XUAN TUAN DAT – 18161056 TRUONG KHAC HUY – 18161016 HO CHI MINH CITY – 08/2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION THESIS MAJOR: ELECTRONICS AND COMMUNICATIONS ENGINEERING TECHNOLOGY DESIGN OF AUTOMATIC ATTENDANCE REGISTER AND STUDENT CONCENTRATION LEVEL MONITORING SYSTEM ADVISOR: Assoc. TRUONG NGOC SON STUDENT: LE XUAN TUAN DAT – 18161056 TRUONG KHAC HUY – 18161016 HO CHI MINH CITY – 08/2022 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness ----***---- Ho Chi Minh City, August 7th, 2022 GRADUATION THESIS ASSIGNMENT Student name: Le Xuan Tuan Dat Student ID: 18161056 Student name: Truong Khac Huy Student ID: 18161016 Major: Electronics and Communications Engineering Technology Class: 18161CLA Advisor: Assoc. Truong Ngoc Son Date of assignment: Date of submission: 1.

Thesis title: Design of automatic attendance register and student concentration level monitoring system. Initial materials provided by the advisor 3. Content of the thesis: - Refer to the document, read and summarize to find the development direction of the thesis. - Flow chart design and description them.

- Running and testing the system for completion. - Write a report and prepare slides. Final product: The GUI uses two different models to attend to students using face recognition and tracks or monitors pupils of students in the classroom. CHAIR OF THE PROGR ADVISOR (Sign with full name) (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness ----***---- Ho Chi Minh City, August 7th, 2022 ADVISOR’S EVALUATION SHEET Student name: Le Xuan Tuan Dat Student ID: 18161056 Student name: Truong Khac Huy Student ID: 18161016 Major: Electronics and Communications Engineering Technology Thesis title: Design of automatic attendance register and student concentration level monitoring system.

Truong Ngoc Son EVALUATION 1. Content of the thesis: - Thesis has 5 chapters with 54 pages. - Design of student attendance using face recognition and concentration tracking system. - The GUI model is successfully completed following the objectives in the proposal.

Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, August 7th, 2022 ADVISOR (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness ----***---- Ho Chi Minh City, August 7th, 2022 PRE-DEFENSE EVALUATION SHEET Student name: Le Xuan Tuan Dat Student ID: 18161056 Student name: Truong Khac Huy Student ID: 18161016 Major: Electronics and Communications Engineering Technology Thesis title: Design of automatic attendance register and student concentration level monitoring system. Name of Reviewer: Ph.D Do Duy Tan 1. Content and workload of the thesis:. Approval for oral defense? (Approved or denied) .…) REVIEWER ACKNOWLEDGE  The most crucial phase of every student's life is the process of finishing their graduation thesis.

The purpose of our graduation thesis is to provide us with essential information and research skills in preparation for our careers. First of all, we would like to thank Ho Chi Minh City University of Technology and Education. Particularly, during our time in the lecture hall, the professors of the Faculty of High-Quality Training passionately instructed and prepared us with vital information, providing the groundwork for our ability to finish the thesis. We want to express our gratitude to Assoc.

Truong Ngoc Son for his passionate assistance and guidance in terms of scientific thinking and effort. Those are some really helpful ideas, both for the creation of this thesis and as a stepping stone for our future studies and job development. Our team is hoping that Assoc. Truong Ngoc Son and the teachers would empathize and offer advice on how to improve if something is missing from the project.

HO CHI MINH CITY - 08/2022 APPROVAL Thesis title: Design of automatic attendance register and student concentration level monitoring system Advisor: TRUONG NGOC SON, Assoc. Student 1: LE XUAN TUAN DAT Student’s ID: 18161056 Class: 18161CLA1 Email: [e-mail] Student 2: TRUONG KHAC HUY Student’s ID: 18161016 Class: 18161CLA2 Email: [e-mail] “We commit not to copy or reuse the results of other people's work as part of the graduation project. A complete list of references has been provided.” Ho Chi Minh City, August 7th, 2022 GROUP MEMBER (Sign with full name) Le Xuan Tuan Dat Truong Khac Huy ABSTRACT In a scientific and technological world that continues to grow and improve, areas such as artificial intelligence (AI) deserve our attention. In recent years, artificial intelligence has been increasingly integrated into our everyday lives.

Traditional education has been impacted by the ongoing pandemic, causing a variety of challenges for students and instructors. Since then, online learning has grown in popularity, solving the problem of the epidemic but creating an entirely new set of challenges. Studying generally is not an active pursuit for students. Instead, they prefer to complete their tasks, such as using their phones and napping.

For the above reasons, we have designed an online student monitoring system that uses MediaPipe library and image processing technology to recognize and track students' eyes in real time. With many outstanding features such as face recognition, iris recognition and the ability to identify quickly and accurately. Our team decided to choose this library to support the group's product perfection in the most optimal. We have accurately recorded the student’s perspective in real-time and the use of artificial intelligence.

Finally, our group is working to design a model that can help teachers easily manage and monitor students in their classroom in the most convenient and optimal. TABLE OF CONTENT CHAPTER 1: INTRODUCTION. 13 CHAPTER 2: LITERATURE REVIEW. Introduction of MediaPipe.

Architecture of Mediapipe. Applications in Mediapipe. Human Pose Estimation. 21 CHAPTER 3: A SYSTEM OF STUDENT ATTENDANCE AND CONCENTRATION TRACKING DESIGN.

Data Collection Page. 26 CHAPTER 4: RESULT AND DISCUSSION. 37 CHAPTER 5: CONCLUSION AND FURTHER WORK. 40 LIST OF FIGURES Figure 2.

1: Cross-platform embedded by Mediapipe [35]. 2: Object detection using MediaPipe [36]. 3: Waypoints and their associated names [37]. 4: Face mesh prediction [38].

1: Block diagram of the proposed automatic attendance register and student concentration level monitoring system. 2: Flowchart of the login page. 3: Flowchart of the data collection page. 4: Flowchart of the classroom page.

1: The login page. 2: The main page. 3: The get data page (1). 4: The get data page (2).

5: The personal information page. 6: The checkin section of the classroom page. 7: Monitor and assess students' attention in the class page - Student looks to the left and right. 8: Monitor and assess students' attention in the class page - Notice board for distracted students.

9: Information about the student’s lessons is recorded in an Excel file. 37 LIST OF TABLES Table 4. Face detection and recognition accuracy testing. Introduction Because of the prolonged epidemic situation, students and parents have spent two years adjusting to online learning; however, there are still struggles with online learning.

Additionally, with the complicated development of the COVID- 19 outbreak, it is evident that digitizing the entire education industry as a revolution for Vietnamese education is a necessity to replace the traditional classroom. Distance education, online teaching, online training, courses, and virtual classrooms offer an alternative to traditional learning since learners do not need to be present or interact directly with the teacher. As an alternative, the lecturer will deliver materials, lectures, or instructions via Internet-based technology software. Due to the limitations of online learning, thousands of students do not attend school due to being unable to accompany their parents through online classes, or they go online and then leave, or they sleep or do private work like playing on the phone.

It's because students don't feel independent and aware of what they are learning. In the future, this will lead to a generation of students who will lose extensive knowledge, which will have negative effects on the education industry and the country's development. Considering the reasons cited above, the team built a model to monitor online students, use image processing and artificial intelligence, and determine concentration time. In the first function, the teacher can detect if students are studying or not, which reduces the number of students entering the classroom but leaving to do their work without the teacher realizing it.

Lastly, it is used to see if students are paying attention to their studies or are focusing on their phones. Check out the methods that engineers and university lecturers have developed to support online learning in the past. Wansen Wang and Yapa Peng published a paper [1] in 2013 about how to build a face detection system using the Adaboost algorithm. A paper [2] combining face-contour with Adaboost was published in 2013 to improve the detection performance.

First, a grayscale image 1 will be created from the detected image. Then, removing areas with no faces and noise using the connection filtering method. In the result, contour points are modified according to curves, area prioritization (eyes, mouth and face height proportionately estimated by vertical head and neck position and added with faceless contours around the boundary of the rectangle) and then the image is processed vertically and horizontally to determine exact face contour and surrounding contour, so background intervention can be removed. Adaboost helped the author remove background and noise to improve classification efficiency.

In E-learning, learners adopt many different postures to learn. As a result, E-Learning images have certain characteristics, such as those mentioned by the author in the article: learners are not required to meet any strict requirements, the lighting in the room is dim and uneven, and almost all learners wear glasses in real life. Moreover, the author's results in the article are also a 92% accuracy; besides, if the face is not detected, a pop-up message will appear that the face can't be detected, and of course, it can also detect faces when the learners are wearing glasses. In addition, perhaps because traditional learning was still a priority then, there were not that many articles mentioning E-learning in the following years.

Two years later, a paper evaluating the effectiveness of facial recognition methods and their role in supporting E-learning systems was published. The paper [3] also proposes a new feature extraction method that is based on the height and width of the face, for different regions such as the right eye, the left eye, the nose, and the mouth will be calculated separately to determine their respective locations of those areas and the distance is calculated using the Euclidean formula. According to the author, there are 12 steps in detecting and recognizing faces. In the first step, an RGB image will be read as input.

The next step is to use the face detection code on the input image and then detect the faces from there. Thirdly, cut out all the faces from each picture to create a single image. Reading each photo in the test set (separating faces from the previous step) is the next step. The fifth step is to read the codebook array (database of images).

As a next step, divide the codebook into n images. To calculate the variance for step 7, calculate the variance values for 2 each image in step 6 and place the variance values in a matrix using a formula. After that, calculate the variance based on the calculation formula for the test set (found in step 4).