Design and implementation of attendance and student monitoring system using image processing and artificial intelligence

Trong bối cảnh kinh tế phát triển nhanh chóng, việc quản lý nguồn nhân lực trở nên… 80 trang · Ho Chi Minh City University of Technology and Education · 2022.

• Tác giả: Bui Minh Tri
• Người hướng dẫn: Assoc. Prof. Lê Mỹ Hà
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Automation and Control Engineering Technology
• Đề tài: Design and Implementation of Attendance and Student Monitoring System Using Image Processing and Artificial Intelligence
• Loại tài liệu: graduation project
• Năm xuất bản: 2022
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENT
• GUARANTEE
• ABSTRACT
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Overview
• 1.2. Aims and objectives
• 1.3. Limitation
• 1.4. Thesis structure
• 2. CHAPTER 2: LITERATURE REVIEW
• 2.1. Convolutional neural network
• 2.2. Convolutional layer
• 2.3. ReLu
• 2.4. Pooling Layer
• 3. CHAPTER 3: HARDWARE PLATFORM
• 3.1. 7inch HDMI LCD
• 4. CHAPTER 4: SOFTWARE DESIGN
• 4.1. Face landmark estimation
• 4.2. Simple online real-time object tracking
• 4.3. Face and facemask detection
• 5. CONCLUSION AND FUTURE WORK
• APPENDIX 3: (Graduation Project Assignment)
• APPENDIX 4: (Advisor’s Evaluation sheet)
• APPENDIX 5: (Pre-Defense Evaluation sheet)
• APPENDIX 6: (Evaluation sheet of Defense Committee Member)
• LIST OF FIGURES
• LIST OF TABLES
• ABBREVIATIONS

Tóm tắt

I. Tổng Quan Hệ Thống Giám Sát Điểm Danh Sinh Viên AI 55 ký tự

Trong bối cảnh kinh tế phát triển nhanh chóng, việc quản lý nguồn nhân lực trở nên quan trọng hơn bao giờ hết. Các doanh nghiệp ưu tiên chấm công vì nó ảnh hưởng trực tiếp đến việc tính lương cho nhân viên. Các hệ thống chấm công truyền thống như thẻ giấy, thẻ từ, vân tay và nhận diện khuôn mặt được sử dụng rộng rãi. Các thiết bị này thường đi kèm với cơ sở dữ liệu để phân tích và lưu trữ thông tin. Tuy nhiên, các hệ thống này phụ thuộc nhiều vào tính trung thực và thiếu sự giám sát chặt chẽ. Các hệ thống theo dõi thời gian làm việc thụ động chỉ ghi lại thời gian vào và ra, tạo kẽ hở cho những người lười biếng trốn việc. Tình trạng tương tự cũng xảy ra với hệ thống điểm danh sinh viên, nơi học sinh có thể trốn học. Đề tài này hướng đến giải quyết vấn đề này bằng cách xây dựng một hệ thống giám sát sinh viên tự động và hiệu quả hơn.

1.1. Giới Thiệu Bài Toán Quản Lý Điểm Danh Sinh Viên

Bài toán quản lý điểm danh sinh viên hiện nay còn nhiều hạn chế. Các phương pháp thủ công tốn nhiều thời gian và công sức của giáo viên. Các hệ thống điểm danh truyền thống dễ bị gian lận và không đảm bảo tính chính xác. Do đó, việc xây dựng một hệ thống điểm danh tự động là cần thiết để nâng cao hiệu quả quản lý và giảm thiểu sai sót. Hệ thống này cần đảm bảo tính bảo mật và độ tin cậy cao, đồng thời dễ dàng sử dụng và quản lý.

1.2. Mục Tiêu và Phạm Vi Nghiên Cứu Hệ Thống AI

Mục tiêu chính của nghiên cứu này là thiết kế và xây dựng một hệ thống giám sát và điểm danh sinh viên tự động sử dụng nhận diện khuôn mặt. Hệ thống sẽ ghi lại thời gian vào và ra của sinh viên, xây dựng cơ sở dữ liệu để tương tác thông tin và thiết kế giao diện người dùng (GUI). Hệ thống sẽ chạy thời gian thực trên bo mạch Jetson Nano. Phạm vi nghiên cứu giới hạn ở quy mô một lớp học mô phỏng với 10 sinh viên trong điều kiện ánh sáng đầy đủ và vị trí camera cố định. Hệ thống chỉ nhận diện chính xác khi khuôn mặt không bị che khuất quá nhiều.

II. Thách Thức Hạn Chế Hệ Thống Điểm Danh Bằng AI 59 ký tự

Hệ thống điểm danh sinh viên truyền thống thường gặp nhiều vấn đề như tốn thời gian, dễ gian lận và khó kiểm soát. Việc điểm danh thủ công mất nhiều thời gian của giáo viên và sinh viên. Sinh viên có thể nhờ người khác điểm danh hộ hoặc tự ý bỏ tiết. Các hệ thống chấm công bằng thẻ từ hoặc vân tay cũng có thể bị làm giả hoặc đánh cắp. Do đó, cần có một hệ thống điểm danh tự động, chính xác và bảo mật hơn. Hệ thống này cần giải quyết các vấn đề về an ninh trường học, bảo mật dữ liệu sinh viên và đảm bảo tính công bằng trong quản lý điểm danh.

2.1. Các Vấn Đề An Ninh và Bảo Mật Dữ Liệu Sinh Viên

Một trong những thách thức lớn nhất là đảm bảo an ninh và bảo mật cho dữ liệu sinh viên. Hệ thống cần được bảo vệ khỏi các cuộc tấn công mạng và truy cập trái phép. Dữ liệu cá nhân của sinh viên cần được mã hóa và lưu trữ an toàn. Cần có các biện pháp kiểm soát truy cập chặt chẽ để đảm bảo chỉ những người có thẩm quyền mới có thể truy cập vào cơ sở dữ liệu.

2.2. Yêu Cầu Về Độ Chính Xác và Tính Ổn Định Của AI

Hệ thống điểm danh sử dụng trí tuệ nhân tạo cần đảm bảo độ chính xác cao và hoạt động ổn định trong nhiều điều kiện khác nhau. Hệ thống cần có khả năng nhận diện khuôn mặt chính xác ngay cả khi ánh sáng yếu, góc nhìn thay đổi hoặc sinh viên đeo khẩu trang. Hệ thống cũng cần có khả năng xử lý lượng lớn dữ liệu và hoạt động liên tục mà không bị gián đoạn.

2.3. Giới Hạn Về Phần Cứng và Môi Trường Triển Khai

Hệ thống cần được triển khai trên các thiết bị phần cứng có chi phí hợp lý và dễ dàng bảo trì. Môi trường triển khai có thể có nhiều yếu tố gây nhiễu như ánh sáng thay đổi, tiếng ồn hoặc sự xuất hiện của các vật thể lạ. Hệ thống cần có khả năng thích ứng với các điều kiện môi trường khác nhau để đảm bảo hoạt động ổn định.

III. Phương Pháp Xử Lý Ảnh và Nhận Diện Khuôn Mặt 58 ký tự

Hệ thống sử dụng xử lý ảnh và trí tuệ nhân tạo để nhận diện khuôn mặt và điểm danh sinh viên. Quá trình này bao gồm các bước: phát hiện khuôn mặt, trích xuất đặc trưng khuôn mặt và so sánh với cơ sở dữ liệu. Các thuật toán deep learning như Convolutional Neural Network (CNN) được sử dụng để huấn luyện mô hình nhận diện khuôn mặt. Hệ thống cũng sử dụng các kỹ thuật object detection để phát hiện và theo dõi sinh viên trong lớp học. Theo tài liệu gốc, hệ thống sử dụng Jetson Nano để đảm bảo tính khả thi về chi phí.

3.1. Ứng Dụng Thuật Toán Deep Learning Trong Nhận Diện

Deep learning đóng vai trò quan trọng trong việc xây dựng mô hình nhận diện khuôn mặt chính xác. Các mô hình CNN được huấn luyện trên bộ dữ liệu lớn để học các đặc trưng khuôn mặt phức tạp. Các thuật toán như FaceNet và YOLO được sử dụng để phát hiện và nhận diện khuôn mặt trong thời gian thực. Việc lựa chọn thuật toán phù hợp phụ thuộc vào yêu cầu về độ chính xác và tốc độ xử lý.

3.2. Quy Trình Xử Lý Ảnh và Trích Xuất Đặc Trưng Khuôn Mặt

Quá trình xử lý ảnh bao gồm các bước tiền xử lý như điều chỉnh độ sáng, cân bằng trắng và loại bỏ nhiễu. Sau đó, các thuật toán xử lý ảnh được sử dụng để trích xuất các đặc trưng khuôn mặt quan trọng như vị trí mắt, mũi, miệng và đường viền khuôn mặt. Các đặc trưng này được sử dụng để tạo ra một vector đặc trưng đại diện cho khuôn mặt của sinh viên.

3.3. Tối Ưu Hóa Hiệu Năng Hệ Thống Nhận Diện Thời Gian Thực

Để đảm bảo hệ thống hoạt động thời gian thực, cần tối ưu hóa hiệu năng của các thuật toán xử lý ảnh và nhận diện khuôn mặt. Các kỹ thuật như giảm kích thước ảnh, sử dụng GPU và tối ưu hóa mã nguồn được sử dụng để tăng tốc độ xử lý. Hệ thống cũng cần được thiết kế để xử lý nhiều luồng video đồng thời để có thể giám sát nhiều sinh viên cùng một lúc.

IV. Thiết Kế và Xây Dựng Giao Diện Người Dùng GUI 55 ký tự

Giao diện người dùng (GUI) đóng vai trò quan trọng trong việc tương tác với hệ thống. GUI cần được thiết kế trực quan, dễ sử dụng và cung cấp đầy đủ thông tin cần thiết cho người dùng. GUI cho phép người dùng quản lý dữ liệu sinh viên, xem báo cáo điểm danh và theo dõi trạng thái của hệ thống. Theo tài liệu, GUI được thiết kế để người dùng có thể dễ dàng thao tác và quản lý hệ thống.

4.1. Các Chức Năng Chính Của Giao Diện Quản Lý

GUI cung cấp các chức năng chính như thêm, sửa, xóa dữ liệu sinh viên, xem báo cáo điểm danh, quản lý danh sách lớp học và cấu hình hệ thống. GUI cũng cung cấp các công cụ để theo dõi trạng thái của hệ thống, chẳng hạn như số lượng sinh viên đã được điểm danh, số lượng sinh viên vắng mặt và thời gian hoạt động của hệ thống.

4.2. Thiết Kế Trực Quan và Dễ Sử Dụng Cho Người Dùng

GUI được thiết kế với giao diện trực quan, dễ sử dụng và thân thiện với người dùng. Các chức năng được sắp xếp một cách logic và dễ tìm kiếm. GUI cũng cung cấp các hướng dẫn và trợ giúp để người dùng có thể dễ dàng sử dụng hệ thống. Màu sắc và font chữ được lựa chọn cẩn thận để đảm bảo tính thẩm mỹ và dễ đọc.

4.3. Tích Hợp Cơ Sở Dữ Liệu và Báo Cáo Điểm Danh

GUI được tích hợp với cơ sở dữ liệu để lưu trữ và truy xuất dữ liệu sinh viên và thông tin điểm danh. GUI cũng cung cấp các công cụ để tạo báo cáo điểm danh theo nhiều tiêu chí khác nhau, chẳng hạn như theo ngày, theo lớp học hoặc theo sinh viên. Báo cáo điểm danh có thể được xuất ra các định dạng khác nhau như PDF, Excel hoặc CSV.

V. Kết Quả Thử Nghiệm và Đánh Giá Hiệu Năng 56 ký tự

Hệ thống được thử nghiệm trong môi trường lớp học mô phỏng với 10 sinh viên. Kết quả thử nghiệm cho thấy hệ thống có độ chính xác cao trong việc nhận diện khuôn mặt và điểm danh sinh viên. Tốc độ xử lý của hệ thống đáp ứng yêu cầu thời gian thực. Theo tài liệu, hệ thống đạt tốc độ khung hình thấp nhất là 8fps, đáp ứng yêu cầu ứng dụng thực tế.

5.1. Đánh Giá Độ Chính Xác và Tốc Độ Nhận Diện Khuôn Mặt

Độ chính xác của hệ thống được đánh giá bằng cách so sánh kết quả nhận diện khuôn mặt với dữ liệu thực tế. Tốc độ nhận diện khuôn mặt được đo bằng số lượng khung hình được xử lý mỗi giây (fps). Kết quả cho thấy hệ thống có độ chính xác cao và tốc độ xử lý đáp ứng yêu cầu thời gian thực.

5.2. So Sánh Với Các Phương Pháp Điểm Danh Truyền Thống

Hiệu quả của hệ thống được so sánh với các phương pháp điểm danh truyền thống như điểm danh thủ công và điểm danh bằng thẻ từ. Kết quả cho thấy hệ thống giúp tiết kiệm thời gian, giảm thiểu sai sót và tăng cường tính bảo mật so với các phương pháp truyền thống.

5.3. Phân Tích Ưu Điểm và Hạn Chế Của Hệ Thống AI

Hệ thống có nhiều ưu điểm như độ chính xác cao, tốc độ xử lý nhanh, tính bảo mật cao và khả năng tự động hóa. Tuy nhiên, hệ thống cũng có một số hạn chế như yêu cầu về điều kiện ánh sáng, khả năng nhận diện khuôn mặt bị che khuất và chi phí đầu tư ban đầu.

VI. Kết Luận và Hướng Phát Triển Hệ Thống AI 57 ký tự

Nghiên cứu đã thành công trong việc thiết kế và xây dựng một hệ thống giám sát và điểm danh sinh viên sử dụng xử lý ảnh và trí tuệ nhân tạo. Hệ thống có tiềm năng ứng dụng rộng rãi trong các trường học và tổ chức giáo dục. Trong tương lai, hệ thống có thể được cải tiến để tăng cường độ chính xác, mở rộng phạm vi ứng dụng và tích hợp với các hệ thống khác. Theo tài liệu, hệ thống có thể được cải tiến để nhận diện khuôn mặt khi đeo khẩu trang và phân biệt khuôn mặt thật và giả.

6.1. Tóm Tắt Kết Quả Nghiên Cứu và Đóng Góp

Nghiên cứu đã đóng góp vào việc phát triển các giải pháp điểm danh tự động và hiệu quả hơn. Hệ thống có thể giúp các trường học và tổ chức giáo dục tiết kiệm thời gian, giảm thiểu sai sót và tăng cường tính bảo mật trong quản lý điểm danh.

6.2. Các Hướng Nghiên Cứu và Phát Triển Trong Tương Lai

Trong tương lai, hệ thống có thể được cải tiến để nhận diện khuôn mặt khi đeo khẩu trang, phân biệt khuôn mặt thật và giả, tích hợp với các hệ thống quản lý sinh viên khác và triển khai trên các thiết bị di động. Nghiên cứu cũng có thể tập trung vào việc phát triển các thuật toán nhận diện khuôn mặt mới có độ chính xác cao hơn và khả năng chống lại các cuộc tấn công mạng.

6.3. Ứng Dụng Thực Tế và Tiềm Năng Phát Triển Của AI

Hệ thống có tiềm năng ứng dụng rộng rãi trong các trường học, tổ chức giáo dục, văn phòng và nhà máy. Hệ thống có thể được sử dụng để điểm danh, giám sát an ninh, kiểm soát truy cập và theo dõi thời gian làm việc. Sự phát triển của trí tuệ nhân tạo sẽ mở ra nhiều cơ hội mới cho việc tự động hóa và nâng cao hiệu quả trong nhiều lĩnh vực khác nhau.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý tổ chức và nhân sự tại các cơ sở giáo dục đại học cũng như doanh nghiệp, điểm danh và chấm công giữ vai trò quyết định đến việc kiểm soát kỷ luật và tính toán lương thưởng hoặc chuyên cần. Các giải pháp kiểm soát truyền thống hiện nay gồm có thẻ giấy, thẻ từ, cảm biến vân tay hoặc máy nhận diện khuôn mặt tĩnh đặt tại cửa ra vào. Tuy nhiên, các hệ thống này tồn tại nhược điểm lớn là hoạt động theo phương thức bị động, phụ thuộc hoàn toàn vào tính trung thực của người học hoặc nhân viên mà thiếu sự giám sát liên tục trong suốt thời gian làm việc, học tập. Tình trạng điểm danh hộ hoặc rời khỏi khu vực lớp học sau khi đã thực hiện thao tác check-in tại đầu giờ (trốn tiết, trốn giờ làm) diễn ra phổ biến.

Bên cạnh đó, các hệ thống giám sát tự động thời gian thực hiện đại thường đòi hỏi cấu hình phần cứng phức tạp, giá thành cao, khó khả thi để triển khai đại trà tại từng phòng học riêng lẻ. Xuất phát từ bối cảnh đó, đồ án tốt nghiệp ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa tại Trường Đại học Sư phạm Kỹ thuật TP.HCM thực hiện đề tài nhằm xây dựng một hệ thống điểm danh và giám sát sinh viên mang tính chủ động, vận hành trên phần cứng nhúng chi phí thấp.

Theo văn bản giao nhiệm vụ và thuyết minh đồ án, các mục tiêu và nhiệm vụ nghiên cứu cụ thể được xác định bao gồm:

1. Nghiên cứu tài liệu, khảo sát các mô hình học máy, xử lý ảnh để lựa chọn giải thuật phù hợp cho bài toán phát hiện, theo dõi và nhận diện khuôn mặt.
2. Thiết kế và chế tạo phần cứng hệ thống thực tế hoàn chỉnh, vận hành toàn bộ thuật toán theo thời gian thực trên bo mạch nhúng Jetson Nano.
3. Thiết kế giao diện đồ họa người dùng (GUI) phục vụ công tác quản trị, hiển thị và tương tác hệ thống.
4. Xây dựng cơ sở dữ liệu thời gian thực (Real-time Database) để lưu trữ, truy xuất dữ liệu check-in, check-out và tự động gửi email cảnh báo đối với các trường hợp sinh viên vắng mặt hoặc có tổng thời gian tích lũy trong lớp không đạt chuẩn.
5. Thu thập dữ liệu thực nghiệm, huấn luyện lại bộ phân loại, kiểm tra và đánh giá toàn diện hoạt động của hệ thống.

Về phạm vi và đối tượng nghiên cứu:

• Đối tượng nghiên cứu: Quy trình phát hiện khuôn mặt, nhận diện danh tính và theo dõi chuyển động (tracking) vào/ra của sinh viên trong không gian lớp học.
• Phạm vi không gian và môi trường: Thử nghiệm được tiến hành trong phạm vi một phòng học mô phỏng với điều kiện đủ sáng, vị trí camera cố định và tập dữ liệu kiểm thử gồm 10 sinh viên di chuyển với vận tốc trung bình.
• Giới hạn kỹ thuật: Hệ thống nhận diện dựa trên đặc trưng khuôn mặt không bị che khuất lớn (không đeo khẩu trang, không đeo kính râm); chưa tích hợp thuật toán phân biệt giữa khuôn mặt thật và ảnh giả (chống giả mạo); nghiên cứu được nghiệm thu vào tháng 08/2022.

---

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng lý thuyết toàn diện dựa trên các mô hình thị giác máy tính và học sâu (Deep Learning) hiện đại, kết hợp các giải thuật ước lượng không gian và lọc nhiễu tín hiệu:

Khung lý thuyết và mô hình giải thuật

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Nền tảng trích xuất đặc trưng không gian từ dữ liệu ảnh thông qua các lớp tích chập (Convolutional layer), hàm kích hoạt phi tuyến (ReLU, Leaky ReLU), các lớp gộp giảm chiều dữ liệu (Max Pooling, Average Pooling) và lớp kết nối đầy đủ (Fully Connected layer) phục vụ phân loại.
• Họ mô hình phát hiện đối tượng YOLO (You Only Look Once): Trọng tâm là kiến trúc YOLOv4 và YOLOv4-tiny. Tác giả phân tích chi tiết cơ chế phân chia lưới đặc trưng đa tỷ lệ (Multi-scale feature maps: 13x13, 26x26, 52x52), sử dụng khung neo (Anchor boxes), kỹ thuật triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) và các cải tiến cấu trúc mạng:
  • Cross-Stage Partial Connection (CSP): Giảm khối lượng tính toán và tối ưu luồng gradient.
  • Spatial Pyramid Pooling (SPP) & Path Aggregation Network (PANet): Mở rộng trường tiếp nhận (receptive field) và kết hợp thông tin đặc trưng tầng thấp - tầng cao.
  • Spatial Attention Model (SAM) & Cross mini-Batch Normalization (CmBN): Tăng cường trọng số chú ý không gian và chuẩn hóa mini-batch ổn định gradient.
  • Data Augmentation: Áp dụng các kỹ thuật Mosaic, CutMix, Self-Adversarial Training nhằm hạn chế hiện tượng quá khớp (overfitting).
• Hàm mất mát bounding box: Phân tích tiến trình từ IoU, GIoU, DIoU đến CIoU (Complete IoU Loss), trong đó CIoU bổ sung hệ số phạt tỷ lệ khung hình giữa bounding box dự đoán và nhãn thực tế (ground truth).
• Trích xuất đặc trưng và nhận diện khuôn mặt: Phương pháp ước lượng 68 điểm mốc khuôn mặt (Face landmark estimation); mạng FaceNet huấn luyện với hàm mất mát Triplet Loss để ánh xạ khuôn mặt vào không gian vector đặc trưng; kết hợp thuật toán K láng giềng gần nhất (K-Nearest Neighbors - KNN) để phân loại danh tính.
• Giải thuật theo dõi đối tượng (Object Tracking): Tiếp cận bài toán theo dõi đa đối tượng (Multiple Object Tracking - MOT) thông qua giải thuật SORT (Simple Online and Realtime Tracking) kết hợp bộ lọc Kalman (Kalman Filter) để duy trì ID liên tục qua các khung hình, cùng việc so sánh với các thuật toán Meanshift và Optical Flow (Lucas-Kanade).

Phương pháp nghiên cứu và nguồn dữ liệu

• Phương pháp thực nghiệm và tối ưu hóa hệ thống nhúng: Huấn luyện mô hình phát hiện trên môi trường GPU Google Colab, sau đó chuyển đổi và tối ưu hóa suy luận mô hình sang TensorRT (định dạng FP16) để thực thi trực tiếp trên phần cứng Jetson Nano.
• Phương pháp đánh giá định lượng: Sử dụng ma trận nhầm lẫn (Confusion Matrix), các chỉ số Precision, Recall, F1-Score, mAP (mean Average Precision), diện tích dưới đường cong ROC (AUC-ROC) cho bài toán nhận diện; các chỉ số MOTA (Multiple Object Tracking Accuracy) và MOTP (Multiple Object Tracking Precision) cho bài toán theo dõi.
• Nguồn dữ liệu sử dụng: Bộ dữ liệu chuẩn quốc tế LFW (Labeled Faces in the Wild), bộ dữ liệu Face Mask Dataset, và tập dữ liệu ảnh khuôn mặt thực tế của 10 sinh viên được thu thập tại phòng thí nghiệm ISLab.

---

Thiết kế và triển khai

Hệ thống được thiết kế hoàn chỉnh theo dạng một khối thiết bị điều khiển tích hợp (dạng tủ điện mini), đồng bộ giữa phần cứng biên và dịch vụ dữ liệu đám mây.

Thành phần phần cứng	Thông số kỹ thuật / Đặc tính trong đồ án	Vai trò trong hệ thống
Bo mạch trung tâm	NVIDIA Jetson Nano Developer Kit (GPU 128-core Maxwell, CPU Quad-core ARM A57 @ 1.43 GHz, RAM 4 GB 64-bit LPDDR4, tiêu thụ < 5W)	Xử lý tính toán cục bộ, chạy mô hình AI, quản lý luồng dữ liệu
Cảm biến thị giác	02 Webcam Logitech C270 (Độ phân giải HD 720p/30fps, FOV 55 độ, tích hợp RightLight 2)	Thu nhận luồng video tại khu vực cửa ra vào và không gian lớp học
Giao tiếp mạng	Module không dây 8265Aca / Cổng Gigabit Ethernet	Truyền nhận dữ liệu không dây với máy chủ Firebase
Màn hình hiển thị	Màn hình LCD 7 inch giao tiếp HDMI	Giao diện tương tác và giám sát trực tiếp tại chỗ
Thiết bị ngoại vi	Bàn phím, chuột máy tính, loa Bluetooth	Nhập liệu quản trị và phát âm thanh cảnh báo đeo khẩu trang

Kiến trúc luồng xử lý phần mềm

Hệ thống phần mềm trên Jetson Nano được thiết kế vận hành đa luồng (Multi-threading) để bảo đảm tính thời gian thực:

• Luồng 2 (Main Thread - Xử lý thị giác): Tiếp nhận khung hình từ camera -> Chạy mô hình YOLOv4-tiny (đã tối ưu hóa qua TensorRT) để phát hiện vị trí khuôn mặt và phát hiện khẩu trang -> Trích xuất 68 điểm mốc khuôn mặt -> Đưa qua FaceNet trích xuất vector đặc trưng -> Thuật toán KNN (với tham số $K=24$) xác định danh tính sinh viên -> Thuật toán SORT cập nhật vị trí và duy trì ID sinh viên. Nếu phát hiện sinh viên đeo khẩu trang qua vùng quan sát, hệ thống kích hoạt loa cảnh báo yêu cầu tháo khẩu trang để nhận diện.
• Luồng 3 (Data Thread - Quản trị và đồng bộ dữ liệu): Ghi nhận các mốc thời gian vào/ra, tính toán thời gian hiện diện tích lũy trong lớp -> Đẩy dữ liệu trực tiếp lên Firebase Realtime Database.
• Cấu trúc Cơ sở dữ liệu Firebase: Bao gồm bảng danh sách sinh viên (student list), bảng nhật ký kiểm tra vào/ra (check table), bảng tổng hợp điểm danh chuyên cần (attendance table) và bảng người dùng quản trị (users).
• Giao diện người dùng (GUI): Xây dựng gồm 4 trang chức năng: Trang đăng nhập (Home/Login page), Trang giám sát hiển thị thời gian thực (Displaying page), Trang truy vấn và trích xuất dữ liệu (Data page), Trang thu thập và tạo mới dữ liệu sinh viên (Creating data page).

---

Nội dung chính theo từng chương

Chapter 1: Introduction

Chương 1 trình bày tổng quan về nhu cầu cấp thiết của việc quản lý nhân sự và điểm danh sinh viên trong thời đại chuyển đổi số. Tác giả phân tích các hạn chế của những phương pháp điểm danh truyền thống (thẻ giấy, thẻ từ, dấu vân tay, nhận diện mặt thụ động) do dễ bị lợi dụng kẽ hở trốn tiết. Từ đó, chương xác định 4 mục tiêu cụ thể của đề tài, các giới hạn nghiên cứu (phòng học thử nghiệm, tập dữ liệu 10 đối tượng, ánh sáng ổn định), phương pháp tiếp cận và bố cục tổng thể gồm 6 chương với 61 trang tài liệu.

Chapter 2: Literature review

Chương 2 cung cấp toàn bộ nền tảng lý thuyết và nghiên cứu liên quan. Tác giả trình bày chi tiết về cấu trúc mạng CNN, các hàm kích hoạt (ReLU, Leaky ReLU), cơ chế hoạt động của mạng phát hiện đối tượng YOLO từ phiên bản gốc đến YOLOv4; phân tích toán học các hàm mất mát bounding box (IoU, GIoU, DIoU, CIoU); làm rõ vai trò của các khối cấu trúc CSP, SPP, PANet, SAM, CmBN và các kỹ thuật tăng cường dữ liệu (Mosaic, CutMix, SAT). Đồng thời, chương hệ thống hóa lý thuyết về bài toán tracking (SOT, MOT, Meanshift, Optical Flow, SORT, Kalman Filter) và các bộ chỉ số đo lường hiệu năng của mô hình học sâu.

Chapter 3: The hardware platform

Chương 3 mô tả cấu hình chi tiết và sơ đồ kết nối vật lý của phần cứng hệ thống. Thiết bị trung tâm là bo mạch NVIDIA Jetson Nano tích hợp GPU Maxwell 128 lõi, kết nối với 2 webcam Logitech C270 qua cổng USB, màn hình LCD 7 inch qua cổng HDMI, loa cảnh báo qua kết nối Bluetooth và kết nối Internet thông qua module Wifi 8265Aca. Chương cũng minh họa quy cách đóng gói phần cứng thực tế dạng hộp điều khiển nhỏ gọn, đảm bảo tính thẩm mỹ và độ bền công nghiệp khi lắp đặt tại các phòng học.

Chapter 4: Software design

Chương 4 tập trung vào thiết kế chi tiết thuật toán và giải pháp phần mềm. Tác giả trình bày cấu trúc mạng YOLOv4-tiny (kích thước trọng số ~16 MB, chỉ sử dụng 2 đầu ra YOLO heads và 29 lớp tích chập huấn luyện trước so với 137 lớp của YOLOv4 đầy đủ) nhằm đáp ứng năng lực xử lý giới hạn của Jetson Nano. Chương làm rõ quy trình trích xuất 68 điểm mốc khuôn mặt, cơ chế huấn luyện FaceNet với hàm Triplet Loss, thuật toán theo dõi SORT, giải pháp phân luồng đa nhiệm (Multi-threading) trên CPU, cấu trúc các bảng trong cơ sở dữ liệu Firebase và thiết kế chi tiết các màn hình chức năng của giao diện đồ họa GUI.

Chapter 5: Experimental result, comparison, and evaluation

Chương 5 công bố các kết quả thực nghiệm đạt được trên môi trường huấn luyện Google Colab và trên bo mạch Jetson Nano thực tế. Tác giả trình bày kết quả đánh giá mô hình YOLOv4-tiny khi chuyển đổi sang TensorRT (FP16), đồ thị huấn luyện hàm mất mát và IoU của mô hình phát hiện, đánh giá mô hình FaceNet trên tập dữ liệu LFW, ma trận nhầm lẫn của bộ phân loại KNN tại $K=24$ trên tập dữ liệu 10 sinh viên. Đồng thời, chương minh họa kết quả tương tác dữ liệu trên Firebase (bảng điểm danh ngày 17/08/2022), hoạt động giám sát trên GUI và chức năng tự động gửi email thông báo sinh viên vắng mặt.

Chapter 6: Conclusion and future works

Chương 6 tổng kết các kết quả đạt được đối chiếu với mục tiêu ban đầu, xác nhận hệ thống đã hoàn thành đầy đủ cả về thiết kế phần cứng và phần mềm, vận hành ổn định ở mức chi phí thấp. Chương cũng chỉ rõ các mặt hạn chế còn tồn tại và đề xuất định hướng phát triển trong tương lai nhằm nâng cao khả năng ứng dụng thực tế.

---

Kết quả và đóng góp

Kết quả định lượng và tính năng thực tế

• Tối ưu hóa mô hình và tốc độ khung hình: Triển khai thành công mô hình YOLOv4-tiny kết hợp chuyển đổi sang định dạng TensorRT (FP16 precision) trên Jetson Nano. Tốc độ khung hình xử lý thấp nhất của toàn bộ hệ thống đạt 8 FPS, đáp ứng yêu cầu xử lý thời gian thực đối với luồng di chuyển của sinh viên trong phòng học.
• Hiệu năng nhận diện và phân loại: Đánh giá mô hình nhận diện khuôn mặt sử dụng FaceNet kết hợp thuật toán phân loại KNN đạt độ chính xác cao trên tập dữ liệu thực nghiệm gồm 10 cá nhân tại tham số $K=24$.
• Hệ thống cảnh báo và cơ sở dữ liệu: Đồng bộ thời gian thực toàn bộ lịch sử ra vào và tổng thời gian có mặt của sinh viên lên Firebase Realtime Database. Hệ thống tự động phát hiện các sinh viên vắng mặt hoặc không đủ thời gian học tập tiêu chuẩn để gửi email cảnh báo tự động đến hòm thư cá nhân.

Tiêu chí đánh giá	Kết quả ghi nhận trong đồ án
Phần cứng trung tâm	NVIDIA Jetson Nano (4GB LPDDR4, GPU 128-core Maxwell)
Mô hình phát hiện	YOLOv4-tiny (tối ưu hóa TensorRT FP16, dung lượng trọng số ~16 MB)
Mô hình trích xuất đặc trưng	FaceNet (huấn luyện với Triplet Loss, trích xuất 68 điểm mốc)
Thuật toán phân loại danh tính	K-Nearest Neighbors (KNN) tại $K=24$
Giải thuật theo dõi (Tracking)	SORT kết hợp bộ lọc Kalman
Tốc độ xử lý tối thiểu	8 FPS trên bo mạch nhúng
Dịch vụ dữ liệu đám mây	Firebase Realtime Database

Đóng góp của đề tài

1. Đề xuất giải pháp điểm danh và giám sát sinh viên mang tính chủ động (proactive recognition), khắc phục triệt để lỗ hổng của các phương pháp điểm danh thụ động truyền thống bằng cách ghi nhận liên tục thời gian hiện diện thực tế của sinh viên trong lớp học.
2. Xây dựng một cấu trúc phần cứng nhúng tích hợp hoàn chỉnh với chi phí thấp, tối ưu hóa thành công các mô hình học sâu phức tạp (phát hiện, theo dõi, nhận diện) để chạy trực tiếp trên thiết bị biên (Edge AI - Jetson Nano) mà không phụ thuộc vào máy chủ GPU đắt tiền.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nhận xét của giảng viên hướng dẫn và phần tự đánh giá của tác giả trong đồ án, các hạn chế và hướng mở của nghiên cứu bao gồm:

Hạn chế kỹ thuật

• Môi trường thử nghiệm và tập dữ liệu: Hệ thống mới chỉ được kiểm nghiệm trong điều kiện phòng học mô phỏng cụ thể với nguồn dữ liệu hạn chế (10 sinh viên), chưa được thử nghiệm tại nhiều môi trường có điều kiện ánh sáng phức tạp khác nhau.
• Vấn đề quang học và góc đặt camera: Các môi trường khác nhau đòi hỏi các vị trí bố trí camera khác nhau để tránh hiện tượng ngược sáng (backlit) làm suy giảm chất lượng ảnh đầu vào.
• Tính năng bảo mật khuôn mặt: Hệ thống chưa tích hợp thuật toán phân biệt khuôn mặt thật và giả mạo (Face Liveness Detection / Anti-spoofing).
• Hạn chế khi che khuất đặc trưng: Hệ thống chỉ nhận diện chính xác khi khuôn mặt không bị che khuất quá nhiều bởi khẩu trang hoặc kính râm.
• Giả định chuyển động: Hệ thống giả định sinh viên di chuyển với vận tốc trung bình qua vùng quan sát của camera.

Hướng nghiên cứu tiếp theo

• Mở rộng quy mô tập dữ liệu nhận diện cho toàn bộ sinh viên trong một khoa hoặc trường đại học.
• Bổ sung module thị giác chống giả mạo khuôn mặt (Anti-spoofing) để ngăn chặn việc sử dụng hình ảnh hoặc video giả mạo.
• Tối ưu hóa thuật toán xử lý ảnh nhằm khắc phục hiện tượng ngược sáng và thích ứng với nhiều điều kiện chiếu sáng khác nhau.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo kỹ thuật hữu ích đối với sinh viên, giảng viên và các kỹ sư nghiên cứu trong các ngành:

• Công nghệ Kỹ thuật Điều khiển và Tự động hóa, Kỹ thuật Điện - Điện tử: Tham khảo quy trình thiết kế, tích hợp phần cứng nhúng, giao tiếp ngoại vi và thiết kế giao diện điều khiển thực tế.
• Khoa học Máy tính và Công nghệ Thông tin: Tham khảo phương pháp triển khai chuỗi mô hình thị giác máy tính kết hợp (Phát hiện YOLOv4-tiny + Trích xuất FaceNet + Theo dõi SORT + Phân loại KNN), kỹ thuật nén và tăng tốc suy luận mô hình học sâu bằng NVIDIA TensorRT trên bo mạch Jetson Nano, cũng như cách thức tích hợp cơ sở dữ liệu thời gian thực Firebase.

---

Câu hỏi thường gặp

1. Đồ án sử dụng phần cứng xử lý trung tâm nào và tốc độ khung hình (FPS) thực tế đạt được là bao nhiêu?
Hệ thống sử dụng bo mạch nhúng NVIDIA Jetson Nano Developer Kit (GPU Maxwell 128 lõi, CPU Quad-core ARM A57 @ 1.43 GHz, RAM 4 GB). Tốc độ khung hình thấp nhất đo được trong quá trình vận hành thực tế là 8 FPS, đáp ứng tốt yêu cầu xử lý thời gian thực cho ứng dụng giám sát lớp học.

2. Tại sao tác giả lại lựa chọn mô hình YOLOv4-tiny thay vì YOLOv4 bản đầy đủ?
YOLOv4-tiny là phiên bản nén của YOLOv4 với kích thước file trọng số chỉ khoảng 16 MB, sử dụng 2 đầu ra YOLO heads và 29 lớp tích chập huấn luyện trước (thay vì 137 lớp như YOLOv4). YOLOv4-tiny cho tốc độ xử lý nhanh gấp khoảng 8 lần so với YOLOv4 đầy đủ, phù hợp với năng lực tính toán giới hạn của bo mạch nhúng Jetson Nano.

3. Quy trình nhận diện và theo dõi danh tính sinh viên được thực hiện qua các giải thuật nào?
Quy trình gồm 4 bước: (1) Phát hiện khuôn mặt và khẩu trang bằng YOLOv4-tiny; (2) Trích xuất 68 điểm mốc khuôn mặt và sinh vector đặc trưng bằng FaceNet (huấn luyện với Triplet Loss); (3) Phân loại danh tính bằng thuật toán K-Nearest Neighbors (KNN) tại $K=24$; (4) Duy trì và theo dõi ID của sinh viên qua từng khung hình bằng thuật toán SORT kết hợp bộ lọc Kalman.

4. Cơ sở dữ liệu và tính năng cảnh báo của hệ thống hoạt động như thế nào?
Dữ liệu điểm danh được đẩy và cập nhật theo thời gian thực lên Firebase Realtime Database (gồm các bảng student list, check table, attendance table). Khi hệ thống tổng hợp thấy sinh viên vắng mặt hoặc có tổng thời gian hiện diện trong lớp ngắn hơn thời gian tiêu chuẩn, hệ thống sẽ tự động kích hoạt gửi email cảnh báo đến sinh viên đó.

5. Hạn chế lớn nhất của hệ thống được giáo viên hướng dẫn chỉ ra là gì?
Hạn chế lớn nhất được giảng viên hướng dẫn (PGS. Lê Mỹ Hà) đánh giá là hệ thống chưa được thử nghiệm trong nhiều môi trường thực tế khác nhau và nguồn dữ liệu kiểm thử còn hạn chế (10 đối tượng). Các môi trường khác nhau cần vị trí bố trí camera tối ưu để tránh hiện tượng ngược sáng làm ảnh hưởng đến độ chính xác nhận diện.

---

Kết luận

Đồ án tốt nghiệp của tác giả Bùi Minh Trí đã hoàn thành trọn vẹn mục tiêu thiết kế và chế tạo hệ thống tự động điểm danh và giám sát sinh viên ứng dụng xử lý ảnh và trí tuệ nhân tạo trên nền tảng Jetson Nano. Đề tài kết hợp thành công chuỗi mô hình học sâu gồm YOLOv4-tiny tối ưu hóa qua TensorRT, mạng FaceNet, giải thuật theo dõi SORT và thuật toán phân loại KNN, đạt tốc độ xử lý thời gian thực tối thiểu 8 FPS. Hệ thống được trang bị giao diện đồ họa người dùng trực quan, kết nối cơ sở dữ liệu thời gian thực Firebase và hỗ trợ tự động gửi email cảnh báo chuyên cần, mang lại giải pháp quản lý lớp học chủ động với chi phí đầu tư phần cứng hợp lý.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY DESIGN AND IMPLEMENTATION OF ATTENDANCE AND STUDENT MONITORING SYSTEM USING IMAGE PROCESSING AND ARTIFICIAL INTELLIGENCE SUPERVISOR: LE MY HA, Assoc.Prof STUDENT: BUI MINH TRI SKL 0 0 9 1 6 7 Ho Chi Minh City, August, 2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT DESIGN AND IMPLEMENTATION OF ATTENDANCE AND STUDENT MONITORING SYSTEM USING IMAGE PROCESSING AND ARTIFICIAL INTELLIGENCE BUI MINH TRI - 18151041 MAJOR: AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY ADVISOR: LE MY HA, Assoc.Prof Ho Chi Minh City, August 2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT DESIGN AND IMPLEMENTATION OF ATTENDANCE AND STUDENT MONITORING SYSTEM USING IMAGE PROCESSING AND ARTIFICIAL INTELLIGENCE BUI MINH TRI - 18151041 MAJOR: AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY ADVISOR: LE MY HA, Assoc.Prof Ho Chi Minh City, August 2022 APPENDIX 3: (Graduation Project Assignment) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, August , 2022 GRADUATION PROJECT ASSIGNMENT Student name: Bui Minh Tri Student ID: 18151041___________________ Major: Automation and control engineering Class: 18151CLA2 technology Advisor: Assoc. Prof Le My Ha Phone number: 036.8404 Date of assignment: Date of submission: 1. Project title: Design and implementation of attendance and student monitoring system using image processing and artificial intelligence. Initial materials provided by the advisor: - Image processing and machine learning documents such as papers and books - The related thesis of previous students 3.

Content of the project: - Refer to documents, survey, read and summarize to determine the project directions - Survey to choose the suitable model - Write programs for Jetson Nano - Test and evaluate the completing system - Design the graphical user interface - Upload and retrieval of data to the database - Send email warning for absent students or students have the cumulated time is shorter than the standard time - Collect new data and retrain the classifier - Write a report - Prepare slides for presenting 4. Final product: The hardware and software of an attendance system, real-time database, user interface CHAIR OF THE PROGRAM ADVISOR (Sign with full name) (Sign with full name) i APPENDIX 4: (Advisor’s Evaluation sheet) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, August , 2022 ADVISOR’S EVALUATION SHEET Student name: Bui Minh Tri Student ID: 18151041 Major: Automation and control engineering technology Project title: Design and implementation of attendance and student monitoring system using image processing and artificial intelligence Advisor: Assoc. Prof Lê Mỹ Hà EVALUATION 1. Content of the project: - The thesis has a total of six chapters with 61 pages - The construction and design of attendance and student monitoring system, in the particular room.

- The real system is completed following the objectives in the proposal. Strengths: - The system can support the teachers and administration in terms of taking attendance and monitoring students who go into or go out of the class. - The system is designed with image processing and artificial intelligence. - This project is low-cost.

- The execution time is suitable for practical application. - The accuracy of the system is guaranteed. Weaknesses: - The system is not tested in different environments and with a limited source of dataset. Different environments require different camera positions to avoid the backlit.

Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, month day , year ADVISOR (Sign with full name) ii APPENDIX 5: (Pre-Defense Evaluation sheet) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, August , 2022 PRE-DEFENSE EVALUATION SHEET Student name: Bui Minh Tri Student ID: 18151041 Major: Automation and control engineering technology Project title: Design and implementation of attendance and student monitoring system using image processing and artificial intelligence Name of Reviewer:. Content and workload of the project. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, month day , year REVIEWER (Sign with full name) iii APPENDIX 6: (Evaluation sheet of Defense Committee Member) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- EVALUATION SHEET OF DEFENSE COMMITTEE MEMBER Student name:. Name of Defense Committee Member:.

Content and workload of the project .) Ho Chi Minh City, month day , year COMMITTEE MEMBER (Sign with full name) iv ACKNOWLEDGEMENT We would like to sincerely thank Professor Le My Ha for his thorough instruction, which helped us to have the necessary information to use for completing the thesis. During the whole progress, even if we did our best to complete everything completely, mistakes are still inevitable. We anticipate having my advisor's focused assistance and direction to help us gain more experience and successfully complete the topic project. On the other hand, we would like to express our sincere thanks to the Faculty of Hight Quality Training and Faculty of Electrical and Electronics Engineering where we obtained basic knowledge and experience.

Moreover, we also would like to thank ISLab members who helps us in detailing the works of this project. They shared valuable experience and knowledge with us. Ultimately, we would like to express our gratitude to our families for their support of our team throughout the implementation of this thesis. Sincere thanks for everything! v GUARANTEE This thesis is the result of our study and implementation, which we hereby formally proclaim.

We did not plagiarize from a published article without author acceptance. We will take full responsibility for any violations that may have occurred. Authors Bui Minh Tri vi ABSTRACT Face recognition is a computer application that detects, tracks, identifies and verifies human faces in images or videos captured with a digital camera. There has been significant progress in the field of face detection and recognition for security, identification, and attendance purposes, we are inspired by that to apply face recognition technology to every walk of life.

In the university, we witness teachers take a lot of time to take students’ attendance. Moreover, some attendance systems in the workspace are not suitable for taking attendance of students. All reasons mentioned above are the motivation for me to do this project. Furthermore, we also propose this solution to substitute the traditional attendance system because of our proactive recognition.

The attendance system is embedded in Jetson Nano because we want to design an affordable system. We utilize face detection and recognition functions that are available on traditional systems and add the face tracker. To manage information, we update all recorded data into the server database. For users to operate easily, we design a graphical user interface.

The experiment is produced in a particular room simulates a practical lesson, with limited identities in the dataset. The lowest frame per second of the system is 8fps but still satisfies real-time practical applications. vii CONTENTS ACKNOWLEDGEMENT. vii LIST OF FIGURES.

xii LIST OF TABLES. xv CHAPTER 1: INTRODUCTION. Aims and objectives. 2 CHAPTER 2: LITERATURE REVIEW.

Convolutional neural network. Fully connected layer. Multi-scale feature maps. Forecast bounding box.

Non-max suppression. Cross-stage partial connection (CSP). Spatial pyramid pooling (SPP). Path aggregation network (PAN).

Spatial attention model (SAM). Cross mini batch normalization (CmBN). Types of object tracking. Evaluating deep learning models.

23 CHAPTER 3: HARDWARE PLATFORM. 7inch HDMI LCD. 28 CHAPTER 4: SOFTWARE DESIGN. Face landmark estimation.

Simple online real-time object tracking. Face and facemask detection. CONCLUSION AND FUTURE WORK. 59 xi LIST OF FIGURES Figure 1.

An attendance machine using magnetic cards, and biometric fingerprints. A convolutional neural network. Convolution in the convolutional layer. An illustration of convolution with stride equals 1 in CNN.

An example using zero padding. The graph of ReLu function. An example of using ReLu. An example of using max pooling.

The fully connected layer in CNN. The output tensor of YOLO. Multi-scale feature maps for detection. The output is 3 feature maps with different sizes 13x13, 26x26 and 52x52 respectively.

Anchor box in object detection. Formula to estimate bounding box from anchor box. The outer dashed rectangle is the anchor box of size (pw , ph ). The application of Non-Max Suppression algorithm.

The overall architecture of YOLOv4 [2]. The component blocks in YOLOv4 architecture. Cross-stage partial connection. The comparison of DenseNet and CSPDenseNet [4].

The results of Mosaic. The results of Mixup, Cutout, CutMix. Spatial pyramid pooling. On the right-hand side, SPP is in previous research.

On the right-hand side, modified SPP is in YOLOv4. PANet overall architecture. (a) Feature extractor uses the FPN architecture. (b) The new augmented bottom-up pathway is added to the FPN architecture.

(c) The adaptative feature pooling layer. (d) Two branches predict the bounding box coordinated and the object class. (e) One branch predicts the binary mask of the object. The dashed lines correspond to links between low-level and high-level patterns.

The red one is in the FPN consisting of more than 100 layers. The green one is a shortcut in the PANet consists of less than 10 layers. Spatial attention model. Spatial attention model.

(a) SAM is in previous research. (b) SAM is modified in YOLOv4. Cross mini-Batch Normalization. The description of Meanshift.

A typical confusion matrix. A typical ROC curves. Overall system connection. The actual system.

Connecting port on Jetson Nano board. The specifications of 7inch HDMI LCD. 7inch HDMI LCD. Additional computer accessories.

The comparison between different YOLO version. Leaky ReLu activation function. These feature points, located on every face, are drawn along the eyebrows, the eyes, the mouse, and the chin. One of the parts of the facial recognition process.

Training model using triplet loss. Kalman filter algorithm. The home page in GUI. This page requires the user to log in before entering other pages.

The data page in GUI. This page allows for retrieval into the database server. The displaying page in GUI. The user can monitor the whole system on this page.

The creating data page in GUI. Facial data of new members can be added to this page. Login function on the website. Main page on the website.

The structure of student list in the database. The structure of check table in the database. The structure of attendance table in the database. The list of users in the database.

CPU is divided into multiple threadings. The flowchart in thead 2. This is considered the main thread of the system. The flowchart in thead 3.

This is considered the data thread of the system 43 Figure 4. Convert the original model to Tensorrt. Face mask dataset. Labeled Faces in the Wild dataset.

Training graph of FaceNet. Training IoU and loss graph of the detection model. Evaluation graph of FaceNet on LWF dataset. Confusion matrix at K=24.

There are 10 people in the dataset. The final result. GUI requires to login before controlling and monitoring the system. Retrieval of database.

The result after updating data into Firebase. (a) The result in the attendance table. (b) The result in the check table. The result in the student list after updating.

Send the warning email. The retrieved data from the database on 17 August. 56 xiv LIST OF TABLES Table 2. The list of improvements in YOLOv4.

The specifications of Jetson Nano. Multiple kinds of affine transformation. GPU configuration in Google Colab. Training parameter of the detection model.

Training parameter of the recognition model. Evaluate average precision following each class. Evaluate TP, TN, FP, FN for confident threshold = 0.25 with average IoU = 65.