Tài liệu: Luận văn a jetson xavier based smart check in

Luận văn nghiên cứu hệ thống check-in thông minh sử dụng Jetson Xavier, ứng dụng trí tuệ nhân tạo và thị giác máy tính để tự động hóa quy trình điểm danh.

• Tác giả: Le Tu Ngoc Minh
• Người hướng dẫn: PGS. Pham Quoc Cuong
• Trường học: Trường Đại học Bách khoa, Đại học Quốc gia TP.HCM
• Chuyên ngành: Kỹ thuật Máy tính
• Đề tài: A Jetson Xavier-based Smart Check In/Check Out System
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Tóm tắt

I. Tổng quan hệ thống Smart Check in dựa trên NVIDIA Jetson Xavier NX

Sự phát triển vượt bậc của trí tuệ nhân tạo đã thúc đẩy các giải pháp kiểm soát ra vào thông minh lên một tầm cao mới. Đồ án nghiên cứu tập trung vào việc xây dựng hệ thống Smart Check in tự động, tận dụng sức mạnh xử lý vượt trội của NVIDIA Jetson Xavier NX. Đây là một máy tính nhúng mạnh mẽ, được thiết kế chuyên biệt cho các tác vụ Edge AI phức tạp. Thay vì phụ thuộc vào điện toán đám mây với độ trễ cao, việc xử lý dữ liệu trực tiếp tại biên giúp hệ thống phản hồi gần như tức thì. Công nghệ này không chỉ giải quyết bài toán quản lý nhân sự mà còn tối ưu hóa quy trình vận hành trong các tổ chức hiện đại. Hệ thống tích hợp các mô hình Deep Learning tiên tiến để thực hiện nhận diện khuôn mặt và theo dõi người dùng trong thời gian thực. Việc kết hợp giữa phần cứng hiệu năng cao và các thuật toán tối ưu tạo ra một giải pháp Biometric Authentication an toàn và tin cậy. Tài liệu gốc khẳng định mục tiêu chính là triển khai thành công mô hình trên thiết bị nhúng với độ chính xác và tốc độ khung hình (FPS) đạt mức tối ưu.

1.1. Vai trò của NVIDIA Jetson Xavier NX trong Edge AI

NVIDIA Jetson Xavier NX đóng vai trò là bộ não trung tâm của toàn bộ hệ thống. Với kiến trúc GPU mạnh mẽ, thiết bị này cho phép chạy các mô hình Neural Networks phức tạp mà vẫn duy trì mức tiêu thụ năng lượng thấp. Khả năng tính toán song song của CUDA giúp đẩy nhanh quá trình xử lý hình ảnh từ camera. So với các dòng Raspberry Pi hay Jetson Nano, Jetson AGX Xavier và Xavier NX mang lại hiệu suất vượt trội trong các tác vụ Computer Vision đòi hỏi khắt khe.

1.2. Xu hướng phát triển Smart Attendance System hiện nay

Các hệ thống điểm danh truyền thống đang dần được thay thế bởi Smart Attendance System dựa trên sinh trắc học. Giải pháp này loại bỏ các rủi ro về việc gian lận thẻ từ hoặc mã QR. Sử dụng Face Recognition kết hợp với Internet of Things (IoT) tạo ra một hệ sinh thái quản lý khép kín. Dữ liệu được cập nhật liên tục lên máy quản trị, giúp người quản lý nắm bắt tình hình ra vào một cách minh bạch và chính xác.

II. Thách thức trong bảo mật Biometric Authentication và Edge AI

Triển khai một hệ thống Face Recognition trên các thiết bị nhúng đối mặt với nhiều rào cản kỹ thuật đáng kể. Vấn đề lớn nhất nằm ở sự cân bằng giữa độ chính xác của mô hình và tốc độ xử lý thực tế. Các mô hình Convolutional Neural Networks (CNN) thường đòi hỏi tài nguyên tính toán rất lớn, vượt quá khả năng của nhiều hệ thống nhúng thông thường. Ngoài ra, các hình thức tấn công giả mạo (spoofing) bằng ảnh chụp hoặc video đang trở nên tinh vi hơn, đòi hỏi hệ thống phải có khả năng Face anti-spoofing mạnh mẽ. Một thách thức khác là điều kiện ánh sáng và góc chụp thay đổi liên tục trong môi trường thực tế, gây ảnh hưởng đến hiệu suất của Computer Vision. Hệ thống cần phải xử lý luồng dữ liệu video liên tục mà không gây ra hiện tượng nghẽn cổ chai hoặc quá nhiệt cho thiết bị. Theo báo cáo nghiên cứu, việc quản lý đám đông tại các khu vực ra vào đông đúc cũng là bài toán khó cần lời giải bằng các thuật toán theo dõi đối tượng thông minh.

2.1. Ngăn chặn gian lận bằng kỹ thuật Face Anti spoofing

Để đảm bảo tính an toàn cho Biometric Authentication, hệ thống tích hợp khung làm việc PatchNet. Kỹ thuật này giúp phân biệt giữa khuôn mặt thật và các hình ảnh giả mạo từ màn hình hoặc giấy in. Việc huấn luyện trên các tập dữ liệu như CASIA-MFSD và Replay-Attack giúp mô hình đạt độ tin cậy cao. Đây là bước quan trọng để loại bỏ các lỗ hổng bảo mật trong quy trình check-in tự động.

2.2. Hạn chế về tài nguyên trên các Embedded Systems

Các hệ thống nhúng (Embedded Systems) luôn bị giới hạn về bộ nhớ và khả năng tản nhiệt. Việc chạy đồng thời nhiều mô hình Deep Learning như phát hiện khuôn mặt, nhận diện và theo dõi có thể gây quá tải. Do đó, việc tối ưu hóa mã nguồn và quản lý luồng dữ liệu là yếu tố sống còn để duy trì sự ổn định của hệ thống trong thời gian dài.

III. Phương pháp tối ưu Deep Learning với TensorRT optimization

Để đạt được hiệu suất Real-time processing trên NVIDIA Jetson Xavier NX, việc tối ưu hóa mô hình là bắt buộc. Quy trình này bắt đầu bằng việc chuyển đổi các mô hình đã huấn luyện sang định dạng TensorRT optimization. TensorRT giúp tối ưu hóa các lớp trong mạng thần kinh, giảm bớt các phép tính thừa và tận dụng tối đa kiến trúc phần cứng của NVIDIA. Kết quả là tốc độ suy luận (inference speed) được cải thiện đáng kể trong khi vẫn giữ được độ chính xác cần thiết. Hệ thống sử dụng thư viện OpenCV kết hợp với CUDA để tăng tốc tiền xử lý hình ảnh. Các thuật toán Convolutional Neural Networks (CNN) được tinh chỉnh để hoạt động hiệu quả trên bộ nhớ dùng chung của GPU và CPU. Báo cáo cho thấy việc áp dụng các kỹ thuật như Layer Fusion và Precision Calibration (INT8/FP16) giúp giảm độ trễ một cách rõ rệt. Đây là chìa khóa để hệ thống có thể xử lý nhiều khuôn mặt cùng lúc trong một khung hình mà không gặp hiện tượng giật lag.

3.1. Tăng tốc xử lý bằng TensorRT optimization và CUDA

TensorRT optimization biến đổi các mô hình từ TensorFlow hoặc PyTorch thành các engine thực thi tối ưu. Quá trình này bao gồm việc gộp các lớp mạng và loại bỏ các nút không cần thiết trong đồ thị tính toán. Kết hợp với thư viện cuDNN, hệ thống tận dụng tối đa sức mạnh của nhân Tensor trên Jetson Xavier để đạt được FPS cao nhất có thể.

3.2. Triển khai mô hình CNN cho nhận diện khuôn mặt

Mạng Convolutional Neural Networks (CNN) được sử dụng làm lõi cho tác vụ trích xuất đặc trưng khuôn mặt. Hệ thống đã thử nghiệm trên các tập dữ liệu lớn như VGG Face2 và MS-Celeb-1M để đảm bảo khả năng nhận diện chính xác trong nhiều điều kiện khác nhau. Việc tối ưu hóa mô hình giúp giảm dung lượng lưu trữ nhưng vẫn duy trì được các đặc trưng sinh trắc học quan trọng.

IV. Kỹ thuật Real time processing và Computer Vision tiên tiến

Hệ thống không chỉ dừng lại ở việc nhận diện mà còn tích hợp khả năng theo dõi người dùng liên tục. Thuật toán SORT (Simple Online and Realtime Tracking) kết hợp với Kalman filter được sử dụng để duy trì định danh của từng cá nhân khi họ di chuyển qua camera. Kỹ thuật này giúp hệ thống đếm chính xác số lượng người ra vào và phát hiện các hành vi bất thường. Computer Vision đóng vai trò chủ đạo trong việc phân tích luồng video và xác định các vùng quan tâm (ROI). Việc sử dụng OpenCV tăng tốc bởi GPU cho phép thực hiện các phép biến đổi hình ảnh như thay đổi kích thước, chuẩn hóa màu sắc trong vài mili giây. Toàn bộ quy trình từ thu nhận hình ảnh, phát hiện khuôn mặt đến đối soát cơ sở dữ liệu đều được thực hiện theo cơ chế song song. Tài liệu nghiên cứu nhấn mạnh việc sử dụng DeepStream SDK của NVIDIA để xây dựng các pipeline xử lý video hiệu quả, giúp giảm thiểu việc sao chép dữ liệu giữa bộ nhớ CPU và GPU.

4.1. Ứng dụng Kalman filter trong theo dõi đối tượng

Kalman filter được sử dụng để dự đoán vị trí tiếp theo của khuôn mặt dựa trên các chuyển động trước đó. Điều này giúp hệ thống duy trì việc theo dõi ngay cả khi đối tượng bị che khuất tạm thời hoặc thay đổi góc nhìn. Sự kết hợp này đảm bảo tính liên tục của dữ liệu trong quá trình Real-time processing tại các khu vực đông đúc.

4.2. Tối ưu luồng dữ liệu với OpenCV và GStreamer

Việc sử dụng OpenCV kết hợp với GStreamer giúp xây dựng các pipeline truyền tải video mượt mà. Hệ thống có thể xử lý các luồng RTSP từ camera IP với độ trễ cực thấp. Các tác vụ nặng về tính toán được đẩy sang GPU, giải phóng CPU cho các tác vụ quản lý logic và tương tác với Internet of Things (IoT).

V. Kết quả triển khai Smart Attendance System thực tế

Quá trình thử nghiệm thực tế cho thấy hệ thống hoạt động ổn định và đạt độ chính xác lên tới 95%. Tốc độ nhận diện khuôn mặt và xác thực diễn ra trong thời gian dưới 1 giây, đáp ứng tốt yêu cầu của một Smart Attendance System chuyên nghiệp. So với các thiết bị như Jetson Nano hay Raspberry Pi 4, NVIDIA Jetson Xavier NX cho thấy hiệu năng vượt trội về cả tốc độ xử lý lẫn khả năng quản lý năng lượng. Hệ thống đã vượt qua các bài kiểm tra về tấn công giả mạo nhờ vào mô hình Face anti-spoofing hiệu quả. Ngoài ra, ứng dụng di động và giao diện web quản trị được tích hợp mượt mà, cho phép theo dõi dữ liệu thời gian thực mọi lúc mọi nơi. Dữ liệu từ biên được gửi về máy chủ NestJS và lưu trữ tại MongoDB một cách an toàn. Các sự kiện bất thường như người lạ xâm nhập hoặc phòng quá tải đều được cảnh báo tức thì qua hệ thống thông báo. Đây là minh chứng cho sự thành công của việc ứng dụng Edge AI vào thực tiễn quản lý an ninh.

5.1. Đánh giá độ chính xác của Face Recognition

Mô hình Face Recognition đạt kết quả ấn tượng trên tập dữ liệu LFW, chứng minh khả năng phân biệt người dùng cực kỳ chính xác. Ngay cả khi người dùng đeo kính hoặc thay đổi kiểu tóc, hệ thống vẫn duy trì được tỷ lệ nhận diện đúng cao. Điều này khẳng định sức mạnh của các Neural Networks đã được huấn luyện kỹ lưỡng.

5.2. Hiệu suất tiêu thụ năng lượng và tốc độ khung hình

Một ưu điểm lớn của giải pháp trên NVIDIA Jetson Xavier NX là hiệu quả năng lượng. Hệ thống có thể chạy các tác vụ AI nặng với mức tiêu thụ điện năng tối thiểu. Tốc độ khung hình (FPS) ổn định giúp việc theo dõi và điểm danh diễn ra trơn tru, không gây khó chịu cho người sử dụng khi đi qua khu vực kiểm soát.

VI. Tương lai của Internet of Things IoT và Embedded Systems

Nghiên cứu về hệ thống check-in trên Jetson Xavier đã mở ra nhiều hướng phát triển mới cho các thiết bị nhúng thông minh. Trong tương lai, hệ thống có thể được mở rộng để tích hợp thêm nhiều cảm biến khác trong hệ sinh thái Internet of Things (IoT) như cảm biến nhiệt độ hoặc nhận diện hành vi. Việc kết hợp với các dịch vụ đám mây như Google Cloud Platform sẽ tăng cường khả năng lưu trữ và phân tích dữ liệu lớn. Các mô hình Deep Learning sẽ tiếp tục được cải tiến để nhẹ hơn và thông minh hơn, phù hợp với nhiều loại Embedded Systems khác nhau. Xu hướng chuyển dịch tính toán từ đám mây về biên (Edge AI) sẽ ngày càng phổ biến, đặc biệt trong các lĩnh vực yêu cầu tính riêng tư và bảo mật cao. Đồ án này không chỉ là một sản phẩm học thuật mà còn là nền tảng vững chắc để phát triển các giải pháp an ninh thông minh thương mại hóa, góp phần xây dựng các tòa nhà và thành phố thông minh trong kỷ nguyên số.

6.1. Khả năng mở rộng trên Google Cloud Platform

Việc tích hợp với Google Cloud Platform giúp hệ thống quản lý dữ liệu tập trung cho nhiều chi nhánh khác nhau. Các hình ảnh và lịch sử ra vào được lưu trữ an toàn trên Cloud Storage, cho phép truy xuất và phân tích báo cáo chuyên sâu. Điều này giúp nâng cấp hệ thống từ một thiết bị đơn lẻ thành một mạng lưới quản lý quy mô lớn.

6.2. Cải tiến thuật toán cho các thiết bị Jetson AGX Xavier

Trong tương lai, việc nâng cấp lên dòng Jetson AGX Xavier sẽ cho phép triển khai các mô hình siêu lớn với độ chính xác tuyệt đối. Các nghiên cứu tiếp theo sẽ tập trung vào việc tối ưu hóa đa luồng và ứng dụng các kỹ thuật nén mô hình mới nhất. Mục tiêu là tạo ra các giải pháp AI không chỉ thông minh mà còn cực kỳ tiết kiệm tài nguyên.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE AND ENGINEERING REPORT GRADUATION THESIS CAPSTONE PROJECT A J ETSON X AVIER - BASED SMART CHECK IN / CHECK OUT SYSTEM M AJOR : COMPUTER ENGINEERING THESIS COMMITTEE: Interdisciplinary Computer Science and Engineering English Program SUPERVISOR(s): Assoc. Pham Quoc Cuong MSc. Bang Ngoc Bao Tam REVIEWER: Assoc. Tran Ngoc Thinh —o0o— STUDENT 1: Le Tu Ngoc Minh (195284) STUDENT 2: Vo Pham Hoai Nam (1952863) HO CHI MINH CITY, 06/2023 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc KHOA:KH & KT Máy tính ___ NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP BỘ MÔN:KHMT ___________ Chú ý: Sinh viên phải dán tờ này vào trang nhất của bản thuyết trình HỌ VÀ TÊN: - Lê Tự Ngọc Minh MSSV: 1952844 Computer Engineering - Võ Phạm Hoài Nam MSSV: 1910351 Computer Science NGÀNH: Kỹ thuật Máy tính _______________________ LỚP: MT19CLC _____________ 1.

Đầu đề đồ án: A JETSON XAVIER-BASED SMART CHECK IN/CHECK OUT SYSTEM 2. Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): - Conduct a thorough survey on the topic of smart check in/out with edge devices - Propose a Jetson Xavier-based system architecture - Implement the proposed architecture on the platform - Conduct tests and evaluate the system with different dataset 3. Ngày giao nhiệm vụ luận án: 10/01/2023 4. Ngày hoàn thành nhiệm vụ: 01/6/2023 5.

Họ tên giảng viên hướng dẫn: Phần hướng dẫn: 1) PGS. Phạm Quốc Cường________________________________________________ 2) ThS. Băng Ngọc Bảo Tâm___________________________________________________ 3) __________________________________________________________________________ Nội dung và yêu cầu LVTN đã được thông qua Bộ môn. Ngày 10 tháng 01 năm 2022 CHỦ NHIỆM BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) Phạm Quốc Cường Phạm Quốc Cường PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ):________________________ Đơn vị: _______________________________________ Ngày bảo vệ:___________________________________ Điểm tổng kết: _________________________________ Nơi lưu trữ luận án: _____________________________ TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập – Tự do – Hạnh phúc ---------------------------- Ngày 05 tháng 06 năm 2023 PHIẾU ĐÁNH GIÁ LUẬN VĂN/ ĐỒ ÁN TỐT NGHIỆP (Dành cho người hướng dẫn) 1.

Họ và tên - Lê Tự Ngọc Minh MSSV: 1952844 Computer Engineering - Võ Phạm Hoài Nam MSSV: 1910351 Computer Science 2. Đề tài: A JETSON XAVIER-BASED SMART CHECK IN/CHECK OUT SYSTEM 3. Họ tên người hướng dẫn: PGS. Phạm Quốc Cường – ThS.

Băng Ngọc Bảo Tâm 4. Tổng quát về bản thuyết minh: Số trang: 92 Số chương: 6 Số bảng số liệu: 16 Số hình vẽ: 57 Số tài liệu tham khảo: 44 Phần mềm tính toán: Hiện vật (sản phẩm) 5. Những ưu điểm chính của LV/ ĐATN: -The thesis is detailed and straightforward. Moreover, the authors have a good self-study ability to complete all of the tasks in thesis.

- The authors surveyed and illustrated many methods related to the problems before proposing their method. - The authors have good engineering skills in optimizing and developing AI models to run on edge devices, especially Jetson Xavier. Những thiếu sót chính của LV/ĐATN: 7. Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không được bảo vệ  8.

Các câu hỏi SV phải trả lời trước Hội đồng: 9. Đánh giá chung (bằng chữ: Xuất sắc, Giỏi, Khá, TB): Điểm: 9. Họ và tên SV: Lê Tự Ngọc Minh MSSV: 1952844 Ngành (chuyên ngành):Kỹ thuật Máy tính Võ Phạm Hoài Nam MSSV: 1952863 Ngành (chuyên ngành):Khoa học Máy tính 2. Đề tài: A Jetson Xavier-based smart check in/check out system (Phát triển hệ thống quản lý ra vào thông minh trên Jetson Xavier) 3.

Họ tên người hướng dẫn/phản biện: PGS. Trần Ngọc Thịnh 4. Tổng quát về bản thuyết minh: Số trang: 90 Số chương: 6 Số bảng số liệu: 14 Số hình vẽ: 58 Số tài liệu tham khảo: 41 Phần mềm tính toán: Hiện vật (sản phẩm) 5. Những ưu điểm chính của LV/ ĐATN: This project proposed a smart check-in/check-out system that includes a comprehensive solution for face authentication and real-time human tracking.

For face authentication, three techniques including face detection, face recognition and face anti- spoofing are used. For human tracking and counting, the SORT algorithm with Kalman filter is used. The experiments for face authentication are tested on 3 datasets: WF, VGG Face2, MS-Cleleb-1M for face detection and face recognition, and 2 datasets: CASIA-MFSD and Replay-Attack for face anti-spoofing. The results are so good with accuracy up to 95%.

The proposed system is successfully implemented on Jetson Xavier with high inference performance, low energy consumption as compared with Jetson Nano and Rasberry4. The mobile application also works well. Những thiếu sót chính của LV/ĐATN: The system compared with Jetson Nano and Rasberry4 is not fair, the system should be compared with other similar works on Jetson Xavier. The test of the face mask still has false results, but this is just a minor task of this project.

Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không được bảo vệ  8. Các câu hỏi SV phải trả lời trước Hội đồng: a. Have you tested the system with multiple faces (5-25 faces) per frame? 9. Đánh giá chung (bằng chữ: Xuất sắc, Giỏi, Khá, TB): Good (giỏi) Điểm : 9/10 Ký tên (ghi rõ họ tên) Trần Ngọc Thịnh P ROTESTATION The contents of this capstone project are original, with the exception of spe- cific references to the work of others, and have not been submitted in whole or in part for any other degree or qualification at any other university.

This cap- stone project is our own work and contains no results of collaborative work with others, except as noted in the text and Acknowledgments section. Ho Chi Minh City, May 2023 ii A CKNOWLEDGMENT Our supervisor, Dr. Pham Quoc Cuong, has been incredibly patient, help- ful, and supportive throughout our almost 1 year as a student. We have greatly profited from your extensive expertise and careful editing.

We are incredibly appreciative that you accepted me as a student and maintained your confi- dence in me over the years. Second, we humbly acknowledge the assistance of Master Bang Ngoc Bao Tam - HCMC University of Technology. Without their assistance, we would not be able to complete this important research. Our families are deserving of unending gratitude for their unending love, sacrifice, and support, which keeps us motivated and certain.

Our achieve- ments and success are a result of their faith in us. No words can adequately express our affection for our families. iii A BSTRACT With the advancement of technology, many plans and projects aiming at building and improving Smart IoT System have been developing at a rapid rate. Along with this and the need to solve the check-in/checkout in the organiza- tion’s room in any part of the world, Smart Accessing Control has been a hotly researched and implemented subject.

As one of the newly emerging and dis- rupting technology, AI (Artificial Intelligence) is being utilized in many aspects of implementing a Smart Accessing Control system. One of the many ways to utilize AI for Smart Accessing Control is to implement 3 models: face detec- tion, face recognition and face anti-spoofing for detecting people by utilizing the power of Jetson Xavier NX. In this capstone project, we will implement a full system consisting of software and hardware implementation of many tech- nology techniques to create a fully functional Smart Accessing Control system. We will develop a mobile application for standard user and a website for orga- nization’s owners and admins.

The application has been written on React Na- tive as mobile application for requesting the room access permission and other features purpose and Next.js admin website for the management purpose. We conduct real-time data by keeping the data up-to-date from the server. Data flow using between screen - screen and application - server has been transfered with the JSON files. For the back-end server, we will implement by using NestJs to handle the HTTP requests and MongoDB will be used as our database imple- mentation.

The back-end server will first be tested on a local machine and then deployed on a cloud service provider. We leverage the use of edge computing and artificial intelligence (AI) to identify the person accessing the organization’s room in real-time and updating the event to the back-end server. iv C ONTENTS Protestation ii Acknowledgment iii Abstract iv List of Figures viii List of Tables x 1 Introduction 1 1.1 Edge computing development.3 API and database server development. 2 2 Background and Related work 3 2.1 NestJS - A progressive Node.js by Vercel - The React Framework .3 React Native - A framework for building native applica- tions using React .6 Google Cloud Platform .1 Access control system: Related work in the world .2 Access control system in Viet Nam .3 Access control system with image processing .1 Hardware - Face authentication .2 Hardware - Real-time tracking.3 Software - Application and Server .2 Edge AI computing .4 Use case diagram .5 Use Case Specification .6 Main flows of the system .3 Integration to our system .4 Applying CUDA, Deepstrem, TensorRT, CUDNN, GStreamer, onxx to enhance our system .5 Deployement on device.

53 5 Result and Evaluation 56 5.2 Evaluation on Kalman filter with human real-time track- ing .3 System performance evaluation .2 Weather today and Recent activities features.3 Managing room access permission feature .4 Setting account feature.5 Update profile feature .6 Reset password feature .7 Update face feature.3 Admin Website Application .2 Statistical room’s data visualization feature.4 User management feature .5 Room management feature .6 Abnormal event management feature .7 Request room access management feature .8 Latency and Throughput Evaluation of Api Server .9 Performance Evaluation of Admin Website .4 Full System Test and Result .1 Test case 1: Valid Access .2 Test case 2: Stranger Access .3 Test case 3: Fake Access .4 Test case 4: Register using phone .5 Test case 5: Register at the door .6 Test case 6: Tracking and counting. 87 References 88 L IST OF F IGURES 3.1 IoT Based Access Control Architecture .2 NVIDIA JETPACK SDK for AI at the Edge [17] .3 Use Case Diagram of Standard user mobile application .4 Use Case Diagram of Administrator website application .5 Activity diagram of request room access permission activity .6 Activity diagram of check-in activity .1 The architectures of P-Net, R-Net, and O-Net [20] .2 Error rate comparison .3 Accuracy rate comparison .6 Overview of our proposed PatchNet framework [4] .7 Overview of our software in Jetson Xavier NX .8 The face identification flow .9 Block diagram for Kalman filter algorithm .10 OpenCV with CUDA .11 NCNN with CUDA .12 Enable cuDNN for optimized GPU computations .13 Start GSreamer pipeline .14 Deployment step from NVIDIA documents [36] .15 TensorRT optimizes trained neural network models to produce a deployment-ready runtime inference engine from NVIDIA docu- ments [36] .16 TensorRT’s vertical and horizontal layer fusion and layer elimi- nation optimizations simplify the GoogLeNet Inception module graph, reducing the computation and memory overhead from NVIDIA documents [36] .17 TensorRT optimizes trained neural network models to produce a deployment-ready runtime inference engine from NVIDIA docu- ments [1] .18 Class diagram of Database design. 53 viii L IST OF F IGURES ix 5.1 Power consumption of Jetson Xavier NX when running through time .2 FPS inference performance on the different accelerator-based sys- tem on chip .3 Memory usage on SoCs.4 Energy consumption of different accelerator-based SoCs .7 Make a request room access permission feature .8 Manage list of room access permissions screen .9 Account setting screen .10 Update profile screen .11 Reset password screen .12 Update face screen.