ĐẠI HỌC QUÓC GIA TP. HÒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KỸ THUẬT MÁY TÍNH LÊ HỮU TRUYEN - 20522094 KHÓA LUẬN TÓT NGHIỆP TÍCH HỢP TÍNH TOÁN BIEN VA MAY CHU CHO HE THONG NHAN DIEN KHUON MAT DA XAC THUC Integrating Edge Computing And Server For Multi-Authentication Facial Recognition System CU NHÂN NGANH KY THUAT MAY TÍNH GIANG VIEN HUONG DAN ThS. PHAN DINH DUY KS. CHE QUANG HUY TP.
HO CHÍ MINH, 2024 LOI CAM ON Để hoàn thành khóa luận, một mình em khó có thể làm được nếu không nhờ đến sự giúp đỡ, chỉ dẫn và hỗ trợ đến từ thầy cô, người thân và bạn bè. Chính vì vậy, em xin được bày tỏ lòng tri ân sâu sắc của mình đến với mọi người vì đã tiếp bước cùng em trong giai đoạn vừa qua. Đầu tiên, em xin được gửi lời cảm ơn sâu sắc đến toàn thể giảng viên Trường Đại học Công nghệ Thông tin, đặc biệt là các thầy cô của Khoa Kĩ thuật Máy tính. Nhờ những kiến thức mà thầy cô đã truyền đạt, sự chia sẻ kinh nghiệm, kỹ năng trong suốt quá trình giảng dạy, em mới có thể đạt được các kết quả đáng ghi nhận và hoàn thành khóa luận này.
Em xin đặc biệt cảm ơn thầy Phan Đình Duy là người đã tận tình chỉ dẫn và hỗ trợ nhiệt tình cho em về những lời khuyên, kiến thức và các thiết bị cần thiết của đề tài. Xin chân thành cảm ơn người thầy cũng như người anh mà em luôn kính trong, thay Chế Quang Huy là người đã đồng hành và giúp đỡ sát sao, là người luôn truyền cảm hứng và động lực giúp em thực hiện tốt khóa luận tốt nghiệp. Tiếp theo, mình xin bày tỏ lòng cảm kích đến toàn thể thành viên câu lạc bộ CEEC, đây là nơi đã cung cấp cho mình môi trường với đầy đủ các phương tiện để tìm hiểu, học hỏi, phát triển các kiến thức và kỹ năng, góp phần rất lớn cho sự chỉnh chu và hoàn thiện của khóa luận này. Cuối cùng, con xin bày tỏ sự tri ân đến người thân và gia đình, những người luôn ủng hộ từng quyết định mà bản thân đưa ra.
Mặc dù rất nỗ lực để luận văn được hoàn thiện nhất, tuy nhiên khó có thể tránh khỏi hạn chế và thiếu sót. Kính mong nhận được sự thông cảm và góp ý từ thầy cô và các bạn. Hồ Chí Minh, ngày 24 tháng 7 năm 2024 Tac giả Lê Hữu Truyén MỤC LỤC 1 GIỚI THIỆU ĐỀ TÀI WK®&a0NYR 11 Đặtvấnđể. ee v2 12 Lýdochonđểtài.3 Đối tượng và phạm vi thựchiện.4 Phương pháp thựchiện.
2_ TỔNG QUAN ĐỀ TÀI " 2.1 Tình hình nghiên cứu trong nước .2 Tình hình nghiên cứu ngoài nước. ee eee ee eee 3.14 Màn hình cam ứng điện dung. 000 eee ee ee 3. cu ng g v v KV k v kia 3.
000000002 eee 24 4 PHƯƠNG PHAP NGHIÊN CUU VÀ THỰC HIỆN 26 41 Tổng quanhệthống.2_ Quy trình vận hành của thiét bibién .1 Quy trình hoạt động chung .2 Quy trình thu thập dit liệu và đểm danh. Thu, xử lý và lưu trữ dữ liệu khuôn mặt.2 Trích xuất đặctrưng.3 Tiền xửlý dữliệu.4 Tối ưu hóa dữ liệu lưu trữ với phương pháp phân cụm .4 Nhận diện khuôn mặt.1 Phuong pháp Instance.5 Luu trữ, xử lý dữ liệu trên máy chủ đám mây.1 Phân bố dữ liệu phi tập trung.2 Xây dựng cơ sở dữ liệu. ee 3x3 49 5 ĐÁNH GIÁ KET QUA THUC NGHIỆM 50 5.2 Giao diện thiết bị biên, web Vaapp .1 Giao diện thiétbibién. Quá trình vậnhành .1 Thu dữ liệu - điểm danh bằng thểtừ .2 Điểm danh bằng khuôn mặt.
Điểm danh bằng khuôn mặt kết hợp thẻtừ.4 Điểm danh bằng trangweb .6 Mạo danh khuôn mặt.1 Bộ dữ liệu đánh giá nhận diện khuôn mat .2 Kết quả đánh giá giải pháp đề xuất.3 Kết quả triển khaithựctếẾ. 63 KET LUẬN VÀ HƯỚNG PHÁT TRIỂN 64 6. 64 62 Khó khăn gặpphải. eee eee 64 63 Hướng pháttriển.
ee 65 TÀI LIEU THAM KHẢO. ` ` ` ` S5 69 DANH MUC HINH Ll Tổng quan thiết kế của hệ thống.1 Cấu trúc hệ thống trong bài báo.2 Chi tiết mô hình của hệ thống.3 Cấu trúc hệ thống của bài báo.4 Kiến trúc mô hình LFFD (A Light and Fast Face Detector for Edge Devices) 10 3.1 Hình ảnh thực tế mach Raspberrypi4 .4 Man hình cảm ứng điện dung dành cho Raspberry pi4 .5 Mô hình kết nối điển hình của giao thức SPI.6 Các lớp của một ứng dụng Flutter.7 Quá trình hiện thực hàm mat mát Additive Angular Margin.8 Quá trình tích chập theo chiều sâu .9 Quá trình tích chập theo đểm.10 Quá trình Global Average Pooling .11 Kiến trúc RetinaNet .12 Triển khai thuật toán K-mean vào bài toán phân cụm.13 Vi dụ về cách hoạt động của Logistic Regression. 25 41 Tổng quan thiết kế của hệ thống.2 Tổng quan thiết kế phần cứng .- 27 43 Tổng quan thiết kế phan mềm.- 28 44 Toàn bộ quy trình hoạt động của hệthống .5 Mô hình trích xuất và nhận diện đặc trưng khuôn mặt .6 Quá trình thu, xử lý và lưu trữ dữ liệu khuôn mặt. 33 47 Quá trình pháthiện khuônmặt.8 Ví dụ về các vùng trích xuất đặc trưng khuôn mặt .9 Quá trình trích xuất đặc trưng khuôn mặt.10 Minh họa độ mờ cục bộ.11 Các điểm landmark trên khuôn mặt.12 Tổng quan kiến trúc của giải pháp phát hiện khuôn mặt giả .13 Đầu vào quá trình thu thập dữ liệu .14 Lọc và trích xuất dữ liệu .15 Quá trình phân cụm vector đặc trưng khuôn mặt.16 Quá trình nhận diện khuôn mặt .17 Ap dụng thuật toán Weighted-sum vào nhận diện khuôn mặt .18 Phương pháp Centroid trong nhận diện khuôn mặt.19 Dữ liệu được khai thác theo lịchbiểu.20 Biễu diễn các mối quan hệ trongCSDL .1 Thiết kế các bộ phận khung trong Fusion360.2_ Hình ảnh sản phẩm thiết bịbiên.3 Giao diện tương tác người dùng của thiết bịbiên.4 Các chức nang quản lý ngudiding .5 Trang web theo dõi sau dang nhap .6 Quá trình đăng nhập của ứng dung .7 Bảng theo dõi của ứng dụng.8 Quá trình yêu cầu thu dữ liệu .9 Người dùng chọn lọc và lưu dữ liệu.10 Kết quả điểm danh trên trang web và ứng dụng.11 Quá trình nhận diện khuôn mặt.12 Quá trình nhận diện khuôn mặt kết hợp thểtừ .13 Thao tác điểm danh thủcông .14 Giả mạo thể tỪ.15 Kết quả trên trangweb_.16 Quá trình nhận diện khuôn mặt mạo danh .17 Một số bộ dif liệu đánh giá của VN-celeb.18 Phân phối khoảng cách của các phương pháp truy vấn .19 Thời gian truy van của các phương pháp .20 Hình ảnh thử nghiệm trong thựctế .- 63 DANH MUC BANG 2.1 Kết quả của bài nghiên cứu trên Raspberry Pi3B+.1 Kiến trúc của MobileFaceNet.1 Tín hiệu truyền nhận từ các khối đến Planning.2 So sánh các tham số mô hình và FLOP.1 So sánh độ chính xác giữa các phương pháp trên bộ dữ liệu kiểm thử.2 Thời gian suy diễn của các mô hình trên hệ thống.
63 DANH MỤC TU VIET TAT Al Artificial Intelligence API Application Programming Interface CNN Convolutional Neural Networks DCNN Deep Convolutional Neural Network GPIO General Purpose Input/Output Iol Internet of Things MNN Mobile Neural Network SPI Serial Peripheral Interface RFID Radio Frequency Identification De- tection TÓM TẮT KHÓA LUẬN Trong bối cảnh chuyển đổi số nhanh chóng, sự hợp nhất giữa tính toán biên và công nghệ máy chủ đáp ứng nhu cầu ngày càng tăng về các giải pháp có khả năng mở rộng, an toàn và tiết kiệm chi phí trong lĩnh vực xác định danh tinh và kiểm soát truy cập số. Đồng thời, sự phát triển mạnh mẽ của khoa học và công nghệ đã mở ra nhiều cơ hội mới và thách thức đáng kể trong ngành giáo dục. Một ví dụ nổi bật là việc áp dụng các công nghệ điểm danh tự động, thay thế cho phương pháp điểm danh truyền thống. Khóa luận này nghiên cứu và hiện thực một hệ thống gồm hai phần chính: thiết bị biên và máy chủ đám mây.
Thiết bị biên thực hiện tác vụ điểm danh bằng hai lớp xác thực bao gồm thẻ từ và nhận diện khuôn mặt, đồng thời cung cấp giao diện thao tác cho người dùng. Dữ liệu nhận dạng sẽ được lưu trữ một phần trên thiết bị và đồng bộ hóa với máy chủ đám mây. Máy chủ đám mây là nền tảng cho trang web và ứng dụng điện thoại vận hành, cung cấp phương tiện theo dõi tình trạng điểm danh của lớp học cho giảng viên; đồng thời nó cũng là nơi lưu trữ, phân phối toàn bộ dữ liệu. Kết quả nhóm đạt được là hoàn thành xây dựng một kiến trúc hoàn chỉnh cho hệ thống điểm danh.
Thiết bị biên là bo mạch máy tính nhúng Raspberry pi 4 tích hợp các module ngoại vi như RC522, camera, màn hình cảm ứng với giao diện được triển khai trên Qt frame- work. Máy chủ đám mây vận hành web được xây dựng trên Nodejs framework, cùng với đó là ứng dụng điện thoại bằng Flutter framework. Trong bài toán nhận diện khuôn mặt, nhóm dé xuất một phép đo tương tự mới kết hợp khoảng cách giữa đo thông thường (Instance) và đo tập trung (Centroid) nhằm nâng cao độ chính xác của nhận dạng khuôn mặt. Đánh giá phép đo này trên bộ dữ liệu VN-celeb, mô hình Resnet101 đạt độ chính xác cao với 92.63% khi sử dụng thuật toán do nhóm dé xuất, trong khi đó, hai phương pháp Instance và Centroid chỉ đạt lần lượt là 91.
Áp dụng mô hình RetinaFace cho phát hiện khuôn mặt và MobileFaceNet cho nhận diện khuôn mặt trên thiết bị biên đạt được thời gian suy diễn lần lượt là 42ms và 48ms. Thử nghiệm trên môi trường thực tế với quy mô gần 40 người, nhóm thu được độ chính xác nhận diện khuôn mặt với tỉ lệ xấp xỉ 91. Các trường hợp nhận diện thất bại chủ yếu do ánh sáng thất thường, ảnh đầu vào mờ, đặc biệt khi người dùng đeo kính và khẩu trang. GIỚI THIỆU ĐỀ TÀI 1.1 Đặt van đề Trong thời đại ngày nay, khoa học công nghệ đang ngày càng lan rộng trong lĩnh vực giáo dục, từ đó mang lại nhiều cơ hội và thách thức mới.
Một trong những dẫn chứng là việc sử dụng các thiết bị, hệ thống điểm danh thông minh để thay thế cho hoạt động điểm danh thông thường. Thay vì điểm danh thủ công bằng cách gọi tên hoặc kí tên, các thiết bị, hệ thống này đưa ra các giải pháp tân tiến và hiệu quả hơn, giúp giảng viên dễ dàng, thuận tiện hơn nhiều trong việc điểm danh học sinh sinh viên, tiết kiệm thời gian cho hoạt động dạy và học, ngoài ra còn hạn chế những lỗi phổ biến như đánh dấu điểm danh nhầm hoặc gian lận. Các xu hướng gần đây cho thấy rằng các hệ thống điểm danh thường sử dụng các công nghệ hiện đại như vân tay, thẻ từ và nhận diện khuôn mặt. Tuy nhiên, các hệ thống này thường gặp phải nhiều bắt cập trong quá trình vận hành.