Luận văn: Hệ thống điểm danh sinh viên bằng nhận dạng khuôn mặt - Nguyễn Duy Khánh

Tài liệu nghiên cứu Luận văn: Điểm danh bằng nhận dạng khuôn mặt & học sâu ứng dụng cao trong học thuật và nghiên cứu thực tiễn tham khảo chuyên ngành

• Tác giả: Nguyễn Duy Khanh
• Người hướng dẫn: TS. Đặng Thái Việt
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Kỹ Thuật Cơ Điện Tử
• Đề tài: Nghiên cứu, thiết kế hệ thống cơ điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt và thuật toán học sâu trong việc điểm danh và đánh giá độ chuyên cần của sinh viên
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về hệ thống điểm danh nhận dạng khuôn mặt

Hệ thống điểm danh nhận dạng khuôn mặt là một giải pháp hiện đại trong quản lý mật độ đối tượng và đánh giá độ chuyên cần của sinh viên. Công nghệ này kết hợp xử lý hình ảnh và thuật toán học sâu để tự động nhận diện và ghi nhận thông tin cá nhân. Hệ thống được phát triển tại Đại học Bách Khoa Hà Nội, áp dụng mạng nơ-ron tích chập CNN và MTCNN để đạt độ chính xác vượt 86%. Phương pháp này giúp giải quyết các thách thức trong quản lý sinh viên một cách hiệu quả, thay thế các cách thức truyền thống. Ứng dụng công nghệ trí tuệ nhân tạo vào lĩnh vực giáo dục mở ra những khả năng mới trong xử lý dữ liệu lớn và cải thiện hiệu suất quản lý.

1.1. Nguyên lý hoạt động nhận dạng khuôn mặt

Nhận dạng khuôn mặt sử dụng mạng nơ-ron sâu để phân tích các đặc trưng facial. Hệ thống tiến hành tiền xử lý ảnh, phát hiện khuôn mặt thông qua MTCNN, sau đó trích xuất vector đặc trưng. Quá trình này bao gồm P-Net, R-Net và O-Net để xác định vị trí và căn chỉnh khuôn mặt. Cuối cùng, Triplet Loss được sử dụng để so sánh khuôn mặt với cơ sở dữ liệu hiện có, đảm bảo độ chính xác cao trong nhận diện.

1.2. Ứng dụng học sâu trong điểm danh

Học sâu (Deep Learning) cho phép hệ thống tự động học các mẫu từ dữ liệu lớn. Sử dụng Python 3.2, PyCharm và Anaconda, hệ thống xử lý dữ liệu AFAD để huấn luyện mô hình. CNN giúp trích xuất đặc trưng hình ảnh hiệu quả, trong khi Max Pooling và Fully Connected Layer tối ưu hóa kết quả. Phương pháp này chống giả mạo bằng so sánh ngưỡng sáng ảnh, đạt độ chính xác vượt 86%.

II. Kiến trúc hệ thống cơ điện tử thông minh

Hệ thống cơ điện tử thông minh kết hợp nhận dạng khuôn mặt và điểm danh vân tay để tạo ra giải pháp quản lý toàn diện. Kiến trúc bao gồm module camera, bộ xử lý hình ảnh và cơ sở dữ liệu lớn. Hệ thống được tích hợp công nghệ Internet vạn vật (IoT) để xử lý dữ liệu hiệu quả trên các khoảng dữ liệu lớn. Phương pháp kết hợp hai cảm biến (khuôn mặt và vân tay) giúp tăng độ chính xác và chống giả mạo. Công nghệ này đặc biệt hữu ích trong môi trường công nghiệp và giáo dục, mở ra định hướng phát triển mới cho quản lý thông minh.

2.1. Cấu trúc mạng nơ ron và CNN

Mạng nơ-ron tích chập (CNN) là nền tảng của nhận dạng khuôn mặt. Mạng gồm các lớp tích chập (Convolutional Layer) để phát hiện đặc trưng cơ bản, theo sau là lớp pooling để giảm chiều dữ liệu. Fully Connected Layer kết nối toàn bộ neuron để thực hiện phân loại. Bộ lọc tích chập tự động học các pattern từ ảnh, giúp hệ thống nhận diện khuôn mặt chính xác ngay cả trong các điều kiện ánh sáng khác nhau.

2.2. Kết quả xử lý và độ chính xác hệ thống

Hệ thống đạt độ chính xác 86% trên dữ liệu kiểm thử. Quá trình huấn luyện sử dụng bộ dữ liệu AFAD với số lượng mẫu lớn. Độ hội tụ của mô hình được theo dõi qua đồ thị huấn luyện, đảm bảo tính ổn định của hệ thống. Chống giả mạo được thực hiện bằng so sánh ngưỡng sáng giữa ảnh giả và thật, tăng độ tin cậy của điểm danh.

III. Phương pháp kết hợp nhận dạng khuôn mặt và vân tay

Phương pháp kết hợp nhận dạng khuôn mặt và điểm danh vân tay là giải pháp tối ưu cho quản lý đối tượng. Hai cảm biến hỗ trợ lẫn nhau để xác nhận danh tính với độ chính xác cao. Khi nhận dạng khuôn mặt thành công, hệ thống yêu cầu xác nhận vân tay để chống giả mạo. Quá trình này tăng độ bảo mật của hệ thống điểm danh. Ứng dụng xử lý dữ liệu lớn cho phép hệ thống quản lý hàng nghìn sinh viên một cách hiệu quả. Phương pháp này được xác thực trên dữ liệu thực tế trong môi trường giáo dục, đạt yêu cầu đặt ra.

3.1. Quy trình xử lý dữ liệu sinh trắc học

Dữ liệu sinh trắc học (Biometric) được tiền xử lý trước khi nhập vào hệ thống. Ảnh khuôn mặt được chuẩn hóa về kích thước và căn chỉnh theo tọa độ mắt. Vân tay được quét và số hóa thành vector đặc trưng. Cả hai loại dữ liệu được lưu trữ trong cơ sở dữ liệu an toàn. Quá trình tách đặc trưng (Feature Extraction) giúp hệ thống nhận diện nhanh chóng mà không cần so sánh toàn bộ ảnh.

3.2. Đánh giá độ chuyên cần dựa trên dữ liệu điểm danh

Độ chuyên cần được tính toán dựa trên tần suất điểm danh hàng ngày. Hệ thống ghi nhận thời gian có mặt của sinh viên và tạo báo cáo tổng hợp. Dữ liệu lớn cho phép phân tích chi tiết về mô hình tham dự của từng sinh viên. Quản lý này giúp giáo viên có cái nhìn toàn diện về tiến độ học tập, hỗ trợ quyết định liên quan đến đánh giá học tập.

IV. Định hướng phát triển và ứng dụng tương lai

Định hướng phát triển của hệ thống điểm danh bao gồm ứng dụng IoT (Internet of Things) và xử lý dữ liệu lớn (Big Data). Hệ thống có thể mở rộng đến các lĩnh vực an ninh, quản lý truy cập, và nhân sự. Công nghệ mây (Cloud Computing) cho phép lưu trữ và truy cập dữ liệu từ xa. Tích hợp AI sâu hơn giúp hệ thống học liên tục từ dữ liệu mới. Ứng dụng thực tế đã chứng minh khả năng khả thi của công nghệ này. Tiếp theo, nghiên cứu sẽ tập trung tối ưu hóa tốc độ xử lý và giảm chi phí triển khai, mở rộng khả năng ứng dụng trong các ngành công nghiệp khác.

4.1. Ứng dụng công nghệ IoT và xử lý dữ liệu lớn

Internet vạn vật (IoT) cho phép kết nối nhiều cảm biến và thiết bị với nhau. Dữ liệu lớn từ hàng nghìn điểm điểm danh có thể được tập hợp và phân tích trong thời gian thực. Cloud Computing cung cấp khả năng xử lý mạnh mẽ mà không cần đầu tư quá lớn về cơ sở hạ tầng. Giao thức truyền thông an toàn đảm bảo bảo mật dữ liệu cá nhân, tuân thủ các quy định bảo vệ thông tin.

4.2. Mở rộng ứng dụng trong các lĩnh vực khác

Hệ thống nhận dạng khuôn mặt có thể áp dụng trong an ninh sân bay, quản lý cơ sở, và nhân sự. Công nghệ này giúp tăng tốc độ xác nhận danh tính và giảm chi phí nhân công. Tích hợp với hệ thống quản lý hiện có giúp nâng cao hiệu quả hoạt động. Các định hướng nghiên cứu tiếp theo tập trung cải thiện độ chính xác, giảm thời gian xử lý, và mở rộng khả năng cho các môi trường phức tạp.

Trích đoạn nội dung tài liệu

Chương 1: Đưa ra cái nhìn tống, quan vẻ trí tuệ nhân tạo, mạng nơ-ron tích chap CNN và cầu trúc. So sánh, đánh giá các công bố từ trước tù dỏ để xuất dé tải. Ngoài ra, tác giả trình bày mệt số thuật toán tích hợp trong hệ thông điểm danh Chương 2: Dưa ra cái nhìn tông quan về bài toán xáo định và quản lý mật độ đổi lượng. Tập trung so sảnh, đánh giá với kết quả đã công bố từ đỏ đua giải pháp nâng cao độ chính xác, mô phóng dữ liệu.

Chương 3: Tiếp cân cách thiết kế và xây dựng hệ thống điểm danh lự đông kết hợp giữa phản cứng và phân mềm một cách hiệu quả. Két luận: Nêu kết quả đạt được, khó khăm và hưởng phát triển tương lại của dễ tải Dù ng hoàn thành để tài với cường, độ làm việc cao, kỹ lưỡng cùng sự thưởng dẫn rất cụ thể, nhiệt tỉnh của thây hưởng đn nhưng do hiểu biết con hạn chế nên chắc chẩn hiận van này không tránh khỏi được khả năng thiết sót. Vì vậy em rất nương sự sữa chữa và gớp ý của hội đồng, quý thầy cô để em rút ra kinh nghiệm và bỗ sung thêm kiển thức cho bản thân. Cuối ùng em xin chân thành cảm ơn sự quan tâm chỉ bảo cũ ác thấy cô trong bộ môn Cơ Diện Tử trường Dại học lách khoa Hà Nội và đặc biệt sự thưởng dẫn tận tình của TS, Đăng Thái Việt đã giứp em hoàn thành luận văn này.

đội, ngà 10 tháng 4 năm 2020 Học viên thực hiện: Nguyễn Duy Khánh DANH MUC HiNH VE Tình 1.1: Câu trúc mạng Nơ-ron.2: Cấu trúc mạng tích chập CNN 6 Hình 1.3: Nguyễn lỷ bộ lọc tích chập.4 Kết quá xứ lý sau lớp tích chập.5: Xứ lý Max Pooling.6: Fully Connected Layer Linh 1. Tlinh 1 8: Triplet Loss Minh 1.9: Di liệu LWE.10: So sánh phương pháp MICNN.11: Nguyễnlý hoạt động MTCNN [S[.12: Qua trình xử lý mạng T-Xet - 14 Tĩnh 1.13: Ví dụ xứ lý mạng P-Net - - 14 Hình 1.14: Qué trình xử lý mạng R-Net,.15: Ví dụ xử lý mạng R-Net 15 Tình 1.16: Quả trình xử lý O-Net - - 15 Hình 2.1: Kiên trúc quản lý đô thị công bố bởi [ig].3: Tổng quan hệ thông điểm danh.3: Lưu đã quá trình nhận điện khuôn mặt.4: Mẫu chuẩn và tách đặc trưng - 30 Tình 2.5: Tiên xử lý ảnh 31 THÌnữ 2.6: Thuật toán đỗ tìm khuôn mất 32 Hinh 2.7: Két qua dé chink xac eda nh lác gid [27].8: Độ chính xáo công bổ của Vishal Agarwail - 34 THinữ 2.9: Số sánh hiệu suất oác phương phip - - 35 Tinh 2.10: Dữ liệu AFAD.11: Diz lieu tnrée kin mâm luyện Hình 2.12: Dé ligu sau khi hudn huyện .13:Két qua vé đô hội tụ của Vishal Agarwal Hình3.14: Độ chính xác hệ thống diém danh.15: Ngưỡng sáng ảnh giả mạo và thật.16: Độ chính xác huần luyện và nhận dạng, chống ggiá mạo, „.1: Cách thức hoạt động của hệ thông.2: Nguyén ly hoat dong điểm danh vân tay.3: Can biển vân tay R305.4: Sơ dỗ chân vị điều khiển ATMEL328P.5: Kết nói truyền nhận DJART.6: Goi dit liệu truyền hận ULARLH,.8: Mạch layout ECH.9: Quá trình nhận dạng khuôn mặt.10: Giao diện phân mềm.11: Dữ liệuhuấn luyện.12: Dinh gi chuyén edn theo thing.Ô DANI MUC BANG BIEU Bang 2.1: So sánh các phương, pháp nhận diện khuôn mặt.1: Giá tiên sản phẩm của nhỏm tác giả.ớcoooccccs con 41 Bang 3.2: Yêu cầu phần cửng và phần mềm.3: 8o sánh các déng vi điểu khiển,.4: Dữ liệu thứ nghiệm.5: Dộ chính xác điểm danh van ta ¬—.6: Chỉ tiết quả trình thứ nghiệm. TH erririooooe 5 Bang 3.7: Thử nghiệm kết quả tính điểm. - 60 DANI MUC BANG BIEU Bang 2.1: So sánh các phương, pháp nhận diện khuôn mặt.1: Giá tiên sản phẩm của nhỏm tác giả.ớcoooccccs con 41 Bang 3.2: Yêu cầu phần cửng và phần mềm.3: 8o sánh các déng vi điểu khiển,.4: Dữ liệu thứ nghiệm.5: Dộ chính xác điểm danh van ta ¬—.6: Chỉ tiết quả trình thứ nghiệm.

TH erririooooe 5 Bang 3.7: Thử nghiệm kết quả tính điểm.3: Can biển vân tay R305.4: Sơ dỗ chân vị điều khiển ATMEL328P.5: Kết nói truyền nhận DJART.6: Goi dit liệu truyền hận ULARLH,.8: Mạch layout ECH.9: Quá trình nhận dạng khuôn mặt.10: Giao diện phân mềm.11: Dữ liệuhuấn luyện.12: Dinh gi chuyén edn theo thing.Ô 36 0 Kétluin KET LUAN 1. Kél qui: dat duoe - 63 2. Khó khăn - - - - 62 DANI MUC BANG BIEU Bang 2.1: So sánh các phương, pháp nhận diện khuôn mặt.1: Giá tiên sản phẩm của nhỏm tác giả.ớcoooccccs con 41 Bang 3.2: Yêu cầu phần cửng và phần mềm.3: 8o sánh các déng vi điểu khiển,.4: Dữ liệu thứ nghiệm.5: Dộ chính xác điểm danh van ta ¬—.6: Chỉ tiết quả trình thứ nghiệm. TH erririooooe 5 Bang 3.7: Thử nghiệm kết quả tính điểm.

- 60 36 0 Kétluin KET LUAN 1. Kél qui: dat duoe - 63 2. Khó khăn - - - - 62 DANI MUC BANG BIEU Bang 2.1: So sánh các phương, pháp nhận diện khuôn mặt.1: Giá tiên sản phẩm của nhỏm tác giả.ớcoooccccs con 41 Bang 3.2: Yêu cầu phần cửng và phần mềm.3: 8o sánh các déng vi điểu khiển,.4: Dữ liệu thứ nghiệm.5: Dộ chính xác điểm danh van ta ¬—.6: Chỉ tiết quả trình thứ nghiệm. TH erririooooe 5 Bang 3.7: Thử nghiệm kết quả tính điểm.3: Can biển vân tay R305.4: Sơ dỗ chân vị điều khiển ATMEL328P.5: Kết nói truyền nhận DJART.6: Goi dit liệu truyền hận ULARLH,.8: Mạch layout ECH.9: Quá trình nhận dạng khuôn mặt.10: Giao diện phân mềm.11: Dữ liệuhuấn luyện.12: Dinh gi chuyén edn theo thing.Ô DANI MUC BANG BIEU Bang 2.1: So sánh các phương, pháp nhận diện khuôn mặt.1: Giá tiên sản phẩm của nhỏm tác giả.ớcoooccccs con 41 Bang 3.2: Yêu cầu phần cửng và phần mềm.3: 8o sánh các déng vi điểu khiển,.4: Dữ liệu thứ nghiệm.5: Dộ chính xác điểm danh van ta ¬—.6: Chỉ tiết quả trình thứ nghiệm.

TH erririooooe 5 Bang 3.7: Thử nghiệm kết quả tính điểm. - 60 MỤC LỤC CHUGONG 1.2 Tổng quan mang no-ron tich chap CNN.21 Giới thiệu mạng nơ-ron 3 12 Cấu tric mang No-ron tich chip CNN 5 13 ThuậttoánFaceNet 8 1.4 — Thuậttoán MTƠNN. CƠ SỬ 1Ý THUYẾT VÀ PHƯƠNG PHÁP PHÂN TÍCH XỬ LÝ BÀI TOẢN. 21 — Tổng quan tượng 17 2.2 __ Tỗng quan hệ thống điểm danh sinh viên.

3 23 Phân tích, cải tiến bài toán xác định mật độ đối tượng. Thuật toán nhận đạng khuôn mặt sử dụng mạng nơ-ron + 2.2 Cách thức tổ chức vẻ xứ lý dữ liệu huân luyện. Những cải tiến so với các công bó trước đây. THIET KE HE THONG DIFU KHIEN.

31 Yêu cầu chung của hệ thống điểu khiển - at 3.11 Phan teh hd thống - 4 3.2 _ Nguyên lý hoạt động của hệ thông.13 _ Yêu câu phần cứng và phản mềm. Lấy đữ liệu từ module quét vân tay - 44 3.21 Giới thiệu cảm biển vântay R305.23 Truyền thông hệ thống với module vẫn tay. Thiết kế sơ dỗ nguyên lý giao tiếp maodule vân tay.3 Thiết kế phần mêm diễm đanh bự động 5 3.1 Bài toán nhận diện khuôn mặt. Xây dựng giao điện phần mềm điểm danh tự động, 54 3.4 _ Thương pháp đánh giá 5s 3.

Thửnghiệm độ chính xác thuật toán sau khi đã tích hợp vào hệ thông. 56 36 0 Kétluin KET LUAN 1. Kél qui: dat duoe - 63 2. Khó khăn - - - - 62 Hinh 3.3: Can biển vân tay R305.4: Sơ dỗ chân vị điều khiển ATMEL328P.5: Kết nói truyền nhận DJART.6: Goi dit liệu truyền hận ULARLH,.8: Mạch layout ECH.9: Quá trình nhận dạng khuôn mặt.10: Giao diện phân mềm.11: Dữ liệuhuấn luyện.12: Dinh gi chuyén edn theo thing.Ô dánh giá độ chính xác thuật toàn từ dỏ chọn ra thuật toán có độ chính xác cao nhất, Luận văn được tô chức thành 3 chương với các nội dung cụ thể như sau Chương 1: Đưa ra cái nhìn tống, quan vẻ trí tuệ nhân tạo, mạng nơ-ron tích chap CNN và cầu trúc.

So sánh, đánh giá các công bố từ trước tù dỏ để xuất dé tải. Ngoài ra, tác giả trình bày mệt số thuật toán tích hợp trong hệ thông điểm danh Chương 2: Dưa ra cái nhìn tông quan về bài toán xáo định và quản lý mật độ đổi lượng. Tập trung so sảnh, đánh giá với kết quả đã công bố từ đỏ đua giải pháp nâng cao độ chính xác, mô phóng dữ liệu. Chương 3: Tiếp cân cách thiết kế và xây dựng hệ thống điểm danh lự đông kết hợp giữa phản cứng và phân mềm một cách hiệu quả.

Két luận: Nêu kết quả đạt được, khó khăm và hưởng phát triển tương lại của dễ tải Dù ng hoàn thành để tài với cường, độ làm việc cao, kỹ lưỡng cùng sự thưởng dẫn rất cụ thể, nhiệt tỉnh của thây hưởng đn nhưng do hiểu biết con hạn chế nên chắc chẩn hiận van này không tránh khỏi được khả năng thiết sót. Vì vậy em rất nương sự sữa chữa và gớp ý của hội đồng, quý thầy cô để em rút ra kinh nghiệm và bỗ sung thêm kiển thức cho bản thân. Cuối ùng em xin chân thành cảm ơn sự quan tâm chỉ bảo cũ ác thấy cô trong bộ môn Cơ Diện Tử trường Dại học lách khoa Hà Nội và đặc biệt sự thưởng dẫn tận tình của TS, Đăng Thái Việt đã giứp em hoàn thành luận văn này. đội, ngà 10 tháng 4 năm 2020 Học viên thực hiện: Nguyễn Duy Khánh LOTMO DAU 'Thể giới trải qua 3 cuộc cách mạng công nghiệp và hiện nay đang bước vào ki nguyên số với cuộc cách mạng công nghiệp lần thứ 4 dẫn đến sự bùng nó công nghệ đặc biệt ở các lĩnh vực robot, trí tuệ nhân tạo, công nghệ đữ liệu lớn,.

đã phần nào đưa nên kinh tế của các quốc gia phát triển vượt bậc. Chúng ta có thể nhận thây trí tuệ nhân tạo đã trở nên phố biển ở nhiều khía cạnh trong cuộc sống hảng ngày. Từ các cảm biển thông mình giúp chứng ta chụp ảnh hoản hảo, đến các tính năng đỗ xe tự động trong xe hơi, cho đến các trợ lý cá nhân trong, điện thoại thông mình, trí thông mình nhân tạo luôn ở xung chanh chúng ta. Trên thục tế, đã có rất nhiều ủng dựng của trị tuệ nhân tao di được thực thị, đặc biệt tải toán xác định mật độ đối tượng áp dụng vào lĩnh vực an ninh, an toàn tuy xihiên độ chính xác và phương pháp xử lý chưa được giải quyết lỗi ưu.