Luận án Thạc sĩ Kỹ thuật về Nhận diện Khuôn mặt và Ứng dụng trong Điểm danh Sinh viên

Chuyên khảo phân tích Nghiên cứu phương pháp nhận diện khuôn mặt và ứng dụng cho điểm danh sinh viên, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Mai Ngọc Huỳnh
• Người hướng dẫn: TS. Nguyễn Ngọc Điệp
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên Cứu Phương Pháp Nhận Diện Khuôn Mặt Và Ứng Dụng Cho Điểm Danh Sinh Viên
• Loại tài liệu: luận án thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN NHẬN DIỆN KHUÔN MẶT
• 1.1. Tổng quan về nhận diện khuôn mặt
• 1.2. Các yêu cầu tổng quan bài toán nhận diện khuôn mặt
• 1.3. Phạm vi và thách thức
• 1.4. Vai trò và tầm quan trọng của hệ thống điểm danh tự động tại trường đại học
• 1.5. Bài toán điểm danh sinh viên qua nhận diện khuôn mặt
• 1.6. Khảo sát một số phương pháp nhận diện khuôn mặt
• 1.6.1. Phương pháp Viola-Jones
• 1.6.2. Phương pháp VGGFace
• 1.6.3. Phương pháp Eigenfaces
• 1.7. Đánh giá và đề xuất giải pháp nhận diện khuôn mặt
• 1.8. Kết luận chương
• 2. CHƯƠNG 2: NGHIÊN CỨU CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT
• 2.1. Nghiên cứu các phương pháp phát hiện khuôn mặt
• 2.1.1. Phương pháp Viola-Jones
• 2.1.2. Các đặc trưng Haar-like
• 2.1.3. Lớp chọn đặc trưng AdaBoost
• 2.2. Phương pháp Multi-task Cascaded Convolutional Networks (MTCNN)
• 2.2.1. Cấu trúc mô hình Multi-task Cascaded Convolutional Networks
• 2.2.2. Phương thức hoạt động của MTCNN
• 2.3. Nghiên cứu các phương pháp nhận diện khuôn mặt
• 2.3.1. Phương pháp VGGFace
• 2.3.1.1. Tổng quan mô hình VGGFace
• 2.3.1.2. Phương thức hoạt động VGGFace
• 2.3.2. Phân loại khuôn mặt
• 2.3.2.1. Nhận diện khuôn mặt sử dụng triplet loss
• 2.3.2.1.1. Tổng quan mô hình FaceNet
• 2.3.2.1.2. Kiến trúc mô hình FaceNet
• 2.3.2.1.3. Phương thức hoạt động của FaceNet
• 2.3.2.2. Trích xuất đặc trưng để nhận diện khuôn mặt
• 2.3.2.3. Nhận diện gương mặt
• 2.4. Đề xuất giải pháp nhận diện khuôn mặt để ứng dụng cho bài toán điểm danh sinh viên
• 2.5. Kết luận chương
• 3. CHƯƠNG 3: ỨNG DỤNG CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT TRONG ĐIỂM DANH SINH VIÊN
• 3.1. Thiết kế tổng thể hệ thống điểm danh sinh viên
• 3.1.1. Sơ đồ thiết kế hệ thống nhận diện khuôn mặt
• 3.1.2. Mô hình triển khai dự kiến
• 3.1.3. Môi trường triển khai
• 3.1.4. Thiết kế ứng dụng
• 3.2. Thử nghiệm các phương pháp và đánh giá
• 3.2.1. Thu thập dữ liệu đầu vào
• 3.2.2. Dữ liệu huấn luyện
• 3.2.3. Tham số dữ liệu đầu vào
• 3.2.4. Quá trình huấn luyện
• 3.2.4.1. Huấn luyện phát hiện khuôn mặt
• 3.2.4.2. Huấn luyện nhận diện khuôn mặt
• 3.2.5. Thử nghiệm chạy hệ thống nhận diện khuôn mặt nhận diện sinh viên
• 3.2.6. Kết quả thực nghiệm
• 3.3. Cài đặt, triển khai
• 3.3.1. Giao diện màn hình webcam nhận dạng khuôn mặt
• 3.3.2. Giao diện màn hình chức năng quản lý điểm danh sinh viên
• 3.3.3. Giao diện màn hình chức năng quản lý môn học
• 3.3.4. Giao diện màn hình chức năng quản lý sinh viên
• 3.4. Kết luận chương
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Ứng dụng Nhận diện Khuôn mặt điểm danh

Bài toán nhận diện khuôn mặt là trọng tâm của xử lý ảnh và trí tuệ nhân tạo. Nó liên quan đến việc xác định và phân biệt khuôn mặt trong ảnh, video. Ứng dụng thực tế rất đa dạng, từ an ninh đến các ứng dụng trên điện thoại. Mặc dù đã phát triển nhiều năm, nhận diện khuôn mặt vẫn còn thách thức do thay đổi ánh sáng, góc nhìn, biểu cảm. Tuy nhiên, công nghệ học sâu đã giúp đạt độ chính xác cao, ứng dụng rộng rãi. Bài toán nhận diện khuôn mặt đang ngày càng được ứng dụng rộng rãi trong nhiều lĩnh vực như bảo mật, điểm danh tự động, giám sát an ninh, xác thực người dùng trong các thiết bị điện tử, và cả trong lĩnh vực y tế.

1.1. Giới thiệu Tổng quan bài toán Nhận diện Khuôn mặt

Bài toán nhận diện khuôn mặt đòi hỏi hệ thống phải xác định và phân biệt các khuôn mặt người trong ảnh hoặc video. Nó có nhiều ứng dụng thực tế, ví dụ như trong giám sát an ninh, hoặc trên điện thoại di động. Mặc dù đã được nghiên cứu và phát triển, nó vẫn còn thách thức do sự biến đổi của ánh sáng, góc nhìn, biểu cảm và thời gian. Việc trích chọn đặc trưng chính xác đóng vai trò then chốt. Các phương pháp học sâu đang ngày càng được áp dụng để giải quyết các vấn đề này, mang lại độ chính xác cao hơn.

1.2. Yêu cầu Tổng quan cho Hệ thống Nhận diện Khuôn mặt

Để đạt kết quả tốt, bài toán nhận diện khuôn mặt có một số yêu cầu quan trọng. Đầu tiên là phải phát hiện và xác định vị trí khuôn mặt trong ảnh. Yêu cầu sự nhất quán và đồng nhất. Sau đó là trích xuất đặc trưng quan trọng từ khuôn mặt. Hệ thống cần khả năng nhận diện, phân loại và có độ chính xác cao, tốc độ xử lý nhanh.

II. Thách thức Ứng dụng Nhận diện Khuôn mặt trong Điểm danh

Ứng dụng nhận diện khuôn mặt cho điểm danh sinh viên gặp nhiều thách thức. Số lượng sinh viên lớn, điều kiện môi trường phức tạp gây khó khăn cho việc xác minh danh tính. Các phương pháp cũ như vân tay, thẻ từ có nhiều nhược điểm. Nhận diện khuôn mặt giúp tự động hóa quy trình, tiết kiệm thời gian, giảm nhân lực. Thách thức bao gồm thay đổi ánh sáng, góc độ, biểu cảm, và dữ liệu huấn luyện hạn chế.

2.1. Phạm vi và Thách thức trong Ứng dụng Điểm danh

Bài toán nhận diện khuôn mặt có phạm vi ứng dụng rộng, bao gồm an ninh, xác thực người dùng. Luận án này tập trung vào xác định danh tính sinh viên trong điểm danh, đảm bảo tính chính xác và hiệu suất. Thách thức chính là sự thay đổi về ánh sáng, góc độ, biểu cảm, và sự thay đổi theo thời gian. Điều này đòi hỏi các thuật toán phải có khả năng thích ứng cao.

2.2. Vai trò của Điểm danh Tự động tại các Trường Đại học

Hệ thống điểm danh tự động có vai trò quan trọng trong quản lý sinh viên tại các trường đại học. Giúp tiết kiệm thời gian, công sức, tăng tính chính xác. Theo dõi hiệu suất học tập, tăng cường an ninh. Tạo điều kiện cho việc nghiên cứu, phân tích dữ liệu. Một hệ thống điểm danh tự động hiệu quả là một công cụ quan trọng cho quản lý giáo dục hiện đại.

2.3. Giải pháp Điểm danh Sinh viên qua Nhận diện Khuôn mặt

Bài toán điểm danh sinh viên qua nhận diện khuôn mặt nhằm tự động xác định danh tính sinh viên trong lớp học. Thay vì sử dụng phương pháp truyền thống, hệ thống sẽ sử dụng công nghệ nhận diện khuôn mặt để tự động điểm danh sinh viên. So với vân tay và thẻ từ, nhận diện khuôn mặt không cần thiết bị tiếp xúc, xác thực chính xác và có khả năng tích hợp vào các hệ thống quản lý hiện có một cách linh hoạt.

III. Các Phương pháp Nhận diện Khuôn mặt để Điểm danh

Nghiên cứu các phương pháp nhận diện khuôn mặt hiện có, từ Viola-Jones đến các mô hình học sâu như VGGFace, Eigenfaces, FaceNet. Mỗi phương pháp có ưu, nhược điểm riêng về độ chính xác, tốc độ, và yêu cầu tài nguyên. Cần đánh giá, so sánh, và đề xuất giải pháp phù hợp cho bài toán điểm danh sinh viên.

3.1. Phương pháp Viola Jones và ứng dụng Nhận diện

Phương pháp Viola-Jones là một thuật toán hiệu quả để phát hiện khuôn mặt trong hình ảnh. Nó sử dụng các đặc trưng Haar-like và thuật toán AdaBoost để phân loại. Tuy nhiên, phương pháp này có thể gặp khó khăn trong điều kiện ánh sáng yếu hoặc góc nhìn khác nhau. Hiệu suất có thể bị ảnh hưởng bởi các biến đổi lớn về góc và tỷ lệ.

3.2. Phương pháp VGGFace trong Nhận diện Khuôn mặt

Phương pháp VGGFace dựa trên mạng nơ-ron tích chập (CNN). Nó được thiết kế để nhận diện khuôn mặt và nhúng các đặc trưng của khuôn mặt vào không gian vector số học. Tuy nhiên, VGGFace đòi hỏi lượng lớn dữ liệu huấn luyện và sức mạnh tính toán cao. Quá trình huấn luyện và triển khai có thể tốn kém và tốn thời gian.

3.3. Phương pháp Eigenfaces và Ứng dụng Nhận diện

Phương pháp Eigenfaces dựa trên phân tích thành phần chính (PCA) để giảm số chiều của dữ liệu khuôn mặt. Các bước chính bao gồm chuẩn bị dữ liệu, tính toán trung bình khuôn mặt, tính toán ma trận hiệp phương sai, và chọn các thành phần chính. Phương pháp này đòi hỏi tiền xử lý dữ liệu phức tạp. Nó có thể bị giới hạn khi đối mặt với các biến đổi nghiêng, quay, hay biến dạng ngoại lệ của khuôn mặt.

IV. Giải pháp Nhận diện Khuôn mặt đề xuất cho Điểm danh

Đề xuất sử dụng xử lý ảnh và các thuật toán học sâu như MTCNN và FaceNet để giải quyết các vấn đề của các phương pháp truyền thống. MTCNN giúp phát hiện khuôn mặt chính xác, còn FaceNet tạo ra biểu diễn số học (embedding) hiệu quả cho nhận diện. Kết hợp hai phương pháp này giúp cải thiện độ chính xác và hiệu suất của hệ thống điểm danh tự động.

4.1. So sánh các phương pháp và Đề xuất

Khi nghiên cứu tổng quan các giải pháp nhận diện khuôn mặt như Viola-Jones, VGGFace và Eigenfaces để thực hiện điểm danh tự động, có một số khó khăn và hạn chế. Cần sử dụng xử lý ảnh và các thuật toán học sâu như MTCNN và FaceNet. Các giải pháp đề xuất bao gồm sử dụng MTCNN và FaceNet có nhiều ưu điểm.

4.2. Ưu điểm khi sử dụng MTCNN và FaceNet

MTCNN và FaceNet có khả năng học được các đặc trưng phức tạp và phụ thuộc vào ngữ cảnh của ảnh, giúp tăng độ chính xác của bài toán. MTCNN và FaceNet cũng có khả năng tự động học các đặc trưng cần thiết từ dữ liệu, giảm thiểu công sức và thời gian cần để tinh chỉnh các thông số của phương pháp nhận diện. Do đó sử dụng MTCNN và FaceNet là một phương pháp hiệu quả để giải quyết bài toán nhận diện khuôn mặt.

V. Ứng dụng Nhận diện Khuôn mặt cho Điểm danh Sinh viên

Thiết kế hệ thống điểm danh sinh viên bằng nhận diện khuôn mặt. Mô tả sơ đồ thiết kế hệ thống, mô hình triển khai, môi trường triển khai, và thiết kế ứng dụng. Thử nghiệm các phương pháp, đánh giá kết quả, và trình bày giao diện người dùng. Đánh giá độ chính xác, hiệu suất của hệ thống trong điều kiện thực tế.

5.1. Thiết kế Tổng thể Hệ thống Điểm danh Sinh viên

Thiết kế tổng thể bao gồm sơ đồ hệ thống nhận diện khuôn mặt, mô hình triển khai dự kiến, và môi trường triển khai. Việc lựa chọn camera, phần cứng phù hợp là rất quan trọng. Cần đảm bảo hệ thống có thể hoạt động ổn định trong môi trường thực tế.

5.2. Thử nghiệm và Đánh giá Hiệu suất Nhận diện

Thu thập dữ liệu đầu vào, bao gồm ảnh khuôn mặt sinh viên. Huấn luyện các mô hình phát hiện và nhận diện khuôn mặt. Thử nghiệm hệ thống và đánh giá kết quả. Các chỉ số quan trọng bao gồm độ chính xác, độ tin cậy, và thời gian xử lý. Cần thực hiện thử nghiệm trong các điều kiện ánh sáng khác nhau để đánh giá tính ổn định của hệ thống.

VI. Kết luận và Tương lai của Nhận diện Khuôn mặt Điểm danh

Tóm tắt kết quả nghiên cứu, đánh giá những ưu, nhược điểm của hệ thống. Đề xuất các hướng phát triển trong tương lai, như cải thiện độ chính xác, tăng cường bảo mật, tích hợp với các hệ thống khác. Nhận diện khuôn mặt có tiềm năng lớn trong điểm danh, nhưng cần giải quyết các thách thức để ứng dụng rộng rãi.

6.1. Đánh giá và Các Hướng Phát triển Tương lai

Cần đánh giá kỹ lưỡng những ưu điểm và nhược điểm của hệ thống điểm danh bằng nhận diện khuôn mặt. Các hướng phát triển có thể bao gồm cải thiện độ chính xác, tăng cường bảo mật, và tích hợp với các hệ thống quản lý sinh viên khác. Ứng dụng AI và Deep Learning là chìa khóa để nâng cao hiệu quả.

6.2. Triển vọng của Nhận diện Khuôn mặt trong Giáo dục

Nhận diện khuôn mặt có tiềm năng lớn trong lĩnh vực giáo dục. Ngoài điểm danh, nó có thể được sử dụng để cá nhân hóa trải nghiệm học tập, cung cấp phản hồi cho sinh viên, và phát hiện gian lận trong thi cử. Tuy nhiên, cần đảm bảo tính bảo mật và quyền riêng tư của sinh viên.

Nội dung chính

Tổng quan nghiên cứu

Nhận diện khuôn mặt là một lĩnh vực quan trọng trong xử lý ảnh và trí tuệ nhân tạo, với ứng dụng rộng rãi trong bảo mật, giám sát an ninh, và quản lý tự động. Theo báo cáo của ngành, số lượng sinh viên tại các trường đại học Việt Nam ngày càng tăng, gây áp lực lớn cho công tác quản lý và điểm danh truyền thống vốn tốn nhiều thời gian và nhân lực. Bài toán nhận diện khuôn mặt trong điểm danh sinh viên nhằm tự động hóa quá trình xác minh danh tính, nâng cao độ chính xác và tiết kiệm nguồn lực.

Mục tiêu nghiên cứu là khảo sát, thử nghiệm và lựa chọn phương pháp nhận diện khuôn mặt phù hợp để ứng dụng trong hệ thống điểm danh tự động tại các trường đại học. Phạm vi nghiên cứu tập trung vào việc phát hiện và nhận diện khuôn mặt sinh viên trong môi trường lớp học, sử dụng dữ liệu thu thập từ camera giám sát và các bộ dữ liệu chuẩn như Faces94 và LFW trong khoảng thời gian gần đây. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác nhận diện trên 96%, giảm thiểu sai sót trong điểm danh và tăng hiệu quả quản lý giáo dục đại học.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Mô hình Viola-Jones: Thuật toán phát hiện khuôn mặt dựa trên đặc trưng Haar-like và bộ phân lớp AdaBoost, nổi bật với khả năng phát hiện nhanh nhưng hạn chế khi gặp điều kiện ánh sáng yếu hoặc góc nhìn thay đổi.
• Mô hình Multi-task Cascaded Convolutional Networks (MTCNN): Kiến trúc mạng nơ-ron tích chập gồm ba mạng con (P-Net, R-Net, O-Net) thực hiện phát hiện khuôn mặt và các điểm đặc trưng (mắt, mũi, miệng) với độ chính xác cao và khả năng xử lý đa tỷ lệ ảnh.
• Mô hình VGGFace: Mạng CNN sâu dựa trên kiến trúc VGGNet, học sâu để trích xuất đặc trưng khuôn mặt và phân loại đa lớp với vector đặc trưng 4096 chiều.
• Mô hình FaceNet: Mạng học sâu trích xuất vector nhúng 128 chiều đại diện đặc trưng khuôn mặt, sử dụng hàm mất mát triplet loss để tối ưu hóa khoảng cách giữa các vector cùng và khác người, giúp nhận diện chính xác và độc lập với biến đổi ánh sáng, góc nhìn.

Các khái niệm chính bao gồm: phát hiện khuôn mặt, trích xuất đặc trưng, vector nhúng (embedding vector), hàm mất mát triplet loss, và mạng nơ-ron tích chập (CNN).

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm:

• Bộ dữ liệu Faces94 với hơn 3000 ảnh của 153 người, mỗi người có khoảng 20 ảnh đa góc độ và biểu cảm.
• Bộ dữ liệu LFW (Labeled Faces in the Wild) gồm 13,233 ảnh của 5,749 người, dùng để huấn luyện mô hình FaceNet.
• Bộ dữ liệu WIDER Face với 393,703 khuôn mặt trong 32,203 ảnh, dùng để huấn luyện mạng MTCNN.
• Dữ liệu thực tế thu thập từ camera HD 720p tại lớp học với 50 sinh viên, mỗi sinh viên có khoảng 10 ảnh khuôn mặt.

Phương pháp phân tích bao gồm:

• Huấn luyện mô hình phát hiện khuôn mặt MTCNN với tỷ lệ học 0.01, kích thước lô 64, tối đa 20,000 vòng lặp.
• Huấn luyện mô hình nhận diện khuôn mặt FaceNet với tỷ lệ học 0.05, kích thước lô 64, tối đa 30,000 vòng lặp, sử dụng kỹ thuật tăng cường dữ liệu như xoay, nhân bản, thay đổi tỷ lệ.
• Thử nghiệm nhận diện trên tập dữ liệu kiểm thử chiếm 10% tổng dữ liệu, đánh giá độ chính xác, tỷ lệ nhận diện đúng và sai.
• Thời gian nghiên cứu kéo dài trong 2 năm học tại Học viện Công nghệ Bưu chính Viễn thông, với môi trường triển khai trên nền tảng Python 3.9, TensorFlow, Keras, OpenCV.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phát hiện khuôn mặt bằng MTCNN: MTCNN cho kết quả phát hiện chính xác với tỷ lệ nhận diện khuôn mặt trong bộ dữ liệu WIDER Face đạt trên 96%, vượt trội so với phương pháp truyền thống Viola-Jones.

2. Độ chính xác nhận diện khuôn mặt bằng FaceNet: Trên bộ dữ liệu Faces94 và dữ liệu thực tế tại học viện VTI, hệ thống đạt tỷ lệ nhận diện chính xác lần lượt là 97% và 96%, cao hơn đáng kể so với các phương pháp học máy truyền thống như SVM, PCA.

3. Tốc độ xử lý: Hệ thống nhận diện khuôn mặt hoạt động với thời gian xử lý trung bình khoảng 0.2 giây cho mỗi khung hình, phù hợp với yêu cầu điểm danh thời gian thực trong lớp học.

4. Khả năng nhận diện trong điều kiện phức tạp: Hệ thống có thể nhận diện chính xác khuôn mặt đeo kính và trong các điều kiện ánh sáng khác nhau, thể hiện tính ổn định và khả năng ứng dụng thực tế cao.

Thảo luận kết quả

Nguyên nhân của hiệu quả cao đến từ việc kết hợp MTCNN và FaceNet, tận dụng ưu điểm của MTCNN trong phát hiện khuôn mặt đa tỷ lệ và FaceNet trong trích xuất đặc trưng độc lập với biến đổi môi trường. So với các nghiên cứu trước đây sử dụng các phương pháp truyền thống như Eigenfaces hay Viola-Jones, hệ thống mới cải thiện đáng kể độ chính xác và khả năng xử lý trong thời gian thực.

Kết quả có thể được trình bày qua biểu đồ so sánh độ chính xác nhận diện giữa các phương pháp trên bộ dữ liệu Faces94 và biểu đồ thời gian xử lý trung bình trên mỗi khung hình. Bảng kết quả thực nghiệm cũng minh họa tỷ lệ nhận diện đúng, nhận diện sai và không nhận diện được khuôn mặt trong các điều kiện khác nhau.

Ý nghĩa của nghiên cứu là cung cấp một giải pháp điểm danh tự động hiệu quả, giảm thiểu sai sót và tiết kiệm nguồn lực cho các trường đại học, đồng thời mở rộng khả năng ứng dụng nhận diện khuôn mặt trong các lĩnh vực khác.

Đề xuất và khuyến nghị

1. Triển khai hệ thống điểm danh tự động tại các trường đại học: Áp dụng mô hình MTCNN và FaceNet để xây dựng hệ thống điểm danh qua camera, nhằm nâng cao độ chính xác nhận diện trên 95% và giảm thời gian điểm danh xuống dưới 1 phút cho mỗi lớp học. Thời gian thực hiện dự kiến trong 6-12 tháng, do phòng công nghệ thông tin trường chủ trì.

2. Tăng cường dữ liệu huấn luyện: Sử dụng kỹ thuật tăng cường dữ liệu như xoay, phóng to, thay đổi ánh sáng để mở rộng bộ dữ liệu huấn luyện, giúp mô hình thích nghi tốt hơn với các điều kiện thực tế đa dạng. Thời gian thực hiện 3-6 tháng, do nhóm nghiên cứu và kỹ thuật viên dữ liệu đảm nhiệm.

3. Nâng cấp phần cứng và tối ưu thuật toán: Đầu tư máy chủ có GPU mạnh và tối ưu thuật toán để giảm độ trễ xử lý xuống dưới 0.1 giây mỗi khung hình, đáp ứng yêu cầu xử lý thời gian thực cho các lớp học đông sinh viên. Kế hoạch thực hiện trong 6 tháng, phối hợp giữa phòng CNTT và nhà cung cấp thiết bị.

4. Phát triển giao diện quản lý và báo cáo điểm danh: Xây dựng phần mềm quản lý điểm danh với giao diện thân thiện, cho phép giảng viên tra cứu, xuất báo cáo theo lớp, ngày điểm danh và các tiêu chí khác. Thời gian phát triển 4-5 tháng, do nhóm phát triển phần mềm thực hiện.

Đối tượng nên tham khảo luận văn

1. Giảng viên và cán bộ quản lý giáo dục đại học: Hỗ trợ trong việc áp dụng công nghệ nhận diện khuôn mặt để quản lý sinh viên hiệu quả, giảm thiểu sai sót trong điểm danh và nâng cao chất lượng giảng dạy.

2. Nhà nghiên cứu và sinh viên ngành công nghệ thông tin, trí tuệ nhân tạo: Cung cấp kiến thức chuyên sâu về các mô hình học sâu ứng dụng trong nhận diện khuôn mặt, phương pháp huấn luyện và đánh giá mô hình.

3. Các đơn vị phát triển phần mềm và công nghệ giáo dục: Tham khảo để phát triển các sản phẩm điểm danh tự động, tích hợp công nghệ AI vào quản lý giáo dục, nâng cao tính cạnh tranh và hiệu quả sản phẩm.

4. Các tổ chức, doanh nghiệp ứng dụng nhận diện khuôn mặt trong an ninh và quản lý nhân sự: Áp dụng các giải pháp kỹ thuật và kinh nghiệm triển khai từ luận văn để phát triển hệ thống nhận diện khuôn mặt phù hợp với môi trường thực tế.

Câu hỏi thường gặp

1. Phương pháp MTCNN và FaceNet có ưu điểm gì so với các phương pháp truyền thống?
   MTCNN kết hợp phát hiện khuôn mặt đa tỷ lệ và trích xuất điểm đặc trưng chính xác, trong khi FaceNet tạo vector nhúng độc lập với ánh sáng và góc nhìn, giúp nhận diện chính xác hơn so với các phương pháp như Viola-Jones hay Eigenfaces.

2. Hệ thống có thể nhận diện chính xác trong điều kiện ánh sáng yếu hoặc khuôn mặt bị che không?
   Hệ thống đã được thử nghiệm với các điều kiện ánh sáng khác nhau và khuôn mặt đeo kính, cho kết quả nhận diện chính xác trên 96%. Tuy nhiên, nhận diện khuôn mặt bị che một phần như khẩu trang vẫn là thách thức cần nghiên cứu thêm.

3. Thời gian xử lý trung bình cho mỗi khung hình là bao lâu?
   Thời gian xử lý trung bình khoảng 0.2 giây mỗi khung hình, phù hợp với yêu cầu điểm danh thời gian thực trong lớp học.

4. Dữ liệu huấn luyện được tăng cường như thế nào để cải thiện hiệu quả mô hình?
   Dữ liệu được tăng cường bằng các kỹ thuật xoay, phóng to, thay đổi tỷ lệ và ánh sáng, giúp mô hình học được đa dạng biểu hiện khuôn mặt và tăng khả năng tổng quát hóa.

5. Hệ thống có thể mở rộng để nhận diện nhiều người cùng lúc không?
   Hệ thống đã thử nghiệm nhận diện nhiều khuôn mặt trong cùng một khung hình với độ chính xác cao, cho thấy khả năng mở rộng ứng dụng trong các môi trường đông người như lớp học hoặc hội trường.

Kết luận

• Luận văn đã nghiên cứu và thử nghiệm thành công các mô hình MTCNN và FaceNet cho bài toán nhận diện khuôn mặt trong điểm danh sinh viên, đạt độ chính xác trên 96%.
• Hệ thống được thiết kế và triển khai với thời gian xử lý nhanh, phù hợp với yêu cầu thực tế tại các trường đại học.
• Kết quả thực nghiệm cho thấy sự vượt trội của phương pháp học sâu so với các phương pháp truyền thống trong nhận diện khuôn mặt.
• Đề xuất các giải pháp triển khai hệ thống điểm danh tự động, tăng cường dữ liệu và tối ưu phần cứng để nâng cao hiệu quả ứng dụng.
• Hướng nghiên cứu tiếp theo tập trung vào mở rộng dữ liệu, kết hợp mô hình mới và cải thiện khả năng nhận diện trong điều kiện phức tạp hơn.

Để tiếp tục phát triển và ứng dụng rộng rãi, các nhà quản lý giáo dục, nhà nghiên cứu và doanh nghiệp công nghệ nên phối hợp triển khai các giải pháp dựa trên nghiên cứu này nhằm nâng cao hiệu quả quản lý và trải nghiệm người dùng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TONG QUAN VE BÀI TOÁN NHAN DIỆN KHUON MAT 11 Tổng quan về nhận diện khuôn mặt 1.1 Giới thiệu về bài toán nhận diện khuôn mặt Bài toán nhận diện khuôn mặt là một trong những bai toán quan trọng trong lĩnh vực xử lý ảnh và trí tuệ nhân tạo. Nó liên quan đến việc xác định và phân biệt các khuôn mặt của con người trong hình ảnh hoặc video. Bài toán này có nhiều ứng dụng thực tế, từ nhận diện khuôn mặt trong ảnh chụp, video giám sắt an ninh cho đến các ứng dụng nhận diện khuôn mặt trong điện thoại di động, máy tính hoặc hệ thống đăng nhập bằng khuôn mặt.

Tuy bài toán nhận diện khuôn mặt đã được nghiên cứu và phát triển trong nhiều năm, nhưng vẫn còn đầy thách thức. Điều này bởi vì nhận diện khuôn mặt phải đối mặt với các yếu tố biến đổi như thay đổi ánh sáng, góc nhìn, biéu cảm và sự thay đổi trong thời gian. Tuy nhiên, với sự phát triển của công nghệ máy học va học sâu, các phương pháp nhận diện khuôn mặt ngày cảng dat được độ chính xác cao và ứng dụng rộng rãi trong nhiều lĩnh vực như bảo mật, giao tiếp máy-tài nguyên và nhận diện cá nhân. ng Trich chon Nhận ảnh Tiền „ xử E——"y Xác định vitri -——- đặc trưng ^` F———>\| Phân loại Kết luận lý ảnh ^ x từ khuôn khuôn mặt mặt Hình 1-1 Tổng quan các bước cho nhận diện khuôn mặt 1.2 Các yêu cầu tổng quan bài toán nhận diện khuôn mặt Bai toán nhận diện khuôn mặt có một số yêu cầu quan trọng dé đạt được kết quả tốt.

Dưới đây là các yêu cầu cơ bản trong bài toán nhận diện khuôn mặt: - Phat hiện và xác định vi trí khuôn mặt - Tinh nhất quán và đồng nhất - Trich xuất đặc trưng - Kha năng nhận diện và phân loại - _ Độ chính xác và tốc độ xử lý 1.3 Pham vi và thách thức Pham vi: Phạm vi ứng dụng: Bài toán nhận diện khuôn mặt có thé được áp dụng trong nhiều lĩnh vực, bao gồm an ninh, xác thực người dùng, nhận diện khuôn mặt trong ảnh hoặc video, nhận diện khuôn mặt trong thời gian thực, và nhiều ứng dụng khác. Tuy nhiên trong luận án này sẽ tập trung vào là xác định danh tính của sinh viên bằng cách nhận diện và phân loại khuôn mặt trong quá trình điểm danh. Bài toán tập trung vào việc phát hiện và nhận diện khuôn mặt của sinh viên dựa trên co sở dữ liệu đã được xây dựng trước đó, đảm bảo tính chính xác và hiệu suất xử lý trong thời gian thực. Phạm vi đối tượng: Hệ thống nhận diện khuôn mặt có thê được thiết kế để nhận diện khuôn mặt của một người cụ thể hoặc nhận diện và phân biệt giữa nhiều khuôn mặt khác nhau trong một cơ sở đữ liệu.

Thách thức: Khi thực hiện bài toán nhận diện khuôn mặt, có một số thách thức quan trọng mà cần được vượt qua để đạt được kết quả tốt. Dưới đây là một số thách thức chính: - Thay đổi ánh sáng - Bién đổi góc độ - _ Biểu cảm khuôn mặt - Su thay đối về thời gian - _ Độc lập về gương mặt - Dé liệu huấn luyện hạn chế 1.2 Vai trò va tam quan trọng của hệ thống điểm danh tự động tai trường đại học Hệ thong diém danh tự động tại các trường đại hoc có vai trò va tầm quan trọng lớn trong quản lý và theo dõi sự hiện diện của sinh viên trong các khóa học. Dưới đây là vai trò và tầm quan trọng của hệ thống điểm danh tự động: - _ Tiết kiệm thời gian và công sức - _ Chính xác va đáng tin cậy - Theo dõi hiệu suất học tập - Tang cường an ninh và kiểm soát - Tao điều kiện cho việc nghiên cứu và phân tích dữ liệu 1.3 Bài toán điểm danh sinh viên qua nhận diện khuôn mặt Với sự phát triển của giáo dục tại Việt Nam, sỐ lượng sinh viên tại các trường đại học ngày càng gia tăng, dẫn đến công tác quản lý khó khăn, phức tạp, đòi hỏi một hệ thống quản lý thông minh với ứng dụng của trí tuệ nhân tạo. Khi 36 lượng sinh viên lớn, điều kiện môi trường phức tạp, việc xác minh chính xác được danh tính của sinh viên là một thử thách lớn, mắt thời gian, tốn nhân lực.

Do đó các phương pháp điểm danh sinh viên cũ như : - Giai pháp vân tay - _ GIải pháp thẻ từ Với những nhược điểm rất lớn của các phương pháp điểm danh truyền thống Việc điểm danh qua nhận diện khuôn mặt trở nên cấp thiết vì những lợi ích sau đây so với các phương pháp điểm danh truyền thống: Không cần thiết sử dụng thẻ hoặc vân tay, xác thực chính xác và đáng tin cậy, có khả năng tích hợp vào các hệ thống quản lý điểm danh tự động hiện có một cách linh hoạt. Với những ưu điểm nồi bật trên thì bài toán xác minh sinh viên qua nhận diện khuôn mặt khi vào lớp, phòng thi của các trường đại học là một bài toán cấp thiết. Mô tả bài toán: Bai toán điểm danh sinh viên qua nhận diện khuôn mặt nhằm tự động xác định danh tính của sinh viên trong lớp học. Thay vì sử dụng phương pháp truyền thống, hệ thống sẽ sử dụng kỹ thuật nhận diện khuôn mặt dé tự động điểm danh sinh viên.4 Khảo sát một số phương pháp nhận diện khuôn mặt 1.1 Phương pháp Viola-Jones Phương pháp nhận diện khuôn mặt Viola-Jones là một thuật toán phổ biến và hiệu quả được sử dụng dé phát hiện khuôn mặt trong hình ảnh.

Được giới thiệu bởi Paul Viola và Michael Jones vào năm 2001, thuật toán này đã trở thành một công cụ quan trọng trong lĩnh vực nhận diện khuôn mặt. Phương pháp Viola-Jones hoạt động theo các bước sau: - Tao ra các tính năng (features) - Huan luyện một bộ phân lớp AdaBoost - _ Xác định vi trí khuôn mat - _ Điều chỉnh thông số AdaBoost - _ Đánh giá và lọc các khuôn mặt được phát hiện 1.2 Phuong pháp VGGFace Phương pháp VGGFace là một phương pháp nhận diện khuôn mặt dựa trên mạng nơ-ron tích chập (CNN) được phát triển bởi nhóm nghiên cứu tại Đại học Oxford. Nó được thiết kế để nhận diện và nhúng các đặc trưng của khuôn mặt vào không gian vector sô học. Các bước cơ bản của phương pháp VGGFace bao gồm: - _ Xác định và cắt ra khuôn mặt - Biểu diễn khuôn mặt bằng mạng nơ-ron tích chập VGGFace - Nhung khuôn mặt vào không gian vector - So sánh và nhận diện khuôn mặt 1.3 Phương pháp Eigenfaces Eigenfaces là một phương pháp nhận diện khuôn mặt được giới thiệu bởi Sirovich va Kirby vào năm 1987.

Phương pháp nay dựa trên phân tích thành phan chính (PCA) dé giảm số chiều của dữ liệu khuôn mặt và tạo ra một không gian con chứa các thành phần chính quan trọng. Các bước chính trong phương pháp Eigenfaces là: - Chuan bị dé liệu: - _ Xây dựng ma trận anh - Tinh toán trung bình khuôn mặt - Tinh toán ma trận hiệp phương sai - Tinh toán các vectơ riêng và gia tri riêng - Chon các thành phan chính - _ Chiếu khuôn mặt mới 1. Đánh giá và đề xuất giải pháp nhận diện khuôn mặt Khi nghiên cứu tổng quan các giải pháp nhận diện khuôn mặt như Viola- Jones, VGGFace và Eigenfaces dé thực hiện điểm danh tự động, có một số khó khăn và hạn chế sau đây: Viola-Jones: e Kho khăn trong việc phát hiện khuôn mặt với độ chính xác cao khi đối diện với các tình huống có nhiễu, ánh sáng yếu hoặc góc nhìn khác nhau. © Có thé xảy ra những sai sót trong việc xác định đúng vị trí và đặc trưng của khuôn mặt, đặc biệt là đối với những khuôn mặt có biến đổi lớn về góc, tỷ lệ hoặc ánh sáng.

VGGFace: ® Doi hỏi một lượng lớn dt liệu huấn luyện để đạt được độ chính xác cao. Việc thu thập và chuẩn bị đữ liệu huấn luyện có thể tốn kém và tốn thời gian. ¢ D6 phức tạp của mô hình VGGFace là khá lớn, đòi hỏi sức mạnh tính toán cao và tài nguyên phần cứng mạnh để triển khai và chạy mô hình một cách hiệu quả. Eigenfaces: e Yéu cau tiền xử ly đữ liệu phức tap, bao gồm việc chuan hóa kích thước va độ sang cua ảnh.

e Khả năng phân biệt va đặc trưng của mô hình có thé bị giới hạn khi đối mặt với các biến đôi nghiêng, quay, hay biến dạng ngoại lệ của khuôn mặt. Đề xuất thực hiện: Dé giải quyết các van đề trên và cải thiện độ chính xác và hiệu suất của hệ thống điểm danh tự động, có thé sử dụng xử lý ảnh và các thuật toán học sâu như MTCNN và FaceNet. Các giải pháp đề xuất bao gồm: 15 Kết luận chương Bài toán nhận diện khuôn mặt là một trong những bai toán quan trọng trong lĩnh vực xử lý ảnh và máy tính. Nó đóng vai trò quan trọng trong nhiều ứng dụng thực tiễn như bảo mật, điểm danh tự động, giám sát an ninh, xác thực người dùng trong các thiết bị điện tử, và cả trong lĩnh vực y tế.

Trong quá trình tìm hiểu và nghiên cứu bài toán này, chúng ta đã được tiếp cận với các phương pháp nhận diện khuôn mặt phổ biến: VGGFace, Eigenfaces, Viola-Jones và các ứng dụng của bài toán nhận diện khuôn mặt trong đời sống thực. Sử dụng MTCNN và FaceNet cho bài toán nhận diện khuôn mặt có nhiều ưu điểm. Đầu tiên, MTCNN và FaceNet có khả năng học được các đặc trưng phức tạp và phụ thuộc vào ngữ cảnh của ảnh, giúp tăng độ chính xác của bài toán. Thứ hai, MTCNN và FaceNet cũng có khả năng tự động học các đặc trưng cần thiết từ dữ liệu, giảm thiểu công sức va thời gian cần để tinh chỉnh các thông số của phương pháp nhận diện.

10 Tổng quan, sử dụng MTCNN và FaceNet là một phương pháp hiệu quả dé giải quyết bài toán nhận điện khuôn mặt. Dé đạt được kết quả tốt nhất, cần đầu tư đầy đủ tài nguyên và công sức cho việc thu thập và chuẩn bị đữ liệu, cũng như huấn luyện và tinh chỉnh mô hình deep learning. NGHIEN CỨU CÁC PHƯƠNG PHAP - NHAN DIEN KHUON MAT 2. Nghiên cứu các phương pháp phát hiện khuôn mặt Phát hiện khuôn mặt là một lĩnh vực quan trọng trong lĩnh vực nhận dạng khuôn mặt và thị giác máy tính.

Mục tiêu của nghiên cứu này là tìm ra các phương pháp hiệu quả để nhận diện và định vị khuôn mặt trong hình ảnh và video. Có nhiều phương pháp đã được đề xuất và nghiên cứu trong lĩnh vực này.