Phát Triển Hệ Thống Điểm Danh Trong Lớp Học Sử Dụng Công Nghệ Nhận Diện Khuôn Mặt

Khám phá cách phát triển hệ thống điểm danh trong lớp học bằng công nghệ nhận diện khuôn mặt, nâng cao hiệu quả quản lý và tiết kiệm thời gian.

• Tác giả: Đỗ Khánh Linh
• Người hướng dẫn: ThS. Nguyễn Văn Tiến
• Trường học: Học viện Công nghệ Bưu chính Viễn Thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát Triển Hệ Thống Điểm Danh Trong Lớp Học Sử Dụng Công Nghệ Nhận Diện Khuôn Mặt
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TÌM HIỂU BÀI TOÁN ĐIỂM DANH SỬ DỤNG NHẬN DIỆN KHUÔN MẶT
• 1.1. Tổng quan về bài toán
• 1.2. Bài toán điểm danh bằng khuôn mặt
• 1.3. Những khó khăn của việc điểm danh bằng khuôn mặt
• 1.4. Cơ sở lý thuyết và tổng quan về mạng nơ-ron tích chập (Convolution Neural Network) trong Deep Learning
• 1.4.1. Mạng nơ-ron nhân tạo (Neural Network)
• 1.4.2. Multi-layer perceptron (mạng nơ-ron nhân tạo)
• 1.4.3. Mạng nơ-ron tích chập (Convolution Neural Network)
• 2. CHƯƠNG 2: KHẢO SÁT CÁC CÔNG NGHỆ XỬ LÝ ẢNH, HỌC MÁY TRONG HỆ THỐNG NHẬN DIỆN KHUÔN MẶT
• 2.1. Bộ phát hiện khuôn mặt (Face Detector)
• 2.2. Bộ căn chỉnh khuôn mặt (Face Alignment)
• 2.3. Bộ chống giả mạo khuôn mặt (Face Anti-spoofing)
• 2.4. Bộ trích xuất đặc trưng khuôn mặt (Face Feature Extraction)
• 2.5. Bộ nhận diện khuôn mặt
• 3. CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ HỆ THỐNG
• 3.1. Phân tích hệ thống
• 3.2. Mô tả các chức năng chính của hệ thống
• 3.3. Use Case tổng quan của hệ thống
• 3.4. Đặc tả các Use Case của hệ thống
• 3.5. Thiết kế hệ thống
• 3.5.1. Biểu đồ lớp của hệ thống
• 3.5.2. Thiết kế vật lý của hệ thống
• 3.6. Tổng quan chức năng điểm danh bằng khuôn mặt
• 4. CHƯƠNG 4: THỬ NGHIỆM CÀI ĐẶT VÀ XÂY DỰNG ỨNG DỤNG
• 4.1. Cài đặt Server
• 4.2. Cài đặt Client
• 4.3. Thiết kế giao diện
• 4.3.1. Giao diện đăng nhập
• 4.3.2. Giao diện danh sách lớp học
• 4.3.3. Giao diện điểm danh
• 4.3.4. Giao diện kết quả điểm danh
• 4.3.5. Giao diện đăng nhập của Admin
• 4.3.6. Giao diện thêm mới tài khoản
• 4.3.7. Giao diện thêm ảnh vào tài khoản sinh viên
• 4.3.8. Giao diện sửa tài khoản
• 4.3.9. Giao diện xóa tài khoản
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phát Triển Hệ Thống Điểm Danh Tự Động

Hệ thống điểm danh trong lớp học sử dụng công nghệ nhận diện khuôn mặt đang trở thành xu hướng mới trong giáo dục. Công nghệ này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc quản lý thông tin sinh viên. Việc áp dụng công nghệ nhận diện khuôn mặt giúp giải quyết nhiều vấn đề trong công tác điểm danh truyền thống, từ đó tạo ra một môi trường học tập thông minh hơn.

1.1. Công Nghệ Nhận Diện Khuôn Mặt Là Gì

Công nghệ nhận diện khuôn mặt là một phương pháp sử dụng các thuật toán để xác định và xác thực danh tính của một người dựa trên hình ảnh khuôn mặt. Công nghệ này đã được ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm an ninh, ngân hàng và giáo dục.

1.2. Lợi Ích Của Hệ Thống Điểm Danh Tự Động

Hệ thống điểm danh tự động giúp giảm thiểu thời gian và công sức cho giáo viên. Nó cũng đảm bảo tính chính xác cao hơn so với phương pháp điểm danh truyền thống, đồng thời giảm thiểu khả năng gian lận trong việc điểm danh.

II. Những Thách Thức Trong Việc Ứng Dụng Công Nghệ Nhận Diện Khuôn Mặt

Mặc dù công nghệ nhận diện khuôn mặt mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần được giải quyết. Các vấn đề như điều kiện ánh sáng, góc chụp và khả năng chống giả mạo là những yếu tố quan trọng ảnh hưởng đến hiệu quả của hệ thống.

2.1. Vấn Đề Chống Giả Mạo Khuôn Mặt

Với sự phát triển của công nghệ, các phương pháp giả mạo khuôn mặt ngày càng tinh vi. Hệ thống cần có các biện pháp bảo mật để nhận diện chính xác người thật và ngăn chặn các hành vi gian lận.

2.2. Ảnh Hưởng Của Điều Kiện Ánh Sáng

Điều kiện ánh sáng không đồng đều có thể làm giảm độ chính xác của hệ thống nhận diện khuôn mặt. Việc phát triển các thuật toán có khả năng hoạt động tốt trong nhiều điều kiện ánh sáng khác nhau là rất cần thiết.

III. Phương Pháp Triển Khai Hệ Thống Điểm Danh

Để triển khai hệ thống điểm danh sử dụng công nghệ nhận diện khuôn mặt, cần thực hiện một số bước quan trọng. Từ việc thu thập dữ liệu khuôn mặt đến việc phát triển các thuật toán nhận diện, mỗi bước đều cần được thực hiện cẩn thận để đảm bảo hiệu quả.

3.1. Thu Thập Dữ Liệu Khuôn Mặt

Quá trình thu thập dữ liệu khuôn mặt là bước đầu tiên và quan trọng nhất. Dữ liệu này cần được thu thập từ nhiều góc độ và điều kiện khác nhau để đảm bảo tính chính xác của hệ thống.

3.2. Phát Triển Thuật Toán Nhận Diện

Các thuật toán nhận diện khuôn mặt cần được phát triển và tối ưu hóa để có thể xử lý nhanh chóng và chính xác. Việc áp dụng các mô hình học sâu như mạng nơ-ron tích chập (CNN) là một trong những phương pháp hiệu quả.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Điểm Danh

Hệ thống điểm danh sử dụng công nghệ nhận diện khuôn mặt đã được áp dụng thành công trong nhiều trường học và cơ sở giáo dục. Những kết quả tích cực từ việc triển khai hệ thống này đã chứng minh tính khả thi và hiệu quả của nó.

4.1. Kết Quả Nghiên Cứu Tại Các Trường Học

Nhiều trường học đã áp dụng hệ thống điểm danh tự động và ghi nhận sự cải thiện rõ rệt trong việc quản lý sinh viên. Hệ thống giúp giảm thiểu thời gian điểm danh và nâng cao độ chính xác.

4.2. Phản Hồi Từ Giáo Viên Và Sinh Viên

Phản hồi từ giáo viên và sinh viên cho thấy sự hài lòng với hệ thống điểm danh tự động. Họ cảm thấy an tâm hơn khi biết rằng thông tin của mình được bảo mật và quản lý một cách hiệu quả.

V. Kết Luận Về Tương Lai Của Hệ Thống Điểm Danh

Hệ thống điểm danh sử dụng công nghệ nhận diện khuôn mặt hứa hẹn sẽ tiếp tục phát triển và cải tiến trong tương lai. Với sự tiến bộ của công nghệ AI và machine learning, hệ thống sẽ ngày càng hoàn thiện hơn, đáp ứng tốt hơn nhu cầu của giáo dục.

5.1. Xu Hướng Phát Triển Công Nghệ

Công nghệ nhận diện khuôn mặt sẽ tiếp tục được cải tiến với các thuật toán mới, giúp nâng cao độ chính xác và khả năng chống giả mạo. Điều này sẽ mở ra nhiều cơ hội mới cho việc ứng dụng trong giáo dục.

5.2. Tương Lai Của Quản Lý Sinh Viên

Hệ thống điểm danh tự động sẽ trở thành một phần không thể thiếu trong quản lý sinh viên. Nó không chỉ giúp tiết kiệm thời gian mà còn nâng cao chất lượng giáo dục và sự an toàn cho sinh viên.

Trích đoạn nội dung tài liệu

Chương 1: TÌM HIẾU BÀI TOÁN. 224x224x64 : : 112x112x84 Single depth slice pool ⁄-4l,| |1|1|214 vy max pool with 2x2 filters 70007 || 8 and stride 2 6 | | 3 |2 (ie $) 1,|2 eae a downsampling Me 112 224 y Hinh 1. Vi du vé Pooling layer s* Fully connected layer Sau khi anh duoc truyén qua nhiéu convolutional layer va pooling layer thi model đã hoc được tương đối các đặc điểm của ảnh (ví dụ mắt, mũi, khung mặt, .) thì tensor của output của layer cuối cùng, kích thước H*W*D, sẽ được chuyển về | vector kích thước (H*W*D). Sau đó sử dụng mạng nơ-ron kết nối đầy đủ (Fully connected layer) đề học các tổ hợp phi tuyến của các đặc trưng trích xuất từ kết quả ma trận tích chập đầu ra, từ đó ra được output của model.

Đỗ Khánh Linh - DI7HTTT06 11 Đồ án tốt nghiệp đại học Chương 1: TÌM HIẾU BÀI TOÁN. Output Volume Output Volume 588x1 20x1 Output Volume C output ©-: O@ nề 14x14x3 ReLU Activation Fn. [—n Cl 1 C © Ẫ Volume-29x29x3 O eo 2 O Or 3 Or 4 Convolution layer Stride 1 4 Os S Max Pool Soft-Max Layer layer Stride 2 O y Input Volume Flatten Fully conected Soft-Max 32x32x1 layer Layer ReLU Actication Fn. Ví dụ về Fully Connected Layer Như vậy, chúng ta đã chuyền đổi hình ảnh đầu vào thành một dang thích hop cho mạng nơ-ron đa lớp.

Chúng ta sẽ làm phẳng hình anh đầu vào này thành một vec-tơ cột. Vec-tơ đầu ra đã được làm phẳng sẽ được đưa vao một mạng nơ-ron suy luận tiễn (feedforward) và phương pháp truyền ngược (backpropagation) được áp dụng cho quá trình huấn luyện. Qua một loạt lần lặp, mô hình có thể phân biệt giữa các đặc trưng cốt lõi và các đặc trưng không quan trọng trong hình ảnh và phân loại chúng bằng hàm kích hoạt (activation function). Một số kiến trúc mạng nơ-ron tích chập s% Kiến trúc mạng VGG 16 Mạng VGG 16 được phát triển bởi K.

Zisserman, University of Oxford với quan điểm về một mạng nơ-ron sâu hơn sẽ giúp ích cho cải thiện độ chính xác của mô hình tốt hơn. Kiến trúc mạng VGG 16 [11] Kiến trúc VGG 16 bao gồm 16 Convolution Layers, 13 layers tích chập và 3 layers fully connected. Mạng này chỉ sử dụng convolutions 3x3 nhưng với rất nhiều filters, va được huấn luyện với 4 GPUs trong 2-3 tuan. Viéc str dung các bộ lọc có Đỗ Khánh Linh - DI7HTTT06 12 Đồ án tốt nghiệp đại học Chương 1: TÌM HIẾU BÀI TOÁN.

kích thước nhỏ 3x3 cũng giúp giảm số lượng tham số cho mô hình và mang lại hiệu quả tính toán hơn. Ngoài ra, lần đầu tiên trong VGG 16 xuất hiện khái niệm về khối tích chập (block). Đây là những kiến trúc gồm một tập hợp các layers CNN được lặp lại giống nhau, và nó đã khởi nguồn cho các kiến trúc mạng CNN khác. Model sau khi train bởi mạng VGG16 đạt độ chính xác 92.7% top-5 test trong dữ liệu ImageNet gồm 14 triệu hình ảnh thuộc 1000 lớp khác nhau.

Tuy nhiên VGG !6 lại chứa tới những 138 triệu tham số, điều này ảnh hưởng phần nào tới việc kiểm soát và sử dụng nó hiệu quả [11]. $% Kiến trúc mạng ResNet Kiến trúc mạng ResNet được phát triển bởi Kainming He (một nhà nghiên cứu ở Microsoft). Mạng này được cấu thành từ rất nhiều các lớp tích chập xếp chồng lên nhau khiến cho mạng sâu hơn. Một vấn đề xảy ra khi xây dựng mạng CNN với nhiều lớp chập sẽ xảy ra hiện tượng mất mát đạo ham (Vanishing Gradient) dẫn tới quá trình học tập không tốt [11].

Vanishing Gradient Trước hết backpropagation (lan truyền ngược) là một kỹ thuật sử dụng trong quá trình học, tính toán đạo hàm của loss function từ output layer đến input layer sau đó dùng gradient descent dé hiệu chỉnh các trọng số của mạng. Toàn bộ quá trình sẽ được lặp lại cho tới khi các trọng số của network được hội tụ. Nếu số lượng vòng lặp quá nhỏ thì mạng có thể sẽ không cho ra kết quả tốt và ngược lại thời gian học sẽ lâu nếu số lượng vòng lặp quá lớn. Tuy nhiên, trong thực tế đạo hàm thường sẽ có giá trị nhỏ dần khi đi xuống các layer thấp hơn.

Dẫn đến kết quả là các cập nhật thực hiện bởi gradient descent không làm thay đổi nhiều trọng số của các layer và làm chúng không thê hội tụ dé thu được kết quả tốt. Hiện tượng như vậy được gọi là Vanishing Gradient. Đỗ Khánh Linh - D17HTTT06 13 Đồ án tốt nghiệp đại học Chương 1: TÌM HIẾU BÀI TOÁN. Kiến trúc ResNet sinh ra đề giải quyết vấn đề n IN (Yí$ (VIXEN Max- =e4 Pool l & j2 — 7 | | _.

a3 = ea! |e] (es > FO Avg. Pool eye |ám & = Be 1. = lel 3 22 Bes alll a NY& ml | 1 Hinh 1. Kién triic mang ResNet Ý tưởng chính của ResNet là kiến trúc gồm các khối dư (residual) trong đó xuất hiện các nhánh cộng (còn gọi là nhánh nói tắt) giữa giá trị đầu vào với giá trị đầu ra của các khối dư đó.

weight layer x identity Hình 1. Khối Residual trong ResNet [11] Hình trên mô ta khối dư trong ResNet gồm giá trị đầu vào (x) qua một số lớp tích chập thu được F(x), sau đó cộng thêm x vào F(x) dé được dau ra của khối dư là F(x) + x. Nhờ nhánh cộng này mà đạo hàm có thé lan truyền ngược lại lên các lớp trên cùng của mạng mà tránh được hiện tượng mat mát đạo ham. s% Kiến trúc mạng GoogleNet - Inception Kiến trúc mạng GoogleNet được phát triển bởi Google.

Kiến trúc này đã giải quyết một câu hỏi lớn trong mạng CNN đó là sử dụng kích thước filter bao nhiêu thì hợp lý. Các kiến trúc nơ-ron trước đó đều sử dụng các bộ lọc với đa dạng kích thước 11x11, 5x5, 3x3, nhỏ nhất là IxI. Việc cùng kết hợp đồng thời các bộ lọc này vào cùng một block tạo thành kiến trúc khối Inception trong mạng GoogleNet đã mang lại hiệu quả [11]. Cấu trúc khối Inception Đỗ Khánh Linh - DI7HTTT06 14 Đồ án tốt nghiệp đại học Chương 1: TÌM HIẾU BÀI TOÁN.

28 x 28 x 64 28 x 28 x 128 28 x 28 x 192 : si 28 x 28 x 256 16 28 x28 x32 28 x 28 x 192 32 filters,1 x 1 x 192 Hình 1. Cầu trúc khối Inception [11] Như hình trên, khối Inception bao gồm 4 nhánh song song với nhau. Các bộ lọc kích thước lần lượt là 1x1, 3x3, 5x5 được áp dụng giúp trích lọc được đa dạng đặc trưng trên những vùng nhận thức có kích thước khác nhau. Sử dụng phép tích chập 1x1 trên từng điểm ảnh như một kết nối fully connected nhằm giảm độ sâu kênh và số lượng tham số của mô hình (ở hình vẽ trên sau khi nhân chập với 64 bộ lọc kích thước Ixl thì kích thước ma trận điểm anh đã giảm từ 28x28x192 xuống 28x28x64).

Ngoài ra, khối Inception còn sử dụng Max pooling sau đó áp dụng bộ lọc kích thước 1x1 cũng làm giảm chiều dữ liệu [11]. Khối Inception được lặp lại nhiều lần trong kiến trúc GoogleNet. Toàn bộ mạng Inception V1 có 22 layers, lớn hơn gấp đôi so với VGG 16, nhưng nhờ áp dụng tích chập 1x1 giúp tiết kiệm số lượng tham số xuống chi còn 5 triệu, ít hơn 27 lần so với VGG 16. Với mục đích xây dựng mang sâu dé học được nhiều hơn các đặc trưng từ ảnh đầu vào nhưng vẫn ồn định, ít tốn kém hơn và hiệu qua, các phiên bản Inception sau này đã được trang bị thêm kỹ thuật mới: Factorization (là kỹ thuật dé giảm thêm kích thước, ví dụ thay vì sử dụng bộ lọc 3x3 có sỐ lượng các trọng số là 3x3 = 9 thì sử dụng bộ lọc 3x1 và bộ lọc 1x3 sẽ có số lượng các trọng số là 3x1 + 1x3 = 6) và Reduction block (các khối chuyên biệt dé giảm kích thước một cách rõ ràng).

s Ls) 3 ES ¬ œ > 3 = x Pu x bu x g 5 tee ia ® iat ® = Bị 5 o s| ce |5) My ie M.) [8 6 + © - 8-8 Go bị Been: ® + > | R-- ee oO Š = oO = cel ~ =| 5B =} = S = S = Đ ® D tồ S = S = S fe} ® 2 © # > = œ „ ặ = & > œ O fe = 2 J | J eee Đỗ Khánh Linh - D17HTTT06 15 Đồ án tốt nghiệp đại học Chương 1: TÌM HIẾU BÀI TOÁN. Filter concat Filter concat. ————__ 3x3 Conv 3x3 Conv (96) (m sie 2V) : | 1x1 Conv (96) 3x3 Conv (96) 3x3 Conv (96) 3x3 MaxPool (stride 2 V) 3x3 Conv (n = 2V) 3x3 - () == i it | | Avg Pooling fi (96) 1x1 Conv | (64) 1x1 Conv (64) 1x1 Conv 1x1 Conv (k) Filter concat Filter concat Hình 1. Kién trúc Inception V4 và Inception-A (ái dưới), Reduction-A (phải dưới) [12] Chương đầu đã trình bày khái niệm bài toán điểm danh bằng khuôn mặt, lý thuyết mạng nơ-ron nhân tạo và các kiên trúc CNN cơ bản được ứng dụng cho bài toán liên quan đến thị giác máy tính.

Đỗ Khánh Linh - D17HTTT06 16 Đồ án tốt nghiệp đại học Chương 2: KHAO SÁT CÁC CÔNG NGHỆ. CHUONG 2: KHAO SÁT CAC CÔNG NGHỆ XU LÝ ANH, HỌC MAY TRONG HỆ THÓNG NHẬN DIỆN GƯƠNG MẶT T1ong quan hé thong nhận diện khuôn mặt Cropped Aligned Spoof face System deny Face Face Face ———> Face Lẻ Alignment Image ——— Detection Face Anti-spoofing Live face Feature Feature Vector Feature FacelD <———j : “——rc. Matching Extraction Hình 2. Tong quan hé thong nhận diện khuôn mặt Một hệ thống nhận diện khuôn mặt gồm nhiều phần dé từ đó xây dựng nên một hệ thống nhận diện khuôn mặt hoàn chỉnh.

Trong bai viết này sẽ khảo sát các thành phần của hệ thống nhận diện khuôn mặt gồm 5 phần chính: Bộ phát hiện khuôn mặt (Face Detection): Xác định vi trí khuôn mặt trong toàn bộ bức ảnh. Bộ căn chỉnh khuôn mặt (Face Alignment): Xác định các điềm mốc trên khuôn mặt (facial landmark detector) sau đó chuẩn hóa, căn chỉnh lại khuôn mặt được phát hiện trong bộ phát hiện khuôn mặt trước đó. Bộ phát hiện chống giả mạo (Face Anti-spoofing): Kiém tra khuôn mặt của người dùng hệ thống là khuôn mặt thật hay khuôn mặt giả. Bộ trích xuất đặc trưng khuôn mặt (Feature Extraction): Mã hóa, trích xuất các thông tin có trên gương mặt của ảnh đầu vào thành một vector đặc trưng đại diện cho khuôn mặt đó.

Bộ nhận diện khuôn mặt (Face Matching): Tìm kiếm vector đặc trưng của khuôn mặt đại diện cho ai trong hệ thống.