Ứng dụng công nghệ nhận dạng khuôn mặt trong thị giác máy tính vào giám phòng máy tại trường đại học kinh tế quốc dân

Bài toán nhận diện khuôn mặt AI ngày càng trở nên quan trọng trong nhiều lĩnh vực, đặc biệt là trong giám sát… 76 trang · Trường Đại Học Mở Hà Nội · 2024.

• Tác giả: Phạm Hùng Cường
• Người hướng dẫn: Gs.Ts. Thái Thanh Sơn
• Trường học: Trường Đại Học Mở Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Ứng Dụng Công Nghệ Nhận Dạng Khuôn Mặt Trong Thị Giác Máy Tính Vào Giám Sát Phòng Máy Tại Trường Đại Học Kinh Tế Quốc Dân
• Loại tài liệu: Luận Văn Tốt Nghiệp Thạc Sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL TÍCH CHẬP VÀ BÀI TOÁN GIÁM SÁT THI TẠI CÁC PHÒNG MÁY
• 1.1. Tổng quan về mạng Neural tích chập
• 1.1.1. Giới thiệu
• 1.1.1.1. Kiến trúc của mạng Neural
• 1.1.1.2. Cấu tạo một Neural
• 1.1.1.3. Một số hàm truyền thông dụng
• 1.1.2. Một số kiểu mạng Neural
• 1.1.3. Mạng Neural lan truyền ngược MLP
• 1.1.3.1. Kiến trúc mạng MLP
• 1.1.3.2. Huấn luyện mạng MLP
• 1.1.3.3. Mô hình mạng
• 1.1.3.4. Hoạt động
• 2. CHƯƠNG 2: MỘT SỐ VẤN ĐỀ CỦA NHẬN DIỆN KHUÔN MẶT TRONG GIÁM SÁT THI TẠI CÁC PHÒNG MÁY
• 3. CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Ứng Dụng Nhận Diện Khuôn Mặt AI Tại NEU

Bài toán nhận diện khuôn mặt AI ngày càng trở nên quan trọng trong nhiều lĩnh vực, đặc biệt là trong giám sát phòng máy. Với sự phát triển của công nghệ, việc ứng dụng nhận diện khuôn mặt giúp tăng cường an ninh phòng máy, điểm danh tự động và quản lý hiệu quả hơn. Đại học Kinh tế Quốc dân (NEU), một trong những trường đại học hàng đầu Việt Nam, đang đối mặt với thách thức lớn trong việc quản lý số lượng sinh viên ngày càng tăng. Việc đưa các môn thi học phần vào các phòng máy tính đòi hỏi giải pháp giám sát hiệu quả, chính xác và khách quan. Các phương pháp thủ công hiện tại bộc lộ nhiều hạn chế, dễ gây nhầm lẫn và khó phát hiện gian lận. Đề tài này tập trung nghiên cứu ứng dụng công nghệ AI vào giám sát phòng máy tại NEU, nhằm giải quyết các vấn đề cấp thiết và nâng cao chất lượng quản lý.

1.1. Giới Thiệu Mạng Neural Tích Chập CNN và Ứng Dụng

Mạng Neural Tích Chập (CNN) là một kiến trúc deep learning mạnh mẽ, đặc biệt hiệu quả trong nhận dạng hình ảnh. CNN mô phỏng cách não bộ con người xử lý hình ảnh, sử dụng các lớp tích chập để trích xuất các đặc trưng quan trọng từ hình ảnh đầu vào. Các lớp gộp (pooling) giúp giảm kích thước dữ liệu và tăng tính tổng quát. Cuối cùng, các lớp kết nối đầy đủ (fully connected) thực hiện phân loại hoặc dự đoán. CNN đã đạt được những thành công vượt trội trong nhiều bài toán, từ nhận dạng vật thể, nhận diện khuôn mặt đến phân tích y tế. Việc ứng dụng CNN trong giám sát phòng máy tại NEU hứa hẹn mang lại độ chính xác và hiệu quả cao, giảm thiểu sai sót so với các phương pháp truyền thống. "Mạng neural còn được gọi là mạng nơ-ron nhân tạo là một mô hình tính toán được lấy cảm hứng từ cách hoạt động của hệ thần kinh trong não người." - Theo luận văn.

1.2. Thị Giác Máy Tính và Vai Trò trong Nhận Diện Khuôn Mặt

Thị giác máy tính (Computer Vision) là một lĩnh vực của AI giúp máy tính có khả năng "nhìn" và "hiểu" hình ảnh, tương tự như con người. Trong bài toán nhận diện khuôn mặt, thị giác máy tính đóng vai trò quan trọng trong việc phát hiện, trích xuất đặc trưng và phân loại khuôn mặt. Các thuật toán nhận diện khuôn mặt sử dụng camera AI để thu thập hình ảnh, sau đó áp dụng các kỹ thuật xử lý ảnh để xác định vị trí khuôn mặt và trích xuất các đặc điểm nhận dạng. Các đặc điểm này được so sánh với cơ sở dữ liệu khuôn mặt đã đăng ký để xác định danh tính. Ứng dụng thị giác máy tính trong giám sát phòng máy giúp NEU tự động hóa quá trình điểm danh, kiểm soát ra vào và phát hiện các hành vi đáng ngờ, nâng cao hiệu quả quản lý và an ninh.

II. Thách Thức An Ninh Phòng Máy và Giải Pháp AI

Công tác giám sát thi tại các phòng máy tính của Đại học Kinh tế Quốc dân đang đối mặt với nhiều thách thức lớn. Lưu lượng thí sinh đông đảo, giám thị không có thông tin về thí sinh trước khi vào phòng thi, và các phương pháp kiểm soát thủ công dễ gây nhầm lẫn, khó phát hiện gian lận. Việc sử dụng thẻ sinh viên, thẻ dự thi dễ bị làm giả, thay ảnh. Giải pháp sử dụng camera ghi hình thiếu dữ liệu gốc để đối chiếu. Máy quét mã QR có chi phí cao và có thể vi phạm quyền riêng tư của thí sinh. Để giải quyết những khó khăn này, việc ứng dụng công nghệ nhận diện khuôn mặt AI là một giải pháp tiềm năng, giúp tăng cường an ninh, điểm danh chính xác, và giảm thiểu các rủi ro gian lận trong quá trình thi.

2.1. Phân Tích Các Phương Pháp Giám Sát Phòng Máy Truyền Thống

Các phương pháp giám sát phòng máy truyền thống như kiểm tra thủ công thẻ sinh viên, thẻ dự thi và căn cước công dân (CCCD) bộc lộ nhiều hạn chế. Việc kiểm tra thủ công tốn nhiều thời gian, dễ gây ùn tắc và khó đảm bảo tính chính xác. Giám thị chỉ có thể dựa vào thị giác thông thường để đối chiếu thông tin, khó phát hiện các trường hợp làm giả thẻ, thay ảnh. Việc yêu cầu kiểm tra CCCD, mặc dù có tính bảo mật cao hơn, nhưng lại gây khó khăn trong quá trình đối chiếu và xác minh thông tin. "Các giám thị không phải là giảng viên phụ trách môn học cho nên hoàn toàn không có thông tin gì về các thí sinh để giúp cho việc nhận dạng trước khi họ đến phòng thi."- Theo luận văn. Các phương pháp này không đáp ứng được yêu cầu về hiệu quả, chính xác và bảo mật trong bối cảnh số lượng thí sinh ngày càng tăng.

2.2. Tại Sao Cần Áp Dụng AI Nhận Diện Khuôn Mặt Vào Giám Sát

AI nhận diện khuôn mặt mang lại nhiều lợi ích vượt trội so với các phương pháp giám sát truyền thống. Hệ thống có khả năng nhận dạng khuôn mặt nhanh chóng và chính xác, tự động điểm danh và kiểm soát ra vào. Công nghệ AI có thể phát hiện các hành vi đáng ngờ, chẳng hạn như gian lận thi cử hoặc xâm nhập trái phép. Nhận diện khuôn mặt AI giúp giảm thiểu sự can thiệp của con người, tăng cường tính khách quan và minh bạch trong quá trình giám sát. Ngoài ra, hệ thống có khả năng thu thập và phân tích dữ liệu khuôn mặt, cung cấp thông tin hữu ích cho việc quản lý và cải thiện an ninh phòng máy tại NEU. Việc áp dụng AI không chỉ giải quyết các vấn đề hiện tại mà còn mở ra những cơ hội mới cho việc ứng dụng công nghệ trong giáo dục.

III. Hướng Dẫn Triển Khai Nhận Diện Khuôn Mặt AI Tại NEU

Việc triển khai hệ thống nhận diện khuôn mặt AI tại NEU đòi hỏi sự chuẩn bị kỹ lưỡng và tuân thủ các quy trình nhất định. Đầu tiên, cần xác định rõ mục tiêu và phạm vi triển khai, lựa chọn công nghệ và nhà cung cấp phù hợp. Tiếp theo, xây dựng cơ sở dữ liệu khuôn mặt của sinh viên, đảm bảo tuân thủ các quy định về bảo mật và quyền riêng tư. Lắp đặt hệ thống camera AI tại các vị trí chiến lược trong phòng máy. Cuối cùng, đào tạo nhân viên quản lý hệ thống và thiết lập các quy trình vận hành, bảo trì. Việc triển khai thành công hệ thống nhận diện khuôn mặt AI sẽ mang lại hiệu quả cao trong giám sát phòng máy và quản lý sinh viên.

3.1. Các Bước Chuẩn Bị Để Xây Dựng Hệ Thống Camera AI

Để xây dựng hệ thống camera AI cho nhận diện khuôn mặt, cần thực hiện các bước chuẩn bị sau. Khảo sát địa điểm lắp đặt camera, xác định số lượng và vị trí phù hợp để đảm bảo bao quát toàn bộ phòng máy. Lựa chọn loại camera AI có độ phân giải cao, khả năng nhận diện tốt trong điều kiện ánh sáng khác nhau. Xây dựng hệ thống mạng ổn định để truyền tải dữ liệu hình ảnh từ camera về trung tâm xử lý. Chuẩn bị hạ tầng phần cứng và phần mềm để lưu trữ, xử lý và phân tích dữ liệu khuôn mặt. Đảm bảo tuân thủ các quy định về bảo mật và an toàn thông tin trong quá trình xây dựng hệ thống.

3.2. Quy Trình Đăng Ký Khuôn Mặt Cho Sinh Viên Tại NEU

Quy trình đăng ký khuôn mặt cho sinh viên là bước quan trọng để xây dựng cơ sở dữ liệu cho hệ thống nhận diện khuôn mặt AI. Sinh viên được yêu cầu cung cấp ảnh chân dung rõ nét, đảm bảo khuôn mặt nhìn thẳng và không bị che khuất. Đại học Kinh tế Quốc dân cần xây dựng ứng dụng hoặc phần mềm cho phép sinh viên tự đăng ký khuôn mặt trực tuyến hoặc tại các điểm đăng ký cố định. Quá trình đăng ký cần có sự xác nhận danh tính của sinh viên để đảm bảo tính chính xác. NEU cần thông báo rõ ràng về mục đích sử dụng dữ liệu khuôn mặt và cam kết bảo vệ quyền riêng tư của sinh viên. Cần có quy trình cập nhật hoặc xóa dữ liệu khuôn mặt khi sinh viên tốt nghiệp hoặc có yêu cầu.

3.3. Tích Hợp Hệ Thống Vào Cơ Sở Dữ Liệu Quản Lý Sinh Viên

Việc tích hợp hệ thống nhận diện khuôn mặt AI vào cơ sở dữ liệu quản lý sinh viên giúp tự động hóa quá trình đối chiếu và xác thực thông tin. Khi hệ thống nhận diện một khuôn mặt, nó sẽ tự động tìm kiếm thông tin tương ứng trong cơ sở dữ liệu sinh viên, bao gồm tên, mã số sinh viên, lớp học và các thông tin liên quan khác. Điều này giúp giảm thiểu sai sót và tiết kiệm thời gian so với việc kiểm tra thủ công. Ngoài ra, việc tích hợp cũng cho phép theo dõi quá trình điểm danh, attendance của sinh viên và tạo báo cáo thống kê một cách dễ dàng. Tuy nhiên, cần đảm bảo tính tương thích giữa hệ thống nhận diện khuôn mặt và cơ sở dữ liệu hiện có, đồng thời tuân thủ các quy định về bảo mật dữ liệu.

IV. Hiệu Quả Thực Tế Nhận Diện Khuôn Mặt AI Tại NEU

Việc triển khai hệ thống nhận diện khuôn mặt AI trong giám sát phòng máy tại NEU mang lại nhiều kết quả tích cực. Hệ thống giúp điểm danh tự động nhanh chóng và chính xác, giảm thiểu thời gian chờ đợi của sinh viên. Tăng cường an ninh phòng máy, ngăn chặn các hành vi gian lận và xâm nhập trái phép. Cung cấp dữ liệu thống kê về điểm danh và attendance, hỗ trợ công tác quản lý và đánh giá chất lượng giảng dạy. Phản hồi từ sinh viên và giảng viên về hệ thống nhận diện khuôn mặt AI là tích cực, đánh giá cao tính tiện lợi và hiệu quả của công nghệ này.

4.1. Phân Tích Độ Chính Xác Của Hệ Thống Nhận Diện Khuôn Mặt

Độ chính xác là một trong những yếu tố quan trọng nhất để đánh giá hiệu quả của hệ thống nhận diện khuôn mặt AI. Các thử nghiệm và đánh giá thực tế cho thấy hệ thống có độ chính xác cao trong việc nhận diện và xác thực khuôn mặt, đặc biệt trong điều kiện ánh sáng tốt và khuôn mặt nhìn thẳng. Tuy nhiên, độ chính xác có thể giảm trong điều kiện ánh sáng yếu, khuôn mặt bị che khuất hoặc có sự thay đổi về kiểu tóc, trang điểm. Do đó, cần liên tục cải thiện và tối ưu hóa thuật toán nhận diện để nâng cao độ chính xác của hệ thống trong các điều kiện khác nhau.

4.2. Tác Động Của Hệ Thống Đến An Ninh và Quản Lý Phòng Máy

Hệ thống nhận diện khuôn mặt AI có tác động tích cực đến an ninh và quản lý phòng máy tại NEU. Việc điểm danh tự động giúp tiết kiệm thời gian và công sức của nhân viên quản lý. Hệ thống có khả năng phát hiện các hành vi gian lận trong thi cử, chẳng hạn như sử dụng tài liệu trái phép hoặc thay người thi. Việc kiểm soát ra vào bằng khuôn mặt giúp ngăn chặn người lạ xâm nhập vào phòng máy, bảo vệ tài sản và thông tin của trường. Dữ liệu thống kê về điểm danh và attendance cung cấp thông tin hữu ích cho việc quản lý và đánh giá hiệu quả sử dụng phòng máy.

V. Kết Luận Nhận Diện Khuôn Mặt AI và Tương Lai Giáo Dục

Ứng dụng nhận diện khuôn mặt AI trong giám sát phòng máy tại Đại học Kinh tế Quốc dân đã chứng minh được tính hiệu quả và tiềm năng của công nghệ này trong lĩnh vực giáo dục. Hệ thống giúp tăng cường an ninh, điểm danh chính xác và hỗ trợ công tác quản lý. Trong tương lai, công nghệ nhận diện khuôn mặt AI sẽ tiếp tục phát triển và được ứng dụng rộng rãi hơn trong nhiều lĩnh vực khác của giáo dục, chẳng hạn như học tập cá nhân hóa, đánh giá năng lực và tạo môi trường học tập an toàn và hiệu quả hơn. Tuy nhiên, cần đảm bảo việc sử dụng AI trong giáo dục phải tuân thủ các nguyên tắc đạo đức và bảo vệ quyền riêng tư của sinh viên.

5.1. Những Hạn Chế Cần Khắc Phục Của Hệ Thống

Mặc dù hệ thống nhận diện khuôn mặt AI mang lại nhiều lợi ích, nhưng vẫn còn một số hạn chế cần khắc phục. Độ chính xác của hệ thống có thể giảm trong điều kiện ánh sáng yếu hoặc khi khuôn mặt bị che khuất. Chi phí đầu tư và bảo trì hệ thống có thể là một rào cản đối với một số trường đại học. Vấn đề bảo mật và quyền riêng tư của dữ liệu khuôn mặt cần được quan tâm đặc biệt. Do đó, cần tiếp tục nghiên cứu và phát triển các giải pháp để giải quyết những hạn chế này và nâng cao hiệu quả của hệ thống.

5.2. Hướng Phát Triển Ứng Dụng Nhận Diện Khuôn Mặt AI Trong Tương Lai

Trong tương lai, công nghệ nhận diện khuôn mặt AI sẽ tiếp tục phát triển và được ứng dụng rộng rãi hơn trong nhiều lĩnh vực khác của giáo dục. Hệ thống có thể được sử dụng để tạo ra môi trường học tập cá nhân hóa, phù hợp với nhu cầu và khả năng của từng sinh viên. Nhận diện khuôn mặt có thể được tích hợp với các hệ thống học trực tuyến để xác thực danh tính và ngăn chặn gian lận. Ứng dụng AI cũng có thể giúp đánh giá năng lực của sinh viên một cách khách quan và công bằng. Cần tiếp tục nghiên cứu và phát triển các ứng dụng mới để khai thác tối đa tiềm năng của công nghệ nhận diện khuôn mặt AI trong giáo dục.

Nội dung chính

Tổng quan nghiên cứu

Sự phát triển mạnh mẽ của quy mô giáo dục đại học tại Việt Nam đặt ra bài toán cấp thiết về việc nâng cao tính minh bạch, khách quan trong khâu tổ chức thi cử. Tại Trường Đại học Kinh tế Quốc dân, với quy mô đào tạo thường trực hơn 40.000 sinh viên và hàng nghìn ca thi học phần diễn ra mỗi năm, nhà trường đã đẩy mạnh chủ trương chuyển đổi hình thức đánh giá sang thi trắc nghiệm và thực hành trên hệ thống phòng máy tính tập trung. Tuy nhiên, công tác giám sát tại đây đang đối mặt với nhiều rào cản lớn khi cán bộ coi thi phải mất trung bình 15 đến 20 phút đầu mỗi ca để đối chiếu thủ công danh sách và giấy tờ tùy thân của thí sinh. Phương thức kiểm tra truyền thống qua thẻ sinh viên hoặc căn cước công dân tiềm ẩn rủi ro sai sót do việc làm giả giấy tờ, mạo danh dự thi ngày càng tinh vi, trong khi giám thị coi thi không trực tiếp giảng dạy nên thiếu thông tin nhận diện ban đầu về người học.

Nhằm giải quyết triệt để bất cập này, luận văn tập trung nghiên cứu ứng dụng công nghệ nhận dạng khuôn mặt trong thị giác máy tính dựa trên nền tảng học sâu (Deep Learning) để tự động hóa quy trình giám sát tại các phòng máy tính của Trường Đại học Kinh tế Quốc dân trong năm 2024. Mục tiêu nghiên cứu cụ thể bao gồm việc làm chủ cơ sở lý thuyết về mạng nơ-ron tích chập (CNN), thiết kế quy trình xử lý dữ liệu ảnh khuôn mặt và xây dựng chương trình thử nghiệm có khả năng xác minh danh tính tự động. Đề tài mang ý nghĩa thực tiễn to lớn khi giúp cắt giảm hơn 80% thời gian điểm danh đầu giờ, giảm áp lực cho cán bộ coi thi và nâng cao độ chính xác xác thực thí sinh lên trên 98%, thiết lập chuẩn mực mới trong chuyển đổi số công tác khảo thí.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết mạng nơ-ron tích chập (Convolutional Neural Network - CNN), một kiến trúc học sâu chuyên biệt cho dữ liệu không gian và xử lý ảnh số. Hệ thống tích hợp hai mô hình nơ-ron tiên tiến:

• Mô hình MTCNN (Multi-task Cascaded Convolutional Networks): Hoạt động theo cấu trúc phân tầng gồm 3 mạng con nối tiếp là P-Net (Proposal Network) để đề xuất vùng chứa mặt sơ bộ, R-Net (Refine Network) nhằm tinh chỉnh và loại bỏ các hộp giới hạn sai, và O-Net (Output Network) giúp xác định chính xác tọa độ hộp bao cùng 5 điểm mốc đặc trưng (2 mắt, 1 mũi, 2 khóe miệng).
• Mô hình FaceNet và hàm mất mát Triplet Loss: FaceNet sử dụng cấu trúc mạng Inception V1 kết hợp các bộ lọc tích chập đa kích thước (1x1, 3x3, 5x5) nhằm trích xuất đặc trưng đa tầng. Thay vì phân loại truyền thống, FaceNet ánh xạ trực tiếp hình ảnh khuôn mặt thành một vector nhúng (embedding vector) cố định 128 chiều trong không gian Euclid. Quá trình học sử dụng hàm mất mát Triplet Loss với bộ ba dữ liệu gồm ảnh gốc (Anchor), ảnh cùng danh tính (Positive) và ảnh khác danh tính (Negative), giúp cực tiểu hóa khoảng cách giữa các ảnh cùng đối tượng và tối đa hóa khoảng cách giữa các đối tượng khác nhau.

Phương pháp nghiên cứu

Nghiên cứu áp dụng phương pháp thực nghiệm kết hợp phân tích định lượng trên tập dữ liệu thực tế:

• Cỡ mẫu và phương pháp chọn mẫu: Tác giả tiến hành chọn mẫu phân tầng có chủ đích gồm 55 sinh viên đại diện cho các chuyên ngành tại Trường Đại học Kinh tế Quốc dân. Quá trình thu thập ban đầu ghi nhận 2.475 ảnh thô dưới điều kiện ánh sáng tự nhiên và phông nền tiêu chuẩn. Sau quy trình kiểm duyệt chất lượng, 770 ảnh chuẩn (kích thước 2000x1500 pixel định dạng JPEG) được giữ lại, tương ứng với 14 trạng thái biểu cảm và góc nhìn khác nhau cho mỗi sinh viên (nhìn thẳng, cười, nháy mắt, đeo kính, quay trái/phải 20 độ, cúi/ngẩng mặt).
• Tăng cường dữ liệu (Data Augmentation): Nhằm nâng cao năng lực tổng quát hóa của mạng nơ-ron và tránh hiện tượng quá khớp (overfitting), mỗi ảnh gốc được tạo thêm 10 biến thể bằng các phép biến đổi hình học như xoay góc 20 độ, dịch chuyển trục ngang/dọc và lật ảnh gương, mở rộng quy mô tập dữ liệu lên 7.700 ảnh.
• Phương pháp phân tích: Dữ liệu được phân chia theo tỷ lệ chuẩn 80% cho tập huấn luyện (6.160 ảnh) và 20% cho tập kiểm thử (1.540 ảnh). Thuật toán so khớp sử dụng khoảng cách Euclid bậc hai (L2) kết hợp bộ phân loại k-NN (với k=1) để xác minh danh tính thời gian thực. Phương pháp này được lựa chọn vì giúp tối ưu hóa thời gian tính toán trên các thiết bị di động có cấu hình trung bình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và thử nghiệm thực tế hệ thống giám sát phòng máy đã ghi nhận những kết quả nổi bật:

• Mạng MTCNN thể hiện năng lực phát hiện khuôn mặt vượt trội với khả năng loại bỏ hơn 95% vùng đề xuất giả ở tầng R-Net và định vị chính xác 5 điểm mốc trên 99,2% số lượng ảnh kiểm thử ngay cả trong điều kiện thí sinh đeo kính hoặc thay đổi góc nhìn 20 độ.
• Mô hình FaceNet ánh xạ thành công các khuôn mặt thành vector 128 chiều, giúp tiết kiệm hơn 85% dung lượng lưu trữ so với phương pháp lưu trữ ảnh thô truyền thống và rút ngắn thời gian trích xuất đặc trưng xuống dưới 50 mili-giây cho mỗi khuôn mặt.
• Trên tập kiểm thử độc lập 1.540 ảnh, mô hình đạt độ chính xác xác minh danh tính 98,8%, giảm thiểu tỷ lệ nhận diện sai lệch xuống mức dưới 1,2%. Khi triển khai thử nghiệm thực tế tại phòng máy trung tâm, thời gian xác thực một thí sinh khi đi qua cửa phòng thi chỉ mất từ 0,8 đến 1,2 giây.

Thảo luận kết quả

Hiệu năng ấn tượng của hệ thống bắt nguồn từ sự kết hợp hoàn hảo giữa mạng phân tầng MTCNN và cơ chế biểu diễn vector của FaceNet. Trong khi mạng lan truyền ngược (MLP) thông thường bộc lộ hạn chế lớn khi không gian đặc trưng phình to và dễ bị ảnh hưởng bởi nhiễu ngoại cảnh, kiến trúc CNN đa tầng lại bảo toàn được tính bất biến đối với các phép quay, tịnh tiến và co giãn hình học.

Trong các báo cáo phân tích học thuật, toàn bộ hiệu quả này có thể được trình bày rõ nét qua biểu đồ ma trận nhầm lẫn (Confusion Matrix) phản ánh tỷ lệ phân loại chuẩn xác giữa 14 nhóm biểu cảm, biểu đồ đường cong ROC-AUC thể hiện sự vượt trội của FaceNet so với các thuật toán PCA/SVM truyền thống, và bảng số liệu so sánh thời gian phản hồi giữa kiểm soát thủ công (15 phút/ca 40 sinh viên) với kiểm soát tự động (dưới 1 phút/ca). So với giải pháp máy quét mã QR đắt đỏ hay camera giám sát thụ động không có đối sánh dữ liệu gốc, hệ thống tích hợp trực tiếp dữ liệu từ ứng dụng sinh viên nội bộ (NEU App) mang lại giải pháp toàn diện về cả chi phí đầu tư, tốc độ vận hành lẫn tính bảo mật thông tin cá nhân.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm tại Trường Đại học Kinh tế Quốc dân, tác giả đề xuất 4 nhóm giải pháp chiến lược nhằm tối ưu hóa và đưa hệ thống vào vận hành đại trà:

• Tích hợp đồng bộ hệ thống phần mềm vào ứng dụng sinh viên: Trung tâm Ứng dụng Công nghệ thông tin cần phối hợp với Phòng Đào tạo để tích hợp module AI nhận diện vào ứng dụng NEU App, đặt mục tiêu hoàn thành trước Quý IV/2024 nhằm chuẩn hóa 100% cơ sở dữ liệu ảnh vector 128 chiều của người học ngay từ khâu nhập học.
• Nâng cấp hạ tầng thu nhận hình ảnh tại phòng thi: Ban Quản lý Giảng đường và Phòng Khảo thí cần bố trí hệ thống camera góc rộng tại vị trí cửa ra vào của 100% phòng máy, đảm bảo điều kiện độ rọi ánh sáng đạt tối thiểu 300 lux để hạn chế tối đa bóng đổ trên khuôn mặt thí sinh, hoàn thành trong giai đoạn 2024-2025.
• Ban hành quy trình vận hành và tập huấn cho cán bộ coi thi: Phòng Khảo thí và Đảm bảo chất lượng giáo dục cần xây dựng tài liệu hướng dẫn chuẩn hóa và tổ chức các buổi tập huấn thực hành cho hơn 200 lượt giám thị mỗi kỳ thi, đảm bảo cán bộ nắm vững thao tác xử lý trên thiết bị di động trong vòng 5 phút trước giờ mở đề.
• Phát triển module kiểm tra thực thể sống (Liveness Detection): Nhóm kỹ sư nghiên cứu cần tiếp tục nâng cấp thuật toán nhằm nhận diện các hành vi giả mạo tinh vi (Anti-spoofing) như sử dụng ảnh in kỹ thuật số, video ghi sẵn trên smartphone hoặc mặt nạ silicon, hướng tới mục tiêu ngăn chặn 99,9% các nỗ lực gian lận công nghệ cao trong giai đoạn 2025-2026.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thực tiễn và lý thuyết sâu sắc cho các nhóm đối tượng:

• Ban Giám hiệu và các nhà quản lý giáo dục: Nắm bắt mô hình chuyển đổi số thực tế trong công tác khảo thí, tối ưu hóa quy trình quản trị phòng máy và nâng cao tính minh bạch cho kỳ thi với hơn 40.000 người học.
• Giảng viên, nghiên cứu sinh và học viên ngành Công nghệ thông tin: Sử dụng làm tài liệu tham khảo chuyên sâu về việc triển khai mạng nơ-ron tích chập (CNN), tối ưu hàm mất mát Triplet Loss và phương pháp xử lý dữ liệu ảnh đa biểu cảm.
• Kỹ sư phát triển phần mềm và hệ thống thị giác máy tính: Ứng dụng trực tiếp cấu trúc pipeline kết hợp MTCNN và FaceNet để xây dựng các giải pháp điểm danh, kiểm soát ra vào (Access Control) trên nền tảng ứng dụng di động hoặc máy chủ biên (Edge AI).
• Các trung tâm khảo thí, sát hạch chứng chỉ quy mô lớn: Tham khảo case study thực tế để triển khai hệ thống xác thực danh tính tự động, giảm thiểu chi phí nhân lực giám thị và ngăn chặn hiệu quả tình trạng thi hộ.

Câu hỏi thường gặp

Tại sao luận văn lựa chọn kết hợp MTCNN và FaceNet thay vì các mô hình truyền thống? Mạng lan truyền ngược (MLP) hoặc các thuật toán trích xuất thủ công như PCA bộc lộ hạn chế lớn khi dữ liệu ảnh có số chiều cao và biến đổi phức tạp. Sự kết hợp giữa MTCNN (phát hiện và căn chỉnh khuôn mặt qua 3 mạng con) và FaceNet (biểu diễn đặc trưng sâu 128 chiều) giúp tăng độ chính xác lên trên 98,8% và xử lý mượt mà trong thời gian thực dưới 50ms.

Hàm mất mát Triplet Loss giải quyết bài toán gì trong nhận diện khuôn mặt? Triplet Loss sử dụng bộ ba mẫu (Anchor, Positive, Negative) để tối ưu hóa không gian biểu diễn đặc trưng. Thay vì phân loại theo lớp cố định vốn tốn nhiều tài nguyên khi số lượng sinh viên lên tới 40.000 người, Triplet Loss giúp cực tiểu hóa khoảng cách giữa ảnh cùng một người và kéo dãn khoảng cách giữa các cá nhân khác nhau, nâng cao năng lực phân biệt.

Hệ thống xử lý như thế nào khi sinh viên thay đổi biểu cảm hoặc đeo kính? Tập dữ liệu huấn luyện đã được thu thập có chủ đích với 14 trạng thái biểu cảm, góc nghiêng 20 độ và tình huống đeo kính từ 55 sinh viên, sau đó nhân bản thành 7.700 ảnh tăng cường. Nhờ đó, mạng FaceNet học được các đặc trưng bất biến của khuôn mặt, duy trì độ chính xác cao ngay cả khi có sự thay đổi về phụ kiện hay góc nhìn.

Dữ liệu sinh viên được lưu trữ như thế nào để đảm bảo tính gọn nhẹ và an toàn? Sau khi xử lý qua FaceNet, mỗi khuôn mặt chỉ được lưu dưới dạng một vector số học 128 chiều (128-D embedding) thay vì lưu trữ toàn bộ file ảnh gốc. Điều này giúp cơ sở dữ liệu cực kỳ nhỏ gọn (vài kilobyte cho mỗi người), tăng tốc độ so khớp khoảng cách Euclid và đảm bảo tối đa quyền riêng tư của thí sinh.

Phần mềm thử nghiệm được cài đặt và vận hành trên nền tảng nào? Chương trình được phát triển trên nền tảng TensorFlow và triển khai thử nghiệm trực tiếp trên thiết bị di động của cán bộ giám thị. Giám thị chỉ cần mở ứng dụng, chọn phòng thi và đưa camera quét khuôn mặt sinh viên tại cửa phòng máy để đối chiếu danh sách tự động trong 1 giây.

Kết luận

• Luận văn đã giải quyết thành công bài toán tự động hóa xác thực danh tính thí sinh tại phòng máy Trường Đại học Kinh tế Quốc dân thông qua công nghệ thị giác máy tính.
• Làm chủ và ứng dụng hiệu quả kiến trúc kết hợp giữa mạng phát hiện khuôn mặt đa nhiệm MTCNN và mạng trích xuất đặc trưng FaceNet với hàm mất mát Triplet Loss.
• Xây dựng thành công bộ dữ liệu chuẩn hóa gồm 7.700 ảnh sinh viên với 14 trạng thái biểu cảm, đạt độ chính xác nhận diện 98,8% trên tập kiểm thử độc lập.
• Chương trình thử nghiệm trên thiết bị di động chứng minh tính khả thi vượt trội với thời gian xác minh dưới 1,2 giây/thí sinh, giúp tiết kiệm hơn 80% thời gian điểm danh so với quy trình thủ công.
• Kế hoạch tiếp theo trong giai đoạn 2024-2025 là hoàn thiện module chống giả mạo khuôn mặt (Liveness Detection) và tích hợp toàn diện vào ứng dụng NEU App để phục vụ toàn bộ các kỳ thi học phần của nhà trường. Quý độc giả và các đơn vị giáo dục quan tâm có thể liên hệ Trung tâm Ứng dụng CNTT - Trường Đại học Kinh tế Quốc dân để trao đổi và chuyển giao giải pháp.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL TÍCH CHẬP VÀ BÀI TOÁN GIÁM SÁT THI TẠI CÁC PHÒNG MÁY 1. Tổng quan về mạng Neural tích chập 1. Giới thiệu Mạng neural còn được gọi là mạng nơ-ron nhân tạo là một mô hình tính toán được lấy cảm hứng từ cách hoạt động của hệ thần kinh trong não người. Mạng Neural gồm nhiều nơ-ron (hoặc đơn vị tính toán) được kết nối với nhau qua các trọng số.

Mạng này có khả năng học và ánh xạ các mô hình phức tạp trong dữ liệu thông qua việc điều chỉnh trọng số của các kết nối. Trong mạng neural, dữ liệu được đưa vào các nơ-ron của lớp đầu vào, sau đó được truyền qua các lớp ẩn, nơi các trọng số và hàm kích hoạt được sử dụng để biến đổi dữ liệu. Cuối cùng, kết quả được đưa ra từ lớp đầu ra. Quá trình này cho phép mạng neural học và ánh xạ các mô hình phức tạp trong dữ liệu thông qua việc điều chỉnh các trọng số của các kết nối thông qua quá trình huấn luyện.

Mạng neural có khả năng giải quyết nhiều bài toán phức tạp như nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên, dự báo thời gian, và nhiều ứng dụng khác trong các lĩnh vực như y tế, tài chính, và công nghiệp. Bằng cách mô phỏng các chức năng của não bộ, mạng neural có thể học từ dữ liệu, tự cải thiện qua thời gian và đưa ra các dự đoán chính xác dựa trên các mẫu đã học. Kiến trúc của mạng Neural Kiến trúc mạng neural (neural network architecture) là cấu trúc của một mô hình mạng neural, bao gồm các thành phần chính như lớp đầu vào (input layer), lớp ẩn (hidden layer), và lớp đầu ra (output layer). Dưới đây là một số khái niệm và thành phần chính trong kiến trúc mạng neural.

Cấu tạo một Neural Các thành phần cơ bản của một nơ ron nhân tạo bao gồm:  Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường đưa vào dưới dạng một vector N chiều.  Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là wkj. Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng.

 Bộ tổng: (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó.  Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền.  Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng.

 Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra. Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp biểu thức sau: 9 Trong đó: x1, x2, ., xp: là các tín hiệu vào; (wk1, wk2., wkp) là các trọng số liên kết của nơron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm truyền và yk là tín hiệu đầu ra của nơron. Như vậy nơron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền). Một số hàm truyền thông dụng 1.

Một số kiểu mạng Neural Cách thức kết nối các nơron trong mạng xác định kiến trúc (topology) của mạng.