Mô Hình Nhận Dạng Khuôn Mặt Dựa Trên Mạng Nơron Tích Chập

Tài liệu nghiên cứu Mô hình nhận dạng khuôn mặt dựa trên mạng nơron tích chập để ứng dụng cho bài toán giám sát người, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Đoàn Hồng Quang
• Người hướng dẫn: Dương Thăng Long
• Trường học: Trường Đại học Mở Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Nhận Dạng Khuôn Mặt Dựa Trên Mạng Nơron Tích Chập
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH
• MỞ ĐẦU
• Mục tiêu nghiên cứu
• Đối tượng và phạm vi nghiên cứu
• Phương pháp nghiên cứu
• Nội dung nghiên cứu
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG
• 1.1. Mạng Nơron tích chập
• 1.2. Cấu trúc tổng quát của CNN
• 1.3. Một số kiến trúc mạng CNN tiêu biểu
• 1.4. Một số ứng dụng của mạng nơron tích chập
• 1.5. Bài toán nhận dạng khuôn mặt
• 2. CHƯƠNG 2: MÔ HÌNH NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠRON TÍCH CHẬP VÀ ỨNG DỤNG GIÁM SÁT THI TRỰC TUYẾN
• 2.1. Kiến trúc CNN kiểu SENet và phương pháp học chuyển tiếp đối với mô hình CNN
• 2.2. Thiết kế mô hình VF2SENet
• 2.3. Ứng dụng VF2SENet cho giám sát thi trực tuyến
• 3. CHƯƠNG 3: XÂY DỰNG PHẦN MỀM MÔ PHỎNG VÀ KẾT QUẢ THỬ NGHIỆM
• 3.1. Phân tích bài toán
• 3.2. Công cụ xây dựng phần mềm
• 3.3. Thu thập dữ liệu và tiền xử lý
• 3.4. Kết quả thực nghiệm
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Mạng Nơ ron Tích Chập Cho Nhận Dạng Khuôn Mặt

Mạng nơ-ron tích chập (CNN) đã trở thành một công cụ mạnh mẽ trong lĩnh vực nhận dạng khuôn mặt. Kiến trúc này, lấy cảm hứng từ cách bộ não con người xử lý thông tin thị giác, cho phép máy tính học và trích xuất các đặc trưng phức tạp từ hình ảnh. CNN vượt trội trong việc nhận diện các mẫu, hình dạng và kết cấu quan trọng, điều cần thiết để phân biệt giữa các khuôn mặt khác nhau. Bài toán nhận dạng khuôn mặt không chỉ dừng lại ở việc xác định sự hiện diện của một khuôn mặt mà còn phải xác định danh tính của người đó. CNN cung cấp giải pháp hiệu quả cho cả hai khía cạnh này. Một trong những ưu điểm chính của CNN là khả năng tự động học các đặc trưng phù hợp, giảm thiểu sự cần thiết của việc thiết kế đặc trưng thủ công, vốn là một thách thức trong các phương pháp truyền thống. CNN có khả năng xử lý dữ liệu hình ảnh thô và trích xuất các đặc trưng quan trọng để nhận dạng khuôn mặt, dẫn đến độ chính xác cao.

1.1. Cấu Trúc Tổng Quan Của Mạng CNN Trong Xử Lý Ảnh

CNN bao gồm nhiều lớp, mỗi lớp thực hiện một nhiệm vụ cụ thể. Các lớp tích chập (Convolutional layers) sử dụng các bộ lọc để trích xuất các đặc trưng từ hình ảnh đầu vào. Các lớp gộp (Pooling layers) giảm kích thước không gian của các đặc trưng, giúp giảm số lượng tham số và tăng tính tổng quát. Cuối cùng, các lớp kết nối đầy đủ (Fully connected layers) thực hiện việc phân loại dựa trên các đặc trưng đã trích xuất. Việc kết hợp các lớp này tạo ra một kiến trúc mạnh mẽ có khả năng học các biểu diễn phân cấp của hình ảnh, từ các cạnh và góc đơn giản đến các đặc trưng phức tạp hơn như mắt, mũi và miệng, những yếu tố quan trọng trong nhận dạng khuôn mặt. Cấu trúc này, cùng với các kỹ thuật học sâu khác, đã cách mạng hóa lĩnh vực thị giác máy tính và cho phép mô hình nhận dạng khuôn mặt đạt được độ chính xác chưa từng có.

1.2. Ứng Dụng Tiêu Biểu Của CNN Trong Nhận Dạng Hình Ảnh

CNN đã được ứng dụng thành công trong nhiều bài toán nhận dạng hình ảnh, bao gồm phân loại hình ảnh, phát hiện đối tượng và phân đoạn hình ảnh. Trong phân loại hình ảnh, CNN có thể xác định đối tượng chính trong một hình ảnh, chẳng hạn như xác định xem một hình ảnh chứa mèo, chó hoặc ô tô. Trong phát hiện đối tượng, CNN có thể xác định vị trí của nhiều đối tượng trong một hình ảnh. Ví dụ, CNN có thể được sử dụng để phát hiện người đi bộ, xe cộ và biển báo giao thông trong một video. Trong phân đoạn hình ảnh, CNN có thể phân chia một hình ảnh thành các vùng khác nhau, mỗi vùng đại diện cho một đối tượng hoặc khu vực cụ thể. Khả năng của CNN trong việc học các đặc trưng phù hợp và xử lý dữ liệu hình ảnh phức tạp đã khiến nó trở thành một công cụ không thể thiếu trong lĩnh vực thị giác máy tính.

II. Thách Thức Trong Nhận Dạng Khuôn Mặt Và Giải Pháp CNN

Mặc dù CNN đã đạt được những thành công đáng kể trong nhận dạng khuôn mặt, vẫn còn một số thách thức cần vượt qua. Các biến thể về ánh sáng, tư thế và biểu cảm có thể ảnh hưởng đáng kể đến hiệu suất của các mô hình nhận dạng khuôn mặt. Ngoài ra, kích thước và chất lượng của tập dữ liệu huấn luyện cũng có thể ảnh hưởng đến độ chính xác của mô hình. Một thách thức khác là việc đảm bảo tính công bằng và tránh thiên vị trong các mô hình nhận dạng khuôn mặt. Các mô hình được huấn luyện trên các tập dữ liệu không cân bằng có thể hoạt động kém hơn đối với một số nhóm nhân khẩu học nhất định. Điều này có thể dẫn đến những hậu quả nghiêm trọng, đặc biệt là trong các ứng dụng như thực thi pháp luật và an ninh. CNN cũng cần được cải thiện để tăng cường khả năng xử lý ảnh trong các điều kiện khác nhau.

2.1. Ảnh Hưởng Của Ánh Sáng Tư Thế Lên Hiệu Quả Nhận Diện

Sự thay đổi về ánh sáng có thể tạo ra các biến thể đáng kể trong hình ảnh khuôn mặt, làm cho việc nhận dạng trở nên khó khăn hơn. Ánh sáng mạnh có thể gây ra bóng tối và làm mờ các đặc trưng quan trọng, trong khi ánh sáng yếu có thể làm cho hình ảnh trở nên mờ và thiếu chi tiết. Tương tự, tư thế khác nhau cũng có thể làm thay đổi hình dạng và kích thước của khuôn mặt, gây khó khăn cho việc trích xuất các đặc trưng nhất quán. Các kỹ thuật tăng cường dữ liệu và các kiến trúc CNN mạnh mẽ hơn có thể giúp giảm thiểu ảnh hưởng của các biến thể này. Mô hình nhận dạng khuôn mặt cần được đào tạo với nhiều góc độ khác nhau.

2.2. Vấn Đề Thiên Vị Dữ Liệu Trong Huấn Luyện Mô Hình CNN

Các tập dữ liệu huấn luyện không cân bằng có thể dẫn đến thiên vị trong các mô hình nhận dạng khuôn mặt. Ví dụ, một mô hình được huấn luyện trên một tập dữ liệu chủ yếu bao gồm khuôn mặt của người da trắng có thể hoạt động kém hơn đối với khuôn mặt của người da màu. Điều này có thể dẫn đến những hậu quả nghiêm trọng, đặc biệt là trong các ứng dụng như thực thi pháp luật và an ninh. Để giải quyết vấn đề này, cần thu thập và sử dụng các tập dữ liệu đa dạng và cân bằng hơn. Các kỹ thuật học đối kháng cũng có thể được sử dụng để giảm thiểu thiên vị trong các mô hình. Cần chú trọng việc đánh giá và kiểm tra mô hình trên nhiều nhóm nhân khẩu học khác nhau để đảm bảo tính công bằng.

III. Xây Dựng Mô Hình VF2SENet Cho Giám Sát Thi Trực Tuyến

Luận văn này giới thiệu một mô hình nhận dạng khuôn mặt dựa trên mạng nơ-ron tích chập, được thiết kế đặc biệt cho bài toán giám sát người thi trực tuyến. Mô hình này, được đặt tên là VF2SENet, kết hợp kiến trúc SENet với các kỹ thuật học chuyển tiếp để đạt được độ chính xác cao trong môi trường giám sát thi. Việc giám sát thi trực tuyến đặt ra những thách thức riêng biệt, bao gồm sự thay đổi về ánh sáng, tư thế và biểu cảm của người thi. VF2SENet được thiết kế để đối phó với những thách thức này và cung cấp một giải pháp nhận dạng khuôn mặt mạnh mẽ và đáng tin cậy. Sử dụng phương pháp học chuyển tiếp giúp tận dụng kiến thức từ các mô hình đã được huấn luyện trước đó, giảm thiểu thời gian và nguồn lực cần thiết để huấn luyện mô hình nhận dạng khuôn mặt mới.

3.1. Kiến Trúc Mạng CNN Kiểu SENet Trong VF2SENet

SENet là một kiến trúc CNN tiên tiến, được biết đến với khả năng tập trung vào các đặc trưng quan trọng nhất trong hình ảnh. SENet sử dụng các khối SE (Squeeze-and-Excitation) để tự động học các kênh đặc trưng quan trọng nhất và giảm sự chú ý đến các kênh ít quan trọng hơn. Điều này giúp mô hình VF2SENet tập trung vào các đặc trưng liên quan đến nhận dạng khuôn mặt và bỏ qua các nhiễu không liên quan. Việc tích hợp SENet vào VF2SENet giúp cải thiện đáng kể độ chính xác và hiệu quả của mô hình.

3.2. Phương Pháp Học Chuyển Tiếp Áp Dụng Cho Mô Hình CNN

Học chuyển tiếp là một kỹ thuật cho phép chúng ta tận dụng kiến thức từ các mô hình đã được huấn luyện trước đó trên các tập dữ liệu lớn. Trong trường hợp của VF2SENet, mô hình được khởi tạo bằng các trọng số đã được huấn luyện trước đó trên tập dữ liệu VGGFace2. Điều này giúp mô hình học nhanh hơn và đạt được độ chính xác cao hơn so với việc huấn luyện từ đầu. Học chuyển tiếp là một phương pháp hiệu quả để giải quyết vấn đề thiếu dữ liệu và giảm thiểu thời gian huấn luyện, đặc biệt là trong các bài toán phức tạp như nhận dạng khuôn mặt.

IV. Ứng Dụng VF2SENet Cho Giám Sát Thi Trực Tuyến Hiệu Quả

VF2SENet được thiết kế đặc biệt cho bài toán giám sát thi trực tuyến. Trong môi trường này, mô hình cần có khả năng xác định danh tính của người thi và phát hiện các hành vi gian lận. VF2SENet có thể được sử dụng để theo dõi khuôn mặt của người thi trong suốt quá trình thi và phát hiện các hành vi bất thường, chẳng hạn như nhìn ra ngoài màn hình hoặc sử dụng điện thoại di động. Bằng cách kết hợp nhận dạng khuôn mặt với phân tích hành vi, VF2SENet có thể cung cấp một giải pháp giám sát thi trực tuyến toàn diện và hiệu quả. Ứng dụng này giúp đảm bảo tính công bằng của kỳ thi và ngăn chặn các hành vi gian lận, bảo vệ tính liêm chính của hệ thống giáo dục.

4.1. Thiết Kế Mô Hình Nhận Diện Khuôn Mặt Dựa Trên VF2SENet

Thiết kế mô hình VF2SENet cho giám sát thi trực tuyến đòi hỏi sự chú trọng đến các yếu tố như độ chính xác, tốc độ và khả năng chống nhiễu. Mô hình cần có khả năng nhận dạng khuôn mặt nhanh chóng và chính xác, ngay cả trong điều kiện ánh sáng và tư thế khác nhau. Ngoài ra, mô hình cần có khả năng phát hiện các hành vi gian lận, chẳng hạn như sử dụng điện thoại di động hoặc nhìn ra ngoài màn hình. VF2SENet được thiết kế để đáp ứng tất cả các yêu cầu này và cung cấp một giải pháp giám sát thi trực tuyến hiệu quả.

4.2. Triển Khai VF2SENet Trong Hệ Thống Giám Sát Thực Tế

Việc triển khai VF2SENet trong một hệ thống giám sát thi trực tuyến thực tế đòi hỏi sự tích hợp chặt chẽ với các thành phần khác của hệ thống, chẳng hạn như hệ thống quản lý video và hệ thống phân tích hành vi. VF2SENet cần có khả năng xử lý video trực tiếp từ camera của người thi và cung cấp thông tin nhận dạng khuôn mặt và phát hiện hành vi gian lận theo thời gian thực. Ngoài ra, hệ thống cần có khả năng lưu trữ và phân tích dữ liệu giám sát để phát hiện các xu hướng và cải thiện hiệu quả của hệ thống.

V. Kết Quả Thử Nghiệm Mô Hình VF2SENet Cho Độ Chính Xác Cao

Các thử nghiệm trên bộ dữ liệu LFW5 cho thấy VF2SENet đạt được độ chính xác cao trong việc nhận dạng khuôn mặt. Kết quả cho thấy mô hình có khả năng hoạt động tốt trong nhiều điều kiện khác nhau, bao gồm các biến thể về ánh sáng, tư thế và biểu cảm. Các thử nghiệm cũng cho thấy VF2SENet có khả năng chống nhiễu tốt và có thể hoạt động hiệu quả ngay cả trong môi trường có nhiều yếu tố gây xao nhãng. Kết quả này chứng minh rằng VF2SENet là một mô hình nhận dạng khuôn mặt mạnh mẽ và đáng tin cậy, phù hợp cho các ứng dụng giám sát thi trực tuyến.

5.1. Thử Nghiệm VF2SENet Trên Bộ Dữ Liệu Khuôn Mặt LFW5

Bộ dữ liệu LFW5 là một bộ dữ liệu chuẩn được sử dụng để đánh giá hiệu suất của các mô hình nhận dạng khuôn mặt. VF2SENet đã được thử nghiệm trên bộ dữ liệu này và đạt được kết quả ấn tượng, cho thấy khả năng của mô hình trong việc nhận dạng khuôn mặt trong các điều kiện khác nhau. Các thử nghiệm được thực hiện với nhiều cấu hình khác nhau, bao gồm các biến thể về kích thước hình ảnh, độ phân giải và các tham số huấn luyện.

5.2. Đánh Giá Hiệu Suất Trong Các Tình Huống Giám Sát Thực Tế

Để đánh giá hiệu suất của VF2SENet trong các tình huống giám sát thực tế, mô hình đã được thử nghiệm trong một môi trường mô phỏng giám sát thi trực tuyến. Các thử nghiệm được thực hiện với các tình nguyện viên tham gia vào một kỳ thi mô phỏng, và VF2SENet được sử dụng để theo dõi khuôn mặt của họ và phát hiện các hành vi gian lận. Kết quả cho thấy VF2SENet có khả năng phát hiện các hành vi gian lận một cách chính xác và hiệu quả, chứng minh tính hữu dụng của mô hình trong các ứng dụng thực tế.

VI. Kết Luận Và Hướng Phát Triển Mô Hình Nhận Dạng Khuôn Mặt

Luận văn này đã trình bày một mô hình nhận dạng khuôn mặt mới dựa trên mạng nơ-ron tích chập, được thiết kế đặc biệt cho bài toán giám sát thi trực tuyến. Mô hình, được đặt tên là VF2SENet, kết hợp kiến trúc SENet với các kỹ thuật học chuyển tiếp để đạt được độ chính xác cao và hiệu quả trong môi trường giám sát thi. Kết quả thử nghiệm cho thấy VF2SENet là một mô hình nhận dạng khuôn mặt mạnh mẽ và đáng tin cậy, phù hợp cho các ứng dụng giám sát thi trực tuyến. Nghiên cứu này đóng góp vào sự phát triển của các giải pháp giám sát thi trực tuyến hiệu quả và công bằng.

6.1. Tóm Tắt Những Đóng Góp Của Nghiên Cứu Này

Nghiên cứu này đã đóng góp vào lĩnh vực nhận dạng khuôn mặt và giám sát thi trực tuyến bằng cách giới thiệu một mô hình nhận dạng khuôn mặt mới, VF2SENet, được thiết kế đặc biệt cho bài toán giám sát thi trực tuyến. Mô hình này kết hợp kiến trúc SENet với các kỹ thuật học chuyển tiếp để đạt được độ chính xác cao và hiệu quả. Các thử nghiệm cho thấy VF2SENet là một mô hình nhận dạng khuôn mặt mạnh mẽ và đáng tin cậy, phù hợp cho các ứng dụng giám sát thi trực tuyến.

6.2. Các Hướng Nghiên Cứu Mở Rộng Trong Tương Lai

Trong tương lai, có một số hướng nghiên cứu mở rộng có thể được thực hiện để cải thiện hiệu suất và khả năng của VF2SENet. Một hướng là nghiên cứu các kiến trúc CNN tiên tiến hơn và các kỹ thuật học sâu khác để cải thiện độ chính xác và tốc độ của mô hình. Một hướng khác là nghiên cứu các phương pháp phát hiện hành vi gian lận hiệu quả hơn để cải thiện khả năng của mô hình trong việc phát hiện các hành vi bất thường. Cần tích hợp thêm các yếu tố về biểu cảm và ngữ cảnh để tăng cường độ tin cậy của mô hình nhận dạng khuôn mặt.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của chuyển đổi số giáo dục cùng tác động sâu sắc sau giai đoạn đại dịch Covid-19 đã thúc đẩy phương thức đào tạo trực tuyến tăng trưởng mạnh mẽ, chiếm khoảng 45% đến 60% tổng thời lượng giảng dạy tại nhiều cơ sở đại học. Dù mang lại sự linh hoạt vượt trội và tối ưu hóa tài nguyên giảng dạy, hình thức này bộc lộ thách thức lớn trong công tác kiểm soát tính trung thực của kỳ thi. Giảng viên không thể giám sát đồng thời hàng chục màn hình máy tính qua camera thông thường, dẫn đến nguy cơ gian lận danh tính, thi hộ hoặc mất tập trung lên tới hơn 30% trong các kỳ kiểm tra không có giám thị trực tiếp.

Luận văn thạc sĩ chuyên ngành Công nghệ thông tin (mã ngành 8480201) của tác giả Chu Minh, dưới sự hướng dẫn khoa học của TS. Dương Thăng Long tại Trường Đại học Mở Hà Nội, tập trung giải quyết triệt để bài toán này. Mục tiêu cốt lõi của đề tài là xây dựng mô hình nhận dạng khuôn mặt ứng dụng mạng nơ-ron tích chập (CNN) kết hợp khối Squeeze-and-Excitation (SENet) và kỹ thuật học chuyển tiếp (Transfer Learning), nhằm tự động hóa quy trình nhận diện, điểm danh và giám sát thí sinh theo thời gian thực.

Phạm vi nghiên cứu được triển khai trên nền tảng dữ liệu thực nghiệm tại Trường Đại học Mở Hà Nội trong năm 2023. Đề tài xây dựng một hệ sinh thái giám sát toàn diện với mô hình VF2SENet sở hữu hơn 26 triệu tham số, xử lý ảnh đầu vào kích thước chuẩn 224x224x3 pixel. Ý nghĩa thực tiễn của công trình thể hiện qua việc giảm thiểu hơn 85% nhân lực giám thị coi thi, rút ngắn thời gian xác thực danh tính thí sinh xuống dưới 0,5 giây mỗi lượt và đạt độ tin cậy vượt trội trong môi trường mạng giáo dục trực tuyến.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết học sâu (Deep Learning) và thị giác máy tính hiện đại, tập trung vào cấu trúc mạng nơ-ron tích chập đa lớp. Mô hình tích hợp ba trụ cột lý thuyết chính:

1. Kiến trúc mạng nơ-ron tích chập (CNN): Vận hành dựa trên các phép toán tích chập hai chiều và ba chiều, sử dụng các bộ lọc không gian (kernels) để tự động trích xuất đặc trưng từ mức độ cơ bản như cạnh, biên, góc cho đến các đặc trưng trừu tượng cấp cao của khuôn mặt.
2. Khối kiến trúc Squeeze-and-Excitation (SENet): Cơ chế tập trung kênh (Channel Attention) cho phép mạng mô hình hóa mối quan hệ phụ thuộc lẫn nhau giữa các kênh màu. Thông qua hai bước nén (Squeeze) bằng phép gom trung bình toàn cục (Global Average Pooling) và kích hoạt (Excitation) bằng các lớp phi tuyến tính, SENet tự động tái cân bằng trọng số cho từng bản đồ đặc trưng, tăng cường các tín hiệu quan trọng và triệt tiêu nhiễu.
3. Mô hình học chuyển tiếp (Transfer Learning): Giải quyết hạn chế thiếu hụt dữ liệu huấn luyện cục bộ bằng cách kế thừa tri thức đã được tối ưu hóa từ tập dữ liệu nguồn khổng lồ sang miền dữ liệu đích của bài toán giám sát thi.

Nghiên cứu làm rõ sự vượt trội của phương pháp học sâu so với các kỹ thuật truyền thống như phân tích thành phần chính (PCA) với nhược điểm nhạy cảm với nhiễu ánh sáng, phân tích biệt số tuyến tính (LDA) bị giới hạn khi cỡ mẫu vượt kích thước không gian đặc trưng, hay mô hình đồ thị lưới đàn hồi (EBGM) phụ thuộc quá lớn vào độ chính xác của các điểm mốc sinh học.

Phương pháp nghiên cứu

Nguồn dữ liệu phục vụ nghiên cứu được trích xuất từ các kho dữ liệu chuẩn quốc tế và tập mẫu thực nghiệm:

• Tập dữ liệu tiền huấn luyện VGGFace2: Gồm 3,31 triệu hình ảnh của 9.131 đối tượng, đạt tỷ lệ trung bình 362,6 ảnh mỗi người với độ biến thiên đa dạng về góc nhìn, độ tuổi và điều kiện chiếu sáng.
• Tập kiểm chuẩn LFW (Labeled Faces in the Wild): Quy mô 13.233 hình ảnh của 5.749 cá nhân.
• Tập dữ liệu thực nghiệm kiểm chứng ATT và Yale: Gồm 400 ảnh của 40 đối tượng (ATT) và 165 ảnh của 15 đối tượng (Yale).

Phương pháp chọn mẫu áp dụng chiến lược phân tầng ngẫu nhiên theo các tỷ lệ phân chia tập huấn luyện và kiểm tra lần lượt là 50:50, 20:80, cùng kịch bản kiểm thử khắt khe One-vs-Rest (OvR) nhằm đánh giá khả năng tổng quát hóa trong tình huống xấu nhất.

Quy trình phân tích dữ liệu bao gồm: chuẩn hóa ảnh đầu vào về kích thước 224x224x3, trích chọn véc-tơ đặc trưng 2048 chiều thông qua mạng VF2SENet gồm 138 lớp tích chập, 16 lớp Global Average Pooling và 1 lớp MaxPooling (kích thước 3x3, bước trượt 2x2). Mô hình mở rộng VST (VF2SENet Transfer) bổ sung lớp kết nối đầy đủ ẩn với số lượng nơ-ron bằng trung bình cộng giữa 2048 và số lượng lớp thí sinh Nc, áp dụng kỹ thuật Dropout với xác suất p = 0,5 để chống hiện tượng quá khớp (overfitting), và phân loại cuối cùng bằng hàm Softmax kết hợp hàm mất mát Cross-Entropy.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm mô hình VF2SENet và mô hình chuyển tiếp VST trên các tập dữ liệu tiêu chuẩn và môi trường giả lập giám sát thi trực tuyến ghi nhận các phát hiện cốt lõi sau:

1. Khả năng phân tách đặc trưng không gian vượt trội: Phân tích độ đo khoảng cách Cosine trên tập dữ liệu ATT và Yale cho thấy tỷ lệ phân biệt giữa khoảng cách nội lớp (intra-class) và khoảng cách liên lớp (inter-class) đạt mức tối ưu. Trên tập ATT, chỉ có 6 trên 400 ảnh xuất hiện hiện tượng khoảng cách liên lớp nhỏ hơn khoảng cách nội lớp; trên tập Yale, con số này chỉ là 3 trên 165 ảnh, tương đương tỷ lệ nhận diện chính xác hình học đạt trên 98,2%.
2. Hiệu năng phân lớp trên quy mô đối tượng lớn: Khi thử nghiệm mô hình VST trên tập kiểm chuẩn với số lượng đối tượng sinh viên lần lượt là Nc = 70 và Nc = 450 lớp, mô hình duy trì độ chính xác phân loại trung bình đạt xấp xỉ 98,7%, vượt hơn 12,4% so với mô hình tích chập CNN cơ bản không tích hợp khối SE.
3. Tính ổn định của hàng đợi đệm camera: Hệ thống xử lý luồng dữ liệu song song từ các webcam thí sinh với cơ chế hàng đợi frame buffer đạt tốc độ xử lý trung bình từ 25 đến 30 khung hình mỗi giây (FPS), đảm bảo độ trễ xác thực không vượt quá 180 mili-giây trên mỗi camera.

Thảo luận kết quả

Kết quả vượt trội của mô hình VF2SENet bắt nguồn từ sự kết hợp hài hòa giữa cấu trúc 12 khối phần dư (Residual blocks) và 4 khối Squeeze-and-Excitation. Cơ chế kết nối tắt của khối ResNet giải quyết triệt để vấn đề suy giảm đạo hàm (vanishing gradient) khi mạng đạt độ sâu 138 lớp, trong khi khối SENet tái định lượng độ quan trọng của 2048 kênh đặc trưng, giúp hệ thống kháng lại các biến đổi tiêu cực về góc nghiêng khuôn mặt và cường độ ánh sáng phòng thi.

Các dữ liệu thực nghiệm được trực quan hóa thông qua ma trận nhầm lẫn (Confusion Matrix) và biểu đồ phân phối khoảng cách Cosine. Biểu đồ đường biểu diễn sự hội tụ của hàm mất mát Cross-Entropy cho thấy mô hình VST đạt trạng thái ổn định chỉ sau 40 chu kỳ huấn luyện (epochs), nhanh hơn khoảng 35% so với việc huấn luyện lại từ đầu một mạng CNN độc lập. So sánh với các nghiên cứu cùng thời kỳ sử dụng FaceNet hay VGG-16 thuần túy, mô hình trong luận văn tiết kiệm khoảng 40% chi phí tính toán nhờ tận dụng tri thức chuyển tiếp từ tập dữ liệu VGGFace2 mà vẫn bảo toàn độ chính xác tương đương các hệ thống nhận diện thương mại.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và kiểm thử phần mềm mô phỏng, luận văn đề xuất 4 nhóm giải pháp chiến lược nhằm ứng dụng hiệu quả công nghệ nhận dạng khuôn mặt vào công tác khảo thí trực tuyến:

1. Tối ưu hóa hạ tầng điện toán và xử lý luồng streaming: Trung tâm Quản trị Công nghệ thông tin tại các trường đại học cần triển khai hệ thống máy chủ trang bị GPU chuyên dụng kết hợp kiến trúc phân tán microservices, đặt mục tiêu duy trì độ trễ xử lý dưới 200 mili-giây khi đồng thời tiếp nhận trên 1.000 luồng video thi trực tuyến trong giai đoạn 2024–2025.
2. Tích hợp thuật toán phát hiện gian lận đa phương thức: Nhóm phát triển phần mềm cần bổ sung module nhận diện sự sống (Liveness Detection) và phân tích chuyển động mắt nhằm ngăn chặn các hành vi sử dụng ảnh in tĩnh hoặc video phát lại, nâng tỷ lệ phát hiện gian lận tinh vi lên trên 99% trong vòng 6 tháng tới.
3. Chuẩn hóa quy trình đăng ký sinh trắc học đầu vào: Phòng Đào tạo và Khảo thí cần ban hành quy định bắt buộc thu thập dữ liệu khuôn mặt đa góc độ (tối thiểu 5 góc chụp: thẳng, nghiêng trái, nghiêng phải, ngước lên, cúi xuống) cho toàn bộ sinh viên ngay từ đầu mỗi học kỳ, đảm bảo độ khớp dữ liệu gốc đạt chuẩn 100%.
4. Xây dựng khung pháp lý và bảo mật dữ liệu sinh trắc học: Ban Giám hiệu nhà trường phối hợp cùng các chuyên gia an ninh mạng ban hành quy chế bảo vệ dữ liệu cá nhân theo Nghị định 13/2023/NĐ-CP, áp dụng mã hóa đầu cuối chuẩn AES-256 cho toàn bộ kho véc-tơ đặc trưng 2048 chiều của thí sinh.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả thực nghiệm của luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng trọng tâm:

1. Cán bộ quản lý giáo dục và lãnh đạo trung tâm khảo thí: Giúp hoạch định chiến lược chuyển đổi số, thiết lập quy trình kiểm tra đánh giá trực tuyến minh bạch, khách quan và giảm thiểu áp lực nhân sự coi thi.
2. Kỹ sư AI và chuyên gia thị giác máy tính: Cung cấp tài liệu thiết kế chi tiết về kiến trúc VF2SENet, kỹ thuật nhúng khối Squeeze-and-Excitation vào mạng tích chập sâu, và giải pháp tinh chỉnh mô hình qua học chuyển tiếp.
3. Học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin: Là tài liệu học thuật mẫu mực về phương pháp nghiên cứu thực nghiệm, kỹ thuật xử lý dữ liệu ảnh lớn và quy trình đánh giá mô hình phân lớp phức tạp.
4. Các doanh nghiệp EdTech và đơn vị phát triển giải pháp phần mềm: Cung cấp khung kiến trúc khả thi để tích hợp tính năng e-Proctoring (giám sát thi tự động) vào các hệ thống quản lý học tập (LMS) phổ biến như Moodle, Canvas hay Blackboard.

Câu hỏi thường gặp

Mô hình VF2SENet có ưu điểm gì vượt trội so với các mạng CNN truyền thống?

VF2SENet tích hợp các khối Squeeze-and-Excitation vào mạng phần dư sâu 138 lớp, cho phép tự động đánh giá và tái phân bổ trọng số cho từng kênh đặc trưng. Nhờ đó, mô hình nâng cao khả năng biểu diễn thông tin quan trọng của khuôn mặt và giảm thiểu tỷ lệ phân loại sai xuống dưới 2% trên các tập dữ liệu thử nghiệm chuẩn.

Hệ thống xử lý thế nào khi thí sinh thay đổi góc mặt hoặc điều kiện ánh sáng kém?

Nhờ được thừa hưởng tri thức học chuyển tiếp từ bộ dữ liệu VGGFace2 chứa hơn 3,3 triệu ảnh đa dạng góc nhìn cùng bước tiền xử lý chuẩn hóa cân bằng sáng, mô hình VST duy trì độ chính xác nhận diện trên 95% ngay cả khi khuôn mặt nghiêng một góc đến 45 độ hoặc trong điều kiện ánh sáng phòng thi không đồng đều.

Tại sao kỹ thuật học chuyển tiếp lại mang tính quyết định trong nghiên cứu này?

Việc thu thập hàng trăm nghìn ảnh khuôn mặt sinh viên để huấn luyện từ đầu một mạng sâu 26 triệu tham số là bất khả thi về thời gian và chi phí. Học chuyển tiếp cho phép tận dụng trọng số tối ưu từ tập nguồn VGGFace2, chỉ cần huấn luyện thêm lớp kết nối đầy đủ với tập mẫu nhỏ tại trường mà vẫn đạt độ chính xác tương đương.

Giải pháp giải quyết bài toán nghẽn luồng dữ liệu khi có hàng nghìn thí sinh cùng thi?

Hệ thống thiết lập cơ chế vùng đệm hàng đợi thông minh và kỹ thuật lấy mẫu khung hình theo độ trễ thời gian quy định (sampling rate từ 1 đến 2 giây mỗi lần kiểm tra thay vì stream liên tục 60 FPS). Giải pháp này cắt giảm hơn 70% băng thông đường truyền mà vẫn đảm bảo giám sát liên tục trạng thái thí sinh.

Mô hình có khả năng tích hợp vào các hệ thống đào tạo trực tuyến hiện nay không?

Kiến trúc phần mềm được thiết kế theo dạng module độc lập với đầu ra là các API RESTful chuẩn hóa. Nhờ vậy, module giám sát VF2SENet dễ dàng nhúng trực tiếp vào các nền tảng LMS thông dụng như Moodle hay Microsoft Teams thông qua giao thức camera WebRTC tiêu chuẩn.

Kết luận

Luận văn thạc sĩ của tác giả Chu Minh đã hoàn thành xuất sắc các mục tiêu nghiên cứu với các đóng góp trọng tâm:

• Hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron tích chập, cơ chế tập trung kênh SENet và phương pháp học chuyển tiếp trong thị giác máy tính.
• Thiết kế thành công mô hình VF2SENet với 138 lớp tích chập và hơn 26 triệu tham số, tối ưu hóa trích xuất véc-tơ đặc trưng 2048 chiều.
• Xây dựng mô hình phân lớp VST áp dụng Dropout và hàm mất mát Cross-Entropy, đạt độ chính xác nhận dạng trên 98% trên các tập dữ liệu chuẩn.
• Hoàn thiện phần mềm mô phỏng giám sát người thi trực tuyến theo thời gian thực với cơ chế hàng đợi đa camera linh hoạt.
• Đề xuất hệ thống giải pháp kỹ thuật và quy trình quản lý khả thi cho các cơ sở giáo dục đại học.

Trong giai đoạn tiếp theo từ năm 2024 đến năm 2026, hướng nghiên cứu cần mở rộng sang việc tối ưu hóa mô hình trên các thiết bị biên (Edge AI) và tích hợp công nghệ chống giả mạo khuôn mặt 3D. Các đơn vị giáo dục và tổ chức nghiên cứu quan tâm có thể tiếp cận, thử nghiệm và phối hợp chuyển giao công nghệ mô hình để nâng cao chất lượng khảo thí trực tuyến ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu về mạng Nơron tích chập và ứng dụng - Chương 2: Mô hỉnh nhận dạng khuôn mặt dựa trên mạng Nơron tích chập và ứng dụng giám sát thi trực tuyến - Chương 3: Xây dựng phần mềm mô phỏng và kết quà thừ nghiệm 3 CHUÔNG 1: GIÓI THIỆU VÈ MẠNG NƠRON TÍCH CHẬP VÀ ÚNG DỤNG 1. Mạng Noron tích chập 1. Mạng No’ron nói chung và một so loại mạng No'ron Mạng Nơron nhân tạo (Artificial Neural Network - ANN) là một mô hình toán học hay mô hình tính toán được xây dựng dựa trên các mạng neural sinh học [1]. Mạng Nơron sinh học tồn tại ờ sinh vật sổng; có cấu trúc phức tạp gồm hàng tỷ tế bào thần kinh (còn gọi là Nơron) liên kết với nhau, số lượng liền ke giữa các Nơron là vô cùng lớn tạo ra một cấu trúc phức tạp.

Các nghiên cứu sinh học về bộ não con người cho thấy các tế bào thần kinh tương đối giống nhau về cấu trúc và chức năng [1], [6], Một đơn vị kiểm soát các chức năng thần kinh của não, tủy sống và dây thần kinh. Nơron là một phần của bộ não khi được sinh ra; có liên kết sẽ phát triến thông qua học do có các liên kết mới được hình thành và các liên kết cũ mất đi. Cấu trúc mạng Nơron tiếp tục thay đối theo thời gian trong đời. Những thay đối sau này có xu hướng chú yếu làm mạnh hay yếu đi các khớp thần kinh.1: cấu trúc Nơron sinh học Một mạng Nơron nhân tạo (hay đơn giàn là mạng Nơron) bao gồm một đầu vào là lớp tế bào thần kinh (hoặc nút, đơn vị), một hoặc hai (hoặc thậm chí ba) lớp 4 ấn tế bào thần kinh và lớp cuối cùng của tế bào thần kinh đầu ra.

Các đơn vị đầu vào nhận tín hiệu từ bên ngoài và các đơn vị ẩn xử lý các tín hiệu thông qua liên kết. Đơn vị đầu ra gửi dữ liệu đã xử lý ra bên ngoài mạng.2 mô tả một mạng ANN cơ bán gồm 3 lớp. Hidden Thư việiTHtoai&Pá.ta Mè ẰlàíNội Trong ANN, các nơ-ron nhàn tạo (nút) kết nối với nhau, truyền kết nối và xứ lý thông tin bang cách tính toán các giá trị mới tại các nút (cách tiếp cận tính toán được kết nối) [1], [2], [6], [7], Mỗi Nơron trong mạng nhận dừ liệu đầy vào các nôron ớ lớp trước đó liên kết đen sau đó xử lý và cho ra một kết quả duy nhất. Ket quả đó lại được làm dừ liệu đầu vào cho các Nơron được liên kết đến.

Mức độ kết nối giữa các nơ-ron được thê hiện bang trọng so kết nối cùa chúng (trọng so kết nối - gọi tắt là trọng số). Mạng thần kinh nhân tạo thường là các hệ Ihổng thích ứng thay đồi cấu trúc của chúng dựa trên thông tin bên ngoài hoặc bên trong truyền qua mạng trong quá trinh học [5], [6], [10]. 5 Một số đặc trưng cơ bán của mạng Nơron gồm [1], [2], [5], [6], [12]: • Các nút Nơron nhân tạo (đơn vị xử lý) • Liên kết giữa các đơn vị. Thế hiện qua hàm trọng so w • Quy luật lan truyền quyết định tín hiệu của từng đơn vị đầu vào của mạng • Hàm kích hoạt hay hàm chuyến (activation function, transfer function) xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại • Đơn vị điều chỉnh (Bias, Offset) • Luật học • Môi trường hoạt động cùa hệ thống Mỗi Nơron trong mạng tiếp nhận tín hiệu từ đơn vị trước, xử lý và lan truyền tín hiệu đã xử lý qua các đơn vị khác.

Một Nơron có thể có một hay nhiều tín hiệu từ noron khác truyền đen. Hàm tổng đau vào (L) là tống của tích trọng số liên kết và dữ liệu truyền vào. Thư viện Trường Đại học Mở Hà Nội Hình 1.3: Quá trình xử lý của một NoTon Hình 1.3 cho thấy quá trình xừ lý của một Nơron. Trong đó: xi: các đầu vào wji : các trọng số tương ứng với các đầu vào 0j : độ lệch (bias) aj : đầu vào mạng (net-input) zj : đầu ra của Nơron g(x): hàm chuyến (hàm kích hoạt) [3], [4], [7].

6 Hàm kích hoạt (activation) được dùng để xử lý, tính toán bên trong Nơron đế cho ra kết quá. Hay nói cách khác, hàm kích hoạt của một nút sẽ cho ra một kết quả (Output) ứng với một hoặc một tập đầu vào truyền tới Nơron. Có nhiều hàm kích hoạt gồm cã tuyến tính và phi tuyến. Tuỳ theo đặc điểm và ứng dụng cùa mạng người ta sẽ lựa chọn các hàm kích hoạt tương ứng.

Một số hàm kích hoạt phi tuyến phố biến là hàm ReLU (Rectified Linear Unit), sigmoid, logistic, Gaussian, tanh, softmax [6], [13], [14], Hàm kích hoạt còn được dùng để xứ lý kết quá của hàm tổng đầu vào (T) trước khi truyền đến các mạng khác trong trường hợp kết quả của hàm tống đầu vào quá lớn. Có thể thể sử dụng giá trị ngưỡng để kiềm soát đầu ra của neural thay cho cho các hàm truyền kích hoạt thông thường [6], Mạng nơ ron nhân tạo có điếm giống với mạng Nơron sinh học ờ hai điếm sau. Một là các khối tạo mạng là những phần từ, thiết bị tính toán đơn giàn. Hai là các liên kết giữa các Nơron tạo ra chức năng của mạng.

Tuy nhiên mạng Nơron nhân tạo chi mô tà lại đơn giản mạng Nơron sinh hóc. Mạng Nơron sinh học phức tạp hơn nhiều so với mạng Nơron nhân tạo. Neu tốc độ xừ lý cùa máy tính nhanh hơn nhiều so với tốc độ xử lý của bộ não con người, bộ não có thế kích hoạt tất cả các tế bào thần kinh đế thực hiện các nhiệm vụ khác nhau [15]. Trong một mạng Nơron nhân tạo, có hai yếu tố quan trọng.

Một là kiến trúc mạng thể hiện kiều liên kết giữa các Nơron trong mạng cũng độ lớn của mạng. Hai là trọng số liên kết giữa các nút mạng thể hiện độ mức độ mạnh hay yếu giữa các Nơron trong mạng. Dựa vào cấu trúc liên kết giữa các Nơron có thẻ phân loại được các mô hình mạng nơ. Phân loại được xác định bời số lượng lớp trong mạng, số lượng đơn vị trên mồi lớp và cách các lớp được kết nối.

Mạng có thể được phân thành hai loại chính: mạng feedforward và mạng hồi quy. 7 Mạng truyền thắng (Feed-forward neural network): dòng dữ liệu từ nút đầu vào (input), có thế qua các lớp trung gian đế đến nút đau ra tuy nhiên không có sự lan truyền ngược lại tới một hay nhiều lớp trước đó [5], [6], [19]. bias bias 1 inr viẹn 1 rương t>ại nọc Mơ Ha 1NỌ1 Hình 1.4: Mạng NoTon truyền thắng nhiều lóp Mạng thần kinh tái phát và Mạng phán hồi: Chứa các liên kết ngược từ các lớp sau trở lại các lớp trước đó. Nghĩa là, đầu ra của nơ-ron tiếp theo trả về nhiều hom đầu vào cùa nơ-ron đó hoặc lớp trước đó.

Mạng này thường gắn với việc xứ lý dữ liệu theo chuồi thời gian, không chi phụ thuộc vào dừ liệu tại thời điểm đó mà còn phụ thuộc vào các dừ liệu tại thời điếm trước đề dự báo được kết quà. Output Output 1 Output 2 Output. Output! Input Input 1 Input 2 Input.5: Mạng Nơron hồi quy (Recurrent Neural Network) 8 Một trong hai yếu tố quan trọng tạo nên mô hình mạng Nơron nhân tạo đó là trọng số liên kết mạng. Chúng được hình thành nhờ quá trinh huấn luyện mạng mô phỏng lại quá trình học của con người.

Quá trinh đào tạo này sửa đối trọng số của các liên kết trong mạng đế có được kết quá tốt nhất. Một mô hình đào tạo (quy tắc học tập) là phưong pháp được sử dụng để thay đổi trọng số và độ lệch để đào tạo mạng thực hiện một nhiệm vụ. Có ba loại luật học: học có giám sát, học không có giám sát và học gia cố. Học có giám sát xây dựng một hàm từ dừ liệu huấn luyện.

Dữ liệu huấn luyện bao gồm các cặp đối tượng đầu vào (thường ở dạng vectơ) và đầu ra mong muốn. Đầu ra cùa một hàm có the là lien tục (được gọi là hồi quy) hoặc nó có thể dự đoán nhãn phân loại của một đối tượng đầu vào (được gọi là bộ phân loại) [4], [5], [6], [18]. Nhiệm vụ của người học có giám sát là dự đoán các giá trị cùa hàm cùa một đối tượng nhất định dưới dạng đầu vào hợp lệ sau khi xem xét một sổ ví dụ huấn luyện (nghĩa là các cặp đầu vào và đầu ra). Đồ đạt được điều này, chương trinh học phải khái quát hóa từ dữ liệu có sằn để dự(jđoán “hợp lý” những tình huống chưa xảy ra.

Hai loại mô hỉnh có thẻ được tạo ra trong học tập có giám sát. Học có giám sát thường tạo ra một mô hình tống thể để ánh xạ các đối tượng đầu vào tới các đau ra mong muốn. Tuy nhiên, trong một số trường hợp, ánh xạ được thực hiện dưới dạng một tập hợp các mầu cục bộ (chẳng hạn như suy luận dựa trên trường hợp hoặc thuật toán lân cận gần nhất). Phương pháp học có giám sát thường được áp dụng cho hai loại bài toán chính.

Đầu tiên là bài toán phân loại: nhận dạng khuôn mặt người, nhận dạng đối tượng, nhận dạng chữ viết, v. Thứ hai là bài toán hồi quy: dự báo thời tiết, giá trị dinh dưỡng cúa thực phẩm v. Học không giám sát là một kỹ thuật học máy đế tim các mẫu khớp với các quan sát. Nó khác với học có giám sát ở chỗ đầu ra chính xác tương ứng với mồi đầu vào không được biết trước.

Học tập không giám sát thu thập một tập hợp dừ liệu đầu vào [3], Học không giám sát thường coi đối tượng đầu vào là một tập hợp các biến ngẫu nhiên. Sau đó, một mô hình mật độ chung cúa tập dữ liệu này sẽ được tạo. Học không giám sát cũng hữu ích cho việc nén dữ liệu, về cơ bàn, tất cã các 9 thuật toán nén dữ liệu đều dựa vào, rõ ràng hoặc ngầm định, trên phân phối xác suất trên một tập hợp các đầu vào [15], Một hình thức học tập không giám sát khác là phân cụm dữ liệu. Điều này có thế là phi xác suất.

Học tăng cường là một phương pháp học có hệ thống xác định hành động nào can thực hiện dựa trên điều kiện thực te đế đạt được hiệu quá tốt nhất bằng cách thử nghiệm dữ liệu đê xem hành động nào hoạt động tốt nhất. Hành động này không chi là hành động riêng lẽ mà còn là một chuỗi hành động nối tiếp nhau. Học tăng cường áp dụng cho các bài toán về tim đường đi ngắn nhất, lý thuyết trò chơi.