Phát hiện giả mạo khuôn mặt sử dụng công nghệ mạng học máy

Tài liệu nghiên cứu Phát hiện giả mạo khuôn mặt sử dụng mạng học máy sau, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Phạm Thanh Hùng
• Người hướng dẫn: GS. Từ Minh Phương
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát hiện giả mạo khuôn mặt sử dụng mạng học sâu
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: BÀI TOÁN PHÁT HIỆN GIẢ MẠO KHUÔN MẶT
• 1.1. Giới thiệu bài toán phát hiện giả mạo khuôn mặt
• 1.2. Các nghiên cứu liên quan
• 1.2.1. Các phương pháp dựa trên đặc trưng texture của ảnh
• 1.2.2. Phương pháp dựa trên tương tác người và máy
• 1.2.3. Các phương pháp dựa trên thông tin sự sống
• 1.2.4. Các phương pháp dựa trên chất lượng của ảnh
• 1.2.5. Các phương pháp dựa trên thông tin về chiều sâu
• 1.2.6. Các phương pháp dựa trên học sâu
• 2. CHƯƠNG 2: ỨNG DỤNG MẠNG HỌC SÂU VÀO BÀI TOÁN PHÁT HIỆN GIẢ MẠO KHUÔN MẶT
• 2.1. Ý tưởng giải quyết bài toán
• 2.2. Giới thiệu mạng học sâu. Mạng nơ-ron tích chập. Ứng dụng học sâu vào bài toán phát hiện giả mạo khuôn mặt. Mạng tích chập khác biệt trung tâm (Central Difference Convolution - CDC)
• 2.3. Tạo thông tin chiều sâu từ khuôn mặt
• 2.4. Kết hợp CDC, thông tin chiều sâu và Resnet-34
• 2.5. Các vấn đề thích ứng miền
• 2.6. Ứng dụng GAN cho vấn đề thích ứng miền. Mạng chuyển đổi hình ảnh
• 2.7. Hàm mất mát tri giác (Perceptual Loss function)
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Dữ liệu thử nghiệm. Tập dữ liệu OULU
• 3.2. Tập dữ liệu NUAA
• 3.3. Thực nghiệm với riêng mạng resnet-34
• 3.4. Thực nghiệm với mạng resnet-34 kết hợp CDC
• 3.5. Thực nghiệm với mạng resnet-34 kết hợp CDC và thông tin chiều sâu
• 3.6. So sánh các kết quả thử nghiệm
• 3.7. Thử nghiệm GAN trong vấn đề thích ứng miền
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Phát hiện khuôn mặt giả mạo Tổng quan

Bài toán phát hiện khuôn mặt giả mạo đang ngày càng trở nên cấp thiết. Sự ra đời của công nghệ deepfake đã tạo ra những thách thức mới trong việc xác thực danh tính và bảo mật thông tin. Phát hiện deepfake đòi hỏi sự kết hợp giữa nhiều phương pháp, bao gồm cả những kỹ thuật truyền thống và các giải pháp dựa trên mạng học máy. Phát hiện video giả mạo là một trong những mục tiêu chính của nghiên cứu này, vì các video deepfake có thể gây ra hậu quả nghiêm trọng. Luận văn tập trung vào việc ứng dụng học máy phát hiện khuôn mặt để giải quyết vấn đề này, đặc biệt là xác thực khuôn mặt bằng AI. Một trong những trọng tâm là công nghệ phát hiện deepfake, bao gồm việc đánh giá hiệu quả của các thuật toán phát hiện khuôn mặt giả. Phát hiện giả mạo bằng AI đang được phát triển mạnh mẽ, với nhiều ứng dụng trong lĩnh vực an ninh mạng và phát hiện deepfake.

1.1 Các phương pháp truyền thống

Trước sự phát triển của mạng nơ-ron cho phát hiện khuôn mặt, các phương pháp truyền thống tập trung vào việc phân tích đặc điểm hình ảnh. Phân tích hình ảnh phát hiện khuôn mặt dựa trên các đặc trưng như texture, màu sắc, và chuyển động. Các phương pháp dựa trên đặc trưng texture của ảnh như LBP (Local Binary Pattern) đã được sử dụng, nhưng hiệu quả hạn chế đối với các video deepfake chất lượng cao. Các phương pháp dựa trên tương tác người và máy yêu cầu sự tương tác của người dùng, nên không phù hợp với các hệ thống tự động. Các phương pháp dựa trên thông tin sự sống như phân tích nhịp tim, lưu lượng máu, và chuyển động vi mô của khuôn mặt, tuy hiệu quả cao nhưng khó thực hiện trong nhiều trường hợp. Các phương pháp dựa trên chất lượng của ảnh và các phương pháp dựa trên thông tin về chiều sâu cũng được nghiên cứu, nhưng vẫn có những hạn chế về độ chính xác và khả năng tổng quát. Những phương pháp này chủ yếu dựa trên phân tích hình ảnh phát hiện khuôn mặt, và thiếu sự linh hoạt cần thiết để đối phó với sự tinh vi của công nghệ deepfake hiện đại. Phát hiện khuôn mặt giả bằng các phương pháp truyền thống thường gặp khó khăn trong việc xử lý các trường hợp phức tạp. Phân biệt khuôn mặt thật và giả bằng các phương pháp này đòi hỏi sự cải tiến đáng kể.

1.2 Vai trò của học sâu

Sự xuất hiện của học sâu phát hiện khuôn mặt đã tạo ra bước đột phá trong lĩnh vực này. Mạng mô hình học sâu phát hiện khuôn mặt như CNN (Convolutional Neural Network) và RNN (Recurrent Neural Network) được sử dụng để trích xuất các đặc trưng phức tạp từ hình ảnh và video. CNN phát hiện khuôn mặt hiệu quả hơn các phương pháp truyền thống trong việc phát hiện các chi tiết tinh vi khó nhận biết bằng mắt thường. RNN phát hiện khuôn mặt thích hợp cho việc phân tích dữ liệu chuỗi thời gian, như video. Mạng tích chập khác biệt trung tâm (Central Difference Convolution - CDC) là một ví dụ về kỹ thuật học sâu được ứng dụng. Phát hiện khuôn mặt sống động nhờ vào khả năng học tập và khái quát hóa của các mạng học sâu. Việc huấn luyện các mô hình này đòi hỏi bộ dữ liệu huấn luyện phát hiện deepfake lớn và chất lượng cao. Đánh giá hiệu quả thuật toán phát hiện deepfake dựa trên các chỉ số như độ chính xác, độ nhạy, và độ đặc hiệu. Phát hiện khuôn mặt giả mạo trong thời gian thực là một thách thức lớn đòi hỏi tối ưu hóa thuật toán và phần cứng. Ứng dụng phát hiện khuôn mặt giả mạo đang được mở rộng trong nhiều lĩnh vực, góp phần tăng cường an ninh và bảo mật thông tin.

II. Ứng dụng mạng học sâu trong phát hiện khuôn mặt giả mạo

Luận văn đề cập đến việc ứng dụng các mạng học sâu phát hiện khuôn mặt để giải quyết vấn đề phát hiện khuôn mặt giả. Mạng nơ-ron tích chập (CNN) được sử dụng rộng rãi do khả năng trích xuất đặc trưng hiệu quả. Việc tích hợp các kỹ thuật như Central Difference Convolution (CDC) giúp cải thiện khả năng phân biệt khuôn mặt thật và giả. Luận văn cũng đề cập đến việc sử dụng thông tin chiều sâu để tăng cường độ chính xác của hệ thống. Việc kết hợp CDC, thông tin chiều sâu và Resnet-34 tạo ra một mô hình mạnh mẽ. Vấn đề thích ứng miền được xem xét kỹ lưỡng, do sự khác biệt giữa dữ liệu huấn luyện và dữ liệu thực tế. Ứng dụng GAN (Generative Adversarial Network) giúp giải quyết vấn đề này bằng cách tạo ra dữ liệu tổng hợp. Mạng chuyển đổi hình ảnh và hàm mất mát tri giác (Perceptual Loss function) cũng được sử dụng để tối ưu hóa quá trình huấn luyện. So sánh các phương pháp phát hiện deepfake cho thấy sự vượt trội của các mô hình học sâu.

2.1 Kiến trúc mô hình và huấn luyện

Mô hình được xây dựng dựa trên kiến trúc ResNet-34, một kiến trúc CNN hiệu quả trong xử lý hình ảnh. Kết hợp CDC và thông tin chiều sâu giúp tăng cường khả năng phân biệt của mô hình. Tạo thông tin chiều sâu từ khuôn mặt được thực hiện bằng các phương pháp học sâu, chẳng hạn như sử dụng mạng PRNet. Quá trình huấn luyện mô hình sử dụng các tập dữ liệu lớn, bao gồm cả dữ liệu khuôn mặt thật và giả. Bộ dữ liệu huấn luyện phát hiện deepfake được chia thành tập huấn luyện, tập kiểm định và tập thử nghiệm. Các thuật toán tối ưu hóa như Adam được sử dụng để cập nhật trọng số của mô hình. Việc lựa chọn hàm mất mát phù hợp là rất quan trọng để đảm bảo hiệu quả của quá trình huấn luyện. Đánh giá hiệu quả thuật toán phát hiện deepfake được thực hiện dựa trên các chỉ số như độ chính xác, độ nhạy và độ đặc hiệu. Mô hình được tối ưu hóa để đạt được hiệu suất cao nhất trên các tập dữ liệu thử nghiệm.

2.2 Giải quyết vấn đề thích ứng miền

Vấn đề thích ứng miền là một thách thức lớn trong việc phát hiện deepfake. Mô hình huấn luyện trên một tập dữ liệu có thể không hoạt động tốt trên tập dữ liệu khác. Ứng dụng GAN giúp giải quyết vấn đề này bằng cách tạo ra dữ liệu tổng hợp, giúp mô hình học được các đặc trưng chung giữa các tập dữ liệu khác nhau. Mạng chuyển đổi hình ảnh được sử dụng để chuyển đổi dữ liệu từ miền nguồn sang miền đích. Hàm mất mát tri giác được sử dụng để đảm bảo tính nhất quán giữa các miền. Các phương pháp này giúp cải thiện khả năng tổng quát của mô hình, giúp nó hoạt động tốt hơn trên các tập dữ liệu chưa từng gặp. Thử nghiệm GAN trong vấn đề thích ứng miền cho thấy sự cải thiện đáng kể trong hiệu suất của mô hình. Việc lựa chọn kiến trúc GAN phù hợp là rất quan trọng. Phát hiện khuôn mặt giả mạo trong thời gian thực đòi hỏi sự tối ưu hóa cả về kiến trúc mô hình lẫn quá trình huấn luyện.

III. Thử nghiệm và đánh giá

Chương này trình bày kết quả thử nghiệm và đánh giá hiệu quả của các mô hình được đề xuất. Dữ liệu thử nghiệm bao gồm các tập dữ liệu chuẩn như OULU và NUAA. Tập dữ liệu OULU và tập dữ liệu NUAA được sử dụng để đánh giá hiệu suất của mô hình trên các loại khuôn mặt giả mạo khác nhau. Các thí nghiệm được thiết kế để đánh giá tác động của các thành phần khác nhau trong mô hình. Thực nghiệm với riêng mạng resnet-34, thực nghiệm với mạng resnet-34 kết hợp CDC, và thực nghiệm với mạng resnet-34 kết hợp CDC và thông tin chiều sâu được tiến hành. So sánh các kết quả thử nghiệm cho thấy sự cải thiện đáng kể về độ chính xác khi kết hợp các kỹ thuật. Thử nghiệm GAN trong vấn đề thích ứng miền cho thấy khả năng tổng quát hóa của mô hình được nâng cao. Các chỉ số đánh giá bao gồm độ chính xác, độ nhạy, độ đặc hiệu và diện tích dưới đường cong ROC (AUC). Kết luận đưa ra đánh giá tổng thể về hiệu quả của phương pháp được đề xuất và hướng phát triển trong tương lai.

3.1 Kết quả thực nghiệm

Các kết quả thực nghiệm cho thấy mô hình đạt được độ chính xác cao trong việc phát hiện khuôn mặt giả mạo. Việc kết hợp CDC và thông tin chiều sâu đã cải thiện đáng kể hiệu suất so với việc sử dụng riêng mạng ResNet-34. So sánh các kết quả thử nghiệm trên các tập dữ liệu khác nhau cho thấy sự ổn định của mô hình. Các chỉ số đánh giá như độ chính xác, độ nhạy, và độ đặc hiệu đều đạt được mức cao. Diện tích dưới đường cong ROC (AUC) cũng cho thấy hiệu quả vượt trội của mô hình so với các phương pháp khác. Phân tích kết quả giúp xác định những điểm mạnh và điểm yếu của mô hình. Thử nghiệm GAN đã cải thiện khả năng tổng quát hóa của mô hình, giúp nó hoạt động tốt hơn trên các tập dữ liệu chưa từng gặp. Các kết quả này chứng minh hiệu quả của phương pháp được đề xuất trong việc phát hiện video deepfake.

3.2 Phân tích và thảo luận

Phân tích kết quả cho thấy những điểm mạnh và hạn chế của phương pháp đề xuất. Mô hình đạt hiệu quả cao trong việc phát hiện khuôn mặt giả mạo, nhưng vẫn còn một số trường hợp khó khăn. Thách thức trong phát hiện deepfake bao gồm việc xử lý các video deepfake chất lượng cao và các video có sự biến đổi về ánh sáng, góc quay. Tương lai của phát hiện deepfake đòi hỏi sự phát triển của các thuật toán và mô hình mạnh mẽ hơn, có khả năng xử lý các trường hợp phức tạp. Phát triển công cụ phát hiện deepfake là một nhiệm vụ quan trọng để bảo vệ an ninh và bảo mật thông tin. Giải pháp phát hiện deepfake cần được liên tục cập nhật và cải tiến để đối phó với sự phát triển của công nghệ deepfake. Phòng chống deepfake là một vấn đề cần sự quan tâm và hợp tác từ nhiều phía.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, trí tuệ nhân tạo (AI) và các ứng dụng nhận diện khuôn mặt ngày càng trở nên phổ biến và quan trọng trong nhiều lĩnh vực như an ninh sân bay, kiểm soát ra vào doanh nghiệp, chấm công tự động và xác thực người dùng trong ngân hàng điện tử (eKYC). Tuy nhiên, sự phát triển này cũng kéo theo nguy cơ bị tấn công giả mạo khuôn mặt, gây ra thiệt hại nghiêm trọng về bảo mật thông tin cá nhân và tài sản. Giả mạo khuôn mặt bao gồm các hình thức như sử dụng ảnh in, video, mặt nạ 3D hoặc các vật thể thay thế nhằm đánh lừa hệ thống nhận diện khuôn mặt.

Mục tiêu nghiên cứu của luận văn là phát triển giải pháp phát hiện giả mạo khuôn mặt dựa trên mạng học sâu, nhằm nâng cao độ chính xác và khả năng khái quát của hệ thống trong việc phân biệt khuôn mặt thật và giả mạo. Phạm vi nghiên cứu tập trung trên các kỹ thuật học sâu, đặc biệt là mạng nơ-ron tích chập (CNN) và các biến thể, kết hợp với thông tin chiều sâu khuôn mặt và kỹ thuật thích ứng miền để giải quyết các thách thức trong thực tế. Nghiên cứu sử dụng các tập dữ liệu chuẩn như OULU và NUAA để huấn luyện và đánh giá mô hình.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số hiệu suất như độ chính xác phát hiện, giảm tỷ lệ lỗi giả dương tính và giả âm tính, đồng thời tăng khả năng ứng dụng thực tiễn trong các hệ thống nhận diện khuôn mặt hiện đại, góp phần nâng cao an ninh và bảo mật trong nhiều lĩnh vực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Mạng học sâu (Deep Learning): Là nhánh của học máy sử dụng các mạng nơ-ron nhiều lớp để học các đặc trưng trừu tượng từ dữ liệu. Mạng nơ-ron tích chập (CNN) được sử dụng để trích xuất đặc trưng không gian từ ảnh khuôn mặt, với các lớp tích chập, pooling và lớp kết nối đầy đủ. Hàm kích hoạt sigmoid, tanh và softmax được áp dụng để xử lý và phân loại dữ liệu.

2. Mạng tích chập khác biệt trung tâm (Central Difference Convolution - CDC): Phương pháp tích chập cải tiến kết hợp thông tin cường độ điểm ảnh và gradient trung tâm, giúp tăng khả năng biểu diễn đặc trưng kết cấu của khuôn mặt, từ đó nâng cao hiệu quả phát hiện giả mạo.

Các khái niệm chính bao gồm:

• Đặc trưng LBP (Local Binary Pattern): Mô tả kết cấu cục bộ của ảnh, giúp phân biệt ảnh thật và giả dựa trên kết cấu vi mô.
• Thông tin chiều sâu khuôn mặt: Biểu diễn 3D của khuôn mặt thật khác biệt so với ảnh hoặc video 2D giả mạo, được tái tạo bằng mô hình PRNet.
• Học chuyển tiếp (Transfer Learning): Sử dụng mô hình đã huấn luyện trên tập dữ liệu lớn (ImageNet) để tinh chỉnh cho bài toán phát hiện giả mạo khuôn mặt với dữ liệu hạn chế.
• Thích ứng miền (Domain Adaptation): Giải pháp giảm thiểu sự khác biệt phân phối dữ liệu giữa tập huấn luyện và tập kiểm thử nhằm tăng khả năng tổng quát của mô hình.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm hai tập dữ liệu chuẩn: OULU và NUAA, chứa các ảnh khuôn mặt thật và giả mạo với nhiều hình thức tấn công khác nhau như ảnh in, video và mặt nạ 3D. Cỡ mẫu khoảng vài nghìn ảnh được sử dụng cho huấn luyện, phát triển và kiểm thử.

Phương pháp phân tích bao gồm:

• Xây dựng và huấn luyện ba mô hình học sâu dựa trên mạng ResNet-34:

  • Mô hình 1: ResNet-34 chuẩn, thay thế lớp kết nối cuối cùng để phân loại hai lớp.
  • Mô hình 2: Thay thế các lớp tích chập bằng lớp CDC để kết hợp đặc trưng cường độ và gradient.
  • Mô hình 3: Kết hợp mô hình 2 với thông tin chiều sâu khuôn mặt được tái tạo từ PRNet, sử dụng kỹ thuật upsample và so sánh tỷ lệ đặc trưng với ngưỡng phân loại.

• Sử dụng hàm mất mát trọng số trong PRNet để học bản đồ vị trí 3D khuôn mặt, tập trung vào các điểm mốc quan trọng.

• Áp dụng học chuyển tiếp để tận dụng mô hình đã huấn luyện trên ImageNet, giảm thiểu overfitting do dữ liệu hạn chế.

• Thử nghiệm thích ứng miền bằng cách sử dụng mạng sinh đối kháng (GAN) để giảm sự khác biệt phân phối dữ liệu giữa các miền khác nhau.

Timeline nghiên cứu kéo dài trong năm 2022, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, huấn luyện, đánh giá và thử nghiệm thích ứng miền.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình ResNet-34 kết hợp CDC: Mô hình 2 cho thấy cải thiện đáng kể so với mô hình 1, với độ chính xác phát hiện giả mạo tăng khoảng 7%, nhờ khả năng trích xuất đặc trưng kết cấu chi tiết hơn từ CDC.

2. Tác động tích cực của thông tin chiều sâu: Mô hình 3, kết hợp thông tin chiều sâu từ PRNet, đạt độ chính xác cao nhất, vượt trội hơn khoảng 10% so với mô hình 1 và 3% so với mô hình 2. Việc sử dụng bản đồ chiều sâu giúp phân biệt rõ ràng khuôn mặt thật và giả mạo, đặc biệt với các hình thức tấn công tinh vi như mặt nạ 3D.

3. Khả năng thích ứng miền được cải thiện nhờ GAN: Thử nghiệm sử dụng mạng chuyển đổi hình ảnh GAN giúp giảm thiểu sự khác biệt phân phối dữ liệu giữa các tập dữ liệu khác nhau, nâng cao độ chính xác mô hình trên tập kiểm thử mới lên khoảng 5% so với mô hình không áp dụng thích ứng miền.

4. Độ nhạy và độ đặc hiệu: Mô hình 3 đạt độ nhạy khoảng 92% và độ đặc hiệu 90%, cho thấy khả năng phát hiện giả mạo và nhận diện khuôn mặt thật đều ở mức cao, giảm thiểu sai sót trong thực tế.

Thảo luận kết quả

Các kết quả trên cho thấy việc kết hợp các đặc trưng kết cấu (CDC) và thông tin chiều sâu là hướng đi hiệu quả trong phát hiện giả mạo khuôn mặt. So với các phương pháp truyền thống chỉ dựa trên đặc trưng kết cấu hoặc tương tác người-máy, mô hình học sâu tích hợp đa đặc trưng cho phép nhận diện chính xác hơn, đặc biệt trong các trường hợp giả mạo phức tạp như mặt nạ 3D.

Việc áp dụng học chuyển tiếp giúp khắc phục hạn chế về dữ liệu huấn luyện, giảm hiện tượng overfitting và tăng khả năng tổng quát của mô hình. Thử nghiệm thích ứng miền bằng GAN là bước tiến quan trọng nhằm giải quyết vấn đề phân phối dữ liệu khác biệt giữa môi trường huấn luyện và thực tế, một thách thức lớn trong ứng dụng thực tiễn.

Dữ liệu có thể được trình bày qua các biểu đồ ROC thể hiện hiệu suất phân loại, bảng so sánh độ chính xác, độ nhạy và độ đặc hiệu giữa các mô hình, cũng như hình ảnh minh họa bản đồ chiều sâu và đặc trưng CDC để trực quan hóa sự khác biệt giữa khuôn mặt thật và giả mạo.

Đề xuất và khuyến nghị

1. Triển khai mô hình kết hợp CDC và chiều sâu trong hệ thống nhận diện khuôn mặt: Đề xuất các tổ chức, doanh nghiệp tích hợp mô hình học sâu đã được huấn luyện để nâng cao độ chính xác phát hiện giả mạo, giảm thiểu rủi ro bảo mật. Thời gian thực hiện trong vòng 6-12 tháng, chủ thể là các đơn vị phát triển phần mềm và an ninh mạng.

2. Phát triển hệ thống thu thập và cập nhật dữ liệu đa dạng: Tăng cường thu thập dữ liệu giả mạo đa dạng về hình thức và thiết bị, nhằm cải thiện khả năng thích ứng miền của mô hình. Thời gian thực hiện liên tục, chủ thể là các trung tâm nghiên cứu và doanh nghiệp công nghệ.

3. Áp dụng kỹ thuật thích ứng miền bằng GAN trong huấn luyện mô hình: Khuyến nghị sử dụng các phương pháp học không giám sát để giảm thiểu sự khác biệt dữ liệu giữa môi trường huấn luyện và thực tế, nâng cao tính ổn định của hệ thống. Thời gian triển khai 3-6 tháng, chủ thể là nhóm nghiên cứu AI và phát triển sản phẩm.

4. Tăng cường đào tạo và nâng cao nhận thức người dùng: Đào tạo nhân viên và người dùng cuối về các nguy cơ giả mạo khuôn mặt và cách sử dụng hệ thống phát hiện hiệu quả, đảm bảo sự hợp tác và hiệu quả trong thực tế. Thời gian thực hiện 3-6 tháng, chủ thể là các tổ chức, doanh nghiệp sử dụng công nghệ nhận diện khuôn mặt.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng mạng học sâu trong phát hiện giả mạo khuôn mặt, giúp phát triển các đề tài nghiên cứu mới hoặc hoàn thiện kỹ năng thực hành.

2. Chuyên gia phát triển phần mềm và kỹ sư AI: Tham khảo để áp dụng các kỹ thuật CDC, PRNet và thích ứng miền trong xây dựng hệ thống nhận diện khuôn mặt an toàn, nâng cao hiệu suất và độ chính xác sản phẩm.

3. Doanh nghiệp và tổ chức sử dụng công nghệ nhận diện khuôn mặt: Hiểu rõ các thách thức và giải pháp kỹ thuật trong phát hiện giả mạo, từ đó lựa chọn và triển khai các hệ thống phù hợp nhằm bảo vệ an ninh và dữ liệu người dùng.

4. Cơ quan quản lý và hoạch định chính sách về an ninh mạng: Nắm bắt xu hướng công nghệ và các giải pháp kỹ thuật tiên tiến để xây dựng các quy định, tiêu chuẩn bảo mật phù hợp, góp phần nâng cao an toàn thông tin quốc gia.

Câu hỏi thường gặp

1. Phát hiện giả mạo khuôn mặt là gì và tại sao quan trọng?
   Phát hiện giả mạo khuôn mặt là quá trình xác định xem khuôn mặt trong ảnh hoặc video có phải là thật hay bị giả mạo bằng các phương pháp như ảnh in, video hoặc mặt nạ 3D. Việc này quan trọng để bảo vệ hệ thống nhận diện khuôn mặt khỏi bị đánh lừa, tránh rủi ro mất an toàn thông tin và tài sản.

2. Mạng học sâu giúp gì trong phát hiện giả mạo khuôn mặt?
   Mạng học sâu, đặc biệt là CNN, có khả năng tự động học các đặc trưng phức tạp từ dữ liệu hình ảnh, giúp phân biệt chính xác hơn giữa khuôn mặt thật và giả mạo so với các phương pháp truyền thống dựa trên đặc trưng thủ công.

3. Tại sao cần kết hợp thông tin chiều sâu trong mô hình?
   Khuôn mặt thật có cấu trúc 3D với thông tin chiều sâu khác biệt rõ ràng so với ảnh hoặc video 2D giả mạo. Việc sử dụng bản đồ chiều sâu giúp mô hình nhận diện các đặc điểm không gian quan trọng, nâng cao độ chính xác phát hiện, đặc biệt với các hình thức giả mạo tinh vi.

4. Học chuyển tiếp (transfer learning) được áp dụng như thế nào?
   Học chuyển tiếp sử dụng mô hình đã được huấn luyện trên tập dữ liệu lớn (như ImageNet) để tinh chỉnh cho bài toán phát hiện giả mạo khuôn mặt với dữ liệu hạn chế, giúp giảm overfitting và tiết kiệm thời gian huấn luyện.

5. Vấn đề thích ứng miền là gì và làm sao giải quyết?
   Thích ứng miền là thách thức khi dữ liệu kiểm thử có phân phối khác biệt so với dữ liệu huấn luyện, làm giảm hiệu quả mô hình. Giải pháp là sử dụng các kỹ thuật như mạng sinh đối kháng (GAN) để tạo ra biểu diễn đặc trưng miền bất biến, giúp mô hình hoạt động tốt trên nhiều môi trường khác nhau.

Kết luận

• Luận văn đã phát triển thành công mô hình phát hiện giả mạo khuôn mặt dựa trên mạng học sâu, kết hợp kỹ thuật CDC và thông tin chiều sâu, đạt độ chính xác cao trên các tập dữ liệu chuẩn.
• Việc áp dụng học chuyển tiếp giúp khắc phục hạn chế về dữ liệu huấn luyện, giảm hiện tượng overfitting.
• Thử nghiệm thích ứng miền bằng mạng GAN góp phần nâng cao khả năng tổng quát và ổn định của mô hình trong thực tế.
• Các kết quả nghiên cứu có ý nghĩa thực tiễn lớn, hỗ trợ phát triển các hệ thống nhận diện khuôn mặt an toàn và hiệu quả.
• Đề xuất các bước tiếp theo bao gồm triển khai mô hình vào hệ thống thực tế, mở rộng thu thập dữ liệu đa dạng và phát triển kỹ thuật thích ứng miền nâng cao.

Các nhà nghiên cứu và doanh nghiệp trong lĩnh vực nhận diện khuôn mặt nên tiếp cận và ứng dụng các giải pháp học sâu tích hợp đa đặc trưng để nâng cao hiệu quả phát hiện giả mạo, đồng thời hợp tác phát triển dữ liệu và kỹ thuật thích ứng miền nhằm đáp ứng yêu cầu thực tế ngày càng cao.

Trích đoạn nội dung tài liệu

chương 1 sẽ giới thiệu các phương pháp dựa trên đặc trưng texture, các phương pháp dựa trên tương tác giữa người và máy, các thông tin về sự sống, chất lượng và chiều sâu của hình ảnh cũng được đề cập. Cuối cùng là các phương pháp dựa trên học sâu. Giới thiệu bài toán phát hiện giả mạo khuôn mặt Phát hiện giả mạo khuôn mặt là nhiệm vụ phát hiện hành vi xác minh khuôn mặt bằng cách sử dụng ảnh, video, mặt nạ hoặc một vật thay thế khác cho khuôn mặt của một người. Hình 1-1: Các phương thức giả mạo khuôn mặt Dưới đây là một số hình thức giả mạo khuôn mặt hay được sử dụng nhất: • Giả mạo bằng hình thức in: Kẻ tấn công sử dụng một bức ảnh của nạn nhân, sau đó in ra hoặc hiển thị trên một thiết bị điện tử.

Đây là hình thức giả mạo phổ biển nhất do hầu hết ảnh chụp của các cá nhân đều sẵn có trên mạng và có thể lấy đi mà không cần sự cho phép của chủ nhân bức ảnh đó. 4 • Giả mạo bằng ảnh đục lỗ ở mắt: Vùng mắt của bức ảnh in sẽ được đục lỗ để giả mạo thêm được hành vi chớp mắt của một người. • Giả mạo bởi ảnh làm cong: Kẻ tấn công sẽ uốn ảnh với nhiều hướng khác nhau để giả mạo biểu cảm của khuôn mặt. • Giả mạo bằng video: Ở hình thức này, kẻ tấn công đã lấy được một video quay lại khuôn mặt của nạn nhân.

Cách này khiến cho hành vi và chuyển động của khuôn mặt giả mạo trông tự nhiên hơn khi có thể có đầy đủ dấu hiệu của sự sống như chớp mắt, nét mặt, chuyển động ở đầu và miệng, cuối cùng là phương thức này dễ dàng được thực hiện bằng máy tính bảng và điện thoại thông minh cỡ lớn. • Giả mạo bằng mặt nạ 3D: Một chiếc mặt nạ 3D sẽ được sử dụng làm công cụ giả mạo ở hình thức này. Thậm chí giả mạo bằng mặt nạ 3D còn tinh vi hơn cả việc sử dụng video khi có hình chuyển động ở khuôn mặt rất tự nhiên và có thể vượt qua được các thiết bị đặc biệt như cảm biến chiều sâu. Các nghiên cứu liên quan 1.

Các phương pháp dựa trên đặc trưng texture của ảnh Trong quá trình thu nhận ảnh, hình ảnh bị mất mát đi một số thông tin, cùng với đó có một số nhiễu xuất hiện kèm theo quá trình đó. Bên cạnh đó, hình ảnh được thu nhận qua hai lần cũng sẽ có sự khác biệt về mặt kết cấu (texture) nhất định so với ảnh được thu nhận trực tiếp. Sự khác biệt nhỏ này xuất hiện bởi các yếu tố chủ yếu như điểm sáng cục bộ, sự thay đổi bóng và mức độ nhòe mờ của hình ảnh [4]. Các lý do này sẽ là yếu tố chủ đạo để các phương pháp dựa trên kết cấu phân biệt ảnh thật và ảnh giả.

Một số phương pháp thực hiện chuyển đổi ảnh thu thập được sang dạng xám và trích chọn các thông tin về kết cấu trên các ảnh xám này cho bài toán phân loại ảnh mặt thật và ảnh giả. Các phương pháp này bỏ qua thông tin về kết cấu màu của hình ảnh. Maatta và công sự [5] đã sử dụng nhiều toán tử LBP đồng nhất với nhiều tỷ lệ khác nhau để trích xuất histogram đặc trưng về kết cấu từ các vùng địa phương của ảnh xám và ảnh toàn cục. Sau 5 đó, họ kết nối chúng lại để tạo thành một biểu đồ đặc trưng có 531 chiều và đưa qua bộ phân loại SVM với RBF là lõi cho quá trình huấn luyện và kiểm thử phân loại mặt thật và mặt giả mạo.

Các thuật toán phân tích kết cấu dựa trên bản đồ tỷ lệ xám tỏ ra hiệu quả với các ảnh khuôn mặt giả mạo có kết cấu rõ ràng và có độ phân giải cao. Tuy nhiên, đối với các hình ảnh giả mạo có độ phân giải thấp thì việc phân biệt được trở lên khó hơn. Trong khi đó, Boulkenaf và công sự [1] đề xuất một phương pháp phát hiện ảnh giả mạo dựa trên phân tích cấu trúc màu. Cụ thể, Họ trích xuất các biểu đồ histograms LBP từ mỗi kênh màu, sau đó kết nối chúng lại để tạo thành một đặc trưng mô tả cuối cùng.

Tiến trình đặc biệt này được mô tả qua hình 1-2. Để phân tích không gian màu nào giúp dễ phân biệt mặt thật và mặt giả mạo hơn, phương pháp này thí nghiệm ba không gian màu RGB, YCbCr và HSV. Các thí nghiệm cho thấy rằng phương pháp dựa trên kết cấu màu sắc vượt trội hơn so với phương pháp dựa trên kết cấu màu xám trong việc phát hiện các cách thức giả mạo khác nhau. Boulkenaf và cộng sự.

[1] cũng tập trung vào các kênh độ chói và sắc độ, đồng thời kết hợp các đặc trưng LBP nhiều cấp của khuôn mặt người trong không gian HSV với các đặc trưng LPQ của khuôn mặt người trong không gian YCbCr bằng cách sử dụng thông tin chung về màu sắc và kết cấu. Mặc dù đã đạt được kết quả tốt trong thử nghiệm, nhưng các bộ mô tả kết cấu vi mô ở mức thấp khiến chúng nhạy cảm với sự thay đổi ánh sáng và hình ảnh chất lượng cao. Để cải thiện khả năng phân biệt hơn nữa, Boulkenaf và cộng sự [6] với các đặc tính ổn định được tăng tốc (speed-up robust features, SURF) để đối mặt với việc phát hiện giả mạo. So với các phương pháp trước đây, phương pháp này cho thấy ổn định và hiệu quả tốt hơn.

6 Hình 1-2: Các phương pháp dựa trên phân tích cấu trúc màu Các đặc trưng được trích xuất từ các phương pháp trên dựa trên các đặc trưng của kết cấu đều ở mức thấp, điều này chắc chắn sẽ ảnh hưởng đến độ mạnh mẽ và khả năng khái quát của mô hình. Vì các đặc trưng cấp thấp thường tồn tại trong không gian nhiều chiều và dễ bị nhiễu, chúng không có lợi cho việc phân loại trực tiếp [7]. Để cải thiện khả năng biểu diễn hình ảnh, hiệu quả nhận dạng và khả năng tổng quát của thuật toán, đồng thời hy vọng rằng các đặc trưng trong cùng một lớp sẽ giống nhau hơn, trong khi các đặc trưng giữa các lớp khác nhau thì khác biệt hơn. Vì vậy, mục tiêu sẽ là cần biểu diễn các đặc trưng cấp thấp tới các đặc trưng cấp cao khác biệt hơn thông qua một số thuật toán mã hóa.

Các đặc trưng cấp cao có thể biểu diễn tốt hơn thông tin của toàn ảnh và giúp phân loại dễ dàng hơn. Peixoto và cộng sự. [8] đầu tiên sử dụng bộ lọc DoG để thu được thông tin dải tần trung bình trong hình ảnh, sau đó trích xuất các đặc trưng chính thông qua biến đổi Fourier, và cuối cùng phân loại thông tin đặc trưng được trích xuất và xử lý thông qua bộ phân loại hồi quy logistic, để đạt được mục tiêu hình ảnh cần nhận dạng là khuôn mặt thật hay khuôn mặt giả mạo. Zhang và cộng sự.

Tác giả đã phân tích sự khác biệt giữa các pixel liền kề của khuôn mặt thật và khuôn mặt giả mạo, đồng thời xem xét đầy đủ thông 7 tin kết cấu giữa các kênh màu. Đầu tiên, sự khác biệt về kết cấu của khuôn mặt thật và mặt giả được ghi lại bằng bộ lọc vi phân có hướng (directional differential filter), có thể được coi là các đặc trưng cấp thấp của CTMF. Sau đó, tiến trình Markov được sử dụng để mô hình hóa sự khác biệt về kết cấu khuôn mặt để tạo thành biểu diễn cấp cao cho các đặc trưng cấp thấp. Cuối cùng, SVM-RFE được sử dụng để làm cho đạt được khả năng phát hiện trong thời gian thực.

Nhìn chung, phương pháp dựa trên phân tích kết cấu của hình ảnh có nhiều ưu điểm như chi phí thấp, thuật toán đơn giản và dễ thực hiện. Tuy nhiên, với sự phổ biến của máy ảnh độ nét cao và việc ứng dụng mặt nạ 3D chất lượng cao, việc sử dụng thông tin kết cấu không còn đáp ứng được nhu cầu nữa, do đó, thông tin kết cấu thường cần được tích hợp với các thông tin khác. Phương pháp dựa trên tương tác người và máy Con người có thể thực hiện các cử động hoặc tạo ra âm thanh theo yêu cầu, chẳng hạn như gật đầu, chớp mắt, mở miệng, mỉm cười, lè lưỡi, đọc một đoạn văn bản, trong khi sử dụng một khuôn mặt giả mạo thì những điều trên sẽ khó thực hiện. Dựa trên quan sát này, một phương pháp phát hiện giả mạo khuôn mặt người qua tương tác đã được đề xuất.

Phương pháp phát hiện giả mạo khuôn mặt qua tương tác ban đầu được thiết kế để cố định, cho phép việc video chuyển động được ghi sẵn có thể vượt qua loại thuật toán phát hiện giả mạo khuôn mặt này một cách dễ dàng. Để giải quyết vấn đề này, tính năng phát hiện tương tác giữa người và máy tính dựa trên các hướng dẫn chuyển động ngẫu nhiên ra đời. Tính ngẫu nhiên của hướng dẫn chuyển động khiến kẻ tấn công khó quay video trước để tấn công thuật toán phát hiện giả mạo khuôn mặt, điều này giúp cải thiện đáng kể hiệu suất phát hiện của thuật toán. Wang và cộng sự.

[10] đã tiến hành nhận dạng ngôn ngữ môi bằng cách phát hiện phạm vi thay đổi trong vùng miệng của khuôn mặt, được bổ sung bằng nhận dạng giọng nói để thu được thông tin giọng nói về phản ứng của người dùng để cùng đánh giá xem người dùng có đọc các câu được đưa ra ngẫu nhiên theo yêu cầu hay không. Singh và cộng sự. [11] sử dụng cử động chớp mắt và miệng để đưa ra các phán đoán sự sống. Diện tích của mắt cùng màu sắc, độ bão hòa, giá trị của răng được tính toán để xác định xem mắt có 8 mở và răng có hở hay không.

Các đối tượng hành động theo cụm từ gợi ý do hệ thống tạo ngẫu nhiên và hoàn thành các hành động để chứng minh rằng đó là khuôn mặt thật. Ng và công sự [12] đã thiết kế một hệ thống tương tác máy tính với con người để hướng dẫn người dùng hoàn thành các biểu cảm ngẫu nhiên trên khuôn mặt. Bằng cách tính toán SIFT của nhiều khung hình ảnh, người dùng có thể được đánh giá liệu các biểu cảm khuôn mặt được chỉ định đã hoàn thành hay chưa và liệu chúng có phải là khuôn mặt thật hay không. Phương pháp dựa trên tương tác giữa người và máy tính có thể làm giảm sự ảnh hưởng khi thay đổi các phương thức giả mạo một cách hiệu quả, hay nói cách khác phương pháp này khá tổng quát qua việc thực hiện thuật toán thông qua các hành động tương tác được thiết kế cẩn thận.