Khóa Luận Tốt Nghiệp: Đánh Giá Các Phương Pháp Chống Giả Mạo Khuôn Mặt Trong Khoa Học Máy Tính

Khóa luận tốt nghiệp khoa học máy tính đánh giá các phương pháp chống giả mạo khuôn mặt, ứng dụng công nghệ AI và học sâu hiệu quả.

• Tác giả: Lê Bảo Huy
• Người hướng dẫn: TS. Ngô Đức Thành
• Trường học: Đại học Công nghệ Thông tin
• Chuyên ngành: Khoa học máy tính
• Đề tài: Đánh giá một số phương pháp chống giả mạo khuôn mặt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẮM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Phạm vi và mục tiêu
• 1.3. Đóng góp của khóa luận
• 1.4. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mở đầu
• 2.2. Giới thiệu bài toán chống giả mạo khuôn mặt
• 2.3. Các phương pháp cổ điển
• 2.3.1. Local binary pattern (LBP)
• 2.3.2. Histogram of Oriented Gradient (HOG)
• 2.4. Các mô hình học sâu
• 2.4.1. Mạng nơ-ron tích chập (Convolutional Neural Network)
• 2.4.2. ResNet
• 2.5. Searching Central Difference Convolutional Networks (CNCD)
• 3. CHƯƠNG 3: MỘT SỐ PHƯƠNG PHÁP CHO BÀI TOÁN CHỐNG GIẢ MẠO KHUÔN MẶT
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5. CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG MINH HỌA THỰC NGHIỆM
• 5.1. Mở đầu
• 5.2. Các thư viện yêu cầu
• 5.3. Cấu hình và cài đặt
• 5.4. Giao diện của ứng dụng web
• 5.5. Đánh giá ứng dụng
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Đánh giá phương pháp chống giả mạo khuôn mặt

Đánh giá phương pháp chống giả mạo khuôn mặt là một phần quan trọng trong nghiên cứu khoa học máy tính, đặc biệt trong bối cảnh các hệ thống nhận diện khuôn mặt ngày càng phổ biến. Chống giả mạo khuôn mặt đóng vai trò then chốt trong việc bảo vệ quyền riêng tư và tài sản cá nhân. Khóa luận này tập trung vào việc đánh giá các phương pháp chống giả mạo hiện đại, sử dụng bộ dữ liệu CelebA-spoof để kiểm tra hiệu quả của từng phương pháp. Các phương pháp được đánh giá bao gồm Local Binary Pattern (LBP), Histogram of Oriented Gradient (HOG), và các mô hình học sâu như Convolutional Neural Networks (CNN).

1.1. Phương pháp cổ điển

Các phương pháp cổ điển như LBP và HOG được sử dụng rộng rãi trong việc trích xuất đặc trưng từ ảnh. LBP tập trung vào việc phân tích kết cấu bề mặt, trong khi HOG dựa trên sự phân bố gradient để xác định đặc trưng. Mặc dù các phương pháp này có ưu điểm về tốc độ xử lý, chúng thường kém hiệu quả trong các điều kiện ánh sáng phức tạp hoặc khi ảnh bị xoay chuyển.

1.2. Mô hình học sâu

Các mô hình học sâu như CNN và ResNet đã mang lại bước tiến đáng kể trong việc chống giả mạo khuôn mặt. CNN sử dụng các lớp tích chập để trích xuất đặc trưng từ ảnh, trong khi ResNet giải quyết vấn đề mất mát đạo hàm bằng cách sử dụng các khối kết nối tắt. Các mô hình này đạt hiệu suất cao hơn so với phương pháp cổ điển, đặc biệt trong các điều kiện ánh sáng và môi trường khác nhau.

II. Nghiên cứu khuôn mặt và ứng dụng thực tế

Nghiên cứu khuôn mặt trong khóa luận này không chỉ dừng lại ở việc đánh giá các phương pháp mà còn hướng đến việc xây dựng các ứng dụng thực tế. Khoa học máy tính đã chứng minh tiềm năng to lớn của các hệ thống nhận diện khuôn mặt trong việc điểm danh, chấm công, và thanh toán điện tử. Tuy nhiên, giả mạo khuôn mặt vẫn là một thách thức lớn, đòi hỏi các giải pháp hiệu quả hơn.

2.1. Ứng dụng thực tế

Khóa luận đã xây dựng một ứng dụng web minh họa cho các thuật toán chống giả mạo khuôn mặt. Ứng dụng này cho phép người dùng tải lên ảnh và kiểm tra xem ảnh đó là mặt thật hay mặt giả. Đây là một bước tiến quan trọng trong việc đưa các nghiên cứu vào thực tiễn, giúp người dùng hiểu rõ hơn về các phương pháp chống giả mạo.

2.2. Đánh giá kết quả

Các phương pháp được đánh giá dựa trên độ chính xác và thời gian xử lý. Pyramid Supervision (PS) và Single-Side Domain Generalization (SSDG) cho kết quả tốt nhất trên bộ dữ liệu CelebA-spoof. Tuy nhiên, mỗi phương pháp đều có những ưu nhược điểm riêng, cần được cân nhắc khi áp dụng vào thực tế.

III. Kết luận và hướng phát triển

Khóa luận đã đánh giá toàn diện các phương pháp chống giả mạo khuôn mặt và đưa ra những kết luận quan trọng. Khoa học máy tính tiếp tục phát triển, mang lại nhiều giải pháp mới cho bài toán này. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết, đặc biệt là trong việc nâng cao độ chính xác và giảm thời gian xử lý.

3.1. Hướng phát triển

Trong tương lai, nghiên cứu có thể tập trung vào việc kết hợp các phương pháp học sâu với các kỹ thuật xử lý ảnh tiên tiến để cải thiện hiệu suất. Ngoài ra, việc mở rộng bộ dữ liệu và thử nghiệm trong các điều kiện thực tế hơn cũng là một hướng đi tiềm năng.

3.2. Giá trị thực tiễn

Khóa luận không chỉ mang lại giá trị học thuật mà còn có ý nghĩa thực tiễn lớn. Các kết quả nghiên cứu có thể được áp dụng trong các hệ thống bảo mật, giúp ngăn chặn các hành vi giả mạo khuôn mặt và bảo vệ thông tin cá nhân của người dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ thị giác máy tính và trí tuệ nhân tạo phát triển nhanh chóng, các hệ thống nhận diện khuôn mặt đã được triển khai rộng rãi trong nhiều lĩnh vực thực tiễn đời sống như mở khóa thiết bị di động thông minh, kiểm soát ra vào tự động tại cơ quan, trường học, điểm danh chấm công cũng như xác thực các giao dịch thanh toán qua ví điện tử. Mặc dù mang lại sự tiện lợi, tốc độ xử lý nhanh và độ chính xác cao, các hệ thống nhận diện khuôn mặt sinh trắc học này lại đối mặt với mối đe dọa nghiêm trọng từ các hành vi tấn công giả mạo (Presentation Attacks). Kẻ tấn công có thể sử dụng ảnh chụp chân dung trên điện thoại, video quay sẵn hoặc mặt nạ tái tạo không gian ba chiều (3D) để vượt qua các lớp bảo mật, dẫn đến nguy cơ rò rỉ dữ liệu cá nhân, thất thoát tài sản và làm sai lệch cơ sở dữ liệu xác thực.

Nhận thức được lỗ hổng bảo mật này, bài toán chống giả mạo khuôn mặt (Face Anti-Spoofing - FAS / Face Presentation Attack Detection - PAD) được xem như một bài toán phân lớp nhị phân nhằm phân biệt giữa khuôn mặt thật (Live Face) và khuôn mặt giả mạo (Spoof/Fake Face). Nhiều phương pháp học sâu đã được đề xuất trên thế giới, tiêu biểu như CDCN, Pixel-Wise Supervision (PS), Single-Side Domain Generalization (SSDG), Anomaly Detection (AD) và AENet. Tuy nhiên, mỗi phương pháp đều dựa trên những giả định và kiến trúc mạng khác nhau, dẫn đến ưu và nhược điểm riêng biệt khi triển khai trong môi trường thực tế với điều kiện chiếu sáng và hình thức tấn công đa dạng.

Nhằm làm rõ hiệu quả thực nghiệm và khả năng ứng dụng của các kỹ thuật tiên tiến, khóa luận xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

1. Tìm hiểu tổng quan về bài toán chống giả mạo khuôn mặt trong ảnh, hệ thống hóa các hướng tiếp cận trích xuất đặc trưng truyền thống và học sâu hiện đại.
2. Cài đặt, hiện thực và đánh giá kết quả thực nghiệm của một số phương pháp tiên tiến (PS, SSDG, AD) trên bộ dữ liệu quy mô lớn CelebA-spoof theo các độ đo tiêu chuẩn của bài toán.
3. Xây dựng một ứng dụng web minh họa cho các thuật toán chống giả mạo khuôn mặt nhằm phục vụ việc kiểm thử trực quan.

Về phạm vi nghiên cứu, khóa luận giới hạn việc đánh giá các phương pháp chống giả mạo dựa trên dữ liệu ảnh màu đơn khung hình (Single-frame RGB images). Đề tài tập trung phân tích chuyên sâu các mô hình học sâu hiện đại bao gồm PS, SSDG, AD, đồng thời đối sánh với các kiến trúc liên quan như CDCN và AENet. Khóa luận được hoàn thành vào tháng 12 năm 2021 tại Khoa Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết thông qua việc phân loại các hình thức tấn công giả mạo và tổng thuật các kỹ thuật xử lý ảnh, thị giác máy tính từ cổ điển đến học sâu:

1. Phân loại các hình thức tấn công giả mạo khuôn mặt:

   • Tấn công dạng in (Print Attack - 2D): Sử dụng hình ảnh khuôn mặt được in trên giấy hoặc bìa cứng với tỉ lệ 1:1 đặt trước camera.
   • Tấn công phát lại (Replay Attack - 2D): Sử dụng màn hình thiết bị kỹ thuật số như máy tính bảng, điện thoại hoặc laptop để phát lại video hoặc hiển thị ảnh chụp của đối tượng cần giả mạo.
   • Tấn công không gian ba chiều (3D Attack): Sử dụng mặt nạ nhân tạo (mask), mô hình in 3D, tượng điêu khắc hoặc kỹ thuật hóa trang khuôn mặt để tái tạo hình khối chiều sâu của đối tượng thực tế.

2. Các phương pháp trích xuất đặc trưng truyền thống:

   • Local Binary Pattern (LBP): Trích xuất đặc trưng kết cấu bề mặt cục bộ bằng cách chuyển ảnh về thang độ xám (grayscale), so sánh giá trị cường độ sáng của pixel trung tâm với 8 pixel lân cận trong vùng lân cận bán kính $r$, tạo thành chuỗi mã nhị phân 8-bit tương ứng với $2^8 = 256$ trạng thái.
   • Histogram of Oriented Gradients (HOG): Mô tả hình dạng và trạng thái xuất hiện của vật thể thông qua phân bố cường độ và hướng gradient. Thuật toán chuẩn hóa ảnh qua hàm logarit hoặc căn bậc hai, tính ma trận gradient theo trục $x$ và $y$ ($G_x, G_y$), xác định độ lớn gradient $|G| = \sqrt{G_x^2 + G_y^2}$ và góc hướng $\theta = \arctan(G_y / G_x)$, sau đó tổng hợp histogram theo các ô (cell) và khối (block) liên kết.

3. Các mô hình học sâu và cấu trúc tích chập chuyên dụng:

   • Mạng nơ-ron tích chập (CNN) và ResNet-50: Khảo sát cấu trúc mạng tích chập kinh điển từ LeNet-5 đến ResNet-50. ResNet-50 giải quyết triệt để hiện tượng mất mát đạo hàm (vanishing gradient) và bùng nổ đạo hàm (exploding gradient) trong các mạng sâu thông qua cơ chế kết nối tắt (Residual Block: $H(x) = F(x) + x$) kết hợp chuẩn hóa theo lô (Batch Normalization).
   • Central Difference Convolution (CDC) và mạng CDCN: Kỹ thuật tích chập sai phân trung tâm kết hợp giữa tích chập thông thường và tích chập gradient theo công thức cân bằng: $$y(p_0) = \theta \sum_{p_n \in \mathcal{R}} w(p_n) \cdot (x(p_0 + p_n) - x(p_0)) + (1 - \theta) \sum_{p_n \in \mathcal{R}} w(p_n) \cdot x(p_0 + p_n)$$ Trong đó hệ số $\theta \in [0, 1]$ điều chỉnh tỷ trọng giữa thông tin mức xám và thông tin biên độ biến thiên gradient. Mô hình CDCN trích xuất đặc trưng đa tầng ở ba cấp độ (thấp, trung, cao) và hợp nhất thông qua khối Multiscale Attention Fusion Module (MAFM) để ước tính bản đồ độ sâu khuôn mặt.

Phương pháp nghiên cứu chính của khóa luận là thực nghiệm định lượng. Tác giả tiến hành huấn luyện lại từ đầu (train from scratch) các mô hình học sâu đại diện cho các trường phái khác nhau trên cùng tập dữ liệu chuẩn CelebA-spoof, sau đó đánh giá độ chính xác và khả năng tổng quát hóa theo ma trận nhầm lẫn (Confusion Matrix) và các chỉ số thống kê phân loại.

Nguồn dữ liệu thực nghiệm được kế thừa từ bộ dữ liệu chuẩn quốc tế CelebA-spoof (công bố tại hội nghị ECCV 2020), bao gồm hơn 600.000 hình ảnh của hơn 10.000 đối tượng danh tính khác nhau.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày bối cảnh thực tiễn của công nghệ nhận diện khuôn mặt, phân tích các rủi ro bảo mật bắt nguồn từ các hình thức tấn công giả mạo tinh vi. Tác giả chỉ ra hạn chế của các phương pháp phân loại nhị phân truyền thống khi dễ bị phụ thuộc vào các đặc trưng biên màn hình hoặc nhiễu cục bộ thay vì nắm bắt bản chất của da mặt người thật. Từ đó, chương xác định mục tiêu của đề tài là khảo sát lý thuyết, tái hiện huấn luyện và đánh giá thực nghiệm các mô hình tiên tiến trên tập dữ liệu chuẩn CelebA-spoof, đồng thời xây dựng ứng dụng web minh họa. Bố cục toàn bộ khóa luận được phân bổ rõ ràng thành 6 chương logic.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp toàn bộ nền tảng toán học và kỹ thuật cho bài toán chống giả mạo khuôn mặt. Nội dung chương phân tích chi tiết cơ chế hoạt động của các bộ trích xuất đặc trưng truyền thống bao gồm LBP và HOG, chỉ ra ưu điểm về tốc độ tính toán nhưng bộc lộ nhược điểm lớn khi hình ảnh bị biến dạng hình học, xoay góc hoặc thay đổi tỷ lệ. Tiếp theo, chương phân tích sự phát triển của các kiến trúc học sâu từ LeNet-5, ResNet-50 đến phép toán tích chập sai phân trung tâm Central Difference Convolution (CDC). Cấu trúc mạng CDCN được giải thích cặn kẽ cùng khối chú ý không gian đa tỷ lệ MAFM nhằm trích xuất bản đồ độ sâu giả lập (pseudo depth map), khắc phục sự phụ thuộc vào thông tin ngữ nghĩa thuần túy của CNN truyền thống.

Chương 3: Một số phương pháp cho bài toán chống giả mạo khuôn mặt

Chương 3 đi sâu vào phân tích kiến trúc, hàm mất mát và quy trình xử lý của bốn mô hình học sâu đại diện:

• Revisiting Pixel-Wise Supervision (PS): Đề xuất cơ chế giám sát dạng kim tự tháp (Pyramid Supervision). Với ảnh đầu vào kích thước $3 \times 256 \times 256$, mạng trích xuất đặc trưng không gian $F_8 \in \mathbb{R}^{C \times 8 \times 8}$, sau đó áp dụng phép lấy mẫu trung bình (Average Pooling) với kích thước và bước trượt khác nhau để sinh ra các bản đồ đặc trưng đa tỷ lệ $F_8, F_4, F_2, F_1$. Qua lớp tích chập $1 \times 1$ và hàm kích hoạt Sigmoid, mô hình tạo ra các bản đồ mặt nạ nhị phân dự đoán $M_8, M_4, M_2, M_1$. Hàm mất mát kim tự tháp được tính toán dựa trên tổng mất mát Binary Cross-Entropy tại từng cấp độ: $$\mathcal{L}{pyramid} = \sum{i \in {8,4,2,1}} - \left( Y_i \log(M_i) + (1 - Y_i) \log(1 - M_i) \right)$$ Hàm mất mát toàn phần là $\mathcal{L}{overall} = \mathcal{L}{pyramid} + \mathcal{L}{binary}$. Ngoài ra, cơ chế giám sát kim tự tháp còn được áp dụng cho bản đồ độ sâu trong kiến trúc CDCN ở hai độ phân giải $32 \times 32$ và $16 \times 16$ kết hợp hàm sai số bình phương trung bình ($\mathcal{L}{MSE}$) và sai số độ sâu tương phản ($\mathcal{L}_{CDL}$).
• Single-Side Domain Generalization (SSDG): Tiếp cận bài toán dưới góc độ tổng quát hóa miền không gian đối kháng. Nhận thấy sự phân bố dữ liệu của các khuôn mặt thật giữa các miền nguồn và đích có sự đồng nhất cao hơn nhiều so với sự đa dạng của các kiểu tấn công giả mạo, SSDG đề xuất cơ chế học đối kháng một phía (Single-Side Adversarial Learning). Mô hình chỉ áp dụng bộ phân biệt miền $D$ trên các đặc trưng khuôn mặt thật trích xuất từ bộ tạo đặc trưng $G_r$ thông qua tầng đảo ngược gradient (Gradient Reversal Layer - GRL). Đồng thời, phương pháp ứng dụng kỹ thuật Asymmetric Triplet Mining trên 4 nhóm dữ liệu (1 nhóm mặt thật chung và 3 nhóm mặt giả từ các miền nguồn riêng biệt) để kéo các biểu diễn mặt thật lại gần nhau và đẩy các biểu diễn mặt giả của từng miền phân tán xa nhau trong không gian đặc trưng.
• Anomaly Detection-Based Unknown Face PAD (AD): Tiếp cận bài toán chống giả mạo như một tác vụ phân lớp một đối tượng (One-Class Classification) nhằm phát hiện các hình thức tấn công chưa từng được huấn luyện (unknown attacks). Mô hình sử dụng mạng trích xuất đặc trưng $V$ (huấn luyện trước trên VGGFace) và bộ phân lớp $G$. Mẫu phủ định giả được sinh tự động từ phân phối chuẩn Gauss $\mathcal{N}(\mu^, \Sigma)$, trong đó giá trị trung bình $\mu^$ được cập nhật động theo từng lô dữ liệu: $$\mu^* = \alpha \mu_{old} + (1 - \alpha) \mu_{new}$$ Để loại bỏ thông tin định danh khuôn mặt cá nhân (identity information) vốn có trong mạng nhận diện, tác giả áp dụng hàm mất mát nhầm lẫn theo cặp (Pairwise Confusion Loss - PC Loss): $$\mathcal{L}{pc} = \sum{i} \sum_{j \neq i} |f_i - f_j|2^2$$ Hàm mất mát tổng hợp của phương pháp là $\mathcal{L}{total} = \lambda_1 \mathcal{L}{pc} + \lambda_2 \mathcal{L}{bce}$.
• Auxiliary Information Embedding Network (AENet): Thiết kế mạng học đa nhiệm (Multi-task learning) kết hợp nhánh phân lớp nhị phân chính với nhánh ngữ nghĩa phụ trợ ($AENet_{ces}$) và nhánh hình học phụ trợ ($AENet_{geo}$). Nhánh ngữ nghĩa dự đoán nhãn thuộc tính khuôn mặt, điều kiện chiếu sáng và loại tấn công qua hàm mất mát Softmax Cross-Entropy. Nhánh hình học trích xuất bản đồ độ sâu 3D và bản đồ phản chiếu ánh sáng (reflection map) ở độ phân giải $14 \times 14$ qua hàm sai số bình phương trung bình.

Chương 4: Thực nghiệm và đánh giá

Chương 4 mô tả chi tiết quy chuẩn dữ liệu và quy trình kiểm thử thực nghiệm trên tập CelebA-spoof. Nguồn ảnh thật được lọc từ tập dữ liệu CelebA (loại bỏ các hình ảnh áp phích quảng cáo và nhân vật hoạt hình). Nguồn dữ liệu giả mạo được thu thập từ 202.177 cá nhân với từ 5 đến 40 ảnh cho mỗi đối tượng, được chuẩn hóa theo ba thuộc tính đa dạng:

• 5 góc độ chụp: Chụp thẳng (Forward), dốc xuống (Down), ngửa lên (Up), xoay trái và xoay phải trong dải góc $[-30^\circ, 30^\circ]$.
• 4 dạng biến dạng vật lý: Ảnh phẳng thẳng bình thường, ảnh uốn ép vào trong, ảnh uốn cong ra ngoài và ảnh uốn cong ở các góc.
• 24 thiết bị thu nhận thuộc 4 nhóm cảm biến: Máy tính để bàn (PC), máy ảnh kỹ thuật số (Camera), máy tính bảng (Tablet) và điện thoại di động (Phone) với độ phân giải dao động từ 12 triệu đến 40 triệu pixel.

Chương này trình bày thống kê số lượng mẫu huấn luyện, kiểm thử và thiết lập các kịch bản đánh giá hiệu năng của các mô hình PS, SSDG, AD theo từng nhóm điều kiện chiếu sáng (bình thường, chói sáng, ngược sáng, thiếu sáng trong nhà và ngoài trời) và từng hình thức tấn công giả mạo cụ thể.

Chương 5: Xây dựng ứng dụng minh họa thực nghiệm

Chương 5 trình bày việc thiết kế và lập trình giao diện ứng dụng web thực nghiệm. Chương liệt kê các thư viện phần mềm cần thiết, quy trình cài đặt môi trường và kiến trúc kết nối giữa giao diện người dùng với mô hình học sâu phía máy chủ. Ứng dụng cho phép người dùng tải lên hình ảnh chân dung hoặc thu nhận dữ liệu trực tiếp từ camera máy tính, sau đó hệ thống sẽ xử lý trích xuất đặc trưng và trả về kết quả dự đoán nhị phân (mặt thật hay mặt giả) cùng độ tin cậy thời gian thực.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết toàn bộ nội dung đã thực hiện trong khóa luận từ việc khảo sát cơ sở lý thuyết, phân tích cơ chế toán học của các mô hình SOTA, triển khai thực nghiệm đánh giá đến việc hoàn thiện công cụ web minh họa. Đồng thời, tác giả chỉ ra các hạn chế kỹ thuật và đề xuất hướng mở rộng cho các nghiên cứu tiếp theo.

Kết quả và đóng góp

Khóa luận đã thực hiện phân tích, hệ thống hóa và so sánh toàn diện các phương pháp chống giả mạo khuôn mặt tiêu biểu. Bảng tổng hợp dưới đây khái quát đặc trưng kỹ thuật của các phương pháp được nghiên cứu trong khóa luận:

Tên phương pháp	Cơ chế cốt lõi	Không gian giám sát / Hàm mất mát chính	Đặc tính kỹ thuật nổi bật
Pyramid Supervision (PS)	Giám sát đa tỷ lệ dạng kim tự tháp trên đặc trưng không gian	$\mathcal{L}_{pyramid}$ kết hợp Binary Cross-Entropy đa quy mô ($8\times 8, 4\times 4, 2\times 2, 1\times 1$)	Trích xuất tín hiệu ngữ cảnh không gian đa cấp độ, định vị chính xác vùng tấn công
Single-Side Domain Generalization (SSDG)	Tổng quát hóa miền đối kháng một phía kết hợp Triplet Mining	$\mathcal{L}_{adv}$ với Gradient Reversal Layer và Asymmetric Triplet Loss	Gom cụm phân phối ảnh thật của mọi miền nguồn, đẩy phân tán các kiểu ảnh giả
Anomaly Detection (AD)	Phân lớp một đối tượng (One-Class CNN) phát hiện tấn công chưa biết	$\mathcal{L}{bce}$ với mẫu phủ định Gauss kết hợp Pairwise Confusion Loss ($\mathcal{L}{pc}$)	Không phụ thuộc dữ liệu tấn công khi huấn luyện, xóa bỏ thông tin định danh khuôn mặt
AENet	Mạng nhúng thông tin phụ trợ học đa nhiệm (Multi-task)	Phân lớp nhị phân kết hợp Softmax CE (ngữ nghĩa) và MSE (độ sâu, phản chiếu)	Tận dụng đồng thời thông tin hình học 3D và thuộc tính ngữ nghĩa của khuôn mặt
CDCN	Tích chập sai phân trung tâm (CDC) kết hợp khối chú ý MAFM	Contrastive Depth Loss ($\mathcal{L}_{CDL}$) và MSE trên bản đồ độ sâu	Khai thác biến thiên gradient cục bộ, không phụ thuộc thông tin ngữ nghĩa đơn thuần

Các đóng góp chính được tác giả tự xác định bao gồm:

• Hệ thống hóa toàn diện các hướng tiếp cận xử lý bài toán chống giả mạo khuôn mặt trong ảnh tĩnh, từ các thuật toán trích xuất kết cấu cổ điển (LBP, HOG) đến các mô hình học sâu hiện đại.
• Trình bày chi tiết cơ chế toán học, ý tưởng thiết kế kiến trúc và hàm mất mát của các phương pháp tiên tiến công bố tại các hội nghị quốc tế hàng đầu (CVPR, ECCV, IEEE T-BIOM).
• Thực hiện cài đặt và huấn luyện lại từ đầu các mô hình PS, SSDG, AD trên bộ dữ liệu quy mô lớn CelebA-spoof nhằm đánh giá hiệu năng một cách độc lập và khách quan.
• Xây dựng thành công ứng dụng web minh họa có giao diện trực quan, cho phép người dùng kiểm thử và trực quan hóa khả năng phân loại của các thuật toán chống giả mạo khuôn mặt.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung trình bày trong khóa luận, các hạn chế và hướng mở rộng nghiên cứu được ghi nhận như sau:

Hạn chế của nghiên cứu:

• Phạm vi xử lý chỉ tập trung vào dữ liệu ảnh màu đơn khung hình (Single-frame RGB), chưa khai thác các đặc trưng biến thiên động theo chuỗi thời gian (chuyển động đầu, nhấp nháy mắt, tín hiệu biến thiên thể tích máu quang học rPPG) vốn có khả năng chống lại tấn công phát lại video hiệu quả hơn.
• Hiệu năng phân loại của các mô hình vẫn chịu sự chi phối đáng kể khi đối mặt với các điều kiện môi trường quá khắc nghiệt (ngược sáng mạnh, môi trường thiếu sáng nghiêm trọng ngoài trời) hoặc các dạng tấn công giả mạo 3D có kết cấu tinh vi.
• Quy trình huấn luyện các mô hình học sâu đa nhiệm và đa tỷ lệ trên tập dữ liệu quy mô hơn 600.000 ảnh đòi hỏi cấu hình tài nguyên tính toán phần cứng lớn và thời gian hội tụ kéo dài.

Hướng nghiên cứu tiếp theo:

• Nghiên cứu mở rộng kết hợp dữ liệu đa phương thức (Multi-modal FAS) khi điều kiện thiết bị cho phép, tích hợp thêm cảm biến hồng ngoại gần (Near-Infrared - NIR) và cảm biến chiều sâu (Depth sensor).
• Tối ưu hóa cấu trúc mạng và giảm thiểu số lượng tham số tính toán nhằm hướng tới việc triển khai các mô hình chống giả mạo gọn nhẹ trên các thiết bị nhúng và thiết bị di động biên (Edge devices).
• Nâng cấp ứng dụng web minh họa thành một hệ thống dịch vụ hoàn chỉnh, hỗ trợ luồng truyền video trực tiếp từ webcam với cơ chế phản hồi độ trễ thấp.

Giá trị tham khảo

Khóa luận là tài liệu học thuật có giá trị tham khảo thiết thực cho các đối tượng sau:

• Sinh viên và học viên chuyên ngành Khoa học Máy tính, Trí tuệ nhân tạo, Thị giác máy tính: Tài liệu cung cấp bức tranh toàn cảnh về bài toán Face Anti-Spoofing, hệ thống hóa đầy đủ cơ sở lý thuyết từ các phép toán xử lý ảnh hình học, tích chập gradient CDC đến các kiến trúc mạng nơ-ron sâu chuyên dụng.
• Các nhóm nghiên cứu về An toàn thông tin và Sinh trắc học: Phần phân tích cơ chế toán học của các hàm mất mát chuyên biệt (như Pairwise Confusion Loss để xóa thông tin định danh, Asymmetric Triplet Mining để tổng quát hóa miền, Pyramid Supervision để khai thác bối cảnh không gian đa tỷ lệ) là tài liệu tham khảo chất lượng cao cho việc thiết kế mô hình phân lớp nâng cao.
• Kỹ sư phát triển hệ thống: Cấu trúc phân tích chi tiết về bộ dữ liệu CelebA-spoof (các góc nghiêng, dạng biến dạng bề mặt, nhóm cảm biến thu nhận) cùng thiết kế của ứng dụng web minh họa tại Chương 5 cung cấp kinh nghiệm thực tế trong việc chuẩn bị dữ liệu và đóng gói mô hình AI vào sản phẩm phần mềm.

Câu hỏi thường gặp

1. Ba hình thức tấn công giả mạo khuôn mặt (Presentation Attacks) chính được tác giả phân loại trong khóa luận là gì?
Khóa luận phân loại tấn công giả mạo thành 3 hình thức: (1) Tấn công dạng in (Print Attack - 2D) sử dụng giấy hoặc bìa in mặt người tỉ lệ 1:1; (2) Tấn công phát lại (Replay Attack - 2D) sử dụng màn hình laptop, điện thoại để hiển thị ảnh hoặc video; (3) Tấn công không gian ba chiều (3D Attack) sử dụng mặt nạ giả, mô hình in 3D, tượng điêu khắc hoặc kỹ thuật trang điểm mô phỏng.

2. Phương pháp Single-Side Domain Generalization (SSDG) giải quyết bài toán tổng quát hóa miền dữ liệu khác biệt như thế nào so với các phương pháp Domain Generalization truyền thống?
Thay vì cố gắng tìm kiếm một không gian đặc trưng chung cho cả mặt thật và mặt giả (điều rất khó do sự đa dạng phức tạp của các kiểu tấn công), SSDG đề xuất cơ chế học đối kháng một phía (Single-Side Adversarial Learning) chỉ áp dụng trên dữ liệu mặt thật để tạo ra vùng đặc trưng thu gọn cho ảnh thật của mọi miền. Đồng thời, SSDG kết hợp kỹ thuật Asymmetric Triplet Mining nhằm gom cụm toàn bộ ảnh thật lại gần nhau và đẩy các dạng ảnh giả mạo của từng miền phân tán xa nhau trong không gian đặc trưng.

3. Hàm mất mát Pairwise Confusion Loss (PC Loss) trong phương pháp Anomaly Detection (AD) có vai trò gì?
Khi sử dụng mạng trích xuất đặc trưng được huấn luyện trước trên tập dữ liệu nhận diện khuôn mặt (như VGGFace), các vector đặc trưng thường bị phân cụm theo danh tính người (identity). Hàm mất mát $\mathcal{L}_{pc}$ tạo ra sự nhầm lẫn khoảng cách Euclid giữa các mẫu ảnh thật khác nhau nhằm xóa bỏ thông tin định danh cá nhân khỏi không gian đặc trưng, giúp bộ phân lớp tập trung hoàn toàn vào các thuộc tính phân biệt mặt thật và mặt giả.

4. Bộ dữ liệu CelebA-spoof sử dụng trong khóa luận có quy mô và đặc điểm cấu trúc như thế nào?
CelebA-spoof là bộ dữ liệu chuẩn quy mô lớn bao gồm hơn 600.000 hình ảnh của hơn 10.000 đối tượng. Dữ liệu bao gồm 10 loại tấn công giả mạo, 8 điều kiện môi trường chiếu sáng (trong nhà và ngoài trời), 5 góc độ chụp khác nhau trong dải $[-30^\circ, 30^\circ]$, 4 dạng biến dạng hình học của ảnh giả và được thu nhận từ 24 thiết bị cảm biến thuộc 4 nhóm (PC, máy ảnh, máy tính bảng, điện thoại) với độ phân giải từ 12 đến 40 triệu pixel.

5. Điểm khác biệt cốt lõi giữa phép tích chập sai phân trung tâm (CDC) và phép tích chập thông thường trong mô hình CDCN là gì?
Phép tích chập thông thường chỉ tính tổng có trọng số của cường độ pixel trong vùng lân cận, dễ bị đánh lừa bởi thông tin ngữ nghĩa bề mặt. Phép tích chập CDC bổ sung thêm thành phần sai phân giữa các pixel lân cận với pixel trung tâm ($x(p_0 + p_n) - x(p_0)$), qua đó trực tiếp trích xuất thông tin biến thiên gradient và kết cấu vi mô của da mặt, giúp mô hình ước tính chính xác bản đồ độ sâu và nhận diện các bề mặt phẳng nhân tạo hiệu quả hơn.

Kết luận

Khóa luận tốt nghiệp của sinh viên Lê Bảo Huy đã nghiên cứu và hệ thống hóa toàn diện bài toán chống giả mạo khuôn mặt trong ảnh kỹ thuật số, làm rõ cơ chế hoạt động của các phương pháp học sâu tiên tiến như PS, SSDG, AD, AENet và CDCN. Đề tài đã triển khai quy trình huấn luyện lại và đánh giá thực nghiệm chặt chẽ trên bộ dữ liệu chuẩn quy mô lớn CelebA-spoof với nhiều kịch bản môi trường và hình thức tấn công phức tạp. Đồng thời, việc hiện thực thành công ứng dụng web minh họa đã chứng minh tính khả thi trong việc đưa các giải pháp chống giả mạo khuôn mặt vào thực nghiệm kiểm thử trực quan.

Trích đoạn nội dung tài liệu

Mở đầu Để hiểu rõ bài toán nhận diện chống giả mạo khuôn mặt trong hình ảnh, ta cần làm rõ các khái niệm liên quan, đồng thời tìm hiểu một số phương pháp tiếp cận hiện nay. Vì vậy, trong chương này, sinh viên thực hiện sẽ giới thiệu một số khái niệm cơ bản đồng thời khảo sát một số phương pháp nghiên cứu đã từng được áp dụng từ trước đến nay, đồng thời nêu ra những thành công và thất bại trong từng phương pháp.2 Giới thiệu bài toán chống giả mạo khuôn mặt Do sự tiện lợi, chính xác và nhanh chóng các phương pháp nhận diện khuôn mặt là một trong những lĩnh vực quan trọng đang được đẩy mạnh nghiên cứu và phát triển, với các ứng dụng thiết thực giúp nâng cao trải nghiệm người dùng và tối ưu hoạt động sản xuất kinh doanh. Tuy nhiên, trong bối cảnh tội phạm kỹ thuật số ngày càng gia tăng và tinh vi, chúng thường xuyên tìm cách giả mạo khuôn mặt để thâm nhập vào nhiều hệ thống, đánh cắp thông tin hay sử dụng thông tin giả để làm nhiễu loạn cơ sở dữ liệu với các mục đích xấu. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan giải quyết vấn đề đó những phương pháp chống giả mạo khuôn mặt được ra đời.

# Publications in FAS 160 140 120 100 80 60 20 D—m=mmihn 2010 2011 2012 2013 2014 2015 \ 2016 i 2017 2018 2019 2020 Hình 2.1: Số lượng các bài nghiên cứu khoa trong những năm gần đây Bài toán chống giả mạo khuôn mặt được xem như một bài toán phân lớp nhị phân, từ một ảnh màu mặt của một người bài toán chống giả mạo sẽ trả lời cho câu hỏi mặt người đó là mặt thật hay mặt giả.2: Bài toán chống giả mạo khuôn mặt 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan Mặt thật được định nghĩa là mặt người đối diện trực tiếp với máy ảnh. Mặt giả mạo sẽ bao gồm nhiều phương thức chụp và cách giả mạo khác nhau, nhưng cụ thể sẽ được chia ra làm 3 phương thức: s Print Attack (2D) là kiểu tan công sử dụng giấy hoặc bìa in mặt người với đ lệ 1:1 để giả mạo. * Replay Attack (2D) là kiểu tấn công sử dụng màn hình laptop, điện thoại để in mặt người cần giả mạo.

* 3D Attack (3D) bằng cách sử dụng mặt na giả, hình in 3D, tượng mặt người, makeup,. để cô gắng làm sao cho giống người cần giả mạo nhất có + thể. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan 2. Các phương pháp cổ điển Các hướng tiếp cận để trích xuất đặc trưng là các phương pháp được dùng trong bước trích xuất đặc trưng của mô hình.

Trong phần này sẽ thống kê lại các phương pháp trích xuất đặc trưng đã được sử dụng trước đến nay đối với hai bài toán chống giả mạo trong ảnh.1 Local binary pattern (LBP) Local binary pattern nó là phương pháp rút trích đặc trưng trong ảnh. Y tưởng cơ bản để phát triển LBP là kết cấu bề mặt hai chiều được mô tả bằng hai phương pháp bổ sung là: các mẫu không gian cục bộ và độ tương phản thang xám. Phương pháp được công bố và trở nên nổi tiếng từ năm 2002 trong bai báo "Multiresolution Grayscale and Rotation Invariant Texture Classification with Local Binary Patterns" [8] mặc dù ý tưởng của phương pháp LBP đã xuất hiện từ năm 1993. Trong bài toán chống giả mạo khuôn mặt Chingovska, Ivana, André Anjos và Sébastien Marcel đã cho ra mắt nghiên cứu [9] bằng cách sử dụng LBP, đây là bước đầu tiên mở ra các ý tưởng về bài toán.

Bước đầu tiên trong việc xây dựng bộ mô tả kết cấu LBP là chuyển đổi hình ảnh sang thang độ xám. Đối với mỗi pixel trong hình ảnh thang độ xám, chọn một vùng lân cận có kích thước r bao quanh pixel trung tâm. Giá trị LBP sau đó được tính cho pixel trung tâm này và được lưu trữ trong mảng 2D đầu ra có cùng chiều rộng và chiều cao với hình ảnh đầu vào. Nếu pixel trung tâm lớn hơn hoặc bằng pixel lân cận thì nó sẽ trả về giá trị 1, ngược lại nếu các pixel lân cận nhỏ hơn sẽ trả về giá trị 0.

Với 8 pixel xung quanh, chúng ta có tổng cộng 2° = 256 tổ hợp mã LBP có thể có. Từ đó, chúng ta cần tính toán giá trị LBP cho pixel trung tâm. Có thể bắt đầu từ bất kỳ pixel lân cận nào và làm việc theo chiều kim đồng hồ hoặc ngược chiều 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan HH3 DHNNMLJ]EZM 3x3 pixels Threshold Binary Decimal 90 10001101 141 Hình 2.5: Cách thức hoạt động của LBP kim đồng hồ, nhưng thứ tự của phải được duy trì nhất quán cho tất cả các pixel trong tất cả các hình ảnh trong tập dữ liệu.

Kết quả sau khi chạy LBP: Hình 2.6: Kết quả của LBP 2.2 Histogram of Oriented Gradient (HOG) Ý tưởng chính của phương pháp HOG [10] là hình dang và trang thái xuất hiện của vật thể có thể được đặc trưng bằng sự phân bố về cường độ và hướng của cạnh. Phương pháp này được thực hiện theo trình tự như sau: ¢ Chuẩn hóa hình ảnh trước khi xử lý. Mục đích là làm giảm bớt ảnh hưởng 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan của sự thay đổi ánh sáng va của bóng mờ (shadowing).

Hai phương pháp chuẩn hóa được sử dụng ở bước này là chuẩn hóa log (lấy log của từng giá trị pixel) và chuẩn hóa căn bậc hai (tính giá trị căn bậc hai của từng giá trị pIxel). s Tính toán Gradient cho hình ảnh theo chiều x và y bằng cách tích chập với ma trận trích xuất cạnh x và y. Ta được hai ma trận | G, | và | Ớy | từ đó xác định được cường độ của chúng bằng | G |= ,/G? + G7. Bên cạnh đó, G hướng cũng được xác định là Ø = arctan ¢ Gom nhóm và tính đặc trưng tại mỗi cell: Trong phương pháp nay, mỗi hình ảnh định nghĩa cho cell là các nhóm chứa các giá tri cường độ gradient của pixel, va block là các nhóm chứa các cell.

Tại bước này, các giá tri cường độ gradient của pixel sẽ được chuẩn hóa và đặt vào trong cell. » Tính chuẩn hóa và đặc trưng cho khối (block): các block sẽ là tập hợp các cell nằm chồng lấp một phần trong lên nhau. Chuẩn hóa các block bằng cách ghép các chuẩn hóa histogram của từng cell thuộc block đó lại với nhau. Sš koM +? [Em y%s7 9 3 4 + yn11ap%s 27 22 17 4 6 70 14 1 77 for 165 133 136 144 182 57 28 120 Z| S8 86 119 98 100 101 133 113 27771 oe |s8 49676 _ 38 26 60 1701ø 5 30 65 157 7! 146 184 | 2 a 2 # i 165 60 60 & 2717 773 85 43 : 136 “ H0 91 4 110 17 199316) + 1/71 18 34 23 108 27 48 110 Gradient Directiow 7“ 1 Gradient Magnitude „.

# ! Pee 1 Pod “ t z7 # ? 20 40 s0 8D 100 120 140 160 Hình 2.7: Cách thức HOG hoạt động Ưu điểm: 10 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan * Quá trình tính toán ra các đặc trưng trong hình ảnh nhanh chóng. Khuyét điểm: * Bi giảm hiệu năng với các hình ảnh bị xoay chuyển và thay đổi kích thước. « Thông số so sánh của các đặc trưng rút từ hình ảnh lớn, hiệu năng so sánh thấp.4 Các mô hình học sâu Trong phần này, em sẽ trình bày tổng quan các kiến thức liên quan đến học sâu (Deep Learning).

Từ những kiến thức nền tang này, nhóm thực hiện sẽ trình bày chỉ tiết về mô hình mạng tích chập (Convolutional Neural Networks), mô hình mạng nơron hồi quy (Recurrent Neural Networks) được áp dụng chính trong các bài toán thị giác máy tính hiện nay và đặc biệt được áp dụng trong bài toán nhận diện chữ viết trong hình ảnh ở đề tài khoá luận này.1 Mạng nơ-ron tích chập Convolutional Neural Network Mạng nơ-ron tích chập (convolution neural network, gọi tắt là CNN) lấy cảm hứng từ não người được nghiên cứu trong những thập niên 50-60 của thé kỷ 20, do D.N Wiesel tiến hành trên não của động vật và sau đo đã đề xuất một mô hình mới cho cách mà động vật nhìn nhận thế giới. Vào năm 1998, mô hình CNN đầu tiên được giới thiệu bởi Bengio, Le-Cun, Bottou và Haffner. Mô hình này có tên là LeNet-5 và sử dụng để nhận diện chữ số viết tay. CNN có kiến trúc khác với Neural network thông thường.

Đối với mạng no- ron bình thường, chúng sẽ chuyển đổi đầu vào thông qua các tầng ẩn. Với mỗi tầng ẩn đó, các nơ-ron giữa các tầng cận kể được liên kết đầy đủ với nhau va 11 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan C3: f. maps 16@10x10 INPUT C1: feature maps S4: f.

maps C8: layer Fg. BO 14x14 120 Bilayer QUTEUT | | Full connection Gaussian connections Convolutions Subsampling Convolutions | Subsampling Full connection Hình 2.8: Kiến trúc mạng LetNet-5 tầng cuối cùng sẽ trả về kết quả đại diện cho dự đoán của mạng. Tuy nhiên, nếu mạng càng nhiều lớp thì số lượng tham số tăng lên quá nhanh. Vậy nên cần có giải pháp tốt hơn, đó là CNN 2 > a > ar 20 DO» ¢ OOO0O0ON) — _— QQQ00 H) HH“ „ CC]? OOO Hình 2.9: mạng nơ-ron tích chập Một mô hình CNN gồm 2 phần: ¢ Phan tầng ẩn (phan rút trích đặc trưng): Mạng sẽ tiến hành tính toán các phép convolution (tích chập) và pooling (hợp nhất) để phát hiện ra các đặc trưng trong hình ảnh.

« Phan phân lớp: La một vài tầng với kết nối đầy đủ co vai trò như một bộ phân lớp các đặc trưng đã được rút trích từ phẩn tử trước đó. Sau đo đưa ra xác suất đồi tượng trong hình ảnh thuộc lớp nào. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan 2.2 ResNet ResNet (Residual Network) là một mang CNN được thiết kế để làm việc với hàng trăm hoặc hàng nghìn lớp tích chập nhưng lại co kích thước chỉ khoảng 23 triệu tham số. Mạng được giới thiệu với công chúng vào năm 2015 và giành vị trí thứ 1 trong cuộc thi ILSVRC-2015[11] với tỉ lệ lỗi top 5 là 3.

Với CNN, các mạng càng sâu sẽ đạt hiệu suất tốt hơn. Tuy nhiên, trên thực tế, nếu độ sâu của mạng quá lớn (>50 layers) sẽ dẫn đến tình trạng Vanishing gradient (mất mát đạo hàm) hoặc Exploding gradient (bùng nổ đạo hàm) và khiến độ chính xác của mạng bị giảm đi.