Luận văn thạc sĩ về phát hiện hình ảnh chân dung giả mạo sử dụng công nghệ học sâu

Luận văn thạc sĩ phân tích máy tính phát hiện hình ảnh chân dung giả mạo dựa vào các đặc trưng sâu, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Phạm Văn Ngoan
• Người hướng dẫn: PGS. Lê Hồng Trang
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát Hiện Hình Ảnh Chân Dung Giả Mạo Dựa Vào Các Đặc Trưng Sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu

Trong bối cảnh công nghệ nhận diện gương mặt phát triển mạnh mẽ, việc phát hiện hình ảnh giả mạo trở thành một thách thức lớn. Công nghệ học sâu (deep learning) đã mở ra những hướng đi mới trong việc giải quyết vấn đề này. Các phương pháp truyền thống thường dựa vào các đặc điểm tĩnh của hình ảnh, trong khi các phương pháp mới áp dụng công nghệ AI để tự động rút trích các đặc trưng sâu từ dữ liệu. Việc phát hiện chân dung giả mạo không chỉ là vấn đề kỹ thuật mà còn liên quan đến an ninh mạng, khi mà các hình thức tấn công ngày càng tinh vi hơn. Do đó, nghiên cứu này nhằm đề xuất một phương pháp kết hợp giữa các đặc trưng sâu và các thuộc tính thủ công để nâng cao độ chính xác trong việc phát hiện giả mạo.

1.1 Tầm quan trọng của việc phát hiện hình ảnh giả mạo

Việc phát hiện hình ảnh giả mạo có ý nghĩa quan trọng trong các ứng dụng như an ninh, xác thực danh tính và bảo mật thông tin. Các hình thức tấn công như sử dụng giấy in, video phát lại hay mặt nạ 3D đã đặt ra những thách thức lớn cho các hệ thống nhận diện gương mặt. Theo thống kê, số lượng các nghiên cứu liên quan đến phát hiện hình ảnh giả mạo ngày càng gia tăng, cho thấy sự cấp thiết của vấn đề này trong thời đại công nghệ số hiện nay.

II. Các phương pháp phát hiện hình ảnh giả mạo

Có hai phương pháp chính trong việc phát hiện giả mạo hình ảnh: phương pháp thủ công và phương pháp dựa vào học sâu. Phương pháp thủ công thường yêu cầu người dùng thực hiện các hành động như chớp mắt hoặc mỉm cười để xác minh tính chân thực. Trong khi đó, phương pháp học sâu sử dụng các mô hình mạng nơ-ron để tự động phân tích và phân loại hình ảnh. Việc kết hợp cả hai phương pháp này có thể tạo ra một hệ thống mạnh mẽ hơn trong việc phát hiện các hình thức tấn công tinh vi.

2.1 Phương pháp thủ công

Phương pháp thủ công dựa vào việc rút trích các đặc điểm hình ảnh từ các thuộc tính tĩnh. Tuy nhiên, phương pháp này có nhược điểm là dễ bị đánh lừa bởi các hình thức tấn công đơn giản như sử dụng ảnh chụp. Do đó, cần phát triển các kỹ thuật mới để cải thiện độ chính xác trong việc phát hiện chân dung giả mạo.

2.2 Phương pháp học sâu

Phương pháp học sâu sử dụng các mạng nơ-ron để rút trích các đặc trưng sâu từ dữ liệu hình ảnh. Các mô hình này có khả năng học hỏi từ dữ liệu lớn và tự động phát hiện các đặc điểm tinh vi mà con người khó có thể nhận ra. Việc áp dụng công nghệ học sâu không chỉ giúp tăng cường độ chính xác mà còn cải thiện khả năng phát hiện các hình thức giả mạo phức tạp hơn.

III. Kết quả và ứng dụng thực tiễn

Nghiên cứu đã cho thấy rằng việc kết hợp giữa các đặc trưng sâu và thủ công có thể nâng cao hiệu quả phát hiện hình ảnh giả mạo. Các thử nghiệm trên các tập dữ liệu như CASIA-FASD và MSU-MFSD đã chứng minh rằng mô hình đề xuất có thể đạt được độ chính xác cao trong việc phân loại hình ảnh thật và giả. Điều này không chỉ mang lại giá trị nghiên cứu mà còn có ứng dụng thực tiễn trong các hệ thống nhận diện gương mặt hiện tại.

3.1 Đánh giá hiệu quả

Kết quả từ các thử nghiệm cho thấy mô hình kết hợp có thể giảm tỷ lệ lỗi phân loại, từ đó nâng cao độ tin cậy của hệ thống. Việc sử dụng các chỉ số như False Acceptance Rate (FAR) và False Rejection Rate (FRR) đã giúp đánh giá chính xác hiệu quả của phương pháp. Điều này cho thấy rằng công nghệ AI và học sâu có thể tạo ra những bước tiến lớn trong việc phát hiện giả mạo hình ảnh.

3.2 Ứng dụng trong thực tế

Mô hình phát hiện chân dung giả mạo có thể được áp dụng trong nhiều lĩnh vực như an ninh, ngân hàng, và các hệ thống xác thực người dùng. Việc tích hợp công nghệ này vào các ứng dụng hiện tại sẽ giúp nâng cao tính bảo mật và trải nghiệm người dùng, đồng thời giảm thiểu rủi ro từ các hình thức tấn công giả mạo ngày càng tinh vi.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ngày nay với sự phát triển của công nghệ đặc biệt trong lĩnh vực học sâu, những sản phẩm liên quan đến nhận diện gương mặt ngày càng được ứng dụng rộng rãi. Chúng ta thấy ứng dụng rất nhiều trong hệ thống giám sát an ninh, quản lý ra vào toà nhà, các hệ thống xác thực người dùng trong các giao dịch thanh toán hay mở các tài khoản ngân hàng, v. Công nghệ nhận dạng gương mặt dần thay thế các phương pháp xác thực truyền thống và phù hợp với sự chuyển dịch số ngày nay. Bên cạnh sự phát triển nhanh chóng cũng đi kèm những rủi ro về mặt an ninh bằng các phương pháp tấn công hệ thống để mạo danh người dùng.

Các hành vi này ngày càng tinh vi, từ việc sử dụng giấy in gương mặt với các chất liệu và màu sắc khác nhau đến sử dụng ảnh chụp qua màn hình với độ phân giải từ thấp đến cao. Tinh vi hơn, người tấn công còn sử dụng các loại mặt nạ từ 2D đến 3D nhằm qua mặt hệ thống. Bên cạnh các vật liệu tấn công, người ta còn biết cách tận dụng các điều kiện bên ngoài như ánh sáng, góc chụp, v. để tăng độ chân thật nhằm qua mặt hệ thống nhận diện gương mặt.1 dưới đây mô tả một số cách thức tấn công được ghi nhận như dùng mặt nạ (Hình 1.1a), giấy in (Hình 1.1d), qua màn hình (Hình 1.

Chính những rủi ro ngày càng lớn như vậy, việc phát triển một kỹ thuật nhằm chống lại các hình thức tấn công là điều hết sức cần thiết. Thuật ngữ chuyên ngành đề cập đến phương pháp này là chống giả mạo gương mặt (face anti-spoofing - FAS) hay còn có cách gọi khác là phát hiện độ chân thực của ảnh người dùng (liveness detection).1: Một số dạng tấn công từ tập dữ liệu ROSE-YOUTU [1] Lĩnh vực này ngày càng được quan tâm nhiều hơn trong những năm gần đây chính bởi sự cấp thiết nhằm ngăn chặn những hình thức tấn công ngày càng tinh vi.2 thể hiện thống kê số lượng công trình nghiên cứu ngày càng tăng đặc biệt trong 3 năm gần đây khi tìm các từ khoá liên quan trên Google Scholar gồm "face anti-spoofing", "face liveness detection" và "face presentation attack detection". Có hai cách tiếp cận chính cho vấn đề chống giả mạo gương mặt. Cách đầu tiên dựa trên đặc tính tường minh về sự chân thật đó là dựa trên chuyển động.

Bằng cách yêu cầu người dùng thực hiện các hành vi như chớp mắt, quay đầu, mỉm cười để phát hiện người thật. Cách tiếp cận này gọi là phát hiện ảnh gương mặt giả mạo dựa trên chuyển động (active liveness). Phương pháp này có hiệu quả đối với các dạng tấn công cơ bản như ảnh chụp nhưng không hiệu quả đối với các dạng tấn công phát lại các cử chỉ qua video hay sử dụng các loại mặt nạ. Cách tiếp cận thứ hai cố gắng phát hiện các đặc trưng về mặt hình ảnh để phân biệt đâu là ảnh chụp người thật và không yêu cầu bất kì hành động nào từ người dùng.

Phương pháp này gọi là phát hiện giả mạo thụ động (passive liveness). Passive liveness giúp trải nghiệm người dùng trở nên tốt hơn khi sử dụng các ứng dụng liên quan. Tuy vậy, phương pháp này cần đòi hỏi công nghệ phức tạp để có thể phân biệt ảnh chụp người thật chỉ dựa trên các ảnh tĩnh. Đây cũng là xu thế của cách tiếp cận 3 Hình 1.2: Số lượng bài báo khoa học công bố được tìm theo keyword "face anti- spoofing", "face liveness detection" và "face presentation attack detection" trên Google Scholar [2] ngày nay.

Vì vậy, ở luận văn này trình bày phương pháp chống giả mạo gương mặt theo hướng passive liveness với việc rút trích các đặc trưng một cách có chọn lọc dựa trên các mạng học sâu và các thuộc tính bổ trợ. Việc kết hợp các thuộc tính kể trên nhằm cho kết quả cao và tổng quát đối với hầu hết các trường hợp tấn công. Bên cạnh đó việc lựa chọn hướng tiếp cận chỉ dựa trên một tấm ảnh chụp gương mặt sẽ có ứng dụng thực tiễn cao, tích hợp dễ dàng vào các sản phẩm nhận diện gương mặt hiện có và tăng trải nghiệm của người sử dụng vì không phải yêu cầu người dùng thao tác bất kì hành động nào. Tổng kết lại, luận văn này có các đóng góp chính như sau: • Đề xuất phương pháp chống giả mạo gương mặt chỉ dựa trên một tấm ảnh chụp gương mặt, có ý nghĩa cả về mặt nghiên cứu và ứng dụng thực tiễn.

• Kết hợp các thuộc tính từ mạng học sâu và các thuộc tính thủ công bổ trợ theo một mô hình học sâu được thiết kế riêng. • So sánh với các phương pháp hiện tại, phương pháp đề xuất cho kết quả tốt trên 4 các tập dữ liệu công khai. Các kết quả của luận văn được kiểm chứng trên các tập dữ liệu công khai về lĩnh vực này như CASIA-FASD [12], MSU-MFSD [13] và ROSE-YOUTU [1]. 5 Chương 2 GIỚI THIỆU 2.1 Tổng quan về bài toán Với sự phát triển của công nghệ nhận diện gương mặt và được ứng dụng nhiều trong cuộc sống, việc xác định người đứng trước máy ảnh có phải là người thật chính chủ hay không là một vấn đề vô cùng quan trọng.

Một số phương pháp qua mặt hệ thống như đưa tấm ảnh của người cần xác thực ra trước máy ảnh, phát lại qua một video có mặt người đó hay dùng các loại mặt nạ để qua mặt được hệ thống nhận dạng gương mặt. Chính vì vậy, thành phần phát hiện giả mạo gương mặt đóng vai trò quan trọng trong bất kỳ một hệ thống nhận dạng gương mặt nào.1: Hệ thống chống giả mạo gương mặt trong hệ thống nhận diện gương mặt 6 Các phương pháp tấn công giả mạo Các phương pháp tấn công ngày càng tinh vi và đa dạng, về cơ bản có thể chia thành hai dạng của biểu diễn tấn công là tấn công mạo danh và tấn công làm rối hệ thống. Thứ nhất, với sự phát triển của hệ thống internet đặc biệt là mạng xã hội nơi mà người ta chia sẻ ảnh hay video của gương mặt rất nhiều, những kẻ tấn công sẽ tận dụng để dùng các loại ảnh/video này để qua mặt các hệ thống xác thực gương mặt. Đây gọi là tấn công mạo danh.

Dạng thứ hai gọi là tấn công làm rối hệ thống, nơi kẻ tấn công cố gắng dùng những thủ thuật để qua mặt hệ thống nhưng không nhằm mục đích mạo danh bất kỳ ai. Hai dạng tấn công này được đã được ghi nhận theo tiêu chuẩn ISO về các dạng tấn công sinh trắc học [14]. Trong phạm vi luận văn này sẽ tìm hiểu các dạng tấn công và các phương pháp liên quan đến tấn công giả mạo. Các dạng biểu diễn tấn công của tấn công mạo danh bao gồm tấn công thông qua ảnh, qua video hay mặt nạ 3D.

Trong khi đó, tấn công gây rối hệ thống dựa trên các mẹo để qua mặt hệ thống như sử dụng yếu tố trang điểm, phẫu thuật thẩm mỹ hay che đi một phần của gương mặt.2 sơ đồ hoá lại các loại hình tấn công và hình 2.3 đưa ra một vài ví dụ từ các tập dữ liệu công khai. Dạng tấn công qua ảnh, và qua phát lại video là hai dạng tấn công tiêu biểu nhất vì chi phí rẻ để tái tạo và quá trình thu thập ảnh dễ dàng từ mạng xã hội hay trên môi trường internet. Nhiều cách đã được sử dụng bởi người tấn công để đánh lừa hệ thống là một người dùng hợp lệ. Bên cạnh ảnh được in ra, người tấn công có thể phát lại ảnh này trên các thiết bị điện tử như màn hình điện thoại, laptop.3(b) còn cho thấy dạng tấn công dùng ảnh, tuy nhiên có sử dụng yếu tố bẻ cong để tạo chiều sâu cho ảnh gương mặt.

Bên cạnh đó, Hình 2.3(c) cho thấy ảnh được cắt ra ở mắt, ngoài ra còn có thể cắt ảnh ở các bộ phận khác để thực hiện một số hành vi từ hệ thống như chớp mắt hay cười. Bên cạnh sử dụng ảnh tĩnh thì dạng tấn công qua video sẽ tinh vi hơn (Hình 2.3(d)), ở dạng này dễ dàng tạo ra các chuyển động mượt mà như chớp 7 Hình 2.2: Phân loại các dạng tấn công giả mạo mắt, thay đổi biểu cảm,. để qua mặt hệ thống. Trái với các dạng tấn công qua ảnh hay qua video (bản chất đều là không gian 2D), dạng tấn công bằng mặt nạ cố gắng tái tạo những đặc điểm 3D của gương mặt.

Các dạng mặt nạ 3D thường thấy như mặt nạ chất lượng thấp (hình 2.3(e)) đến các loại mặt nạ chất lượng cao (hình 2. Các loại mặt nạ 3D chất lượng cao là một thách thức đối với các hệ thống chống giả mạo gương mặt. Ngày nay việc tạo ra mặt nạ 3D thường chi phí sẽ cao và đòi hỏi phải có sự hợp tác của người trên mặt nạ thì việc tái tạo mới đảm bảo chính xác. Chính những yếu tố này mà dạng tấn công này ít phổ biến hơn dạng tấn công qua ảnh hay video.3: Ví dụ các dạng tấn công giả mạo Cách thức đánh giá Về phương pháp đánh giá, có thể sử dụng các độ đo phổ biến như tỉ lệ từ chối sai - False Rejection Rate (FRR) hay tỉ lệ chấp nhận sai - False Acceptance Rate (FAR).

EER là giá trị khi hai chỉ số trên bằng nhau. Các chỉ số này thường dùng trong các hệ thống sinh trắc học, do đó có thể dùng trong hệ thống chống giả mạo gương mặt. Xét trường hợp tấn công là trường hợp positive, với định nghĩa dưới đây. • TN: Số trường hợp xác định đúng trường hợp tấn công.

• TP: Số trường hợp xác định đúng trường hợp người thật. • FP: Số trường hợp xác định sai trường hợp người thật. • FN: Số trường hợp xác định sai trường hợp tấn công. FP FN Ta có các công thức liên quan: FRR = T N+FP , FAR = T P+FN Khi hai tỉ lệ lỗi này bằng nhau ta có giá trị EER được mô tả như hình 2.4 Bên cạnh đó, hiện nay các công trình dựa trên tiêu chuẩn ISO/IEC 30107-3 gồm các độ đo: Attack Presentation Classification Error Rate (APCER) - tỉ lệ lỗi phân loại 9 Hình 2.4: Mô tả các tỉ lệ lỗi FAR, FRR, EER tấn công, Bona Fide Presentation Classification Error Rate (BPCER) - tỉ lệ lỗi phân loại người thật, and Average Classification Error Rate (ACER) - tỉ lệ lỗi phân loại trung bình.

Công thức cụ thể như dưới đây: FN APCER = FN+T P FP BPCER = FP+T N ACER = APCER+BPCER 2 Mục tiêu của các hệ thống chống giả mạo là giảm thiểu các tỉ lệ lỗi trên.