Luận văn: Phát hiện ảnh khuôn mặt giả mạo (Deepfake) - Benchmark và ứng dụng

Luận văn nghiên cứu các kỹ thuật phát hiện ảnh khuôn mặt giả mạo (deepfake). Đề xuất mô hình mới và xây dựng benchmark đánh giá, so sánh hiệu quả.

• Tác giả: Pham Minh Tam
• Người hướng dẫn: Assoc. Prof. Huynh Quyet Thang
• Trường học: Hanoi University Of Science And Technology
• Chuyên ngành: Information And Communication Technology
• Đề tài: Facial Image Forgery And Detection: Benchmark And Application
• Loại tài liệu: Master thesis
• Năm xuất bản: 2021
• Địa điểm: Hanoi

Tóm tắt

I. Khái niệm và tầm quan trọng của phát hiện ảnh khuôn mặt giả mạo

Phát hiện ảnh khuôn mặt giả mạo là một lĩnh vực nghiên cứu quan trọng trong thời đại số hiện nay. Với sự phát triển của công nghệ deepfake và các kỹ thuật giả mạo hình ảnh, nguy hiểm từ nội dung giả mạo đã trở thành một mối đe dọa lớn đối với an ninh thông tin. Các ứng dụng độc hại như tin giả, bôi nhọc danh dự, tống tiền những nhân vật nổi tiếng và can thiệp chính trị đã xuất hiện hàng loạt. Nghiên cứu về kỹ thuật pháp y thị giác nhằm phát hiện và ngăn chặn những xu hướng nguy hiểm này. Việc phát triển các mô hình phát hiện giả mạo hiệu quả là cần thiết để bảo vệ xã hội khỏi thông tin sai lệch và hành vi lừa đảo.

1.1. Định nghĩa giả mạo ảnh khuôn mặt

Giả mạo ảnh khuôn mặt là quá trình thay đổi hoặc tạo ra ảnh khuôn mặt giả thông qua các kỹ thuật xử lý hình ảnh. Các phương pháp bao gồm kỹ thuật dựa trên đồ họa như thay thế khuôn mặt, và kỹ thuật dựa trên đặc trưng sử dụng mạng nơ-ron sâu. Những hình ảnh này rất khó phân biệt với mắt thường, đòi hỏi các công cụ phát hiện tự động để xác định.

1.2. Ảnh hưởng đến xã hội và an ninh thông tin

Sự lan rộng của nội dung giả mạo gây ra hậu quả nghiêm trọng: tin giả lan truyền, danh dự bị tổn hại, và niềm tin công chúng bị suy giảm. An niền thông tin đang gặp thách thức lớn từ các ứng dụng độc hại. Do đó, phát triển công nghệ phát hiện giả mạo trở thành ưu tiên hàng đầu của cộng đồng khoa học.

II. Các kỹ thuật giả mạo ảnh khuôn mặt hiện nay

Có hai loại kỹ thuật giả mạo ảnh khuôn mặt chính được sử dụng rộng rãi. Kỹ thuật dựa trên đồ họa sử dụng các phương pháp thay thế khuôn mặt, biến dạng và tái ánh xạ để tạo ra ảnh giả. Kỹ thuật dựa trên đặc trưng sử dụng mạng nơ-ron tích chập (CNN) và mạng sinh đối kháng (GAN) để tạo ra các ảnh giả mạo chất lượng cao. Sự kết hợp giữa các kỹ thuật này ngày càng làm tăng độ khó của việc phát hiện. Hiểu rõ các kỹ thuật này giúp các nhà nghiên cứu phát triển mô hình phát hiện giả mạo hiệu quả hơn.

2.1. Kỹ thuật dựa trên đồ họa

Kỹ thuật đồ họa bao gồm thay thế khuôn mặt (face swapping), tái ánh xạ khuôn mặt (face reenactment) và biến dạng hình ảnh. Các phương pháp này thao tác trực tiếp trên thành phần hình ảnh để tạo ảnh giả. Tuy nhiên, chúng để lại các dấu vết pháp y đặc trưng có thể được phát hiện bằng kỹ thuật phân tích cao.

2.2. Kỹ thuật dựa trên học sâu và GAN

Mạng sinh đối kháng (GAN) và các mô hình học sâu tạo ra ảnh giả mạo với độ chân thực cao. Các mô hình như deepfake sử dụng bộ mã hóa-giải mã để tạo ra khuôn mặt giả không thể phân biệt. Đây là thách thức lớn nhất trong phát hiện ảnh khuôn mặt giả.

III. Các mô hình phát hiện giả mạo tiên tiến

Luận án đề xuất hai mô hình phát hiện ảnh khuôn mặt giả mạo tiên tiến: Efficient-Frequency và WADD (Wavelet Attention for Deepfake Detection). Mô hình Efficient-Frequency tập trung vào phân tích tần số để phát hiện các bất thường trong ảnh giả. WADD sử dụng cơ chế chú ý wavelet để tập trung vào các vùng đáng ngờ trong ảnh. Cả hai mô hình đều cải thiện đáng kể kết quả phát hiện ảnh giả so với các phương pháp truyền thống. Framework pháp y thị giác toàn diện được phát triển để tích hợp các kỹ thuật phát hiện khác nhau và đánh giá hiệu suất.

3.1. Mô hình Efficient Frequency

Mô hình Efficient-Frequency phân tích miền tần số của hình ảnh để phát hiện dấu vết giả mạo. Các ảnh giả thường có các đặc trưng tần số khác biệt so với ảnh thực. Phương pháp này kết hợp xử lý tần số hiệu quả với các lớp tập hợp pooling để cải thiện độ chính xác phát hiện.

3.2. Mô hình WADD Wavelet Attention

WADD sử dụng biến đổi wavelet và cơ chế chú ý để phát hiện các vùng nghi vấn trong ảnh. Phương pháp này hiệu quả trong việc xác định các mẫu giả mạo tinh tế. Mô hình cải thiện đáng kể hiệu suất phát hiện trên các bộ dữ liệu thực tế.

IV. Benchmark và ứng dụng thực tiễn

Luận án trình bày một framework benchmark toàn diện so sánh các kỹ thuật pháp y thị giác với các phương pháp giả mạo khác nhau. Benchmark này cung cấp những hiểu biết sâu về ảnh khuôn mặt giả mạo và khả năng phát hiện của từng mô hình. Các tiêu chí đánh giá bao gồm độ chính xác, độ chính xác, độ recall và F-score. Ứng dụng thực tiễn của phát hiện ảnh giả mạo bao gồm xác minh danh tính, kiểm tra nội dung truyền thông xã hội và bảo vệ chống lại tấn công pháp y. Kết quả cho thấy sự cần thiết phát triển các mô hình phát hiện liên tục để đối phó với các kỹ thuật giả mạo ngày càng tinh vi.

4.1. Khuôn khổ Benchmark và đánh giá

Framework benchmark so sánh hiệu suất của các kỹ thuật pháp y trên nhiều bộ dữ liệu. Các bộ dữ liệu bao gồm ảnh thực và ảnh tổng hợp được tạo từ các kỹ thuật giả mạo khác nhau. Metrics đánh giá bao gồm độ chính xác, precision, recall và F-score để đánh giá toàn diện hiệu suất phát hiện.

4.2. Ứng dụng thực tiễn và khuyến nghị

Phát hiện ảnh khuôn mặt giả mạo có ứng dụng quan trọng trong xác minh danh tính, kiểm tra nội dung trực tuyến và an ninh cyberspace. Mô hình phát hiện cần được cập nhật liên tục để ứng phó với các kỹ thuật giả mạo mới. Sự kết hợp giữa các phương pháp khác nhau tăng cường khả năng phát hiện hiệu quả.

Trích đoạn nội dung tài liệu

Hanoi university of science and technology Master thesis Facial image forgery and detection: benchmark and application Pham Minh Tam Tam.vn School of Information and Cammunication Technology Supervisor: Asse. Huynh Quyct Thang Supervisor's signaLure Institution: school of Information ard Communicetion Tectuology Hanoi, 12/2021 Declaration of Authorship J, Pham Minh ‘Iam, declare that this caes's titled, "Lacial image forgery and detection: benchmark and application” and the work presented in it are my own. { confirm that: » ‘This work was done wholly ar mainly while in candidature for a research degree at this University. ¢ Where | have consulted the publisted work of others, this is always clearly attributed.

© Where I have quoted from the work of others, the source is always given. With the exreption of suca quotations, this thesis is entirely may own work. Student Siguatare sed Name Acknowledgements J would like to extend thanks to the many people, wao so generously contributed to the work presented in this thesis confirmation report. T would fest like to thank any supervisur, Prof, Huynh Quyet Thang xLo give me su aany wonderfal apportumities and sive me so many valiable guidance thronghont my at J would like to thank Dr.

Menry Nguyen and Dr, Muynh Thanh ‘rung who provided me wilh Lie looks that, Taveded te chuuse the right direcuiou and successfully complete ay dissertation, ‘Taeir insightful feadhack pushed me to sharpen my thirking and bronght. my work to a higher level I also like to thank my family, my girl friend and my friends for their wise counsel and sympathetic ear. You are always there for re. Finally, T wenld Eke to thank Vingronn Tnnovation Foundation (VINTF) for the financial support, List of Tables 1.1 Comparison Between Existing Benehmarks on Faeial Forensis .1 Taxonomy of visual forgery teehniqMes.1 Statistie of real datasets.1 Model size and detection speed .2 Statistic train, validate, test of existing đatasels.3 Performance (Aecuracy|Precision|Reeall|F score) of visual forensic techniques on UNE REAR ce woe ranh nhé nà ên Hà nà và sendDneea 06g sử số 48 5.4 Statistie train, validate, test of synthetie datasets .5 Performance of visual forensics techniques against visual forgery techniques .6 Performance guideline for visual forensics ©.

ee 59 List of Figures 21 `. 22 Đbnwdltllnn ợNN bú n0 2/2001 0% ch tú THE be pà eNI606/8165 10 Díh trà ga Max and average pooling 2 Global average pooling. 25 Flatten and fully connected layer. vị bu co co 2202206002 0002 xà cóc Overview of Efficient-Froqueney pipeline.

uc dc co cu cu cọ nu ng chu nà nà hà 33 TWÁDĐTHHẰNN sa hà nung 2a ổn cú VU we wa mare Ube gio tá TH da NEEINEUNÊN cone nàooaninsoonhatrgcvncgin bạn danh HH đi, 35001016 35 ` "5.NNNaN-N- HH1ẽă HH 41 Dual benchmarking amework. 40 42 se OF ficial i6sty dat. cà cà 6à ÍỐ co Go cÍŸŸc G ÍÍ ko cc 4l Images from DBD dataset. eee eee 42 51 Generalization ability of forensie teehniques.-‹+ 50 52 Overlapping feature of forgery teehniques.‹ c- 5l 53 Suspicious region of forged images.

cà cốc cà CONTENTS Abstract: 1 Introduction Lit l0 "tt on Sea Mer twas $9.58 OS WSEAS 12 Research Problems i. cise as aa sie sew oe oo KỆ CðHRIBHHUBE- dạ cá cà nu nàng nọ Hà eee nut LA TheawOutln .‹ 2 Preliminaries and literature survey 2A Image classification problem.2 Visual forgery techniques .1 Graphics-based teehniqhe.2 Feature-based teehniqns .- 23 3⁄3 Visual forensics teehmique.1 Computer vision tefhnique .2 Deep learning technique. 38 3 Proposed facial forgery detection models 31 3.1 Efficient-Frequeney model 0.2 WADD (Wavelet Attention for deepfake detection) model a Abstract In recent years, visual forgery has reached a level of sophistication that aumars cannot iden- tify <taud, which poses a significant threat to information security. A wide range of malicious applications lave emerged, suc as fake uews, defamation or Llackuailing of velcbrivies, inper~ suuation uf politie‘ans in polilical warfare, aud the spreading of rumours lo aturact views.

rich hady of visnal favensir technicnes has been propored in an attempt to stop this dangerous trend. In this thesis, | introduce nvo new models with name Kfficient-Hrequency and WADD to improve the result of fake face images detection problem, I also present a benchmark Uhat provides iuCepth insights inlo visuel Jurgery and visual loreneies, using a comprelwusive aud empirical approach and propose a. novel end-to-end visnalforensic framework that: car corporate different modalit'es toefficiently classify real and forged enntenis. Mara specifica'ly, we develop an independent framework Lal inlegrates slale-of-Llearts counterfeit generators and delectons, aud sucasure Lhe perforinauc of (hee lechuiques using various crileria, We also perform au exhaustive analysis of the benchmarking results, to determine the characterietics of the methods that serve as a.

comparative reference in this never-ending war between measures and countermeasures. Simdent: ature and Name CONTENTS Abstract: 1 Introduction Lit l0 "tt on Sea Mer twas $9.58 OS WSEAS 12 Research Problems i. cise as aa sie sew oe oo KỆ CðHRIBHHUBE- dạ cá cà nu nàng nọ Hà eee nut LA TheawOutln .‹ 2 Preliminaries and literature survey 2A Image classification problem.2 Visual forgery techniques .1 Graphics-based teehniqhe.2 Feature-based teehniqns .- 23 3⁄3 Visual forensics teehmique.1 Computer vision tefhnique .2 Deep learning technique. 38 3 Proposed facial forgery detection models 31 3.1 Efficient-Frequeney model 0.2 WADD (Wavelet Attention for deepfake detection) model a List of Figures 21 `.

22 Đbnwdltllnn ợNN bú n0 2/2001 0% ch tú THE be pà eNI606/8165 10 Díh trà ga Max and average pooling 2 Global average pooling. 25 Flatten and fully connected layer. vị bu co co 2202206002 0002 xà cóc Overview of Efficient-Froqueney pipeline. uc dc co cu cu cọ nu ng chu nà nà hà 33 TWÁDĐTHHẰNN sa hà nung 2a ổn cú VU we wa mare Ube gio tá TH da NEEINEUNÊN cone nàooaninsoonhatrgcvncgin bạn danh HH đi, 35001016 35 ` "5.NNNaN-N- HH1ẽă HH 41 Dual benchmarking amework.

40 42 se OF ficial i6sty dat. cà cà 6à ÍỐ co Go cÍŸŸc G ÍÍ ko cc 4l Images from DBD dataset. eee eee 42 51 Generalization ability of forensie teehniques.-‹+ 50 52 Overlapping feature of forgery teehniques.‹ c- 5l 53 Suspicious region of forged images. cà cốc cà 54 Eifects of illumination factors.

{co 55 Robustness against noises.6 Robustness against image resolution 57 Influence of missing information. 58 Adaptivity to image compression CONTENTS Abstract: 1 Introduction Lit l0 "tt on Sea Mer twas $9.58 OS WSEAS 12 Research Problems i. cise as aa sie sew oe oo KỆ CðHRIBHHUBE- dạ cá cà nu nàng nọ Hà eee nut LA TheawOutln .‹ 2 Preliminaries and literature survey 2A Image classification problem.2 Visual forgery techniques .1 Graphics-based teehniqhe.2 Feature-based teehniqns .- 23 3⁄3 Visual forensics teehmique.1 Computer vision tefhnique .2 Deep learning technique. 38 3 Proposed facial forgery detection models 31 3.1 Efficient-Frequeney model 0.2 WADD (Wavelet Attention for deepfake detection) model a Abstract In recent years, visual forgery has reached a level of sophistication that aumars cannot iden- tify <taud, which poses a significant threat to information security.

A wide range of malicious applications lave emerged, suc as fake uews, defamation or Llackuailing of velcbrivies, inper~ suuation uf politie‘ans in polilical warfare, aud the spreading of rumours lo aturact views. rich hady of visnal favensir technicnes has been propored in an attempt to stop this dangerous trend. In this thesis, | introduce nvo new models with name Kfficient-Hrequency and WADD to improve the result of fake face images detection problem, I also present a benchmark Uhat provides iuCepth insights inlo visuel Jurgery and visual loreneies, using a comprelwusive aud empirical approach and propose a. novel end-to-end visnalforensic framework that: car corporate different modalit'es toefficiently classify real and forged enntenis.

Mara specifica'ly, we develop an independent framework Lal inlegrates slale-of-Llearts counterfeit generators and delectons, aud sucasure Lhe perforinauc of (hee lechuiques using various crileria, We also perform au exhaustive analysis of the benchmarking results, to determine the characterietics of the methods that serve as a. comparative reference in this never-ending war between measures and countermeasures. Simdent: ature and Name 4 Proposed dual benchmarking framework for facial forgery and detection tech- niques 39 41 EWAmeWGĂ. co họ en eee eee emt ee ee ne 42 4.

ete eet eee nee 43 Mecsuremenbts te có 209096/3V5: te Hh HR HS OPV RR TS Be HE wR d4 Experimental Proeedures. eee eee 5 Experimental Results and Performance Analysis 46 5A Bificletiey CAMBAERIOD ona sia.ane ae ae von vou whe wo imo 0á 0k nh mw 46 5.2 End-to-end comparison with existing datasets. ee a7 58 Dual-benchmarking compatison 0. 000 cee cece eee eee 48 5.1 Forensic generalisation and forgery feature overlappingồ.2 Qualitative study of forensic-forgery duel 2.0 eee ee ñ1 Influence of contrast 606.0 ee eee eee eee 52 Sd Bifecte of brightnese ¿c2 ::c: cị cóc: cá 222032 2c cà Oe a 53 59.

ñ4 5⁄36 Robustness against image resolution .7 Influence of miwing iôrmation .-c<s- 56 5/38 - Adaptivity to image omprewion. có co c2 a7 5A ROHR AMMA iia cee Ba eo fn HO SS Seca nes bb đâu số xế aT 6 Conclusions 60 Reference 61 List of Tables 1.1 Comparison Between Existing Benehmarks on Faeial Forensis .1 Taxonomy of visual forgery teehniqMes.1 Statistie of real datasets.1 Model size and detection speed .2 Statistic train, validate, test of existing đatasels.3 Performance (Aecuracy|Precision|Reeall|F score) of visual forensic techniques on UNE REAR ce woe ranh nhé nà ên Hà nà và sendDneea 06g sử số 48 5.4 Statistie train, validate, test of synthetie datasets .5 Performance of visual forensics techniques against visual forgery techniques .6 Performance guideline for visual forensics ©. ee 59 CONTENTS Abstract: 1 Introduction Lit l0 "tt on Sea Mer twas $9.58 OS WSEAS 12 Research Problems i. cise as aa sie sew oe oo KỆ CðHRIBHHUBE- dạ cá cà nu nàng nọ Hà eee nut LA TheawOutln .‹ 2 Preliminaries and literature survey 2A Image classification problem.2 Visual forgery techniques .1 Graphics-based teehniqhe.2 Feature-based teehniqns .- 23 3⁄3 Visual forensics teehmique.1 Computer vision tefhnique .2 Deep learning technique.

38 3 Proposed facial forgery detection models 31 3.1 Efficient-Frequeney model 0.2 WADD (Wavelet Attention for deepfake detection) model a Chapter 1 Introduction 1.1 Context Forgery inmages are syatheliv inages whic are crvaled Uy touis iz computer. The eaten of these images does not ref ect the truth, misleading viewers about reality. Face is the most faked component due to the importance o? the face in determining a person’s identity, face spoolirg is the most common method to falsify the information of a photo. Tn fake face images.

a person in an existing image or video is replaced with sameane else's likenese ry image" have emerged in the recent: years, hecanse there ‘nave bean a lot of tools helping charge the content of images ench as Photoshap software. Although hese Wools are so powerful, users must Have a huge a mauunt of knowledge Lo use thet. As a rusulls, Lhe aumber of fake inaages is low aud it wakes @ lot of resources to make a lake photo. Bút nơy, rather than images simply being alvered by editing sofmware such as Photoshop or videos being deceptively edited.

there's a new breed of marhine-made fakes — and they could evertnally make it impossible for us to tell fact from fiction. With the development of deep learning tecaniques, there are aot of methods whick can generate "fake images!" quickly, easily and in bulk. "Deep fakes* are the most prominent form af what's being called “syathet'c media”: images sound and video that appear to have been cicated through traditional means but that Lavo, in fact. been woustructed by couples software, Deep fakes buve beer around Zor years aud, evea though Uheir mos! common use ty date has becu trarsplanling Une Leads of eclcbrilies onto the bodies of aclurs in poruogcaphic videus, they have the polential to create couvincing fuolage of any person doing anything, anywhere.