Đồ Án Tốt Nghiệp: Phương Pháp Nhận Diện Ảnh Sinh Bằng Trí Tuệ Nhân Tạo

Khám phá các phương pháp nhận dạng ảnh giả mạo do trí tuệ nhân tạo tạo ra, giúp bảo vệ thông tin và nâng cao độ tin cậy trong thế giới số.

• Tác giả: Nguyễn Phương Anh
• Người hướng dẫn: TS. Trần Tiến Công
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phương Pháp Nhận Diện Ảnh Sinh Bằng Trí Tuệ Nhân Tạo
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN ẢNH SINH VÀ CÁCH TIẾP CẬN
• 1.1. Tổng quan về ảnh sinh
• 1.2. Khái niệm ảnh sinh
• 1.3. Một số mô hình sinh ảnh phổ biến
• 1.4. Những rủi ro và thách thức của mô hình sinh ảnh
• 1.5. Giới thiệu bài toán phát hiện ảnh sinh
• 1.6. Các phương pháp tiếp cận bài toán phát hiện ảnh sinh
• 1.6.1. Phương pháp dựa trên dữ liệu
• 1.6.2. Phương pháp dựa trên quy tắc
• 1.6.3. Phương pháp dựa trên đặc trưng trong miền không gian
• 1.6.4. Phương pháp dựa trên đặc trưng trong miền tần số
• 1.7. Kết luận chương
• 2. CHƯƠNG 2: PHƯƠNG PHÁP ĐỀ XUẤT
• 2.1. Đề xuất phương pháp
• 2.2. Công thức cho bài toán. Kiến trúc mô hình
• 2.3. Xác định nhiễu thặng dư
• 2.4. Trích xuất dấu vân tay ảnh
• 2.5. Phân loại ảnh
• 2.6. Quy trình huấn luyện
• 2.7. Kết luận chương
• 3. CHƯƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM
• 3.1. Bộ dữ liệu và phương pháp đo lường. Tập dữ liệu
• 3.2. Phương pháp đo lường
• 3.3. Thử nghiệm. Hiệu suất cơ bản của mô hình
• 3.4. Ảnh hưởng của Autoencoder
• 3.5. So sánh với phương pháp SOTA (State of the Art)
• 3.6. Độ bền vững của các mô hình
• 3.7. Đánh giá khả năng tổng quát hóa
• 3.8. Kết luận chương
• 4. KẾT LUẬN VÀ KIẾN NGHỊ
• 4.1. Những đóng góp của đồ án. Hướng phát triển tiếp theo
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phương Pháp Nhận Diện Ảnh Sinh Bằng Trí Tuệ Nhân Tạo

Trong thời đại công nghệ số, việc phát hiện và nhận diện ảnh sinh bằng trí tuệ nhân tạo (AI) đã trở thành một chủ đề quan trọng. Ảnh sinh, được tạo ra từ các mô hình như GANs và VAEs, có thể gây ra nhiều vấn đề về bảo mật và quyền riêng tư. Do đó, việc nghiên cứu các phương pháp nhận diện ảnh sinh là cần thiết để bảo vệ thông tin và đảm bảo tính xác thực.

1.1. Khái Niệm Về Ảnh Sinh Và Trí Tuệ Nhân Tạo

Ảnh sinh là hình ảnh được tạo ra không từ thiết bị chụp ảnh truyền thống mà thông qua các thuật toán học máy. Trí tuệ nhân tạo, đặc biệt là các mô hình học sâu, đã giúp cải thiện chất lượng của ảnh sinh, khiến chúng khó phân biệt với ảnh thực tế.

1.2. Tầm Quan Trọng Của Việc Nhận Diện Ảnh Sinh

Việc nhận diện ảnh sinh không chỉ giúp bảo vệ quyền riêng tư mà còn đảm bảo tính xác thực của thông tin. Trong bối cảnh thông tin giả mạo ngày càng gia tăng, các phương pháp phát hiện ảnh sinh trở nên cấp thiết hơn bao giờ hết.

II. Những Thách Thức Trong Việc Nhận Diện Ảnh Sinh Bằng AI

Mặc dù có nhiều tiến bộ trong công nghệ nhận diện ảnh, nhưng vẫn tồn tại nhiều thách thức lớn. Các mô hình sinh ảnh ngày càng tinh vi, khiến cho việc phân biệt giữa ảnh thật và ảnh giả trở nên khó khăn hơn. Những thách thức này bao gồm việc tạo ra ảnh giả mạo chất lượng cao và sự phát triển nhanh chóng của các công nghệ mới.

2.1. Khó Khăn Trong Việc Phân Biệt Ảnh Thật Và Ảnh Giả

Sự phát triển của các mô hình như GANs và VAEs đã tạo ra những hình ảnh giả mạo có chất lượng cao, gần như không thể phân biệt với ảnh thật. Điều này đặt ra thách thức lớn cho các hệ thống nhận diện ảnh.

2.2. Nguy Cơ Đối Với Quyền Riêng Tư

Việc sử dụng ảnh sinh có thể vi phạm quyền riêng tư của cá nhân. Những hình ảnh này có thể được tạo ra mà không có sự đồng ý của người trong ảnh, dẫn đến những hậu quả nghiêm trọng về mặt đạo đức và pháp lý.

III. Phương Pháp Nhận Diện Ảnh Sinh Hiệu Quả Bằng Machine Learning

Các phương pháp nhận diện ảnh sinh hiện nay chủ yếu dựa vào các thuật toán machine learning. Những phương pháp này có thể tự động học và nhận diện các đặc trưng của ảnh sinh, từ đó phân biệt chúng với ảnh thật. Một số phương pháp phổ biến bao gồm CNNs và các mô hình học sâu khác.

3.1. Sử Dụng Mạng Nơ ron Tích Chập CNN

Mạng nơ-ron tích chập (CNN) là một trong những phương pháp hiệu quả nhất trong việc nhận diện ảnh sinh. CNN có khả năng tự động học các đặc trưng từ dữ liệu hình ảnh mà không cần phải biết trước.

3.2. Ứng Dụng Các Mô Hình Học Sâu Khác

Ngoài CNN, các mô hình học sâu khác như ResNet và VAE cũng được sử dụng để phát hiện ảnh sinh. Những mô hình này giúp cải thiện độ chính xác và khả năng tổng quát của hệ thống nhận diện.

IV. Ứng Dụng Thực Tiễn Của Phương Pháp Nhận Diện Ảnh Sinh

Phương pháp nhận diện ảnh sinh không chỉ có ý nghĩa lý thuyết mà còn có nhiều ứng dụng thực tiễn. Chúng có thể được áp dụng trong các lĩnh vực như bảo mật thông tin, truyền thông và quảng cáo. Việc phát hiện ảnh giả mạo giúp bảo vệ người dùng khỏi thông tin sai lệch.

4.1. Bảo Vệ Thông Tin Trong Ngành Truyền Thông

Trong ngành truyền thông, việc phát hiện ảnh sinh giúp đảm bảo tính xác thực của thông tin. Điều này rất quan trọng trong việc duy trì niềm tin của công chúng vào các nguồn thông tin.

4.2. Ứng Dụng Trong Bảo Mật Thông Tin

Các phương pháp nhận diện ảnh sinh cũng có thể được áp dụng trong bảo mật thông tin, giúp ngăn chặn việc sử dụng ảnh giả mạo trong các hoạt động trái phép.

V. Kết Luận Về Tương Lai Của Phương Pháp Nhận Diện Ảnh Sinh

Tương lai của phương pháp nhận diện ảnh sinh hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của công nghệ AI. Các nghiên cứu hiện tại đang hướng tới việc cải thiện độ chính xác và khả năng tổng quát của các mô hình nhận diện. Điều này sẽ giúp bảo vệ người dùng khỏi những rủi ro liên quan đến ảnh sinh.

5.1. Hướng Phát Triển Công Nghệ Nhận Diện

Các nghiên cứu trong tương lai sẽ tập trung vào việc phát triển các thuật toán mới, giúp cải thiện khả năng nhận diện ảnh sinh. Điều này sẽ giúp nâng cao hiệu quả và độ chính xác của các hệ thống nhận diện.

5.2. Tích Hợp Công Nghệ Mới Vào Hệ Thống Nhận Diện

Việc tích hợp các công nghệ mới như blockchain và AI vào hệ thống nhận diện ảnh sinh có thể giúp tăng cường tính bảo mật và độ tin cậy của thông tin.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển nhanh chóng của các kỹ thuật học máy và học sâu đã thúc đẩy sự ra đời của nhiều mô hình tạo sinh hình ảnh với độ chân thực cao, khiến mắt thường gần như không thể phân biệt với ảnh chụp thực tế. Tuy nhiên, sự phổ biến của các công nghệ này dẫn đến nguy cơ gia tăng các nội dung giả mạo, ảnh hưởng trực tiếp đến an toàn thông tin, quyền riêng tư cá nhân, tính xác thực của dữ liệu truyền thông và an ninh quốc gia. Đồ án tốt nghiệp "Phương pháp nhận diện ảnh giả mạo sinh bởi trí tuệ nhân tạo" của tác giả Nguyễn Phương Anh (ngành An toàn thông tin, Học viện Công nghệ Bưu chính Viễn thông, bảo vệ tháng 12/2023 dưới sự hướng dẫn của TS. Trần Tiến Công) được thực hiện nhằm giải quyết các thách thức trên thông qua việc xây dựng giải pháp phân loại ảnh thật và ảnh tổng hợp một cách tự động và chuẩn xác.

Nhiệm vụ nghiên cứu của đồ án được cụ thể hóa thông qua việc giải quyết năm câu hỏi khoa học:

1. Đánh giá hiệu suất cơ bản của mô hình phát hiện kết hợp giữa bộ mã hóa tự động (Autoencoder) và biến đổi Fourier so với các phương pháp truyền thống.
2. Phân tích định lượng mức độ ảnh hưởng của thành phần Autoencoder đối với khả năng nhận diện dấu vết ảnh tổng hợp.
3. So sánh hiệu năng phát hiện với các phương pháp tiên tiến nhất hiện nay (State of the Art - SOTA) trên nhiều tập dữ liệu khác nhau.
4. Đánh giá độ bền vững của mô hình trước các kỹ thuật xử lý hậu kỳ phổ biến (nén JPEG, làm mờ Gaussian, thêm nhiễu Gaussian và thay đổi kích thước ảnh).
5. Kiểm tra khả năng tổng quát hóa của mô hình đối với các kiến trúc sinh ảnh mới, chưa từng xuất hiện trong quá trình đào tạo.

Đối tượng nghiên cứu là các hình ảnh số chụp từ thực tế và các hình ảnh giả mạo được tạo ra từ các mô hình sinh trí tuệ nhân tạo. Phạm vi nghiên cứu bao gồm các kiến trúc sinh ảnh phổ biến như Mạng đối nghịch tạo sinh (GANs), Mô hình khuếch tán (Diffusion Models) và Mạng biến áp (Transformers), được kiểm nghiệm trên ba tập dữ liệu thực nghiệm gồm T-open, T-pra (T-practical) và tập tổng hợp T-all với dữ liệu thu thập đến tháng 12 năm 2023.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng khung lý thuyết dựa trên các cơ chế tạo sinh hình ảnh hiện đại cùng hiện tượng sai lệch tần số trong quá trình tổng hợp ảnh:

• Các mô hình tạo sinh: Bao gồm Mạng đối nghịch tạo sinh (Generative Adversarial Networks - GANs: ProGAN, StyleGAN, BigGAN, GauGAN), Bộ mã hóa tự động biến đổi (Variational Autoencoders - VAEs), Máy Boltzmann hạn chế (Restricted Boltzmann Machines - RBMs), Transformers thị giác và Mô hình khuếch tán (Diffusion Models: Latent Diffusion, Stable Diffusion, Guided Diffusion, GLIDE, DALL-E).
• Hiện tượng Aliasing và dấu vân tay phổ tần số: Quá trình sinh ảnh thường sử dụng các tầng tăng mẫu (upsampling) để nâng cao độ phân giải từ không gian tiềm ẩn. Khi tần số lấy mẫu không đáp ứng định lý lấy mẫu đối với các biến đổi đột ngột, hiện tượng Aliasing xuất hiện, làm tập trung năng lượng bất thường tại một số dải tần số cụ thể và tạo ra các đỉnh nhọn trên phổ công suất (power spectra) của ảnh sinh.

Phương pháp nghiên cứu thực nghiệm đề xuất quy trình xử lý ba giai đoạn khép kín:

1. Trích xuất nhiễu thặng dư (Residual Noise Extraction): Sử dụng mô hình Autoencoder với kiến trúc ResNet-50 làm mạng xương sống (backbone) cho cả bộ mã hóa ($f_{enc}$) và bộ giải mã ($f_{dec}$). Autoencoder được tối ưu hóa bằng hàm mất mát sai số bình phương trung bình (Mean Squared Error - MSE) chỉ trên tập ảnh thật. Khi đưa ảnh đầu vào $I$ qua mô hình để nhận ảnh tái tạo $\hat{I} = f_{dec}(f_{enc}(I))$, các đặc trưng không tự nhiên của ảnh sinh sẽ không thể tái tạo hoàn hảo, từ đó thu được nhiễu thặng dư mang tính phân tách: $R(I) = I - \hat{I}$.
2. Trích xuất dấu vân tay ảnh (Fingerprint Extraction): Áp dụng biến đổi Fourier hai chiều ($\mathcal{F}$) để chuyển đổi nhiễu thặng dư từ miền không gian sang miền tần số: $D(I) = \mathcal{F}(R(I))$. Tiếp theo, tính toán phổ công suất thông qua bình phương mô-đun để làm nổi bật các mẫu lặp và đỉnh năng lượng đặc trưng.
3. Phân loại ảnh (Image Classification): Dữ liệu dấu vân tay tần số $D(I)$ được đưa vào mạng nơ-ron tích chập (CNN) gồm 4 tầng tích chập (số kênh tăng dần từ 32, 64 đến 128), kết hợp hàm kích hoạt ReLU, chuẩn hóa theo lô (Batch Normalization), gộp cực đại (Max Pooling), Dropout và các tầng liên kết đầy đủ (Fully Connected) để phân loại nhị phân (ảnh thật hoặc ảnh tổng hợp).

Nguồn dữ liệu thực nghiệm được tổng hợp thành ba tập chính:

• Tập T-open: Gồm 14.000 ảnh sinh từ BigGAN, GauGAN, StyleGAN, DALL-E, GLIDE, Guided Diffusion, Latent Diffusion (2.000 ảnh/mô hình) và 4.000 ảnh thật lấy từ ImageNet, VISION, Danbooru và Artist (1.000 ảnh/nguồn).
• Tập T-pra: Gồm 4.000 ảnh sinh từ các nền tảng thương mại gồm DreamBooth, Midjourney, NightCafe, StableAI, Vilian (800 ảnh/mô hình) cùng 4.000 ảnh thực từ các nền tảng chia sẻ mã nguồn mở.
• Tập mở rộng T-all: Khảo sát 12 kiến trúc gồm ProGAN, StyleGAN2, StyleGAN3, BigGAN, EG3D, Taming Transformer, DALL-E Mini, DALL-E 2, GLIDE, Latent Diffusion, Stable Diffusion và ADM (1.000 ảnh tổng hợp/mô hình), kết hợp với 1.500 ảnh thật từ COCO, ImageNet và UCID (500 ảnh/nguồn).

Nội dung chính theo từng chương

Chương 1: Tổng quan về bài toán phát hiện ảnh sinh và cách tiếp cận

Chương 1 hệ thống hóa khái niệm ảnh sinh và nguyên lý của năm nhóm mô hình sinh phổ biến (GANs, VAEs, RBMs, Transformers, Diffusion Models). Tác giả phân tích các tác động tiêu cực của ảnh giả mạo trong đời sống số, từ phát tán tin giả đến đe dọa an ninh thông tin. Tiếp đó, chương khảo sát bốn hướng tiếp cận phát hiện hiện nay:

• Phương pháp dựa trên dữ liệu: Điển hình là việc huấn luyện ResNet-50 trên 720.000 ảnh ProGAN của Wang et al., đạt độ chính xác tốt trên mô hình đã học nhưng khả năng tổng quát hóa kém trên các mô hình chưa biết.
• Phương pháp dựa trên quy tắc: Sử dụng bộ lọc giảm nhiễu và tính trung bình phần dư, tuy nhiên phương pháp này phụ thuộc vào việc điều chỉnh thủ công và kinh nghiệm chuyên gia.
• Phương pháp dựa trên miền không gian: Phân tích dấu vân tay nhân tạo do từng mô hình tạo ra trong không gian điểm ảnh (Marra et al., Yu et al.).
• Phương pháp dựa trên miền tần số: Khai thác biến đổi Fourier để phát hiện các đỉnh tần số sinh ra do thao tác upsampling (Zhang et al., Frank et al.).

Chương 2: Phương pháp đề xuất

Chương 2 mô tả chi tiết giải pháp kỹ thuật đề xuất với quy trình xử lý ba bước:

• Xác định nhiễu thặng dư: Thiết lập Autoencoder với backbone ResNet-50, giải thích cơ chế nén vào vector tiềm ẩn $z$ và tái tạo ảnh. Do chỉ học phân phối của ảnh tự nhiên, Autoencoder loại bỏ các thành phần tần số bất thường của ảnh tổng hợp, tạo ra sai khác rõ rệt tại phần dư $R(I)$.
• Trích xuất dấu vân tay ảnh: Chuyển đổi $R(I)$ sang miền tần số bằng biến đổi Fourier và tính phổ công suất trung bình, chỉ rõ mối liên hệ giữa hiện tượng Aliasing trong các khối upsampling và các đỉnh phổ tần số dị thường.
• Kiến trúc mạng phân loại CNN: Thiết kế mạng nơ-ron tích chập 4 lớp kết hợp Batch Normalization, Dropout và Fully Connected để tự động phân biệt dấu vân tay phổ giữa ảnh thật và giả. Chương khép lại bằng thuật toán tổng thể và quy trình huấn luyện hai giai đoạn độc lập giữa mạng Autoencoder và mạng phân loại CNN.

Chương 3: Cài đặt và thử nghiệm

Chương 3 trình bày việc triển khai thực nghiệm và đánh giá định lượng thông qua hai chỉ số: Diện tích dưới đường cong ROC (AUC) và Độ chính xác (Accuracy - Acc). Kết quả được phân tích qua năm nội dung chính:

• Hiệu suất cơ bản: Trên tập T-all, mô hình đạt Acc 0.9992 và AUC 1.0000 đối với ProGAN, duy trì kết quả tích cực trên T-open và T-pra (StableAI đạt Acc 0.9458; NightCafe đạt 0.8923).
• Thử nghiệm cắt bỏ Autoencoder: So sánh trực tiếp hiệu quả khi có và không có bước trích xuất phần dư qua Autoencoder trên tập T-all, khẳng định Autoencoder là nhân tố quyết định hiệu năng.
• So sánh với các phương pháp SOTA: Đối sánh với Wang, CR, Grag và Lasted, cho thấy phương pháp đề xuất vượt trội về độ chính xác trên nhiều cấu hình thử nghiệm.
• Đánh giá độ bền vững: Khảo sát ảnh hưởng của nén JPEG (từ QF=100 xuống QF=50), làm mờ Gaussian, nhiễu Gaussian và thay đổi kích thước ảnh.
• Khả năng tổng quát hóa: Đánh giá mô hình khi chỉ huấn luyện trên dữ liệu ProGAN rồi kiểm thử trực tiếp trên các kiến trúc chưa từng học như StyleGAN3, EG3D, Taming Transformer và Diffusion Models.

Kết quả và đóng góp

Các thử nghiệm trong đồ án đã chứng minh tính hiệu quả của phương pháp thông qua các số liệu đo lường cụ thể được ghi nhận trong văn bản:

Mô hình sinh / Thực nghiệm	Tiêu chí đánh giá	Không dùng Autoencoder	Sử dụng Autoencoder (Đề xuất)	Phương pháp đối sánh (Wang / CR / Grag)
ProGAN (T-all)	Acc / AUC	0.6538 / Chưa tối ưu	0.9992 / 1.0000	Hiệu suất tương đương trên tập gốc
Taming Transformer (T-all)	Acc	Không đạt đỉnh	0.9927	Thấp hơn phương pháp đề xuất
DALL-E Mini (T-all)	Acc	Không đạt đỉnh	0.8919	Thấp hơn phương pháp đề xuất
ADM (Ablated Diffusion Model)	Acc	0.3768	Cải thiện vượt bậc	Không duy trì được độ ổn định
GLIDE (T-all)	Acc	0.5834	Cải thiện đáng kể	Thấp hơn phương pháp đề xuất
BigGAN (trên ImageNet)	Acc	Không tối ưu	0.93204	Wang: 0.6299; CR: Kém hơn
Nén JPEG chất lượng thấp (QF=50)	Độ sụt giảm Acc	-	Duy trì ổn định	CR và Grag giảm hơn 10%

Về độ bền vững trước các xử lý hậu kỳ, phương pháp đề xuất giữ vững độ chính xác trước tác động làm mờ Gaussian và nhiễu Gaussian, đồng thời đối phó tốt với thao tác thu nhỏ kích thước ảnh (resize). Khi chất lượng nén JPEG giảm sâu xuống QF=50, trong khi các mô hình tiên tiến như CR và Grag bị suy giảm độ chính xác trên 10%, phương pháp của đồ án vẫn duy trì được độ ổn định cao.

Các đóng góp chính do tác giả tự xác định bao gồm:

• Xây dựng thành công quy trình kết hợp Autoencoder (backbone ResNet-50) để trích xuất nhiễu thặng dư và biến đổi Fourier để phân tích dấu vân tay tần số, khắc phục hạn chế phụ thuộc dữ liệu của mạng nơ-ron thuần túy.
• Đạt hiệu năng phát hiện vượt trội và năng lực tổng quát hóa cao trên nhiều họ mô hình sinh ảnh (GAN, Transformer, Diffusion) ngay cả khi các mô hình này chưa từng xuất hiện trong tập huấn luyện.
• Toàn bộ kết quả nghiên cứu của đồ án đã được tác giả tổng hợp và hoàn thiện thành bài báo khoa học gửi chờ xét duyệt tại hội nghị quốc tế International Joint Conference on Artificial Intelligence 2024 (IJCAI).

Tác giả đề xuất các kiến nghị ứng dụng: tích hợp mô hình vào các hệ thống bảo mật, xác thực hình ảnh đa phương tiện để ngăn chặn gian lận số, đồng thời cần tiếp tục thử nghiệm mô hình trong các môi trường vận hành thực tế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được tác giả chỉ ra trong đồ án bao gồm:

• Hiệu suất nhận diện vẫn có sự dao động nhất định khi đối mặt với ảnh sinh từ các nền tảng thương mại nguồn đóng phức tạp (như DreamBooth, Midjourney trong tập T-pra).
• Chưa khảo sát toàn diện sự kết hợp đồng thời của nhiều hình thức xử lý hậu kỳ phức tạp trên cùng một tệp ảnh.
• Mô hình chưa được triển khai thử nghiệm trực tiếp trên các hệ thống giám sát an toàn thông tin quy mô lớn trong thời gian thực.

Hướng nghiên cứu tiếp theo được xác định gồm:

• Mở rộng tập dữ liệu huấn luyện với quy mô lớn hơn, bao quát các kiến trúc mô hình sinh ảnh mới nổi.
• Nghiên cứu sâu hơn về cơ chế tác động của các thao tác xử lý hậu kỳ đa dạng và phát triển các kỹ thuật thích ứng chuyên sâu để gia tăng tính bền vững.
• Tích hợp mô hình vào các hệ thống xác thực dữ liệu và kiểm định thực tế nhằm đánh giá mức độ tương thích trong các kịch bản an ninh thực tế.

Giá trị tham khảo

Đồ án là tài liệu chuyên khảo có giá trị học thuật và ứng dụng đối với:

• Đối tượng hưởng lợi: Sinh viên, học viên cao học và cán bộ nghiên cứu chuyên ngành An toàn thông tin, Trí tuệ nhân tạo, Khoa học máy tính và Kỹ thuật truyền thông đa phương tiện đang tìm hiểu về bài toán phân tích pháp y ảnh số (Digital Image Forensics) và nhận diện Deepfake.
• Nội dung đáng tham khảo:
  • Kỹ thuật xây dựng Autoencoder ResNet-50 chỉ học phân phối ảnh thực để cô lập thành phần nhiễu thặng dư.
  • Phương pháp phân tích phổ công suất Fourier nhằm nhận diện hiện tượng Aliasing do các tầng upsampling gây ra.
  • Phương pháp thiết kế và tổ chức ba bộ dữ liệu kiểm thử T-open, T-pra và T-all, cung cấp khung tham chiếu chuẩn cho các nghiên cứu đối sánh phát hiện ảnh sinh.

Câu hỏi thường gặp

1. Tại sao quá trình sinh ảnh của các mô hình AI lại tạo ra các dấu vết đặc trưng trong miền tần số?
Các mô hình sinh ảnh thường sử dụng các bước tăng mẫu (upsampling) để mở rộng kích thước ảnh từ vector tiềm ẩn ban đầu. Bước xử lý này làm xuất hiện hiện tượng Aliasing khi tốc độ lấy mẫu không tương thích với băng thông tín hiệu, dẫn đến việc phân bố năng lượng bị lệch và hình thành các đỉnh tần số dị thường rõ rệt trên phổ công suất mà ảnh chụp tự nhiên không có.

2. Mô hình Autoencoder sử dụng kiến trúc ResNet-50 đóng vai trò gì trong giải pháp đề xuất?
Autoencoder được huấn luyện chuyên biệt trên tập dữ liệu ảnh thật nhằm nắm bắt các đặc trưng hình ảnh tự nhiên và bỏ qua các thành phần nhiễu nhân tạo. Khi đưa ảnh tổng hợp qua mô hình, Autoencoder không thể tái tạo chính xác các chi tiết bất thường, từ đó giúp tách biệt rõ ràng các dấu vết sinh ảnh thông qua phép trừ ảnh gốc cho ảnh tái tạo ($R(I) = I - \hat{I}$).

3. Khả năng phát hiện của mô hình thay đổi như thế nào nếu loại bỏ bước trích xuất nhiễu bằng Autoencoder?
Dữ liệu thực nghiệm tại Bảng 7 của đồ án cho thấy nếu không có Autoencoder, độ chính xác (Acc) của hệ thống suy giảm nghiêm trọng trên hầu hết các mô hình sinh: ProGAN giảm từ 0.9992 xuống 0.6538; ADM giảm xuống mức 0.3768; GLIDE giảm xuống 0.5834 và StyleGAN2 giảm còn 0.9528.

4. Mô hình thể hiện độ bền vững ra sao trước thao tác nén ảnh JPEG chất lượng thấp?
Khi hệ số chất lượng nén (QF) giảm xuống mức 50, các mô hình tiên tiến hiện nay như CR và Grag bị sụt giảm độ chính xác hơn 10% do mất mát dữ liệu tần số cao. Trong khi đó, phương pháp đề xuất của đồ án vẫn duy trì được độ chính xác ổn định, chứng minh khả năng ứng dụng thực tế cao khi ảnh lưu hành trên Internet thường xuyên bị nén.

5. Nghiên cứu của đồ án đã đạt được kết quả công bố khoa học cụ thể nào?
Dựa trên các kết quả lý thuyết và số liệu thực nghiệm vượt trội so với các phương pháp SOTA, tác giả Nguyễn Phương Anh đã hoàn thành bài báo khoa học và nộp chờ xét duyệt tại hội nghị quốc tế IJCAI 2024 (International Joint Conference on Artificial Intelligence).

Kết luận

Đồ án tốt nghiệp của tác giả Nguyễn Phương Anh đã giải quyết thành công bài toán nhận diện ảnh giả mạo tạo bởi trí tuệ nhân tạo bằng việc kết hợp mô hình Autoencoder trích xuất nhiễu thặng dư và biến đổi Fourier trong miền tần số. Các kết quả thực nghiệm trên các bộ dữ liệu T-all, T-open và T-pra đã khẳng định tính chính xác vượt trội của phương pháp so với các giải pháp SOTA, đồng thời duy trì độ bền vững cao trước các can thiệp xử lý hậu kỳ và cho khả năng tổng quát hóa xuất sắc trên các mô hình sinh mới. Công trình đóng góp thiết thực cho lĩnh vực an toàn thông tin và cung cấp cơ sở kỹ thuật tin cậy phục vụ các nghiên cứu tiếp theo về giám định dữ liệu đa phương tiện trong thời đại số.

Trích đoạn nội dung tài liệu

Chương 1, với hy vọng cải thiện hiệu quả phân loại và dap ứng nhu cau thực tế trong việc phân biệt ảnh thực và ảnh giả. Đồ án xem xét các ưu và nhược điểm của phương pháp đề xuất, cũng như thách thức và tiềm năng ứng dụng của nó trong thực tế. 19 Đồ án tốt nghiệp Đại học CHƯƠNG 2: PHƯƠNG PHÁP DE XUẤT Chương 2 sẽ giới thiệu về phương pháp đề xuất cũng như mô tả chỉ tiết về cau trúc mô hình và cụ thể các thực hiện bài toán. Chương 2 được trình bày thông qua các mục sau: e Dé xuất phương pháp e Công thức cho bai toán e Kiến trúc mô hình e® Quy trình huấn luyện e Kết luận chương Đô án tôt nghiệp Đại học 2.

Đề xuất phương pháp Trong chương này, em xin trình bày một phương pháp mới được đề xuất nhằm phân loại ảnh thật và ảnh tổng hợp. Phương pháp này dựa trên ba giai đoạn chính: trích xuất nhiễu thặng dư, trích xuất dấu vân tay của ảnh, và phân loại ảnh dựa trên những dau vân tay này. Dưới đây là bản tóm tắt chỉ tiết về mỗi giai đoạn: Bước I: Trích Xuất Nhiễu Thặng Dư Ở bước đầu tiên, mục tiêu là trích xuất ra những thông tin nhiễu không được biểu diễn trong ảnh thật. Sử dụng một mô hình Autoencoder (bộ mã hóa tự động) được huấn luyện trên một bộ dữ liệu ảnh thật, phương pháp phát hiện ra nhiễu thặng dư thông qua việc so sánh giữa ảnh gốc và ảnh tái tạo từ mô hình.

Nhiễu thặng dư này mang thông tin quan trong có thé sử dụng dé phân biệt giữa ảnh tổng hợp và ảnh thật. Bưóc 2: Trích Xuất Dấu Vân Tay Ảnh Trích xuất dấu vân tay ảnh bao gồm việc sử dụng bộ lọc giảm nhiễu dé thu thập nhiễu thang dư. Sau đó, áp dụng biến đổi Fourier lên nhiễu thang dư dé chuyên anh từ miền không gian sang miền tần số và phân tích phô năng lượng của nhiễu thang dư. Qua phân tích này, xác định các đặc trưng phản ánh dấu vân tay của quá trình tạo ảnh, như đỉnh đặc biệt trong phổ năng lượng hoặc mau lặp lại, dé xác định nguồn gốc của ảnh và liệu nó có phải là ảnh tổng hợp.

Bước 3: Phân Loại Anh Cuối cùng, dựa trên những dấu vân tay đã được trích xuất, một mô hình phân loại được thiết kế nhằm xác định liệu ảnh đầu vào là thật hay tổng hợp. Mô hình này sẽ được huấn luyện dé có kha năng phân biệt giữa anh that và anh tổng hợp dựa trên đặc trưng nhiễu thặng dư và dấu vân tay đã trích xuất. Ảnh giả 4 xi đẻ: tne? ame Trich xuat | Gnigy thang,. THchxuất ae 2 >| hiểu hãng ae a TH van ty "au van tay Phan loai du Ñ ———— 4 | ¬_ i mua BE Ảnh ' >3 Hình 4: Luong hoạt động của phương pháp dé xuất 21 Đồ án tốt nghiệp Đại học Mỗi bước trong phương pháp đề xuất đều có vai trò quan trọng trong việc đạt được mục tiêu cuối cùng, đó là việc phân loại chính xác và đáng tin cậy.

Ở các mục tiếp theo, đồ án sẽ đi vào chi tiết từng bước và mô tả cách thức triển khai, cũng như cách thức các công nghệ và kỹ thuật liên quan được áp dụng trong việc giải quyết bài toán này. Trong đồ án này, em xin giới thiệu một quy trình mới trong việc phân biệt ảnh thật và ảnh tổng hợp thông qua bốn ý chính sau: e Phát triển phương pháp phát hiện mới: em xây dựng một hệ thống phân loại sử dụng mạng tự mã hóa dé nam bắt và tái tạo đặc trưng của ảnh thực, giúp lộ ra những sai lệch mà ảnh tổng hợp chứa.