Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số và sự phát triển mạnh mẽ của công nghệ trí tuệ nhân tạo (AI), các kỹ thuật học sâu (Deep Learning) trong xử lý hình ảnh và video đã đạt được những bước tiến vượt bậc. Sự phát triển này đồng thời thúc đẩy sự ra đời và phổ biến của công nghệ Deepfake – công cụ sử dụng mạng nơ-ron nhân tạo để tổng hợp, thao túng hoặc hoán đổi khuôn mặt, giọng nói nhằm tạo ra các nội dung truyền thông giả mạo với độ chân thực cao.

Mặc dù Deepfake mang lại tiềm năng ứng dụng trong các lĩnh vực giải trí, truyền thông và tiếp thị, công nghệ này đang trở thành một thách thức an ninh mạng nghiêm trọng. Thực tiễn tại Việt Nam cho thấy Deepfake bị các đối tượng xấu lợi dụng để thực hiện hành vi lừa đảo tài chính, bôi nhọ uy tín cá nhân, tổ chức, phát tán thông tin sai lệch gây hoang mang dư luận. Đáng chú ý, các cuộc tấn công giả mạo khuôn mặt sinh trắc học đang đe dọa trực tiếp đến hệ thống định danh điện tử (E-KYC) của các tổ chức tài chính và ngân hàng nhằm chiếm đoạt tài khoản.

Hiện nay, cộng đồng nghiên cứu quốc tế đã công bố nhiều bộ dữ liệu phục vụ việc huấn luyện và kiểm thử các mô hình phát hiện Deepfake, tiêu biểu như FaceForensics++, DFDC, Celeb-DFv1, Celeb-DFv2, UADFV hay Google Deepfake Detection Dataset. Tuy nhiên, các bộ dữ liệu này chủ yếu thu thập từ người phương Tây hoặc các nhóm sắc tộc khác, hoàn toàn thiếu vắng các mẫu dữ liệu mang đặc trưng nhân trắc học của người Việt Nam (như hình dạng khuôn mặt oval ít góc cạnh, mắt mí lót hoặc mí đơn, sống mũi thấp, sắc tố da tông vàng, tóc đen hoặc nâu đậm). Sự thiếu hụt này làm giảm độ chính xác và khả năng tổng quát hóa của các hệ thống phòng thủ Deepfake khi triển khai thực tế tại Việt Nam.

Đồ án tốt nghiệp "Nghiên cứu phương pháp xây dựng bộ dữ liệu Deepfake và áp dụng xây dựng bộ dữ liệu Deepfake theo đặc trưng của người Việt" của tác giả Nguyễn Tiến Dũng (ngành An toàn thông tin, Học viện Kỹ thuật Mật mã) được thực hiện nhằm giải quyết bài toán trên, với 3 mục tiêu và nhiệm vụ nghiên cứu cụ thể:

  1. Nghiên cứu phương pháp luận và quy trình kỹ thuật xây dựng một tập dữ liệu Deepfake hoàn chỉnh, đảm bảo tính đại diện về đặc trưng hình thái, ngôn ngữ và văn hóa của người Việt.
  2. Tìm hiểu và làm chủ các mô hình học sâu chuyên dụng trong việc tạo lập dữ liệu Deepfake, trọng tâm là kiến trúc FaceDancer kết hợp các mạng trích xuất đặc trưng tiên tiến (RetinaFace, ArcFace).
  3. Triển khai thực nghiệm thu thập dữ liệu khuôn mặt người Việt, tiền xử lý, thực hiện sinh dữ liệu Deepfake dạng hình ảnh và video, sau đó đánh giá định lượng chất lượng dữ liệu bằng các chỉ số đo lường chuẩn.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các thuật toán học sâu sinh dữ liệu giả mạo khuôn mặt (Face Swap), quy trình xử lý hình ảnh/video và các phương pháp trích xuất đặc trưng khuôn mặt.
  • Phạm vi nghiên cứu: Tập dữ liệu hình ảnh chân dung khuôn mặt người Việt Nam thu thập từ tập dữ liệu "Vietnamese Celebrity Faces" trên Kaggle (gồm 8.557 ảnh của 224 cá nhân nổi tiếng thuộc các lĩnh vực ca sĩ, diễn viên, hoa hậu) và các chuỗi video thực nghiệm; nghiên cứu tuân thủ các nguyên tắc bảo vệ dữ liệu cá nhân theo Nghị định 13/2023/NĐ-CP.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng trên hệ thống lý thuyết toàn diện về trí tuệ nhân tạo, học máy, học sâu và các kiến trúc mạng nơ-ron đối kháng sinh tạo:

Khung lý thuyết và mô hình sử dụng

  • Mô hình học máy tổng quát: Tác giả hệ thống hóa ba phân nhóm học máy chính:
    • Học có giám sát (Supervised Learning): Phục vụ bài toán phân loại và hồi quy với các thuật toán như Mạng nơ-ron nhân tạo (ANN), Naive Bayes (Multinomial, Bernoulli, Gaussian), Hồi quy tuyến tính (Linear Regression), Hồi quy logistic (Logistic Regression), Máy vectơ hỗ trợ (SVM), K-Nearest Neighbors (KNN), Cây quyết định (Decision Tree) và Rừng ngẫu nhiên (Random Forest).
    • Học không giám sát (Unsupervised Learning): Áp dụng trong gom cụm (K-means, phân cụm phân cấp HCA, mô hình hỗn hợp Gaussian - GMM) và giảm chiều dữ liệu (Phân tích thành phần chính - PCA, Phân tích giá trị kỳ dị - SVD, Bộ mã hóa tự động - Autoencoder).
    • Học tăng cường (Reinforcement Learning): Tối ưu hóa hành động theo phần thưởng dựa trên Quy trình quyết định Markov.
  • Mạng nơ-ron học sâu: Khảo sát các kiến trúc Mạng truyền thẳng (Feedforward), Mạng nơ-ron tái phát (RNN), Mạng bộ nhớ dài-ngắn (LSTM) và Mạng nơ-ron tích chập (CNN).
  • Mạng đối kháng sinh tạo (GANs): Cấu trúc gồm mạng sinh (Generator) và mạng phân biệt (Discriminator) cạnh tranh trực tiếp qua cơ chế minimax. Đồ án phân loại các biến thể GAN: Vanilla GAN, Conditional GAN (CGAN), Deep Convolutional GAN (DCGAN), Laplacian Pyramid GAN (LAPGAN) và Super Resolution GAN (SRGAN).
  • Kiến trúc hoán đổi khuôn mặt FaceDancer: Đây là mô hình hoán đổi khuôn mặt đơn giai đoạn (one-stage face swapping) dựa trên mạng GAN có điều kiện, bao gồm các khối thành phần:
    • Bộ tạo (Generator - G): Cấu trúc bộ mã hóa - giải mã dạng U-Net kết hợp mạng ánh xạ $M$ (gồm 4 lớp Fully Connected và hàm kích hoạt LeakyReLU). Sử dụng các khối dư chuyên biệt (residual_down, residual_up, adaptive_fusion_up, dual_adaptive_fusion_up) và mô-đun AFFA để kết nối các đặc trưng bỏ qua.
    • Bộ phân biệt (Discriminator - D): Sử dụng hàm mất mát bản lề (hinge loss) tương tự StarGAN-v2 và HifiFace.
    • Bộ nhận diện đặc trưng ArcFace: Sử dụng kiến trúc mạng ResNet50 huấn luyện trước để trích xuất vector đặc trưng danh tính 512 chiều từ ảnh nguồn ($X_s$). Áp dụng hàm mất mát khoảng cách góc (Additive Angular Margin Loss) với tham số phạt góc $m$ và hệ số chuẩn hóa tỉ lệ $s$ dựa trên chuẩn hóa $L_2$.
    • Mạng phát hiện khuôn mặt RetinaFace: Framework phát hiện khuôn mặt và định vị 5 điểm mốc (mắt, mũi, miệng) dựa trên kiến trúc ResNet kết hợp FPN, SSH và cơ chế anchor-based. Tối ưu hóa qua hàm Multi-task Loss: $$\mathcal{L} = \mathcal{L}{cls}(p_i, p_i^*) + \lambda_1 \mathcal{L}{box}(t_i, t_i^) + \lambda_2 \mathcal{L}_{pts}(l_i, l_i^) + \lambda_3 \mathcal{L}_{pixel}$$ Trong đó các trọng số cân bằng tổn thất được thiết lập lần lượt là $\lambda_1 = 0{,}25$, $\lambda_2 = 0{,}1$, $\lambda_3 = 0{,}01$. Nhánh hồi quy dày đặc (Dense Regression Branch) sử dụng bộ giải mã lưới tích chập đồ thị dựa trên xấp xỉ đa thức Chebyshev đệ quy bậc $K$.

Phương pháp nghiên cứu thực tế

  • Phương pháp phân tích - tổng hợp: Khảo cứu các công trình học thuật và so sánh cấu trúc 5 bộ dữ liệu Deepfake chuẩn quốc tế (FaceForensics++, DFDC, Celeb-DF, UADFV, Google Deepfake Detection Dataset).
  • Phương pháp thực nghiệm kỹ thuật dữ liệu: Xây dựng quy trình tự động hóa từ thu thập, trích xuất đặc trưng, cắt căn chỉnh hình học, đóng gói nhị phân dạng TFRecord đến sinh dữ liệu giả mạo.
  • Phương pháp đo lường định lượng: Sử dụng hai chỉ số xử lý ảnh tiêu chuẩn là Tỉ số tín hiệu cực đại trên nhiễu (PSNR - Peak Signal-to-Noise Ratio) và Chỉ số tương đồng cấu trúc (SSIM - Structural Similarity Index Measure) để kiểm định chất lượng dữ liệu ảnh và video tạo ra.

Thiết kế và triển khai hệ thống dữ liệu

Quy trình kỹ thuật xây dựng tập dữ liệu Deepfake cho người Việt được tác giả thiết kế theo pipeline 5 bước khép kín:

Giai đoạn Mô-đun / Công nghệ Chức năng kỹ thuật chính Tham số / Cấu hình thực nghiệm
1. Thu thập dữ liệu Web Scraping / Kaggle API Thu thập ảnh chân dung người Việt có độ phân giải cao, đa dạng biểu cảm và góc chụp 8.557 tệp ảnh, phân bố trong 224 danh mục
2. Tiền xử lý & Căn chỉnh RetinaFace (RetinaFace-Res50.h5), OpenCV Phát hiện khuôn mặt, xác định 5 điểm mốc (landmarks), thực hiện hàm norm_crop xoay thẳng và chuẩn hóa kích thước --im_size 256, --min_size, --shrink_factor, --device_id (chọn GPU)
3. Đóng gói dữ liệu TensorFlow (tf.train.Example, tf.data) Chuyển đổi tệp ảnh thành định dạng TFRecord phân tán nhiều shard để tối ưu hóa nạp dữ liệu huấn luyện --data_name, --data_type, --shuffle True, --num_shards
4. Sinh dữ liệu Deepfake FaceDancer + ArcFace (ResNet50) + RetinaFace Hoán đổi danh tính từ khuôn mặt nguồn (source) sang khuôn mặt mục tiêu (target) trên ảnh và video Hàm run_inference (cho ảnh) và hàm video_swap (cho video)
5. Đánh giá chất lượng Đo lường định lượng hình ảnh Tính toán sai số tái tạo và độ bảo toàn cấu trúc giữa khung hình gốc và khung hình hoán đổi Chỉ số PSNR (dB) và SSIM (thang đo 0 đến 1)

Nội dung chính theo từng chương

CHƯƠNG 1: Căn bản về Deepfake và các tệp dữ liệu phổ biến, phương pháp tạo ra Deepfake

Chương 1 thiết lập nền tảng lý thuyết cho toàn bộ đồ án:

  • Phân loại Deepfake: Trình bày chi tiết 5 hình thức thao túng truyền thông phổ biến: Hoán đổi khuôn mặt (Face Swap), Nhân bản giọng nói (Voice Cloning), Deepfake toàn thân (Full-body Deepfakes), Deepfake hình ảnh (Image Deepfakes) và Deepfake âm thanh (Audio Deepfakes).
  • Học máy và Học sâu: Phân tích các mô hình học có giám sát, không giám sát, học tăng cường; phân tích nguyên lý hoạt động của các mạng nơ-ron CNN, RNN, LSTM, Autoencoder và cơ chế đối kháng Generator - Discriminator trong mạng GANs.
  • Mô hình FaceDancer và các khối cấu trúc: Trình bày chi tiết kiến trúc hoán đổi khuôn mặt đơn giai đoạn; giải thích nguyên lý toán học của hàm mất mát góc ArcFace (Additive Angular Margin Loss) và cơ chế phát hiện đa nhiệm của RetinaFace kết hợp tích chập đồ thị Chebyshev; phân tích cấu tạo các khối xử lý đặc trưng (residual_down, residual_up, adaptive_fusion_up, dual_adaptive_fusion_up).
  • Khảo sát các bộ dữ liệu Deepfake chuẩn quốc tế:
    • FaceForensics++: Hơn 1.000 video tạo từ 977 video YouTube với các kỹ thuật face swapping, lip syncing, age progression.
    • DFDC (Deepfake Detection Challenge): Quy mô hơn 100.000 video từ 3.426 diễn viên do Meta AI khởi xướng.
    • Celeb-DF: Hơn 5.600 video chất lượng cao từ 100 người nổi tiếng do Đại học Buffalo phát triển.
    • UADFV: Bộ dữ liệu gồm video của 10 diễn viên chuyên nghiệp từ Đại học Utrecht.
    • Google Deepfake Detection Dataset: Hơn 3.000 video deepfake từ 28 diễn viên do Google AI công bố năm 2019.

CHƯƠNG 2: Tìm hiểu về cách thức xây dựng tập dữ liệu và tiến hành thu thập dữ liệu để xây dựng tập dữ liệu cho người Việt

Chương 2 tập trung vào phương pháp luận và quy trình thiết kế bộ dữ liệu mang đặc thù nhân khẩu học Việt Nam:

  • Tiêu chí xây dựng dữ liệu: Xác định các yêu cầu kỹ thuật về độ phân giải (tối thiểu Full HD hoặc chuẩn hóa $256 \times 256$), sự đa dạng biểu cảm (vui, buồn, giận dữ, ngạc nhiên, trung tính), sự đa dạng góc chụp (chính diện, nghiêng trái, nghiêng phải, trên xuống, dưới lên), điều kiện ánh sáng (tự nhiên, nhân tạo, ánh sáng yếu/mạnh) và phụ kiện (kính mắt, mũ, khẩu trang). Dữ liệu phản ánh các đặc trưng khuôn mặt người Việt từ ba miền Bắc, Trung, Nam.
  • Thu thập dữ liệu thực tế: Khai thác tập dữ liệu "Vietnamese Celebrity Faces" từ nền tảng Kaggle, thu thập được 8.557 tệp ảnh chân dung phân bố trong 224 thư mục đại diện cho 3 nhóm danh tính:
    • 106 thư mục ảnh ca sĩ Việt Nam.
    • 107 thư mục ảnh diễn viên Việt Nam.
    • 11 thư mục ảnh hoa hậu Việt Nam.
  • Tiền xử lý và Căn chỉnh khuôn mặt: Xây dựng script xử lý nhận các tham số dòng lệnh (--data_dir, --target_dir, --im_size, --min_size, --shrink_factor, --device_id). Sử dụng mô hình RetinaFace-Res50.h5 để trích xuất 5 tọa độ mốc, áp dụng hàm norm_crop căn chỉnh mắt và miệng về vị trí chuẩn hóa, loại bỏ các ảnh lỗi hoặc không đủ kích thước.
  • Đóng gói TFRecord: Xây dựng module chuyển đổi tập dữ liệu ảnh thành các tệp nhị phân TFRecord ({dataset_name}_{data_type}_{shard_id}-of-{total_shards}.records) thông qua tf.train.Example và cấu hình phân chia shard (--num_shards, --shuffle).
  • Triển khai mô hình tạo Deepfake: Thiết lập thuật toán thực thi suy luận qua hai hàm xử lý:
    • Hàm run_inference: Tải mô hình RetinaFace (phát hiện mốc), ArcFace (trích xuất vector đặc trưng 512 chiều) và FaceDancer để hoán đổi khuôn mặt tĩnh từ ảnh nguồn sang ảnh đích.
    • Hàm video_swap: Xử lý phân rã video thành chuỗi khung hình (frames), thực hiện hoán đổi khuôn mặt trên từng frame và ghép nối lại thành video Deepfake hoàn chỉnh.

CHƯƠNG 3: Thực nghiệm và đánh giá tập dữ liệu

Chương 3 trình bày các kết quả thực nghiệm và kiểm định chất lượng:

  • Thực nghiệm tạo Deepfake ảnh: Thực hiện hoán đổi khuôn mặt giữa các cặp danh tính trong bộ dữ liệu người Việt bằng hàm run_inference, hiển thị trực quan các giai đoạn xử lý từ ảnh gốc, ảnh khuôn mặt thay thế đến ảnh kết quả sau chuyển đổi.
  • Thực nghiệm tạo Deepfake video: Ứng dụng hàm video_swap để tạo lập các chuỗi video hoán đổi khuôn mặt người Việt chuyển động liên tục qua từng khung hình.
  • Đánh giá chất lượng định lượng:
    • Dữ liệu hình ảnh: Tính toán chỉ số PSNR và SSIM trên tập dữ liệu ảnh sau khi hoán đổi khuôn mặt so với ảnh gốc mục tiêu (Bảng 3.1 trong đồ án).
    • Dữ liệu video: Thực hiện tính toán chỉ số PSNR và SSIM chi tiết trên từng khung hình (frame-by-frame) của video Deepfake (Bảng 3.2 trong đồ án), chứng minh tính ổn định về mặt cấu trúc và chất lượng thị giác của dữ liệu tổng hợp.

Kết quả và đóng góp

Kết quả kỹ thuật đạt được

  • Bộ dữ liệu ảnh gốc người Việt: Thu thập, làm sạch và chuẩn hóa thành công 8.557 ảnh chân dung khuôn mặt người Việt từ 224 danh mục cá nhân nổi tiếng (106 ca sĩ, 107 diễn viên, 11 hoa hậu) với kích thước chuẩn hóa $256 \times 256$ pixel.
  • Hệ thống pipeline tự động: Xây dựng hoàn chỉnh chuỗi công cụ tự động hóa bao gồm: bộ lọc kích thước, bộ căn chỉnh điểm mốc khuôn mặt bằng RetinaFace, bộ đóng gói TFRecord phân mảnh và bộ suy luận hoán đổi khuôn mặt FaceDancer.
  • Bộ dữ liệu Deepfake thực nghiệm: Tạo lập thành công tập dữ liệu Deepfake dạng hình ảnh và video mang đặc trưng nhân khẩu học người Việt, đồng thời đo lường định lượng thành công chất lượng dữ liệu bằng hai thang đo PSNR và SSIM.

Đóng góp của đề tài

  • Khắc phục khoảng trống dữ liệu: Cung cấp nguồn tài nguyên dữ liệu Deepfake chuyên biệt đầu tiên cho người Việt Nam, giải quyết triệt để vấn đề thiên lệch nhân khẩu học (demographic bias) vốn tồn tại trong các tập dữ liệu quốc tế.
  • Hỗ trợ an ninh thông tin và nghiên cứu AI: Tạo ra tập dữ liệu kiểm thử chuẩn phục vụ việc huấn luyện, đánh giá và cải tiến các mô hình phát hiện Deepfake, đặc biệt là nâng cao độ tin cậy cho các giải pháp xác thực khuôn mặt trong hệ thống E-KYC ngân hàng và bảo vệ thông tin cá nhân.
  • Đảm bảo tính pháp lý: Quy trình thu thập và xử lý dữ liệu được thiết kế bám sát các quy định về quyền riêng tư và an toàn thông tin theo Nghị định 13/2023/NĐ-CP của Chính phủ.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

  • Quy mô và nguồn dữ liệu: Dữ liệu đầu vào mới dừng lại ở phạm vi 8.557 hình ảnh thu thập từ tập dữ liệu người nổi tiếng trên nền tảng Kaggle ("Vietnamese Celebrity Faces"), chưa mở rộng trực tiếp sang dữ liệu chụp thực địa của các nhóm dân cư đa dạng ở nhiều vùng miền ngoài đời thực.
  • Phạm vi dạng thức Deepfake: Đồ án mới tập trung chuyên sâu vào bài toán hoán đổi khuôn mặt (Face Swap) trên hình ảnh và video, chưa triển khai các dạng thức Deepfake phức tạp khác như nhân bản giọng nói tiếng Việt (Voice Cloning) hay tái tạo cử động toàn thân (Full-body Deepfake).
  • Mô hình hóa: Quá trình thực nghiệm tập trung vào việc tạo lập và kiểm định chất lượng tập dữ liệu qua mô hình FaceDancer, chưa đi sâu vào việc xây dựng mô hình phân loại phát hiện Deepfake (Deepfake Detection Classifier) trực tiếp trên tập dữ liệu vừa tạo ra.

Hướng nghiên cứu tiếp theo

  • Mở rộng quy mô thu thập dữ liệu người Việt ngoài thực tế với các điều kiện môi trường ánh sáng phức tạp, biểu cảm đa dạng và có sự cân bằng hơn về độ tuổi, giới tính và vùng miền (Bắc - Trung - Nam).
  • Nghiên cứu kết hợp công nghệ Deepfake đa phương thức (multimodal), tích hợp đồng bộ giữa hoán đổi khuôn mặt và tổng hợp giọng nói tiếng Việt.
  • Sử dụng bộ dữ liệu người Việt đã tạo để huấn luyện và đánh giá hiệu năng của các mạng nơ-ron phát hiện Deepfake tiên tiến, hướng tới xây dựng công cụ phát hiện giả mạo E-KYC trong thực tế.

Giá trị tham khảo

Đồ án là tài liệu chuyên khảo có giá trị kỹ thuật và thực tiễn cao, đặc biệt hữu ích cho các nhóm đối tượng:

  • Sinh viên và học viên ngành An toàn thông tin, Khoa học dữ liệu, Trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chi tiết về quy trình kỹ thuật dữ liệu (Data Engineering) cho các bài toán thị giác máy tính và học sâu.
  • Các nhóm nghiên cứu về AI Safety và Xử lý ảnh: Cung cấp khung kiến trúc kết hợp giữa các mô hình state-of-the-art như FaceDancer, RetinaFace (ResNet50, multi-task loss) và ArcFace (512-dim embedding, angular margin).
  • Kỹ sư phát triển hệ thống xác thực sinh trắc học E-KYC: Tham khảo phương pháp tạo lập các mẫu tấn công giả mạo khuôn mặt (presentation attacks / deepfakes) để phục vụ kiểm thử độ bền vững của hệ thống nhận diện.

Câu hỏi thường gặp

1. Tại sao cần phải xây dựng bộ dữ liệu Deepfake riêng cho người Việt thay vì sử dụng các tập dữ liệu quốc tế như FaceForensics++ hay DFDC?

Các bộ dữ liệu quốc tế như FaceForensics++, DFDC hay Celeb-DF chủ yếu thu thập dữ liệu từ người phương Tây hoặc các nhóm sắc tộc khác. Người Việt Nam có những đặc trưng nhân trắc học riêng biệt như khuôn mặt dạng oval ít góc cạnh, mắt mí lót hoặc mí đơn, sống mũi thấp, sắc tố da tông vàng và tóc tối màu. Việc thiếu dữ liệu đặc trưng khiến các mô hình AI phát hiện Deepfake huấn luyện trên dữ liệu quốc tế bị giảm độ chính xác và dễ phát sinh lỗi khi ứng dụng vào hệ thống thực tế tại Việt Nam (như các hệ thống xác thực E-KYC).

2. Mô hình FaceDancer tạo Deepfake trong đồ án có kiến trúc như thế nào và tích hợp những mạng nơ-ron nào?

FaceDancer là mô hình hoán đổi khuôn mặt một giai đoạn (one-stage) dựa trên mạng GAN có điều kiện. Mô hình bao gồm:

  • Bộ tạo (Generator) kiến trúc U-Net kết hợp mạng ánh xạ $M$ (4 lớp Fully Connected + LeakyReLU) và các khối dư chuyên biệt (residual_down, residual_up, adaptive_fusion_up, dual_adaptive_fusion_up).
  • Bộ phân biệt (Discriminator) sử dụng hàm mất mát bản lề (hinge loss).
  • Mạng RetinaFace (backbone ResNet50) phát hiện khuôn mặt và định vị 5 điểm mốc thông qua hàm Multi-task Loss.
  • Mạng ArcFace trích xuất vector đặc trưng danh tính 512 chiều từ ảnh nguồn bằng hàm mất mát khoảng cách góc (Additive Angular Margin Loss).

3. Tập dữ liệu khuôn mặt người Việt trong đồ án được thu thập từ đâu và có quy mô bao nhiêu?

Tác giả đã thu thập tập dữ liệu "Vietnamese Celebrity Faces" từ nền tảng dữ liệu mở Kaggle. Bộ dữ liệu bao gồm tổng cộng 8.557 hình ảnh chân dung chất lượng cao, được phân loại có cấu trúc vào 224 thư mục tương ứng với 224 người nổi tiếng tại Việt Nam, chia thành 3 nhóm: 106 ca sĩ, 107 diễn viên và 11 hoa hậu.

4. Quy trình tiền xử lý và căn chỉnh hình ảnh được thực hiện bằng những công cụ và tham số nào?

Quy trình tiền xử lý sử dụng mô hình RetinaFace-Res50.h5 để phát hiện khuôn mặt và 5 điểm mốc (mắt, mũi, miệng). Sau đó, hàm norm_crop thực hiện căn chỉnh hình học để mắt và miệng luôn nằm ở vị trí chuẩn hóa. Quá trình xử lý nhận các tham số cấu hình: --data_dir (thư mục nguồn), --target_dir (thư mục đích), --im_size (kích thước ảnh chuẩn $256 \times 256$), --min_size (ngưỡng kích thước tối thiểu để lọc ảnh nhỏ/mờ), --shrink_factor (kiểm soát vùng biên xung quanh khuôn mặt) và --device_id (chỉ định GPU xử lý).

5. Chất lượng của tập dữ liệu ảnh và video Deepfake sinh ra được đánh giá bằng những chỉ số nào?

Đồ án sử dụng hai chỉ số đo lường định lượng chuẩn trong xử lý ảnh và video:

  • PSNR (Peak Signal-to-Noise Ratio): Đo lường tỉ số tín hiệu cực đại trên nhiễu giữa dữ liệu hoán đổi và dữ liệu gốc để đánh giá mức độ biến dạng tín hiệu ảnh (tính bằng dB).
  • SSIM (Structural Similarity Index Measure): Đánh giá độ tương đồng về mặt cấu trúc, độ sáng và độ tương phản giữa ảnh/khung hình Deepfake với ảnh gốc (thang điểm từ 0 đến 1). Cả hai chỉ số được tính toán cho tập ảnh tĩnh và trên từng khung hình (frame-by-frame) của tập video.

Kết luận

Đồ án tốt nghiệp "Nghiên cứu phương pháp xây dựng bộ dữ liệu Deepfake và áp dụng xây dựng bộ dữ liệu Deepfake theo đặc trưng của người Việt" của sinh viên Nguyễn Tiến Dũng đã nghiên cứu và làm chủ thành công quy trình công nghệ tạo lập dữ liệu Deepfake hiện đại dựa trên mô hình FaceDancer kết hợp RetinaFace và ArcFace. Công trình đã xây dựng hoàn chỉnh tập dữ liệu Deepfake dạng ảnh và video từ 8.557 hình ảnh khuôn mặt người Việt Nam, đồng thời thực hiện kiểm định chất lượng khách quan thông qua các chỉ số PSNR và SSIM. Kết quả nghiên cứu đóng góp một nguồn tài nguyên dữ liệu quan trọng, tạo tiền đề vững chắc cho việc phát triển và thử nghiệm các giải pháp phòng chống gian lận định danh E-KYC và bảo đảm an toàn thông tin tại Việt Nam.