Bối cảnh và vấn đề nghiên cứu

Sự phát triển nhanh chóng của công nghệ thông tin đã tối ưu hóa các quy trình thu thập, lưu trữ, truyền tải và phân tích dữ liệu quy mô lớn. Các nguồn dữ liệu cá nhân phong phú từ thư điện tử, mạng Internet, thiết bị di động, hệ thống camera giám sát và thanh toán điện tử đóng vai trò là nguồn tài nguyên cốt lõi để huấn luyện các mô hình học sâu (Deep Learning) ứng dụng trong hệ thống khuyến nghị, xe tự hành hay xử lý ảnh y tế. Tuy nhiên, việc khai thác dữ liệu tập trung làm nảy sinh nguy cơ vi phạm quyền riêng tư nghiêm trọng, dẫn đến nguy cơ rò rỉ dữ liệu nhạy cảm và chịu chế tài từ các khung pháp lý quốc tế, tiêu biểu là Quy định bảo vệ dữ liệu chung (GDPR).

Các kỹ thuật bảo mật truyền thống bộc lộ những hạn chế cố hữu: mật mã học ngăn chặn hoàn toàn khả năng truy cập và phân tích tính toán; trong khi các kỹ thuật làm mờ, ẩn danh hóa thông thường làm suy giảm nghiêm trọng giá trị thông tin và vẫn dễ bị vô hiệu hóa trước các cuộc tấn công liên kết (linkage attack), tấn công phân biệt (differencing attack) hoặc tấn công tái thiết (reconstruction attack). Trước thực tế đó, Quyền riêng tư vi phân (Differential Privacy - DP) kết hợp cùng Mạng sinh đối kháng (Generative Adversarial Networks - GAN) cung cấp một giải pháp toán học chặt chẽ, cho phép trích xuất tri thức thống kê tổng quát mà không tiết lộ thông tin của bất kỳ cá thể riêng lẻ nào.

Nhiệm vụ và mục tiêu nghiên cứu của khóa luận được xác định cụ thể theo 5 nội dung:

  1. Tìm hiểu tổng quan về quyền riêng tư vi phân, các yêu cầu, nguyên lý toán học và đặc tính bảo vệ dữ liệu.
  2. Tìm hiểu và thực nghiệm tổng quan về mạng sinh đối kháng (GAN).
  3. Tìm hiểu và áp dụng khuôn khổ tổng hợp riêng tư của bộ các giáo viên (Private Aggregation of Teacher Ensembles - PATE).
  4. Tìm hiểu và thực nghiệm phương pháp kết hợp PATE-GAN.
  5. Tìm hiểu, thực nghiệm và đánh giá các phương pháp hỗ trợ cung cấp quyền riêng tư vi phân vào dữ liệu hình ảnh.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Cơ sở toán học của quyền riêng tư vi phân; kiến trúc và cơ chế huấn luyện của mạng sinh đối kháng; các phương pháp bảo vệ quyền riêng tư gồm DP-GAN, khuôn khổ PATE và PATE-GAN.
  • Phạm vi dữ liệu: Tập dữ liệu hình ảnh chuẩn MNIST (chữ số viết tay đơn sắc).
  • Phạm vi môi trường và thời gian: Nghiên cứu thực hiện năm 2021 trong khuôn khổ khóa luận kỹ sư Hệ thống thông tin tại Trường Đại học Công nghệ Thông tin - ĐHQG-HCM, triển khai trên nền tảng điện toán đám mây Google Colab và máy trạm cá nhân sử dụng ngôn ngữ Python, các thư viện TensorFlow và Syft (PySyft).

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết toán học xác suất, kỹ thuật học sâu và khung pháp lý quốc tế:

  1. Quyền riêng tư vi phân (Differential Privacy - DP): Định nghĩa toán học về độ an toàn thông tin khi thực hiện các phép phân tích thống kê. Một thuật toán ngẫu nhiên $A$ được định nghĩa là $(\epsilon, \delta)$-riêng tư vi phân nếu với mọi cặp cơ sở dữ liệu $D$ và $D'$ chỉ khác nhau ở một bản ghi dữ liệu duy nhất và với mọi tập kết quả $S$: $$P(A(D) \in S) \le e^\epsilon \cdot P(A(D') \in S) + \delta$$ Trong đó, $\epsilon$ (Epsilon) đại diện cho ngân sách riêng tư (loss of privacy); $\epsilon$ càng nhỏ thì mức độ bảo vệ quyền riêng tư càng cao, nhưng độ chính xác thống kê càng giảm. Thuật toán tung đồng xu (Randomized Response) được tác giả phân tích như một minh chứng sơ khởi về cơ chế tạo "sự từ chối hợp lý" (plausible deniability) với công thức khử nhiễu xác suất: $$p_{\text{guilty}} = 2 \cdot (0.25 + \frac{p}{2}) - 0.5$$
  2. Các tính chất của DP:
    • Định lượng mất quyền riêng tư: Cho phép kiểm soát đánh đổi giữa bảo mật và độ chính xác.
    • Tính thành phần (Composition): Cho phép cộng dồn và kiểm soát tổn thất riêng tư qua nhiều lần tính toán lặp.
    • Quyền riêng tư nhóm (Group Privacy): Cho phép phân tích mức độ bảo vệ cho các tập hợp đối tượng liên đới.
    • Hậu xử lý toàn vẹn (Post-processing Immunity): Mọi thao tác xử lý trên đầu ra của thuật toán đạt chuẩn DP đều không làm suy giảm mức độ riêng tư sẵn có.
  3. Mạng sinh đối kháng (Generative Adversarial Networks - GAN): Mô hình học máy không giám sát gồm hai mạng nơ-ron đối nghịch: Bộ tạo (Generator - $G$) sinh mẫu giả từ vector nhiễu ngẫu nhiên phân bố Gauss, và Bộ phân biệt (Discriminator - $D$) thực hiện phân lớp nhị phân để phân biệt mẫu thật và mẫu giả. Quá trình huấn luyện biểu diễn qua hàm mục tiêu minimax: $$\min_G \max_D V(D, G) = \mathbb{E}{x \sim p{\text{data}}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log (1 - D(G(z)))]$$
  4. Các biến thể bảo vệ quyền riêng tư:
    • DP-GAN: Thêm nhiễu trực tiếp vào gradient hoặc lớp ẩn của Bộ phân biệt nhằm ngăn chặn việc ghi nhớ dữ liệu huấn luyện nhạy cảm.
    • Khuôn khổ PATE: Phân chia dữ liệu thành $K$ phân vùng không chồng lặp để huấn luyện $n$ mô hình Teacher độc lập. Các Teacher dự đoán nhãn cho dữ liệu công khai, sau đó cơ chế tổng hợp (LNMax hoặc GNMax) sẽ cộng nhiễu Laplace hoặc Gaussian vào số phiếu bầu trước khi gán nhãn cho mô hình Student học bán giám sát.
    • PATE-GAN: Tích hợp khuôn khổ PATE vào GAN, sử dụng cơ chế chọn lọc truy vấn thông qua hai thuật toán: Secret-GNMax Aggregator và Interactive-GNMax Aggregator.
  5. Hàm kích hoạt và thuật toán tối ưu:
    • Hàm Sigmoid: $S(x) = \frac{1}{1 + e^{-x}}$, dùng tại lớp đầu ra để xuất xác suất nhị phân, nhưng có nhược điểm triệt tiêu đạo hàm khi mạng sâu.
    • Hàm Leaky ReLU: $f(x) = x$ nếu $x > 0$ và $f(x) = 0.01x$ nếu ngược lại, giải quyết triệt để lỗi "Dying ReLU" và tăng tốc độ hội tụ.
    • Bộ tối ưu Adam (Adaptive Moment Estimation): Kết hợp ưu điểm của AdaGrad và RMSProp, sử dụng ước lượng mô-men bậc một ($m_t$) và bậc hai ($v_t$) với các tham số chuẩn $\beta_1 = 0.9$, $\beta_2 = 0.999$, $\epsilon = 10^{-8}$.
  6. Nguồn dữ liệu: Cơ sở dữ liệu chuẩn MNIST gồm 70.000 ảnh chữ số viết tay kích thước cố định $28 \times 28$ pixel (60.000 ảnh huấn luyện, 10.000 ảnh kiểm thử).
Thành phần kỹ thuật Chi tiết áp dụng trong khóa luận
Ngôn ngữ lập trình Python 3.7
Thư viện chuyên dụng TensorFlow (bản 1.x và 2.x), Syft (phiên bản 0.9)
Hàm tối ưu hóa Adam ($\beta_1 = 0.9$, $\beta_2 = 0.999$, $\epsilon = 10^{-8}$)
Hàm kích hoạt Leaky ReLU (các lớp ẩn), Sigmoid (lớp đầu ra phân lớp)
Cơ chế nhiễu DP Nhiễu Gaussian, nhiễu Laplace (Laplacian Noise)
Tập dữ liệu chuẩn MNIST ($28 \times 28$ pixel, tương đương 784 thuộc tính đầu vào)

Nội dung chính theo từng chương

Chương 1. TỔNG QUAN ĐỀ TÀI

Chương 1 thiết lập bài toán nghiên cứu dựa trên sự xung đột giữa nhu cầu khai thác dữ liệu quy mô lớn cho trí tuệ nhân tạo và các rào cản pháp lý bảo vệ dữ liệu cá nhân (GDPR). Tác giả phân tích các kịch bản tấn công thực tế khi đối tượng xấu có chủ đích truy vấn dữ liệu nhạy cảm (như hồ sơ phẫu thuật thẩm mỹ, lịch sử nạp tiền trò chơi điện tử, bệnh án xương khớp) để trục lợi. Các kỹ thuật mã hóa và ẩn danh hóa truyền thống bị chứng minh là không còn đáp ứng tốt bài toán hiện đại.

Bên cạnh việc xác định mục tiêu và phạm vi nghiên cứu, chương này đi sâu phân tích 3 thách thức kỹ thuật lớn trong quá trình huấn luyện mạng GAN:

  • Không hội tụ (Non-convergence): Bộ tạo hoặc Bộ phân biệt không thể tối ưu hóa đồng thời dẫn đến thất bại của toàn bộ hệ thống.
  • Sụp đổ mode (Mode collapse): Bộ tạo chỉ tập trung sinh ra một tập hợp mẫu giả hẹp giống hệt nhau mà không phản ánh được sự đa dạng của phân bố gốc.
  • Triệt tiêu gradient (Diminished gradient / Vanishing gradient): Bộ phân biệt đạt trạng thái tối ưu quá nhanh ở các epoch đầu tiên, khiến tín hiệu gradient truyền về Bộ tạo bị triệt tiêu, làm Bộ tạo ngừng học.

Chương 2. CƠ SỞ LÝ THUYẾT

Chương 2 trình bày chi tiết nền tảng toán học của quyền riêng tư vi phân và kiến trúc mạng sinh học sâu:

  • Phân tích chi tiết công thức $(\epsilon, \delta)$-DP và mô phỏng cơ chế tung đồng xu với xác suất tiệm cận theo Luật số lớn. Tác giả thực hiện khảo sát lý thuyết về sự đánh đổi giữa ngân sách $\epsilon$ và độ chính xác (Accuracy), chỉ ra rằng khi $\epsilon \to 0$ (bảo mật tuyệt đối), thuật toán trở nên độc lập với dữ liệu và kết quả đầu ra hoàn toàn là nhiễu thuần túy.
  • Phân biệt bản chất giữa học có giám sát (Supervised Learning) và học không giám sát (Unsupervised Learning), từ đó giải thích cơ chế chuyển hóa bài toán học không giám sát thành bài toán phân loại đối kháng nhị phân trong GAN.
  • Giới thiệu các mô hình mở rộng: DP-GAN (áp dụng nhiễu vào gradient), khuôn khổ PATE (sử dụng cụm mô hình Teacher để gắn nhãn bảo mật cho Student), và PATE-GAN.
  • Trình bày cơ sở giải thuật của các hàm kích hoạt Sigmoid, Leaky ReLU, bộ tối ưu hóa thích ứng Adam và các ưu điểm của ngôn ngữ lập trình Python trong tính toán khoa học.

Chương 3. LÝ THUYẾT ÁP DỤNG CÁC PHƯƠNG PHÁP VÀO DỮ LIỆU HÌNH ẢNH

Chương này cụ thể hóa các công thức toán học và cấu trúc giải thuật áp dụng vào miền dữ liệu ảnh:

  • Xây dựng hệ thống hàm mất mát chi tiết cho Bộ tạo và Bộ phân biệt trong GAN, giải thích nguyên lý đạt điểm cân bằng Nash (Nash equilibrium).
  • Phân tích cơ chế hoạt động của khuôn khổ PATE trên dữ liệu ảnh: chia tập dữ liệu huấn luyện bằng kỹ thuật K-fold không chồng lặp tương ứng với số lượng Teacher. Khi các Teacher đạt sự đồng thuận cao, việc thêm nhiễu Laplace/Gaussian không làm thay đổi nhãn có số phiếu cao nhất. Ngược lại, khi các lớp nhận số phiếu ngang nhau, nhiễu ngẫu nhiên sẽ đóng vai trò quyết định nhằm ngăn chặn việc suy diễn dữ liệu cá nhân.
  • Trình bày hai thuật toán cốt lõi của phương pháp PATE-GAN:
    • Thuật toán 1 (Secret-GNMax Aggregator): Kiểm tra mức độ đồng thuận của các Teacher dựa trên ngưỡng $T$ cộng nhiễu Gaussian $\mathcal{N}(0, \sigma_1^2)$. Chỉ những truy vấn vượt qua ngưỡng này mới được chuyển sang cơ chế lấy nhãn argmax với nhiễu Gaussian nhỏ hơn $\mathcal{N}(0, \sigma_2^2)$; các truy vấn không đạt ngưỡng sẽ bị loại bỏ để tránh tiêu tốn ngân sách bảo mật.
    • Thuật toán 2 (Interactive-GNMax Aggregator): So sánh dự đoán của Student $p(x)$ với phiếu bầu của Teacher có cộng nhiễu Gaussian. Nếu Student bất đồng quan điểm nhưng Teacher đạt độ đồng thuận vượt ngưỡng, Teacher sẽ cấp nhãn mới. Nếu Student đồng tình và tự tin vượt ngưỡng tin cậy $\gamma$, hệ thống sẽ củng cố nhãn cho Student mà không cần kiểm tra lại phiếu bầu, giúp tiết kiệm tối đa chi phí riêng tư.

Chương 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ

Chương 4 mô tả toàn bộ cấu hình hạ tầng, kiến trúc mô hình và các bước thực nghiệm trên tập dữ liệu MNIST:

  • Môi trường thực thi:
    • Thực nghiệm DP-GAN và PATE: Chạy trên Google Colab với cấu hình GPU NVIDIA Tesla K80 12GB GDDR5 VRAM, CPU Intel Xeon 2 nhân @ 2.20 GHz, 13GB RAM, môi trường Python 3.7 và TensorFlow.
    • Thực nghiệm PATE-GAN: Chạy trên máy trạm cá nhân CPU Intel Core i5-7200U @ 2.50 GHz, 12GB GDDR4 RAM, GPU NVIDIA GeForce 940MX 2GB, môi trường Python 3.7 và TensorFlow 2.
  • Thực nghiệm DP-GAN:
    • Bộ tạo (Generator): Đầu vào là vector nhiễu ngẫu nhiên 100 chiều ($z$). Mạng Fully Connected (FC) gồm các tầng ẩn lần lượt có số nút: 256 (FC1), 512 (FC2), 1024 (FC3), và tầng đầu ra 784 nút (FC4), sau đó định hình lại (reshape) thành ảnh kích thước $28 \times 28$.
    • Bộ phân biệt (Discriminator): Cấu trúc đối xứng ngược lại với đầu vào 784 chiều, các tầng ẩn gồm 1024 nút (FC1), 512 nút (FC2), 256 nút (FC3) và đầu ra 1 nút với hàm Sigmoid. Tầng ẩn cuối cùng được thêm nhiễu Gaussian để thực thi quyền riêng tư vi phân.
  • Thực nghiệm khuôn khổ PATE: Sử dụng thư viện syft==0.9, triển khai hàm cal_max và noisy_max để kiểm định 4 kịch bản tham số trước khi huấn luyện:
    • Kịch bản 1: $\epsilon = 5$, số Teacher = 1.000, số mẫu = 10.000, số nhãn = 1.
    • Kịch bản 2: $\epsilon = 5$, số Teacher = 1.000, số mẫu = 1.000, số nhãn = 10.
    • Kịch bản 3: $\epsilon = 5$, số Teacher = 100, số mẫu = 1.000, số nhãn = 100.
    • Kịch bản 4: $\epsilon = 0.001$, số Teacher = 100, số mẫu = 1.000, số nhãn = 100.
    • Triển khai huấn luyện thực tế với mức bảo vệ riêng tư trung bình của các Teacher đạt $\epsilon = 2$.
  • Thực nghiệm PATE-GAN: Khởi tạo mạng nơ-ron cho bộ tổng hợp, bộ phân biệt Teacher, bộ phân biệt Student và bộ tạo. Thực hiện huấn luyện toàn diện qua 200 epochs, theo dõi hàm mất mát và điểm đánh giá của Bộ tạo (tiệm cận về 0) cùng Bộ phân biệt (tiệm cận về 1).

Kết quả và đóng góp

Khóa luận đã triển khai thành công quy trình mô phỏng và thực nghiệm các phương pháp bảo vệ quyền riêng tư vi phân trên tập dữ liệu ảnh MNIST, thu được các kết quả cụ thể:

Mô hình / Phương pháp Cấu hình kiến trúc thực nghiệm Cơ chế bảo vệ riêng tư Kết quả ghi nhận trong văn bản
DP-GAN Generator: 100 $\to$ 256 $\to$ 512 $\to$ 1024 $\to$ 784
Discriminator: 784 $\to$ 1024 $\to$ 512 $\to$ 256 $\to$ 1		 Thêm nhiễu Gaussian vào tầng ẩn cuối của Discriminator Huấn luyện đạt trạng thái cân bằng Nash; kiểm soát hiện tượng mất mát (loss function) qua các epoch
PATE Phân vùng K-fold, tập hợp Teacher độc lập, mô hình Student Cơ chế tổng hợp LNMax / GNMax cộng nhiễu Laplace/Gaussian Kiểm định 4 kịch bản tham số trên thư viện Syft; độ chính xác trung bình của Teacher đạt mức bảo vệ $\epsilon = 2$
PATE-GAN Bộ tạo + Bộ phân biệt Teacher + Bộ tổng hợp + Bộ phân biệt Student Secret-GNMax và Interactive-GNMax Aggregator Huấn luyện thành công qua 200 epochs; kiểm soát sự đối kháng giữa bộ tạo và bộ phân biệt

Các đóng góp chính của tác giả gồm:

  • Hệ thống hóa toàn diện cơ sở toán học của quyền riêng tư vi phân, phân tích rõ ràng mối quan hệ định lượng giữa tham số bảo mật $\epsilon$ và tính hữu ích của dữ liệu thống kê.
  • Thiết kế và triển khai thực nghiệm hoàn chỉnh kiến trúc mạng nơ-ron đối xứng cho mô hình DP-GAN trên dữ liệu ảnh MNIST, chứng minh khả năng đưa nhiễu vào quá trình huấn luyện nhằm ngăn chặn trích xuất thông tin cá nhân.
  • Kiểm định có hệ thống các kịch bản thông số của khuôn khổ PATE bằng thư viện chuyên dụng Syft, làm rõ tác động của số lượng Teacher, số lượng mẫu và mức $\epsilon$ đến hiệu quả biểu quyết.
  • Cài đặt thực nghiệm mô hình PATE-GAN kết hợp với các cơ chế tổng hợp có chọn lọc (Secret-GNMax và Interactive-GNMax), chứng minh tính khả thi của việc giảm thiểu chi phí ngân sách riêng tư trong các tác vụ học máy đối kháng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được đề cập trong văn bản:

  • Quá trình huấn luyện mạng sinh đối kháng vốn phức tạp, dễ gặp các lỗi đặc thù như mô hình không hội tụ, sụp đổ mode (sinh ra các ảnh giả đơn điệu) hoặc triệt tiêu gradient (khiến Bộ tạo học rất chậm hoặc ngừng cập nhật).
  • Sự đánh đổi tất yếu giữa mức độ bảo vệ quyền riêng tư và chất lượng dữ liệu: việc giảm tham số $\epsilon$ để tăng cường tính riêng tư dẫn đến việc đưa vào lượng nhiễu lớn hơn, trực tiếp làm giảm độ nét của ảnh sinh ra và độ chính xác của mô hình phân lớp.
  • Khuôn khổ PATE đòi hỏi tài nguyên tính toán lớn do phải phân chia dữ liệu và huấn luyện độc lập một số lượng lớn các mô hình Teacher ($n = 100$ đến $1.000$ mô hình).

Hướng phát triển:

  • Mở rộng nghiên cứu và ứng dụng phương pháp G-PATE (Generative PATE) nhằm tối ưu hóa hơn nữa quy trình sinh dữ liệu ảnh đảm bảo quyền riêng tư vi phân, cải thiện chất lượng mẫu sinh và tiết kiệm ngân sách tính toán.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị chuyên môn cho:

  • Sinh viên và học viên cao học thuộc các chuyên ngành Hệ thống thông tin, Khoa học dữ liệu, Khoa học máy tính và Trí tuệ nhân tạo đang nghiên cứu hướng đề tài học máy bảo toàn quyền riêng tư (Privacy-Preserving Machine Learning - PPML).
  • Các kỹ sư và nhà phát triển xây dựng hệ thống thu thập, xử lý dữ liệu người dùng cần đáp ứng các tiêu chuẩn bảo mật dữ liệu nghiêm ngặt như GDPR.
  • Nội dung tham khảo hữu ích:
    • Chương 2 cung cấp lời giải thích trực quan, dễ tiếp cận về toán học quyền riêng tư vi phân thông qua ví dụ tung đồng xu và các đặc tính bảo toàn.
    • Chương 3 cung cấp quy trình giải thuật chi tiết của hai cơ chế tổng hợp nâng cao Secret-GNMax và Interactive-GNMax.
    • Chương 4 cung cấp thông số cấu hình cụ thể về số tầng, số nút của mạng nơ-ron đối kháng và các kịch bản kiểm tra tham số $\epsilon$ trên thư viện Syft.

Câu hỏi thường gặp

1. Tham số $\epsilon$ (Epsilon) trong quyền riêng tư vi phân thể hiện điều gì và tác động như thế nào đến mô hình?

Trong công thức $(\epsilon, \delta)$-DP, $\epsilon$ là chỉ số đo lường tổn thất quyền riêng tư khi có sự thay đổi một đơn vị dữ liệu đầu vào. Giá trị $\epsilon$ càng nhỏ thể hiện mức độ bảo vệ quyền riêng tư càng cao. Khi $\epsilon = 0$, thuật toán đạt mức bảo vệ hoàn hảo nhưng kết quả trả về hoàn toàn là nhiễu, khiến độ chính xác của mô hình giảm xuống mức thấp nhất. Do đó, việc thiết lập $\epsilon$ là bài toán cân bằng giữa tính bảo mật và tính hữu ích của dữ liệu.

2. Thuật toán Secret-GNMax và Interactive-GNMax trong PATE-GAN giải quyết vấn đề gì?

Hai thuật toán này cải tiến cơ chế tổng hợp của PATE nhằm giảm thiểu chi phí ngân sách bảo mật. Secret-GNMax lọc bỏ các truy vấn mà các Teacher không đạt được sự đồng thuận cao thông qua việc so sánh số phiếu với ngưỡng $T$ có cộng nhiễu Gaussian. Interactive-GNMax tiếp tục so sánh kết quả dự đoán của Student với Teacher; nếu Student đã tự tin và đồng thuận với Teacher, hệ thống sẽ củng cố nhãn cho Student mà không cần truy vấn lại số phiếu của Teacher, từ đó tiết kiệm ngân sách bảo mật $\epsilon$.

3. Trong thực nghiệm DP-GAN, cơ chế bảo vệ quyền riêng tư được đưa vào vị trí nào?

Nhiễu Gaussian được bổ sung trực tiếp vào tầng ẩn cuối cùng của mạng nơ-ron Bộ phân biệt (Discriminator). Việc này nhằm làm nhiễu thông tin gradient trong quá trình lan truyền ngược, ngăn chặn việc Bộ tạo và Bộ phân biệt ghi nhớ chính xác các điểm dữ liệu huấn luyện nhạy cảm của tập dữ liệu thật.

4. Tại sao tác giả sử dụng hàm kích hoạt Leaky ReLU thay thế cho Sigmoid và ReLU tiêu chuẩn?

Hàm Sigmoid có phạm vi đạo hàm hẹp, gây mất mát thông tin nghiêm trọng khi mạng nơ-ron có nhiều tầng ẩn sâu. ReLU tiêu chuẩn giải quyết được vấn đề này nhưng lại mắc lỗi "Dying ReLU" (các nút có giá trị âm sẽ có đạo hàm bằng 0 và ngừng cập nhật trọng số). Leaky ReLU khắc phục hoàn toàn điểm yếu này bằng cách cho phép một hệ số góc nhỏ ($0.01x$) đối với các giá trị âm, giúp mạng duy trì cập nhật gradient và đẩy nhanh tốc độ hội tụ.

5. Cấu hình kiến trúc mạng nơ-ron thực nghiệm của Bộ tạo (Generator) trong DP-GAN gồm những gì?

Bộ tạo nhận đầu vào là vector nhiễu ngẫu nhiên 100 chiều ($z$) lấy mẫu từ phân bố Gauss. Mạng nơ-ron truyền thẳng gồm 3 tầng ẩn fully connected với số nút lần lượt là 256 (FC1), 512 (FC2), 1024 (FC3). Tầng đầu ra (FC4) có 784 nút, tương ứng với kích thước ảnh xám $28 \times 28$ pixel của tập dữ liệu MNIST.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Duy Thiện đã nghiên cứu có hệ thống và thực nghiệm thành công các mô hình toán học bảo vệ quyền riêng tư vi phân (DP) kết hợp cùng mạng sinh đối kháng (GAN) trên tập dữ liệu hình ảnh MNIST. Công trình làm rõ cơ chế cân bằng giữa ngân sách bảo mật $\epsilon$ và độ chính xác phân tích thông qua các giải thuật tiên tiến gồm DP-GAN, khuôn khổ PATE và PATE-GAN với các cơ chế chọn lọc truy vấn Secret-GNMax và Interactive-GNMax. Kết quả nghiên cứu khẳng định tính khả thi của việc ứng dụng kỹ thuật sinh dữ liệu và tổng hợp phân tán có kiểm soát nhiễu, mở ra giải pháp thực tiễn cho bài toán thu thập và khai thác dữ liệu người dùng tuân thủ các quy chuẩn bảo mật quốc tế.