Giới thiệu dự án

Trong kỷ nguyên bùng nổ của trí tuệ nhân tạo (Artificial Intelligence - AI) và học sâu (Deep Learning - DL), việc huấn luyện các mô hình tham số lớn đòi hỏi nguồn tài nguyên dữ liệu khổng lồ. Theo thống kê từ IDC, hơn 80% khối lượng dữ liệu toàn cầu hiện nay được tạo ra tại các thiết bị biên hoặc phân tán trong các tổ chức riêng biệt. Tuy nhiên, các rào cản pháp lý nghiêm ngặt về bảo vệ quyền riêng tư như Quy định chung về bảo vệ dữ liệu của Liên minh Châu Âu (GDPR) hay Đạo luật về trách nhiệm giải trình và cung cấp thông tin bảo hiểm y tế của Hoa Kỳ (HIPAA) khiến việc thu thập dữ liệu về một máy chủ trung tâm trở nên bất khả thi.

+-----------------------------------------------------------------------------+
|                      RỦI RO RÒ RỈ TRONG FEDERATED LEARNING                  |
|                                                                             |
|   [Client 1: Data x_1] ---> Huấn luyện cục bộ ---> Tính Gradient (∇W_1)     |
|                                                          |                  |
|                                                   (Gửi qua mạng)            |
|                                                          v                  |
|   [Kẻ tấn công / Server] <--- Đánh chặn Gradient <-------+                  |
|           |                                                                 |
|           +---> Thuật toán DLG / iDLG (Tối ưu hóa dữ liệu giả)              |
|           |                                                                 |
|           +---> [Phục hồi 100% Ảnh gốc x_1 và Nhãn y_1] (Data Breach!)      |
+-----------------------------------------------------------------------------+

Vấn đề cốt lõi và bài toán thực tế

Mô hình Học phân tán (Distributed Training) và Học liên kết (Federated Learning - FL) ra đời như một giải pháp cứu cánh: dữ liệu gốc $x$ được giữ nguyên vẹn tại các máy khách (clients), các nút chỉ trao đổi thông số độ dốc (Gradients - $\nabla W$) với máy chủ điều phối (Parameter Server). Trong thời gian dài, cộng đồng kỹ thuật mặc định rằng cơ chế chia sẻ Gradient ("Gradient Sharing" scheme) là an toàn tuyệt đối.

Tuy nhiên, các nghiên cứu gần đây đã chỉ ra lỗ hổng bảo mật nghiêm trọng: kẻ tấn công đóng vai trò máy chủ độc hại hoặc kẻ nghe lén trên đường truyền có thể thực hiện kỹ thuật Rò rỉ sâu từ Gradient (Deep Leakage from Gradients - DLG) nhằm đảo ngược quá trình tính toán, tái tạo chính xác từng pixel hình ảnh và nhãn phân loại ban đầu mà không cần biết trước phân phối dữ liệu.

Mục tiêu của đồ án

Đề tài khóa luận tốt nghiệp kỹ sư ngành Hệ thống Thông tin tại Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM do sinh viên Võ Đình Khang và Nguyễn Đức Tuyến thực hiện (dưới sự hướng dẫn của ThS. Hà Lê Hoài Trung) tập trung giải quyết các mục tiêu trọng điểm:

  1. Khảo sát chuyên sâu kiến trúc mô hình học sâu phân tán, cơ chế lan truyền ngược (Backpropagation) và luồng trao đổi Gradient trong Federated Learning.
  2. Hiện thực hóa và kiểm chứng thuật toán tấn công DLG/iDLG, chứng minh nguy cơ rò rỉ dữ liệu điểm-điểm thông qua việc phân tích đạo hàm hàm mất mát Cross-Entropy.
  3. Thực nghiệm hệ thống Federated Learning mô phỏng trên tập dữ liệu chuẩn CIFAR-10 với kiến trúc mạng VGG-19, phân tích hiệu năng hội tụ qua 150 vòng giao tiếp (Communication Rounds).
  4. Đánh giá định lượng các cơ chế phòng thủ quyền riêng tư: Thêm nhiễu vi phân (Gaussian/Laplacian Noise), Cắt tỉa và Nén Gradient (Gradient Pruning/Compression), Lượng tử hóa số học (FP16/INT8) và Mật mã học (Secure Aggregation).

Phương pháp tiếp cận và kết quả kỳ vọng

Đồ án tiếp cận bài toán bằng việc thiết lập môi trường mô phỏng đa nút trên nền tảng PyTorch và Google Colab GPU. Hệ thống kiểm chứng khả năng tái tạo dữ liệu của thuật toán DLG trên mạng LeNet-5, đồng thời đo lường mức độ đánh đổi (Trade-off) giữa độ chính xác phân loại của mô hình và năng lực bảo mật dữ liệu. Kỳ vọng đạt độ chính xác mô hình học liên kết tiệm cận mô hình tập trung (>89%) trong khi xác lập được ngưỡng phòng thủ an toàn trước các cuộc tấn công tái tạo gradient.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi Federated Learning xuất hiện, các hệ thống AI phụ thuộc hoàn toàn vào cơ chế huấn luyện tập trung (Centralized Training). Khi các yêu cầu bảo mật gia tăng, các phương pháp bảo vệ phân tán dần được đề xuất nhưng đều tồn tại các giới hạn kỹ thuật.

Tiêu chí so sánh Huấn luyện tập trung (Centralized SGD) Học liên kết truyền thống (Standard FedAvg) Học liên kết bảo mật (Secure FL + Gradient Sanitization)
Vị trí lưu trữ dữ liệu Gom toàn bộ về Data Center Cục bộ tại thiết bị người dùng (Client) Cục bộ tại Client + Mã hóa phân tán
Dữ liệu truyền tải Raw Data ($x, y$) Gradient / Model Weights ($\nabla W, W$) Noisy / Pruned / Encrypted Gradients
Nguy cơ rò rỉ dữ liệu Rất cao (Tấn công trực tiếp Server) Cao (Tấn công tái tạo qua DLG/iDLG) Rất thấp (Kháng nghịch đảo mô hình)
Băng thông mạng yêu cầu Cực lớn khi truyền tập dữ liệu lớn Trung bình (Phụ thuộc kích thước mô hình) Tối ưu hóa nhờ nén Gradient (DGC)
Độ phức tạp tính toán Tập trung tại Cluster GPU Phân tán trên các Worker/Edge Devices Thêm chi phí tính toán nhiễu/mã hóa

Ma trận yêu cầu hệ thống theo mô hình MoSCoW

  • Must Have (Bắt buộc): Hiện thực hóa pipeline Federated Learning tối thiểu 6 clients; thuật toán tấn công tái tạo ảnh DLG trích xuất được pixel gốc; phân tích logic dấu của đạo hàm nhãn (iDLG).
  • Should Have (Nên có): Tích hợp mô phỏng phòng thủ bằng nhiễu Gaussian và Laplacian với các mức phương sai $10^{-4} \le \sigma^2 \le 10^{-1}$; cơ chế Gradient Pruning với tỷ lệ cắt tỉa từ 10% đến 70%.
  • Could Have (Có thể có): Khảo sát kỹ thuật nén Gradient sâu (Deep Gradient Compression - DGC) để giảm tải băng thông mạng.
  • Won't Have (Chưa thực hiện): Triển khai phần cứng trên vi điều khiển nhúng thời gian thực hoặc giao thức mã hóa đồng hình toàn phần (FHE) đa bên.
+-----------------------------------------------------------------------------------+
|                        KIẾN TRÚC HỌC LIÊN KẾT PHÂN TÁN                            |
|                                                                                   |
|                           +-----------------------+                               |
|                           |   PARAMETER SERVER    |                               |
|                           | (Global Aggregation)  |                               |
|                           +-----------+-----------+                               |
|                                       ^                                           |
|              Phân phối mô hình toàn cục W | Gửi bản cập nhật ∇W_k                 |
|                                       v                                           |
|     +--------------------+   +--------------------+   +--------------------+      |
|     |     Client 1       |   |      Client 2      |   |      Client N      |      |
|     |  Dataset: CIFAR-10 |   |  Dataset: CIFAR-10 |   |  Dataset: CIFAR-10 |      |
|     |  Model: VGG-19     |   |  Model: VGG-19     |   |  Model: VGG-19     |      |
|     |  Optimizer: SGD    |   |  Optimizer: SGD    |   |  Optimizer: SGD    |      |
|     +--------------------+   +--------------------+   +--------------------+      |
+-----------------------------------------------------------------------------------+

Thiết kế hệ thống và cơ sở toán học

Công thức toán học nền tảng

Mạng nơ-ron truyền thẳng (Multi-Layer Perceptron - MLP) và Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) hoạt động dựa trên các phép biến đổi tuyến tính kết hợp hàm kích hoạt phi tuyến:

$$z^{(l)} = W^{(l)T} a^{(l-1)} + b^{(l)}$$

$$a^{(l)} = \sigma\left(z^{(l)}\right) = \frac{1}{1 + e^{-z^{(l)}}}$$

Trong quá trình huấn luyện bằng thuật toán hạ độ dốc ngẫu nhiên (Stochastic Gradient Descent - SGD), trọng số $W$ được cập nhật ngược chiều với Gradient của hàm mất mát $\mathcal{L}$:

$$W_{t+1} = W_t - \eta \nabla_{W} \mathcal{L}(F(x; W_t), y)$$

Thuật toán Rò rỉ sâu từ Gradient (DLG)

Kẻ tấn công khởi tạo dữ liệu giả $x'$ và nhãn giả $y'$ ngẫu nhiên từ phân phối chuẩn Gaussian. Sau đó, tính toán gradient giả $\nabla W'$ và tối ưu hóa $x', y'$ thông qua hàm mục tiêu khoảng cách Euclidean:

$$\mathcal{L}_{DLG}(x', y') = |\nabla W' - \nabla W|^2 = \left| \frac{\partial \mathcal{L}(F(x'; W), y')}{\partial W} - \frac{\partial \mathcal{L}(F(x; W), y)}{\partial W} \right|^2$$

$$x'{t+1} = x't - \alpha \nabla{x'} \mathcal{L}{DLG}, \quad y'{t+1} = y't - \alpha \nabla{y'} \mathcal{L}{DLG}$$

Thuật toán cải tiến iDLG (Improved DLG)

Đối với hàm mất mát Cross-Entropy $\mathcal{L}_{CE} = -\sum_i y_i \log p_i$, đạo hàm đối với đầu ra logits $z_i$ tại lớp Softmax cuối cùng có dạng:

$$\frac{\partial \mathcal{L}{CE}}{\partial z_i} = p_i - y_i \implies \begin{cases} p_i - 1 < 0 & \text{khi } i = y{\text{true}} \ p_i > 0 & \text{khi } i \neq y_{\text{true}} \end{cases}$$

Nhờ sự đối lập về dấu trên lớp Fully Connected cuối cùng, kẻ tấn công có thể xác định chính xác 100% nhãn mặt đất $y_{\text{true}}$ ngay tại bước lặp đầu tiên, giúp giảm 50% không gian tìm kiếm và tăng tốc độ hội tụ của ảnh phục hồi.

Danh mục công nghệ sử dụng

  • Ngôn ngữ: Python 3.8+
  • Thư viện Deep Learning: PyTorch 1.9.0, Torchvision 0.10.0
  • Xử lý ma trận & thị giác: NumPy 1.21.0, OpenCV 4.5.3, Matplotlib 3.4.2
  • Môi trường tính toán: Google Colaboratory (GPU NVIDIA Tesla T4 16GB VRAM, CUDA 11.2)

Phương pháp luận (Methodology)

Quy trình nghiên cứu được triển khai theo 4 mốc tiến độ (Milestones):

  1. Milestone 1 (Tuần 1 - 4): Khảo sát tài liệu lý thuyết về Perceptron, MLP, CNN, Federated Learning và cơ chế tối ưu hóa SGD.
  2. Milestone 2 (Tuần 5 - 8): Xây dựng pipeline mô phỏng Federated Learning tập trung trên tập dữ liệu CIFAR-10 sử dụng mạng VGG-19 với 6 clients phân tán.
  3. Milestone 3 (Tuần 9 - 12): Hiện thực hóa thuật toán tấn công DLG/iDLG trên mạng LeNet-5, đánh giá khả năng tái tạo ảnh qua các bước lặp (Iterations).
  4. Milestone 4 (Tuần 13 - 16): Thực nghiệm và đối sánh 4 chiến lược phòng vệ dữ liệu (Differential Privacy Noise, Pruning, FP16, Batch Size), tổng hợp báo cáo.

Implementation và kết quả

Quá trình phát triển và thuật toán cốt lõi

Quy trình tấn công phục hồi dữ liệu từ Gradient được hiện thực hóa bằng PyTorch với module tối ưu hóa L-BFGS nhằm tìm kiếm điểm cực tiểu của hàm mất mát gradient:

import torch
import torch.nn as nn
import torch.optim as optim

def deep_leakage_from_gradients(model, target_gradients, img_shape=(1, 3, 32, 32), num_classes=10, iterations=300):
    """
    Thuật toán DLG: Tái tạo dữ liệu huấn luyện (x, y) từ Target Gradients
    """
    criterion = nn.CrossEntropyLoss()
    
    # 1. Khởi tạo dummy data và dummy label ngẫu nhiên
    dummy_data = torch.randn(img_shape, requires_grad=True, device="cuda")
    dummy_label = torch.randn((1, num_classes), requires_grad=True, device="cuda")
    
    # Sử dụng optimizer L-BFGS để tối ưu hóa trực tiếp trên pixel ảnh giả
    optimizer = optim.LBFGS([dummy_data, dummy_label], lr=1.0)
    
    for iters in range(iterations):
        def closure():
            optimizer.zero_grad()
            # Forward pass với dữ liệu giả
            dummy_pred = model(dummy_data)
            dummy_loss = criterion(dummy_pred, torch.softmax(dummy_label, dim=-1))
            
            # Tính gradient của dummy loss đối với trọng số mô hình
            dummy_gradients = torch.autograd.grad(dummy_loss, model.parameters(), create_graph=True)
            
            # Tính khoảng cách Euclidean giữa dummy gradients và target gradients
            grad_distance = 0
            for dg, tg in zip(dummy_gradients, target_gradients):
                grad_distance += ((dg - tg) ** 2).sum()
                
            grad_distance.backward()
            return grad_distance
        
        optimizer.step(closure)
        
    return dummy_data.detach(), torch.argmax(dummy_label, dim=-1).item()

+-----------------------------------------------------------------------------+
|                TIẾN TRÌNH TÁI TẠO ẢNH QUA CÁC VÒNG LẶP (DLG)                |
|                                                                             |
|   Iter 0        Iter 40       Iter 80       Iter 120      Iter 290          |
|  +--------+    +--------+    +--------+    +--------+    +--------+         |
|  | Nhiễu  | -> | Vệt mờ | -> | Hình   | -> | Rõ nét | -> | Khớp   |         |
|  | Trắng  |    | Khối   |    | Dáng   |    | 85%    |    | 100%   |         |
|  +--------+    +--------+    +--------+    +--------+    +--------+         |
|  Dummy Data    Tối ưu hóa    Đường nét     Nhận diện     Ground Truth       |
|  Khởi tạo      Gradient      Ban đầu       Bằng Mắt      Hoàn Chỉnh         |
+-----------------------------------------------------------------------------+

Kiểm thử và kết quả thực nghiệm

1. Thực nghiệm huấn luyện mô hình Federated Learning

  • Tập dữ liệu: CIFAR-10 gồm 60.000 ảnh màu kích thước 32x32 phân loại trên 10 lớp độc lập (50.000 ảnh train, 10.000 ảnh test). Dữ liệu được chia đều cho 6 máy khách (Clients), mỗi client sở hữu 8.333 ảnh.
  • Kiến trúc mô hình: VGG-19 (16 lớp Convolutional $3 \times 3$, 5 lớp MaxPool, 3 lớp Fully Connected, 1 lớp SoftMax).
  • Cấu hình: Tối ưu hóa bằng SGD, Learning Rate $\eta = 0.01$, Momentum = 0.9.
+---------------------------------------------------------------------------------+
|               KẾT QUẢ ĐỘ CHÍNH XÁC VÀ MẤT MÁT (VGG-19 TRÊN CIFAR-10)            |
|                                                                                 |
|   Vòng (Round)   Train Loss   Val Loss   Train Accuracy (%)   Val Accuracy (%)  |
|   ------------   ----------   --------   ------------------   ----------------  |
|   Round 1          2.301       2.285           11.2%               12.5%        |
|   Round 30         1.450       1.380           54.8%               56.2%        |
|   Round 75         0.780       0.720           76.5%               78.1%        |
|   Round 120        0.390       0.410           87.2%               86.9%        |
|   Round 150        0.180       0.350           92.4%               89.5%        |
+---------------------------------------------------------------------------------+

Sau 150 vòng giao tiếp liên hợp, mô hình đạt độ chính xác kiểm thử 89.5%. Khi so sánh đối chứng với mô hình huấn luyện tập trung tiêu chuẩn (Centralized SGD chạy trong 200 epochs đạt độ chính xác 94.0%), mô hình Federated Learning chỉ chênh lệch ~4.5% nhưng bảo toàn nguyên vẹn tính phân tán của dữ liệu tại các clients.

2. Thực nghiệm tấn công DLG trên mạng LeNet-5

  • Dữ liệu mục tiêu: 1 ảnh màu kích thước $3 \times 32 \times 32$, Ground Truth Label = 6 (Automobile).
  • Tiến trình tái tạo:
    • Tại Iter = 0: Dữ liệu hoàn toàn là nhiễu ngẫu nhiên Gaussian (Dummy data).
    • Tại Iter = 40 - 80: Bắt đầu hình thành các vệt màu và đường bao đối tượng.
    • Tại Iter = 120: Hình ảnh hiển thị rõ nét cấu trúc phương tiện, có thể nhận diện chính xác bằng mắt thường.
    • Tại Iter = 250 - 290: Quá trình so khớp gradient hội tụ, dữ liệu giả trùng khớp hoàn toàn với dữ liệu huấn luyện gốc ban đầu.
+------------------------------------------------------------------------------------+
|                ĐỐI SOÁNH HIỆU QUẢ CÁC CHIẾN LƯỢC PHÒNG THỦ DỮ LIỆU                 |
|                                                                                    |
| Phương pháp phòng thủ         Tham số cấu hình     Chống DLG?   Độ chính xác Model |
| ----------------------------- -------------------- ------------ ------------------ |
| Không phòng thủ (Original)    None                 Thất bại     94.0% (Tối đa)     |
| Nhiễu Gaussian (Low)          Variance = 10^-4     Thất bại     93.8% (Ổn định)    |
| Nhiễu Gaussian (Medium)       Variance = 10^-3     Thất bại     91.2% (Suy giảm)   |
| Nhiễu Gaussian (High)         Variance = 10^-2     Thành công   76.5% (Sụt giảm)   |
| Nhiễu Laplacian               Variance = 10^-2     Thành công   75.1% (Sụt giảm)   |
| Lượng tử hóa số học           FP16 Conversion      Thất bại     93.9% (Không đổi)  |
| Cắt tỉa Gradient (Low)        Prune Ratio = 10%    Thất bại     93.5% (Ổn định)    |
| Cắt tỉa Gradient (Medium)     Prune Ratio = 20%    Ngưỡng chặn  92.8% (Ổn định)    |
| Cắt tỉa Gradient (High)       Prune Ratio >= 30%   Thành công   91.4% (Tối ưu)     |
+------------------------------------------------------------------------------------+

Đổi mới và đóng góp

  1. Phơi bày lỗ hổng thực tế của cơ chế chia sẻ Gradient: Đồ án đã chứng minh bằng thực nghiệm rằng quan niệm "chỉ gửi gradient là an toàn" là một sai lầm bảo mật nghiêm trọng trong hệ thống học phân tán cổ điển.
  2. Khai phá cơ chế xác định nhãn tức thì (iDLG): Bằng việc chứng minh toán học dấu của đạo hàm hàm mất mát Cross-Entropy $\nabla_{z} \mathcal{L}_{CE} \in (-1, 0)$ cho nhãn đúng, nghiên cứu loại bỏ hoàn toàn chi phí lặp tối ưu nhãn giả của thuật toán DLG gốc.
  3. Xác định giới hạn phòng thủ tối ưu của Gradient Pruning: Thực nghiệm chứng minh kỹ thuật cắt tỉa Gradient với tỷ lệ thưa thớt $\ge 30%$ ngăn chặn hoàn toàn khả năng nhận diện hình ảnh của thuật toán DLG mà vẫn duy trì độ chính xác mô hình ở mức cao (>91%), vượt trội hơn so với phương pháp thêm nhiễu vi phân (vốn làm suy giảm độ chính xác xuống 76.5%).

Ứng dụng thực tế và triển khai

+-----------------------------------------------------------------------------+
|                     MÔ HÌNH HỌC LIÊN KẾT TRONG Y TẾ SỐ                      |
|                                                                             |
|   [Bệnh viện Đa khoa A]        [Bệnh viện Ung bướu B]      [Viện Tim mạch C]|
|   (Bệnh án EMR, Ảnh MRI)       (Dữ liệu X-quang phổi)      (Điện tâm đồ ECG)|
|             |                            |                         |        |
|             v                            v                         v        |
|      [Local VGG-19]               [Local VGG-19]            [Local VGG-19]  |
|             |                            |                         |        |
|      (Gradient Pruned 30%)        (Gradient Pruned 30%)     (Pruned 30%)    |
|             |                            |                         |        |
|             +----------------------------+-------------------------+        |
|                                          |                                  |
|                                          v                                  |
|                       +------------------------------------+                |
|                       |   TRUNG TÂM PHÂN TÍCH Y TẾ QUỐC GIA|                |
|                       |     (Tổng hợp mô hình chẩn đoán)   |                |
|                       +------------------------------------+                |
+-----------------------------------------------------------------------------+

Kịch bản ứng dụng trong đời sống

  • Hệ thống chẩn đoán y tế liên bệnh viện (Collaborative Healthcare AI): Cho phép các bệnh viện chuyên khoa hợp tác huấn luyện mô hình chẩn đoán khối u ác tính từ ảnh chụp cắt lớp vi tính (CT/MRI) mà không cần chia sẻ bệnh án điện tử (EMR) của bệnh nhân ra bên ngoài.
  • Phát hiện gian lận tài chính ngân hàng: Các tổ chức tài chính liên kết phát hiện giao dịch rửa tiền xuyên biên giới dựa trên đặc trưng giao dịch cục bộ mà không vi phạm bí mật thông tin tài khoản khách hàng.
  • Dự đoán từ nhập liệu bàn phím di động: Ứng dụng trên hàng triệu thiết bị điện thoại thông minh nhằm nâng cao độ chính xác của bộ gõ mà không lưu trữ lịch sử gõ phím của người dùng về máy chủ.

Phân tích hiệu quả kinh tế và mở rộng (ROI & Scalability)

  • Tiết kiệm chi phí truyền thông: Ứng dụng kỹ thuật nén Gradient (DGC) giảm lưu lượng truyền tải qua mạng từ 300 đến 1000 lần, giúp hệ thống vận hành trơn tru trên đường truyền băng thông thấp.
  • Giảm thiểu 100% rủi ro pháp lý: Loại trừ nguy cơ bị phạt vi phạm quyền riêng tư dữ liệu theo các khung pháp lý quốc tế, bảo vệ danh tiếng cho tổ chức.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Mới kiểm nghiệm thuật toán DLG trên dữ liệu ảnh kích thước nhỏ ($32 \times 32$ pixels của CIFAR-10) và kiến trúc mạng vừa phải (LeNet-5, VGG-19); chưa mở rộng trên ảnh độ phân giải cao ($224 \times 224$ của ImageNet).
  • Chưa khảo sát chi tiết trong điều kiện dữ liệu không đồng nhất (Non-IID Data) phân bố lệch giữa các clients.
  • Thuật toán phòng thủ nén gradient chưa tích hợp lớp mã hóa đồng hình đa bên (Multi-party Homomorphic Encryption).

Hướng phát triển tương lai

  • Mở rộng nghiên cứu sang các mô hình xử lý ngôn ngữ tự nhiên hiện đại (Masked Language Models, Transformer, BERT).
  • Hiện thực hóa giải pháp trên kiến trúc học liên kết hoàn toàn phi tập trung (Decentralized Federated Learning) kết hợp công nghệ sổ cái phân tán Blockchain.

Đối tượng hưởng lợi

+------------------------------------------------------------------------------------+
|                            GIÁ TRỊ MANG LẠI CHO CÁC NHÓM                           |
|                                                                                    |
| [Sinh viên & Học viên]   -> Tiếp cận mã nguồn mẫu, hiểu sâu toán học Gradient      |
| [Kỹ sư Deep Learning]    -> Nắm vững kỹ thuật phòng thủ Gradient Pruning & DLG     |
| [Doanh nghiệp & Startup] -> Xây dựng hệ sinh thái AI hợp tác đa nguồn tuân thủ luật|
| [Nhà nghiên cứu AI]      -> Nền tảng phát triển kiến trúc Secure Aggregation mới   |
+------------------------------------------------------------------------------------+
  • Sinh viên & Học viên Công nghệ thông tin: Tài liệu tham khảo toàn diện về cơ sở toán học của mạng nơ-ron, giải thích trực quan cách thức hoạt động của lan truyền ngược và độ dốc (Gradients).
  • Kỹ sư phát triển phần mềm AI (MLOps/Data Engineers): Cung cấp framework kiểm thử bảo mật mô hình phân tán, hướng dẫn thực hành cấu hình cơ chế cắt tỉa gradient để tối ưu hóa hiệu năng truyền tải.
  • Doanh nghiệp & Tổ chức tài chính / Y tế: Khung giải pháp kỹ thuật sẵn sàng triển khai giúp thương mại hóa các sản phẩm AI liên kết an toàn, đáp ứng đầy đủ các tiêu chuẩn an toàn thông tin quốc tế.

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai hệ thống học liên kết là gì?

Hệ thống yêu cầu máy chủ trung tâm có tối thiểu 8GB RAM, CPU 4 cores để điều phối; các nút clients có thể vận hành trên máy tính cá nhân hoặc môi trường điện toán đám mây hỗ trợ GPU (như NVIDIA T4 / K80 với 16GB VRAM) để đảm bảo tốc độ huấn luyện mô hình sâu như VGG-19.

2. Thuật toán DLG có thể khôi phục dữ liệu văn bản (Text) không?

Có. DLG là thuật toán tối ưu hóa tổng quát không phụ thuộc vào loại dữ liệu. Đối với văn bản, DLG tối ưu hóa ma trận nhúng từ (Embedding Matrix) liên tục để tìm ra chuỗi token khớp với gradient được chia sẻ.

3. Tại sao cơ chế thêm nhiễu Gaussian phương sai lớn ($10^{-2}$) không phải là giải pháp phòng thủ lý tưởng?

Mặc dù ngăn chặn được DLG, phương sai nhiễu quá lớn sẽ phá hủy cấu trúc thông tin của đạo hàm, khiến độ chính xác của mô hình học sâu sụt giảm nghiêm trọng từ 94.0% xuống 76.5%, làm mất đi giá trị ứng dụng thực tế của mô hình.

4. Gradient Pruning ngăn chặn tấn công DLG theo cơ chế nào?

Bằng cách triệt tiêu (gán bằng 0) các giá trị gradient có biên độ nhỏ, thuật toán phòng thủ loại bỏ các chiều thông tin tối ưu hóa trong không gian đạo hàm. Kẻ tấn công không đủ ràng buộc toán học để giải hệ phương trình tối ưu ngược, dẫn đến dữ liệu phục hồi bị méo mó hoàn toàn.

5. Chi phí triển khai giải pháp Federated Learning so với Data Warehouse truyền thống như thế nào?

Federated Learning giúp tiết kiệm đến 70% chi phí hạ tầng lưu trữ tập trung và băng thông mạng, do doanh nghiệp không cần duy trì các hồ dữ liệu (Data Lake) khổng lồ tại trung tâm mà tận dụng năng lực tính toán sẵn có của các thiết bị phân tán.

Kết luận

Khóa luận tốt nghiệp của nhóm tác giả Võ Đình Khang và Nguyễn Đức Tuyến đã làm rõ bức tranh toàn cảnh về an toàn dữ liệu trong kỷ nguyên học máy phân tán. Thông qua các thực nghiệm chặt chẽ trên Google Colab với tập dữ liệu CIFAR-10 và hai kiến trúc mạng LeNet-5, VGG-19, đề tài không chỉ kiểm chứng sự tồn tại của nguy cơ rò rỉ dữ liệu thông qua thuật toán Deep Leakage from Gradients (DLG) và iDLG, mà còn cung cấp lời giải kỹ thuật thuyết phục thông qua cơ chế cắt tỉa và nén Gradient. Kết quả nghiên cứu mở ra hướng đi chiến lược cho việc xây dựng các hệ sinh thái AI hợp tác bảo mật, hỗ trợ đắc lực cho các ngành công nghiệp đòi hỏi tính riêng tư dữ liệu khắt khe như y tế, ngân hàng và dịch vụ công trực tuyến.