Bối cảnh và vấn đề nghiên cứu
Sự phát triển của Trí tuệ nhân tạo (AI), Học máy (Machine Learning - ML) và Học sâu (Deep Learning - DL) gắn liền với sự bùng nổ của các thiết bị di động cùng hệ thống Internet of Things (IoT). Trong mô hình học máy truyền thống, dữ liệu thu thập từ các thiết bị ngoại biên hoặc các chi nhánh phân tán thường phải tập trung về một máy chủ trung tâm để phục vụ công tác huấn luyện. Tuy nhiên, kiến trúc tập trung này bộc lộ những hạn chế lớn về mặt bảo mật và tính khả thi trong thực tế:
- Nguy cơ rò rỉ thông tin cá nhân và dữ liệu nhạy cảm (như hình ảnh khuôn mặt, dữ liệu vị trí, hồ sơ bệnh án y tế, tình trạng tài chính).
- Rào cản pháp lý và các quy định nghiêm ngặt về quyền riêng tư dữ liệu, khiến các tổ chức không thể tự do chia sẻ hoặc tích hợp dữ liệu thô.
- Độ trễ truyền thông lớn và chi phí đường truyền cao khi phải di chuyển khối lượng dữ liệu thô khổng lồ qua mạng.
Nhằm giải quyết những thách thức trên, mô hình Học hợp tác (Federated Learning - FL), được McMahan đề xuất lần đầu tiên vào năm 2016, đã chuyển dịch quy trình huấn luyện về trực tiếp tại các thiết bị cục bộ của người dùng hoặc các tổ chức tham gia. Dữ liệu thô được lưu trữ cố định tại nguồn, chỉ có các bản cập nhật mô hình (trọng số, gradient) được gửi về máy chủ trung tâm để tổng hợp. Dẫu vậy, các nghiên cứu gần đây chỉ ra rằng việc chỉ trao đổi tham số mô hình vẫn chưa đảm bảo tính an toàn tuyệt đối, do kẻ tấn công có thể thực hiện các kỹ thuật suy diễn để tái tạo dữ liệu huấn luyện từ gradient hoặc thông số mô hình được chia sẻ.
Từ thực tế đó, đề tài khóa luận tập trung nghiên cứu giải pháp đảm bảo an toàn cho quá trình trao đổi dữ liệu trong mô hình Federated Learning, kết hợp giữa mô hình học hợp tác và các kỹ thuật mật mã, bảo vệ quyền riêng tư tiên tiến.
Mục tiêu nghiên cứu của đề tài:
- Nghiên cứu về các kỹ thuật Deep Learning, mô hình Federated Learning, các framework mã nguồn mở hỗ trợ triển khai mô hình FL.
- Xây dựng hệ thống học máy và ứng dụng mô phỏng mô hình Federated Learning.
- Nghiên cứu tích hợp các kỹ thuật để đảm bảo an toàn cho quá trình trao đổi dữ liệu giữa các thành phần trong hệ thống.
- Đánh giá hiệu quả về việc bảo vệ tính riêng tư của dữ liệu, an toàn trong trao đổi dữ liệu của hệ thống đã triển khai và so sánh với mô hình học máy phân tán truyền thống.
Đối tượng nghiên cứu:
- Các kỹ thuật học sâu (ANN, CNN) và mô hình học hợp tác (Federated Learning).
- Các thư viện hỗ trợ triển khai học máy và học hợp tác phân tán (PyTorch, PySyft với công cụ Duet).
- Các kỹ thuật tăng cường tính an toàn trong quá trình trao đổi và tổng hợp dữ liệu, trọng tâm là: Quyền riêng tư khác biệt (Differential Privacy - DP) và Mã hoá đồng hình (Homomorphic Encryption - HE).
Phạm vi nghiên cứu:
- Hệ thống mô phỏng được xây dựng theo kiến trúc Federated Learning dạng cross-silo, thiết lập kết nối giữa 2 đối tượng sở hữu dữ liệu (Data Owner) và 1 nhà khoa học dữ liệu (Data Scientist).
- Công nghệ thực nghiệm sử dụng framework PySyft và PyTorch để thiết lập liên lạc peer-to-peer và huấn luyện mạng nơ-ron; thư viện TenSEAL để triển khai lược đồ mã hóa đồng hình CKKS; thư viện Opacus để triển khai giải thuật tối ưu hóa đảm bảo quyền riêng tư vi phân (DP-SGD).
- Thực nghiệm được tiến hành trên hai bộ dữ liệu thị giác máy tính chuẩn: MNIST và Fashion-MNIST.
Cơ sở lý thuyết và phương pháp
Khóa luận thiết lập nền tảng dựa trên các khái niệm và mô hình lý thuyết chuyên sâu trong lĩnh vực bảo mật học máy:
1. Khung lý thuyết và mô hình kỹ thuật
- Mô hình học máy phân tán (Distributed Machine Learning): Phương thức phân phối dữ liệu hoặc mô hình qua nhiều nút tính toán nhằm tăng hiệu suất huấn luyện và mở rộng quy mô dữ liệu, song đối mặt với nguy cơ rò rỉ dữ liệu khi phải truyền tải dữ liệu thô về máy chủ trung tâm.
- Học hợp tác (Federated Learning): Khóa luận phân biệt rõ hai dạng triển khai FL:
- Cross-device FL: Máy chủ điều phối tương tác với số lượng rất lớn các thiết bị biên hoặc IoT có năng lực tính toán hạn chế, kết nối mạng không ổn định, thiết bị không được định danh cụ thể.
- Cross-silo FL: Phù hợp với các tổ chức (như ngân hàng, bệnh viện) với số lượng nút tham gia ít hơn, có hạ tầng phần cứng mạnh mẽ, kết nối mạng ổn định và các nút được định danh rõ ràng. Khóa luận chọn mô hình cross-silo làm nền tảng triển khai.
- Mã hoá đồng hình (Homomorphic Encryption - HE): Lớp kỹ thuật mã hóa cho phép thực hiện các phép toán đại số trực tiếp trên bản mã (ciphertext) mà không cần giải mã về bản rõ (plaintext). Kết quả giải mã sau khi tính toán trên bản mã tương đương với kết quả thực hiện phép toán trên dữ liệu gốc. Khóa luận hệ thống hóa HE thành ba cấp độ: Mã hóa đồng hình một phần (PHE), Mã hóa đồng hình từng phần (SWHE), và Mã hóa đồng hình toàn phần (FHE). Đề tài sử dụng lược đồ Cheon-Kim-Kim-Song (CKKS) hỗ trợ tính toán số học dấu phẩy động trên véc-tơ với độ nhiễu được kiểm soát.
- Tính toán đa bên an toàn (Secure Multi-party Computation - SMPC): Kỹ thuật cho phép $n$ bên cùng tính toán một hàm trên các đầu vào bí mật mà không làm lộ dữ liệu riêng tư của từng bên, trong đó phương pháp Chia sẻ bí mật bổ sung (Additive Secret Sharing) yêu cầu tất cả các phần chia sẻ ($t = n$) mới có thể tái tạo bí mật ban đầu.
- Quyền riêng tư khác biệt (Differential Privacy - DP): Định nghĩa toán học bảo đảm rằng sự xuất hiện hay vắng mặt của một cá nhân trong cơ sở dữ liệu không làm thay đổi đáng kể phân phối đầu ra của phân tích thống kê. Đề tài xem xét Local DP (thêm nhiễu trực tiếp vào dữ liệu tại thiết bị) và Global DP (thêm nhiễu vào đầu ra truy vấn), đồng thời áp dụng thuật toán huấn luyện học sâu DP-SGD (Differentially Private Stochastic Gradient Descent).
2. Phương pháp nghiên cứu
Khóa luận áp dụng phương pháp nghiên cứu thực nghiệm và mô phỏng hệ thống:
- Thiết kế và cài đặt kiến trúc hệ thống mô phỏng thực tế gồm các nút Data Owner và Data Scientist.
- Xây dựng 3 kịch bản thực nghiệm độc lập để đo lường định lượng các chỉ số: độ chính xác dự đoán, hàm mất mát (loss), dung lượng bộ nhớ tiêu hao (RAM), thời gian mã hóa/giải mã, và thời gian hoàn thành một vòng tổng hợp (round).
- Tiến hành thực nghiệm đối chứng giữa học máy phân tán truyền thống, học hợp tác cơ bản, học hợp tác kết hợp HE, và học hợp tác kết hợp DP.
3. Nguồn dữ liệu thực nghiệm
Tác giả sử dụng hai tập dữ liệu chuẩn trong phân loại ảnh thang độ xám kích thước $28 \times 28$ pixel:
- MNIST: Gồm 60.000 mẫu huấn luyện và 10.000 mẫu kiểm tra thuộc 10 lớp chữ số viết tay từ 0 đến 9.
- Fashion-MNIST: Gồm 60.000 mẫu huấn luyện và 10.000 mẫu kiểm tra thuộc 10 lớp trang phục của Zalando (T-shirt, Trouser, Pullover, Dress, Coat, Sandal, Shirt, Sneaker, Bag, Ankle boot), đóng vai trò thử thách độ phức tạp cao hơn cho mô hình phân loại.
Thiết kế và triển khai hệ thống
Mô hình thực nghiệm được nhóm tác giả xây dựng theo cấu trúc Federated Learning dạng cross-silo gồm hai vai trò chính: Người sở hữu dữ liệu (Data Owner 1 và Data Owner 2) và Nhà nghiên cứu dữ liệu (Data Scientist).
1. Kiến trúc luồng xử lý (Workflow)
Quy trình trao đổi dữ liệu an toàn trong hệ thống diễn ra qua 5 giai đoạn:
- Dữ liệu cục bộ tại mỗi Data Owner được nạp vào để huấn luyện mô hình học sâu (Deep Learning).
- Data Owner trích xuất các tham số mô hình sau quá trình huấn luyện cục bộ (các trọng số weight và bias).
- Data Owner mã hóa tham số (hoặc áp dụng cơ chế thêm nhiễu) rồi gửi đến Data Scientist thông qua kênh truyền P2P Duet của PySyft.
- Data Scientist tính toán trung bình các tham số mô hình ở trạng thái mã hóa (đối với HE) hoặc tổng hợp tham số nhiễu (đối với DP) để tạo bản cập nhật toàn cục, sau đó gửi trả về cho các Data Owner.
- Data Owner nhận bản cập nhật, thực hiện giải mã (đối với HE) và cập nhật trọng số mới vào mô hình học sâu cục bộ để bắt đầu vòng lặp tiếp theo.
2. Tích hợp giải pháp bảo mật
- Ứng dụng TenSEAL với lược đồ CKKS:
- Data Owner và Data Scientist thiết lập các đối tượng
TenSEALContext. Context của Scientist chứa khóa công khai để Data Owner mã hóa tham số mô hình trước khi truyền đi. Context của Data Owner lưu trữ khóa bí mật dùng cho thao tác giải mã.
- Quá trình tính toán trung bình trọng số tại Data Scientist được thực hiện hoàn toàn trên các
EncryptedTensor thông qua phép cộng và phép nhân đồng hình (cipher-to-cipher và cipher-to-plain).
- Cơ chế thay đổi tỉ lệ (Rescaling) và khóa tái cấu trúc (Relinearization key) được vận hành để kiểm soát bậc đa thức $N$ và mức tăng trưởng nhiễu sau các phép tính nhân ma trận.
- Ứng dụng Opacus với thuật toán DP-SGD:
- Khởi tạo đối tượng
PrivacyEngine và liên kết trực tiếp vào bộ tối ưu hóa (Optimizer) của PyTorch tại từng Data Owner.
- Quá trình lan truyền ngược (Backward propagation) được điều chỉnh: gradient của từng mẫu đơn lẻ trong minibatch được tính toán riêng biệt, sau đó bị cắt ngưỡng định mức (Norm clipping với ngưỡng $C$) để hạn chế tác động của các điểm dữ liệu dị biệt (outliers).
- Nhiễu Gauss được đưa trực tiếp vào gradient đã cắt ngưỡng trước khi cập nhật trọng số, ngăn chặn mô hình ghi nhớ các mẫu dữ liệu huấn luyện nhạy cảm.
3. Cấu trúc mạng học sâu thực nghiệm
Nhóm tác giả thiết kế hai kiến trúc mạng nơ-ron:
- Mạng nơ-ron nhân tạo (ANN): Gồm 4 lớp tuyến tính (Linear layers).
- Lớp Input: 784 node $\rightarrow$ 256 node.
- Lớp Ẩn 1: 256 node $\rightarrow$ 128 node.
- Lớp Ẩn 2: 128 node $\rightarrow$ 64 node.
- Lớp Output: 64 node $\rightarrow$ 10 node.
- Hàm kích hoạt: ReLU tại 3 lớp đầu, Softmax tại lớp đầu ra.
- Mạng nơ-ron tích chập (CNN): Gồm 2 lớp tích chập và 2 lớp tuyến tính.
- Lớp Conv 1: Kênh vào 1, kênh ra 16, kích thước kernel $8 \times 8$, bước nhảy (stride) 2, đệm (padding) 8.
- Lớp Conv 2: Kênh vào 16, kênh ra 32, kích thước kernel $4 \times 4$, bước nhảy (stride) 2.
- Các lớp Conv sử dụng hàm kích hoạt ReLU và hàm tổng hợp Max pooling.
- Lớp Tuyến tính 1: Đầu vào 512 node (duỗi từ đầu ra của Conv 2), đầu ra 32 node.
- Lớp Tuyến tính 2 (Output): Đầu vào 32 node, đầu ra 10 node tương ứng 10 lớp phân loại.
4. Môi trường phần cứng và công nghệ
- Phần cứng: 8 CPU(s), 32 GB RAM, 500 GB ổ cứng HDD.
- Hệ điều hành: Microsoft Windows 10.
- Nền tảng phần mềm: Anaconda, Jupyter Notebook, ngôn ngữ lập trình Python.
- Thư viện chuyên dụng: PyTorch (xây dựng mạng DL), PySyft - Duet (thiết lập cơ chế kiểm soát truy cập Zero-knowledge và kết nối peer-to-peer), TenSEAL (mã hóa đồng hình), Opacus (quyền riêng tư khác biệt).
Nội dung chính theo từng chương
Chương 1: Mở đầu
Chương này phân tích bối cảnh phát triển của trí tuệ nhân tạo và các rủi ro quyền riêng tư khi tập trung dữ liệu trong mô hình Machine Learning truyền thống. Tác giả giới thiệu khái niệm Federated Learning do McMahan đề xuất, xác lập tính cấp thiết của việc bảo vệ tham số trao đổi giữa các nút. Chương này công bố 4 mục tiêu nghiên cứu cụ thể, xác định đối tượng nghiên cứu (mô hình học sâu, FL, DP, HE), phạm vi thực nghiệm trên PyTorch/PySyft, đồng thời khái quát tính mới thông qua việc đối chiếu với các nền tảng FL lớn như FATE (Webank), TFF (Google), PaddleFL (Baidu) và các công trình như SecureML.
Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan
Chương 2 cung cấp cơ sở lý thuyết toàn diện về:
- Mô hình học máy phân tán và các nguy cơ mất an toàn khi tập trung dữ liệu thô.
- Bản chất mô hình Federated Learning, phân loại rõ hai cấu trúc cross-device và cross-silo.
- Các kỹ thuật bảo vệ quyền riêng tư:
- Cơ chế toán học của Mã hóa đồng hình (PHE, SWHE, FHE) và thuật toán đánh giá Eval.
- Kỹ thuật Tính toán đa bên an toàn (SMPC) dựa trên cơ chế Chia sẻ bí mật bổ sung (Additive Secret Sharing) với ngưỡng quản trị $t = n$.
- Quyền riêng tư khác biệt (DP) với hai nhánh Local DP và Global DP.
- Các công cụ phần mềm: Kiến trúc define-by-run của PyTorch; cấu trúc SyftTensors và công cụ giao tiếp Duet của PySyft; kiến trúc đối tượng Context, PlainTensor, EncryptedTensor của TenSEAL.
- Khảo sát các công trình liên quan: Phân tích hệ thống BatchCrypt (mã hóa gradient số nguyên lớn trong FL cross-silo), mô hình PCFL (sàng lọc và nén hai chiều kết hợp bảo mật cho IoT), và thuật toán FedOpt (kết hợp nén thưa SCA với HE và DP trên TensorFlow Federated).
Chương 3: Phân tích và thiết kế hệ thống
Chương 3 chi tiết hóa mô hình kiến trúc FL cross-silo gồm 2 Data Owner và 1 Data Scientist:
- Xác lập luồng làm việc 5 bước khép kín từ huấn luyện cục bộ, trích xuất trọng số, truyền thông qua Duet, tổng hợp trung bình, đến cập nhật bản mô hình mới.
- Thiết kế chi tiết việc ứng dụng lược đồ CKKS qua TenSEAL: Phân tích các thông số then chốt gồm bậc đa thức $N$, hệ số mô-đun $q$, hệ số tỉ lệ toàn cục $\Delta$, vai trò của khóa công khai $p$, khóa bí mật $s$, Relinearization key và Galois key trong việc duy trì tính đúng đắn khi thực hiện các phép toán đại số trên ciphertext.
- Thiết kế việc ứng dụng giải thuật DP-SGD thông qua Opacus: Mô tả quy trình can thiệp vào gradient trong pha lan truyền ngược bằng cơ chế Norm clipping theo ngưỡng $C$ và bổ sung nhiễu Gauss $\sigma$.
- Thiết lập hệ thống tiêu chí đánh giá kết quả thực nghiệm, bao gồm: độ chính xác phân loại, giá trị loss thẩm định, thời gian thực thi (mã hóa, giải mã, một chu kỳ tổng hợp round), và dung lượng bộ nhớ tiêu hao (RAM).
Chương 4: Thực nghiệm và đánh giá kết quả
Chương này mô tả chi tiết quá trình triển khai thực nghiệm trên cấu hình phần cứng 8 CPUs, 32GB RAM với 3 kịch bản:
- Kịch bản 1: So sánh mô hình học máy phân tán truyền thống và mô hình FL cross-silo trên mạng ANN và CNN đối với hai bộ dữ liệu MNIST và Fashion-MNIST.
- Kịch bản 2: Tích hợp kỹ thuật mã hóa đồng hình CKKS (TenSEAL) vào mô hình FL cross-silo; đo lường sự biến đổi trọng số trước/sau mã hóa, chi phí bộ nhớ, thời gian mã hóa, giải mã và tính toán trung bình tham số.
- Kịch bản 3: Tích hợp kỹ thuật quyền riêng tư khác biệt DP (Opacus) vào quá trình huấn luyện cục bộ tại Data Owner; khảo sát sự suy giảm độ chính xác và mức độ tiêu hao tài nguyên bộ nhớ.
- Phân tích tương quan so sánh giữa kỹ thuật HE và kỹ thuật DP khi triển khai trên cùng một hệ thống FL cross-silo.
Chương 5: Kết luận và hướng phát triển
Tổng kết toàn bộ các kết quả thu được trong quá trình nghiên cứu lý thuyết, thiết kế kiến trúc và đo lường thực nghiệm. Tác giả chỉ ra các ưu điểm về an toàn dữ liệu cũng như các hạn chế về chi phí tính toán, từ đó phác thảo các hướng nghiên cứu tiếp theo nhằm nâng cao hiệu năng hệ thống.
Kết quả và đóng góp
1. Kết quả thực nghiệm và phân bổ dữ liệu
Khóa luận đã xây dựng thành công môi trường mô phỏng Federated Learning cross-silo có tích hợp các cơ chế bảo mật trên hai bộ dữ liệu chuẩn. Dữ liệu được tiền xử lý và phân chia đồng đều, cân bằng nhãn cho 2 Data Owner:
| Bộ dữ liệu |
Tập dữ liệu |
Số lượng Data Owner 1 |
Số lượng Data Owner 2 |
Tổng số lượng mẫu |
| MNIST |
Huấn luyện (Train set) |
30.000 mẫu |
29.999 mẫu |
59.999 mẫu (xấp xỉ 60.000) |
|
Kiểm tra (Test set) |
5.000 mẫu |
4.999 mẫu |
9.999 mẫu (xấp xỉ 10.000) |
| Fashion-MNIST |
Huấn luyện (Train set) |
30.000 mẫu (3.000/nhãn) |
30.000 mẫu (3.000/nhãn) |
60.000 mẫu |
|
Kiểm tra (Test set) |
5.000 mẫu (500/nhãn) |
5.000 mẫu (500/nhãn) |
10.000 mẫu |
Quá trình kiểm thử trên 3 kịch bản ghi nhận các phát hiện kỹ thuật quan trọng:
- Mô hình FL cross-silo bảo toàn được độ chính xác phân loại tương đương với mô hình học máy phân tán truyền thống trên cả hai tập dữ liệu MNIST và Fashion-MNIST, đồng thời giữ dữ liệu thô tại chỗ.
- Ứng dụng HE với TenSEAL (CKKS) bảo vệ toàn vẹn các tham số mô hình (weight, bias) khi truyền qua Data Scientist. Quá trình tính toán trung bình diễn ra trực tiếp trên bản mã mà không làm suy giảm độ chính xác của mô hình sau khi giải mã, tuy nhiên đòi hỏi chi phí tính toán và thời gian thực thi vòng tổng hợp tăng lên do độ phức tạp của các phép toán trên ciphertext.
- Ứng dụng DP với Opacus (DP-SGD) ngăn chặn hiệu quả nguy cơ mô hình ghi nhớ các mẫu dữ liệu cục bộ thông qua cơ chế cắt gradient và thêm nhiễu Gauss. Việc bổ sung nhiễu tạo ra sự đánh đổi trực tiếp: độ chính xác của mô hình giảm nhẹ so với mô hình FL tiêu chuẩn, song tốc độ xử lý nhanh hơn đáng kể so với phương pháp mã hóa đồng hình HE.
2. Đóng góp khoa học và kỹ thuật
- Hệ thống hóa toàn diện cơ sở lý thuyết về an toàn trong Federated Learning, làm rõ ranh giới ứng dụng giữa các kỹ thuật HE (CKKS), DP (DP-SGD) và SMPC (Secret Sharing).
- Hiện thực hóa thành công việc tích hợp hai thư viện bảo mật hiện đại là TenSEAL và Opacus vào pipeline huấn luyện phân tán xây dựng trên nền PyTorch và PySyft (Duet).
- Cung cấp dữ liệu thực nghiệm đối chứng định lượng về sự đánh đổi giữa ba yếu tố: mức độ bảo mật/quyền riêng tư, độ chính xác của mô hình học sâu, và chi phí tài nguyên phần cứng (thời gian tính toán, dung lượng bộ nhớ).
Hạn chế và hướng nghiên cứu tiếp
1. Hạn chế của đề tài
Dựa trên phạm vi và nội dung triển khai trong văn bản:
- Hệ thống thực nghiệm chỉ mới được mô phỏng trên một thiết bị máy tính vật lý đơn lẻ sử dụng cơ chế Duet peer-to-peer của PySyft, chưa đánh giá trên môi trường mạng phân tán thực tế chịu tác động của độ trễ đường truyền, băng thông hạn chế hoặc hiện tượng mất gói tin.
- Quy mô thử nghiệm dừng lại ở cấu hình 2 Data Owner và 1 Data Scientist, chưa kiểm thử với quy mô hàng chục hoặc hàng trăm bên tham gia.
- Nghiên cứu tập trung vào hai tập dữ liệu ảnh kích thước nhỏ ($28 \times 28$ pixel), cấu trúc mạng nơ-ron dừng ở mức 4 lớp (ANN và CNN cơ bản), chưa đánh giá hiệu năng của HE và DP trên các kiến trúc học sâu quy mô lớn (như ResNet, Transformer).
- Hai kỹ thuật HE và DP mới được kiểm thử độc lập trong từng kịch bản, chưa được tích hợp kết hợp đồng thời trong cùng một quy trình trao đổi dữ liệu.
2. Hướng phát triển
Tác giả đề xuất các hướng nghiên cứu mở rộng trong tương lai:
- Mở rộng quy mô thử nghiệm mô hình Federated Learning trên hạ tầng mạng vật lý thực tế với nhiều nút tham gia hơn.
- Nghiên cứu cơ chế kết hợp đồng thời giữa Mã hóa đồng hình (HE), Quyền riêng tư khác biệt (DP) và Tính toán đa bên an toàn (SMPC) nhằm tối ưu hóa khả năng bảo mật đa lớp.
- Thử nghiệm mô hình trên các tập dữ liệu thực tế phức tạp hơn trong các lĩnh vực đặc thù như y tế (chẩn đoán hình ảnh khối u), tài chính - ngân hàng, và giao thông vận tải.
- Tối ưu hóa thuật toán mã hóa và nén dữ liệu nhằm giảm thiểu thời gian mã hóa, giải mã và chi phí băng thông truyền tải tham số mã hóa.
Giá trị tham khảo
Báo cáo khóa luận là tài liệu tham khảo hữu ích cho các nhóm đối tượng:
- Sinh viên, học viên ngành An toàn thông tin, Khoa học dữ liệu, Mạng máy tính: Cung cấp tài liệu tổng hợp có hệ thống về Federated Learning, mã hóa đồng hình và quyền riêng tư vi phân; phân tích chi tiết cơ chế hoạt động của thuật toán DP-SGD và lược đồ mã hóa CKKS.
- Kỹ sư và nhà nghiên cứu phát triển hệ thống AI/ML bảo toàn quyền riêng tư (Privacy-preserving Machine Learning): Có thể tham khảo trực tiếp mã nguồn và quy trình thiết kế tại Chương 3 cùng phần Phụ lục (triển khai mạng ANN, CNN bằng PyTorch; quy trình thiết lập phiên làm việc Duet qua PySyft; cách khởi tạo Context, mã hóa tensor bằng TenSEAL; cách cấu hình PrivacyEngine trong Opacus).
- Các tổ chức có nhu cầu cộng tác dữ liệu phân tán (Tài chính, Y tế): Tài liệu cung cấp cơ sở kỹ thuật để đánh giá sự đánh đổi giữa mức độ bảo mật dữ liệu, độ chính xác dự đoán và chi phí tài nguyên máy tính khi lựa chọn giải pháp bảo vệ dữ liệu trong mô hình cross-silo.
Câu hỏi thường gặp
1. Tại sao khóa luận lựa chọn mô hình FL dạng cross-silo thay vì cross-device?
Mô hình cross-device FL phục vụ cho hàng triệu thiết bị biên/IoT có tài nguyên hạn chế, kết nối chập chờn và không được định danh, khiến việc áp dụng các kỹ thuật tính toán nặng như mã hóa đồng hình gặp khó khăn lớn. Trong khi đó, mô hình cross-silo FL hướng đến sự cộng tác giữa các tổ chức (như bệnh viện, ngân hàng) với số lượng nút tham gia vừa phải, các nút có hạ tầng tính toán mạnh mẽ, kết nối mạng ổn định và được định danh rõ ràng. Điều này đáp ứng đầy đủ điều kiện để triển khai các kỹ thuật bảo mật chuyên sâu như lược đồ mã hóa CKKS và tính toán trung bình trên bản mã.
2. Lược đồ mã hóa CKKS trong TenSEAL hoạt động như thế nào và có ưu điểm gì cho Machine Learning?
CKKS là lược đồ mã hóa đồng hình công khai cho phép tính toán trực tiếp trên các véc-tơ chứa số thực với một mức độ nhiễu kiểm soát được. Quy trình gồm: thông điệp $m$ được mã hóa chuyển định dạng (encode) thành đa thức $p(x)$, sau đó mã hóa thành bản mã $c$. Các phép tính đại số (cộng, nhân, tích vô hướng, nhân ma trận) được thực hiện trực tiếp trên ciphertext. TenSEAL áp dụng kỹ thuật thay đổi tỉ lệ (Rescaling) để giữ cho độ nhiễu chỉ tăng tuyến tính sau các phép nhân, kết hợp khóa tái cấu trúc (Relinearization key) để giảm kích thước ma trận kết quả, giúp duy trì hiệu năng tính toán. CKKS phù hợp với học máy vì mô hình học máy vốn có khả năng chấp nhận sai số dấu phẩy động nhỏ để đổi lấy tính an toàn dữ liệu.
3. Thuật toán DP-SGD của thư viện Opacus bảo vệ dữ liệu huấn luyện bằng cơ chế nào?
Khác với việc thêm nhiễu vào dữ liệu đầu vào (Local DP), DP-SGD can thiệp trực tiếp vào pha lan truyền ngược trong quá trình huấn luyện:
- Gradient của từng mẫu dữ liệu trong minibatch được tính toán độc lập.
- Thực hiện cắt định mức gradient (Norm clipping) theo ngưỡng $C$: nếu chuẩn của gradient vượt quá $C$, véc-tơ sẽ bị thu nhỏ về định mức $C$, giúp vô hiệu hóa ảnh hưởng của các mẫu ngoại lệ (outliers) có gradient quá lớn.
- Bổ sung nhiễu Gauss vào gradient tổng hợp trước khi thực hiện bước giảm độ dốc (Descent). Việc này ngăn chặn mô hình học sâu "ghi nhớ" chi tiết dữ liệu nhạy cảm của từng mẫu huấn luyện.
4. Công cụ Duet trong thư viện PySyft đóng vai trò gì trong kiến trúc thực nghiệm?
Duet là công cụ kết nối ngang hàng (peer-to-peer) thuộc thư viện PySyft. Duet cung cấp giao diện lập trình ứng dụng (API) cho phép Data Owner chia sẻ dữ liệu hoặc tham số mô hình một cách an toàn, trong khi Data Scientist có thể truy cập, thao tác và gửi yêu cầu tính toán từ xa thông qua cơ chế kiểm soát truy cập Zero-knowledge. Duet giúp nhóm tác giả xây dựng môi trường học hợp tác mô phỏng một cách trực quan giữa các tiến trình mà không cần phải triển khai hạ tầng PyGrid hoàn chỉnh.
5. Sự đánh đổi chính giữa kỹ thuật HE và DP khi tích hợp vào Federated Learning là gì?
- Mã hóa đồng hình (HE): Bảo toàn độ chính xác của mô hình sau khi giải mã (tương đương với mô hình học hợp tác thông thường), bảo vệ tuyệt đối tham số khi truyền trên đường truyền và tại máy chủ tính toán, nhưng đòi hỏi chi phí tính toán rất lớn, làm tăng dung lượng bộ nhớ tiêu hao và kéo dài thời gian hoàn thành mỗi round tổng hợp.
- Quyền riêng tư khác biệt (DP): Tốc độ tính toán nhanh, chi phí tài nguyên thấp hơn nhiều so với HE, ngăn chặn việc trích xuất ngược thông tin từ trọng số, nhưng việc đưa thêm nhiễu vào gradient dẫn đến sự suy giảm độ chính xác phân loại của mô hình học sâu.
Kết luận
Khóa luận tốt nghiệp của tác giả Nguyễn Thái Tài và Nguyễn Thành Nhân đã giải quyết thành công bài toán bảo mật và bảo vệ quyền riêng tư trong mô hình Federated Learning dạng cross-silo. Bằng việc kết hợp mô hình học sâu với các kỹ thuật tiên tiến gồm Mã hóa đồng hình CKKS (qua TenSEAL) và Quyền riêng tư khác biệt DP-SGD (qua Opacus), công trình đã thiết kế và triển khai một quy trình trao đổi dữ liệu an toàn trên nền tảng PyTorch và PySyft Duet. Các kết quả thực nghiệm định lượng trên hai bộ dữ liệu MNIST và Fashion-MNIST đã chứng minh tính khả thi của giải pháp, đồng thời cung cấp bức tranh đối chứng rõ nét về mối tương quan giữa mức độ an toàn dữ liệu, độ chính xác phân loại và chi phí tính toán hệ thống.
