Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh trí tuệ nhân tạo và học máy phát triển mạnh mẽ, dữ liệu đóng vai trò là nguồn tài nguyên cốt lõi phục vụ quá trình đào tạo mô hình. Theo số liệu thống kê từ Google Trends được tác giả trích dẫn, mức độ quan tâm của người dùng đối với cụm từ "Machine Learning" liên tục gia tăng trong giai đoạn từ tháng 1/2010 đến tháng 3/2024. Đi kèm với sự ứng dụng sâu rộng của học sâu trong các lĩnh vực như giáo dục, tài chính và y tế là nguy cơ rò rỉ dữ liệu cá nhân nhạy cảm. Các mô hình mạng nơ-ron có xu hướng ghi nhớ thông tin chi tiết của tập dữ liệu huấn luyện, tạo điều kiện cho các hình thức khai thác thông tin xuất hiện, tiêu biểu là cuộc tấn công suy diễn thành viên (Membership Inference Attack - MIA). Thông qua MIA, kẻ tấn công có thể xác định liệu một bản ghi dữ liệu cụ thể có từng tham gia vào quá trình đào tạo mô hình hay không, dẫn đến các rủi ro xâm phạm quyền riêng tư nghiêm trọng, suy giảm độ tin cậy của hệ thống và phát sinh hành vi gian lận danh tính.

Để chứng minh tính cấp thiết của đề tài, nhóm tác giả đã đặt nghiên cứu trên nền tảng các cơ sở pháp lý về an toàn thông tin tại Việt Nam và quốc tế, bao gồm:

  • Nghị định số 13/2023/NĐ-CP ngày 17 tháng 04 năm 2023 của Chính phủ Việt Nam về bảo vệ dữ liệu cá nhân, quy định trách nhiệm bảo vệ dữ liệu của các cơ quan, tổ chức, cá nhân.
  • Quy định bảo vệ dữ liệu chung (GDPR 2016/679) của Liên minh châu Âu (EU), nhấn mạnh nguyên tắc minh bạch, quản lý và bảo vệ quyền riêng tư cá nhân.
  • Đạo luật về trách nhiệm giải trình và cung cấp bảo hiểm y tế (HIPAA) của Hoa Kỳ, thiết lập các tiêu chuẩn nghiêm ngặt về quản lý và bảo mật dữ liệu y tế.

Các nghiên cứu thực nghiệm trước đây cho thấy tính khả thi cao của MIA: nghiên cứu của Reza Shokri và cộng sự (2017) đạt độ chính xác khoảng 90% trên mô hình SVM; nghiên cứu của Nicolas Papernot và cộng sự chỉ ra tỷ lệ sai lệch 20% - 60% khi tấn công hộp đen trên dữ liệu hình ảnh; nghiên cứu của Alexandre Sablayrolles và cộng sự (2019) đạt độ chính xác lên tới 90% khi tấn công hộp trắng trên mô hình Hồi quy Logistic. Trong khi đó, các giải pháp bảo vệ truyền thống như làm mờ dữ liệu (data obfuscation), làm giảm nhiễu (noise injection) hay thêm nhiễu Laplace trong truyền ngược (Rahman và cộng sự, 2018) thường làm giảm sút đáng kể độ chính xác của mô hình hoặc không thể ngăn ngừa hoàn toàn các cuộc tấn công hiện đại.

Mục tiêu của đề tài: Mục tiêu chính là xây dựng một mô hình học máy áp dụng Riêng tư vi phân (DP-ML) có khả năng chống lại các cuộc tấn công suy diễn thành viên hộp đen (black-box MIA) mà không phải đánh đổi quá lớn về độ chính xác phân loại, thông qua việc ứng dụng biến thể Rényi Differential Privacy (RDP) vào quá trình đào tạo mô hình mạng nơ-ron tích chập (CNN) và tối ưu hóa các siêu tham số.

Nhiệm vụ nghiên cứu (theo nguyên văn tài liệu):

  1. Nghiên cứu và phân tích các kỹ thuật DP hiện có, tập trung vào các phương pháp DP cải tiến như RDP.
  2. Đánh giá hiệu quả và những điểm hạn chế của phương pháp DP trong việc bảo vệ dữ liệu cá nhân trước các cuộc tấn công MIA hiện đại trên các mô hình học máy.
  3. Hiện thực các giải pháp mới hiệu quả để cải thiện khả năng chống lại MIA của DP trong các mô hình học máy được đề xuất.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Kỹ thuật riêng tư vi phân nói chung và biến thể Rényi-DP; tấn công suy diễn thành viên; các mô hình học máy; xử lý và phân loại dữ liệu cấu trúc hoặc phi cấu trúc.
  • Phạm vi nghiên cứu: Ứng dụng RDP trong bảo vệ dữ liệu riêng tư; mô hình mạng nơ-ron tích chập (CNN); các phương pháp huấn luyện riêng tư vi phân như DP-SGD, DP-FTRL; các phương pháp tinh chỉnh siêu tham số (hệ số nhiễu, định mức cắt gradient, tốc độ học, microbatch); kỹ thuật tấn công suy diễn thành viên hộp đen; bài toán phân loại hình ảnh trên tập dữ liệu MNIST.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý luận và phương pháp luận dựa trên các hệ thống lý thuyết chuẩn tắc:

1. Khung lý thuyết và mô hình toán học

  • Mạng nơ-ron nhân tạo (ANN) và Mạng nơ-ron tích chập (CNN): Cấu trúc phân tầng gồm các lớp tích chập (Convolution), chuẩn hóa theo lô (Batch Normalization), lấy mẫu cực đại (Max-Pooling), làm phẳng (Flatten) và lớp kết nối đầy đủ (Fully-Connected) kết hợp hàm kích hoạt ReLU và Softmax để trích xuất đặc trưng và tính toán phân phối xác suất đầu ra cho dữ liệu ảnh.
  • Riêng tư vi phân ($\epsilon$-DP và $(\epsilon, \delta)$-DP): Khung toán học do Cynthia Dwork đề xuất (2006), đảm bảo xác suất đầu ra của thuật toán ngẫu nhiên trên hai tập dữ liệu lân cận (khác nhau một bản ghi duy nhất) bị chặn bởi tỷ lệ $e^\epsilon$ hoặc mở rộng thêm tham số sai số $\delta$.
  • Độ nhạy toàn cục (Global Sensitivity - GS) và Độ nhạy cục bộ (Local Sensitivity - LS): Đo lường sự thay đổi tối đa của hàm truy vấn khi thay đổi một điểm dữ liệu. GS áp dụng trên mọi cặp dữ liệu có thể, trong khi LS phụ thuộc vào tập dữ liệu cụ thể, giúp phản ánh sát hơn lượng nhiễu thực tế cần bổ sung.
  • Rényi Differential Privacy (RDP): Biến thể mở rộng do Ilya Mironov (2017) phát triển dựa trên phân kỳ Rényi bậc $\alpha > 1$. RDP cho phép theo dõi và bảo toàn chặt chẽ ngân sách riêng tư qua nhiều bước lặp ngẫu nhiên mà không bị nới lỏng giới hạn như phép cộng dồn tuần tự truyền thống.
  • Thuật toán DP-SGD (Differentially Private Stochastic Gradient Descent): Kỹ thuật tích hợp bảo vệ vi phân vào quá trình hạ độ dốc ngẫu nhiên (Abadi và cộng sự, 2016). Thuật toán thực hiện hai bước can thiệp chính: cắt định mức gradient của từng mẫu đơn lẻ theo ngưỡng $C$ (clipping norm) và thêm nhiễu Gaussian tỷ lệ với $C$ vào tổng gradient của lô dữ liệu.
  • Khả năng định danh vi phân (Differential Identifiability - DI): Mô hình đe dọa do Lee và Clifton (2011) giới thiệu, đánh giá mức độ khó khăn khi xác định danh tính cá nhân trong tập dữ liệu dưới góc nhìn suy luận Bayesian. Khóa luận sử dụng các chỉ số:
    • Niềm tin hậu nghiệm (Bayes Posterior Belief): Xác suất có điều kiện kẻ tấn công xác định chính xác tập dữ liệu huấn luyện sau khi quan sát chuỗi gradient bị nhiễu.
    • Lợi thế (Advantage): Thước đo chuẩn hóa mức độ suy đoán chính xác của kẻ tấn công trong khoảng $[ -1, 1 ]$ so với phán đoán ngẫu nhiên.
    • Mối quan hệ: Khóa luận chứng minh Mệnh đề 1: DI ngụ ý MI (kẻ tấn công DI mạnh hơn kẻ tấn công MIA vì sở hữu thông tin về cả hai tập dữ liệu lân cận thay vì chỉ phân phối dữ liệu).
  • Chỉ số đo lường độ tương đồng cấu trúc (SSIM): Công cụ đánh giá độ tương đồng ảnh qua ba thành phần: độ sáng (luminance), độ tương phản (contrast) và cấu trúc (structure), được sử dụng để xác định các điểm dữ liệu có độ biến thiên cao nhất và thấp nhất.

2. Phương pháp nghiên cứu

  • Phương pháp phân tích - tổng hợp lý thuyết: Hệ thống hóa các công trình học thuật về bảo vệ quyền riêng tư học máy, phân tích các định lý về thành phần RDP, phép biến đổi giữa RDP sang $(\epsilon, \delta)$-DP, và thiết lập các giới hạn trên của Posterior Belief và Advantage.
  • Phương pháp thực nghiệm mô phỏng:
    • Xây dựng quy trình xử lý dữ liệu và xác định độ nhạy cục bộ cực đại/cực tiểu bằng SSIM.
    • Triển khai mô hình CNN huấn luyện bằng thuật toán DPSGD với hai bộ tối ưu hóa tùy biến.
    • Xây dựng mô hình tấn công suy diễn thành viên hộp đen giả định (GaussianAttacker) sử dụng tìm kiếm nhị phân để đo lường tỷ lệ tấn công thành công và mức độ rò rỉ thông tin.

3. Nguồn dữ liệu

Nghiên cứu sử dụng tập dữ liệu chuẩn MNIST (Modified National Institute of Standards and Technology):

  • Tổng số lượng: 70.000 hình ảnh chữ số viết tay đơn sắc (grayscale) từ 0 đến 9, kích thước chuẩn hóa 28x28 pixel.
  • Tập huấn luyện (Training set): 60.000 hình ảnh.
  • Tập kiểm tra (Testing set): 10.000 hình ảnh.
  • Dữ liệu được đưa vào hai thiết lập thực nghiệm: Có giới hạn (Bounded) – thay thế một bản ghi dữ liệu, và Không giới hạn (Unbounded) – loại bỏ một bản ghi dữ liệu.

Thiết kế và triển khai thực nghiệm

Khóa luận hiện thực hệ thống thử nghiệm hoàn chỉnh trên môi trường lập trình với các thành phần kỹ thuật sau:

Thành phần hệ thống Chi tiết kiến trúc và công nghệ Chức năng trong thực nghiệm
Kiến trúc mô hình nạn nhân (CNN) - Lớp Conv2D (kernel 3x3, kích hoạt ReLU)
- Lớp Batch Normalization
- Lớp MaxPooling2D (pool size 2x2)
- Lớp Conv2D (kernel 3x3, kích hoạt ReLU)
- Lớp Batch Normalization
- Lớp MaxPooling2D (pool size 2x2)
- Lớp Flatten
- Lớp Dense (Softmax 10 đầu ra)		 Đóng vai trò là mô hình học sâu mục tiêu cần bảo vệ quyền riêng tư; thực hiện phân loại 10 chữ số từ ảnh MNIST.
Bộ tối ưu hóa 1 LocalDPAdamGaussianOptimizer (mở rộng từ AdamOptimizer của TensorFlow) Tính toán độ nhạy cục bộ từ sự khác biệt giữa gradient gốc và gradient thay thế; điều chỉnh lượng nhiễu Gaussian động theo từng bước cập nhật.
Bộ tối ưu hóa 2 GlobalDPAdamGaussianOptimizer (mở rộng từ AdamOptimizer của TensorFlow) Thêm mức nhiễu Gaussian cố định dựa trên độ nhạy toàn cục trong suốt toàn bộ các epoch huấn luyện.
Quy trình xử lý dữ liệu nhạy cảm Thuật toán tính chỉ số SSIM trên ảnh phẳng Tính khoảng cách tương đồng cấu trúc để lọc ra các mẫu ảnh có độ nhạy tối đa và tối thiểu; chuẩn bị tập dữ liệu gốc và tập dữ liệu thay thế.
Mô hình tấn công (Attacker) Lớp trừu tượng Attacker và lớp thực thi GaussianAttacker Mô phỏng kẻ tấn công MIA/DI; sử dụng thuật toán tìm kiếm nhị phân (bisect) để tìm hệ số nhiễu tối ưu từ $\epsilon$ và $\delta$; tính toán xác suất dự đoán và tỷ lệ thành công.
Cấu hình tham số bảo mật Ngưỡng cắt gradient $C = 3$; xác suất thất bại $\delta = 1/n$ Khống chế biên độ gradient của từng mẫu đơn lẻ trước khi tính trung bình và cộng nhiễu Gaussian.

Nội dung chính theo từng chương

Chương 1. TỔNG QUAN ĐỀ TÀI

Chương 1 giới thiệu bức tranh toàn cảnh về sự bùng nổ của học máy và các ứng dụng thực tế. Tác giả chỉ ra lỗ hổng bảo mật cố hữu của các mô hình khi xử lý dữ liệu người dùng, đồng thời nêu bật mối đe dọa từ tấn công suy diễn thành viên (MIA). Chương này phân tích các văn bản quy phạm pháp luật quốc tế và trong nước (Nghị định 13/2023/NĐ-CP, GDPR, HIPAA) để khẳng định tính pháp lý và tính cấp thiết của nghiên cứu. Tác giả tổng hợp các công trình tiêu biểu của Shokri (2017), Sablayrolles (2019), Rahman (2018), Mironov (2017) và Yuqing Zhu (2019), làm rõ ưu thế của Rényi-DP so với DP truyền thống. Cuối chương, tác giả xác định mục tiêu nghiên cứu, đối tượng, phạm vi và ba nhiệm vụ cụ thể của khóa luận.

Chương 2. CƠ SỞ LÝ THUYẾT

Chương 2 thiết lập khung lý thuyết toán học chuyên sâu. Tác giả trình bày cấu trúc mạng ANN, mạng CNN (mô tả cơ chế xử lý ma trận ảnh RGB và luồng truyền thẳng qua các lớp Conv, ReLU, Pooling, Fully-Connected, Softmax). Tiếp theo là các định nghĩa toán học chuẩn tắc của $\epsilon$-DP, $(\epsilon, \delta)$-DP, độ nhạy toàn cục và độ nhạy cục bộ. Tác giả mô tả chi tiết thuật toán DP-SGD, chỉ rõ cơ chế cắt tỉa gradient từng mẫu theo chuẩn $C$ và bơm nhiễu Gaussian.

Trong phần về tấn công suy diễn thành viên, chương này phân tích thí nghiệm hình thức của Yeom và quy trình 4 bước tấn công MLaaS hộp đen. Tác giả mở rộng nghiên cứu sang mô hình Khả năng định danh vi phân (DI), thiết lập Thí nghiệm 2 và chứng minh Mệnh đề 1: DI ngụ ý MI bằng phương pháp phản chứng. Chương 2 đưa ra công thức tính toán và chứng minh giới hạn trên cho hai chỉ số định lượng: Niềm tin hậu nghiệm (Posterior Belief) và Lợi thế (Advantage). Cuối cùng, tác giả phân tích cơ chế thay thế thành phần tuần tự bằng RDP, chứng minh RDP giúp giới hạn sai số $\delta$ tổng hợp không bị nhân tuyến tính thành $k\delta$, tạo ra cận bảo mật chặt chẽ hơn nhiều cho các quá trình lặp của học sâu.

Chương 3. CÀI ĐẶT THỰC NGHIỆM

Chương 3 trình bày chi tiết kiến trúc và quy trình thử nghiệm. Tác giả mô tả thuật toán tìm kiếm độ nhạy dữ liệu tối đa và tối thiểu dựa trên độ tương đồng cấu trúc SSIM trên ảnh MNIST phẳng. Hai phương pháp cấu trúc dữ liệu được hiện thực: Bounded (thay thế phần tử) và Unbounded (loại bỏ phần tử).

Tác giả đặc tả kiến trúc mô hình CNN gồm hai khối tích chập kết hợp chuẩn hóa lô và lấy mẫu cực đại, kết thúc bằng tầng làm phẳng và tầng phân loại Dense Softmax. Quy trình huấn luyện sử dụng hai bộ tối ưu hóa tự xây dựng: LocalDPAdamGaussianOptimizer và GlobalDPAdamGaussianOptimizer. Tác giả thiết lập mô hình tấn công GaussianAttacker, tích hợp thuật toán tìm kiếm nhị phân thông qua hàm bisect để xác định hệ số nhiễu tối ưu từ ngân sách bảo mật. Thông số ngưỡng cắt gradient được cố định tại $C = 3$ dựa trên giá trị trung vị của độ chuẩn gradient chưa cắt, và $\delta$ được đặt tỷ lệ nghịch với quy mô dữ liệu ($1/n$).

Chương 4. KẾT QUẢ THỰC NGHIỆM

Chương 4 tập trung vào việc trình bày và đánh giá các kết quả thực nghiệm thu được từ mô hình:

  • Đánh giá độ nhạy: Phân tích sự biến thiên của độ nhạy gradient theo từng Epoch huấn luyện, so sánh đối chiếu giữa các kịch bản Global và Local dưới hai thiết lập Bounded và Unbounded. Kết quả cho thấy độ nhạy cục bộ luôn duy trì ở mức thấp hơn độ nhạy toàn cục, giúp hạn chế lượng nhiễu cần bơm vào hệ thống.
  • Định lượng khả năng nhận dạng cho DPSGD: Đánh giá rủi ro định danh thông qua sự suy giảm của chỉ số tổn thất thực nghiệm dựa trên niềm tin hậu nghiệm (Posterior Belief) và lợi thế thành viên (Advantage). Kẻ tấn công bị hạn chế khả năng phân biệt dữ liệu thành viên khi tham số bảo mật được siết chặt.
  • Đánh đổi độ chính xác của mô hình: Thực hiện khảo nghiệm chi tiết sự ảnh hưởng của các siêu tham số đối với độ chính xác phân loại của mô hình trên 4 thiết lập: Local Bounded, Local Unbounded, Global Bounded và Global Unbounded.

Chương 5. KẾT LUẬN & HƯỚNG PHÁT TRIỂN

Chương 5 tóm tắt các kết quả đạt được trong việc áp dụng Rényi-DP vào mạng nơ-ron tích chập nhằm phòng thủ chống tấn công suy diễn thành viên. Tác giả thẳng thắn chỉ ra các hạn chế thực tế trong quá trình nghiên cứu và đề xuất các định hướng nghiên cứu tiếp theo để hoàn thiện phương pháp bảo vệ quyền riêng tư học máy.

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

  • Kiểm soát rủi ro định danh thành viên: Thuật toán DPSGD kết hợp khung đánh giá RDP đã khống chế thành công khả năng suy diễn của kẻ tấn công hộp đen. Khi tăng cường hệ số nhiễu Gaussian và thắt chặt ngân sách riêng tư, chỉ số Niềm tin hậu nghiệm (Posterior Belief) và Lợi thế (Advantage) của kẻ tấn công giảm rõ rệt về gần mức phán đoán ngẫu nhiên.
  • So sánh độ nhạy và cơ chế bảo mật:
Tiêu chí so sánh Thiết lập Độ nhạy Toàn cục (Global DP) Thiết lập Độ nhạy Cục bộ (Local DP)
Giá trị độ nhạy Giới hạn trên cố định cho toàn bộ không gian dữ liệu, có giá trị lớn hơn. Phụ thuộc vào tập dữ liệu cụ thể và lân cận, có giá trị nhỏ hơn.
Lượng nhiễu Gaussian cần thêm Lớn hơn, nhằm che phủ trường hợp xấu nhất trên toàn bộ phân phối. Nhỏ hơn, điều chỉnh thích nghi theo từng bước cập nhật gradient.
Độ chính xác của mô hình Bị suy giảm nhiều hơn do chịu lượng nhiễu lớn trong quá trình hội tụ. Duy trì độ chính xác phân loại tốt hơn trong khi vẫn đáp ứng chuẩn riêng tư vi phân.
Độ phức tạp tính toán Thấp hơn, tính toán đơn giản và ổn định. Yêu cầu bước tính toán khoảng cách SSIM và so sánh gradient gốc - gradient thay thế.
  • Thiết lập tham số cắt gradient hiệu quả: Xác định chuẩn cắt gradient tối ưu $C = 3$ dựa trên phân vị trung vị của độ dài vector gradient thực tế, giúp giải thuật tránh hiện tượng triệt tiêu tín hiệu học tập của mạng nơ-ron.

2. Đóng góp khoa học và giải pháp đề xuất

  • Ứng dụng RDP thay thế Sequential Composition: Chứng minh và ứng dụng thành công kỹ thuật tổng hợp RDP vào quá trình huấn luyện lặp, giúp loại bỏ sự nới lỏng ngân sách riêng tư vốn có của phép cộng tuần tự truyền thống (tránh việc sai số $\delta$ bị nhân gấp $k$ lần).
  • Quy trình chuẩn bị dữ liệu bằng SSIM: Đề xuất giải pháp sử dụng chỉ số tương đồng cấu trúc SSIM để trích xuất các điểm dữ liệu có độ nhạy cực đại và cực tiểu, tạo cơ sở thực nghiệm chuẩn xác để đo lường độ nhạy cục bộ trong bài toán xử lý ảnh.
  • Cầu nối lý thuyết - thực nghiệm qua DI: Tích hợp mô hình Khả năng định danh vi phân (DI) vào bài toán học sâu, chứng minh bằng toán học mối liên hệ "DI ngụ ý MI", qua đó sử dụng các cận trên của Posterior Belief và Advantage để đánh giá năng lực bảo vệ của mô hình trước đối thủ mạnh hơn kẻ tấn công MIA thông thường.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

  • Quy mô và độ phức tạp của dữ liệu: Thực nghiệm mới dừng lại ở bộ dữ liệu ảnh số viết tay chuẩn hóa MNIST (kích thước 28x28 pixel, ảnh xám đơn sắc 1 kênh), chưa mở rộng kiểm thử trên các bộ dữ liệu ảnh màu tự nhiên phức tạp, đa chiều (như CIFAR-10, ImageNet) hoặc dữ liệu phi cấu trúc dạng văn bản, tiếng nói.
  • Cấu trúc mô hình thử nghiệm: Mô hình mạng nơ-ron tích chập (CNN) được sử dụng có cấu trúc tương đối đơn giản (2 tầng Conv2D, 2 tầng Max-Pooling), chưa phản ánh toàn diện ảnh hưởng của DPSGD trên các kiến trúc học sâu quy mô lớn, nhiều tham số như ResNet, Transformer hoặc các mô hình ngôn ngữ lớn.
  • Sự đánh đổi hiệu năng (Trade-off): Mặc dù việc sử dụng độ nhạy cục bộ đã cải thiện tiện ích mô hình, việc thêm nhiễu Gaussian vào gradient vẫn gây ra sự suy giảm độ chính xác nhất định so với mô hình không áp dụng riêng tư vi phân khi đòi hỏi mức ngân sách $\epsilon$ ở ngưỡng rất nhỏ.

Hướng nghiên cứu tiếp

  • Mở rộng ứng dụng giải pháp RDP và thuật toán DPSGD trên các tập dữ liệu có độ phân giải cao và các tác vụ nhận diện hình ảnh phức tạp hơn.
  • Triển khai thử nghiệm trên các kiến trúc mạng nơ-ron hiện đại với số lượng tham số lớn để đánh giá tính tổng quát hóa của phương pháp.
  • Nghiên cứu và tối ưu hóa các cơ chế điều chỉnh tham số riêng tư trong môi trường Học liên kết (Federated Learning), nơi nhiều nút dữ liệu cùng chia sẻ gradient với máy chủ trung tâm.

Giá trị tham khảo

Tài liệu là nguồn tham khảo chuyên môn giá trị cho:

  • Sinh viên, học viên cao học ngành Hệ thống thông tin, Khoa học máy tính, An toàn thông tin và Trí tuệ nhân tạo: Cung cấp tài liệu hoàn chỉnh từ cơ sở toán học (DP, RDP, DI, MIA) đến mã nguồn triển khai thực nghiệm bảo vệ quyền riêng tư trong học sâu.
  • Các nhà nghiên cứu phát triển mô hình học máy bảo mật (Privacy-Preserving Machine Learning): Phần chứng minh toán học của Mệnh đề 1 (DI ngụ ý MI), cách tính cận trên cho Posterior Belief và Advantage ở Chương 2 là tài liệu lý thuyết nền tảng.
  • Kỹ sư triển khai hệ thống học máy (MLOps/MLaaS): Chương 3 cung cấp phương pháp luận và kỹ thuật chi tiết về việc xây dựng các bộ tối ưu hóa tùy biến (LocalDPAdamGaussianOptimizer và GlobalDPAdamGaussianOptimizer) trên TensorFlow, cũng như cách thiết lập ngưỡng cắt $C$ và tìm kiếm hệ số nhiễu Gaussian tối ưu.

Câu hỏi thường gặp

1. Tại sao nhóm nghiên cứu lại lựa chọn Rényi Differential Privacy (RDP) thay vì DP truyền thống?

Trong quá trình huấn luyện mạng nơ-ron, mô hình thực hiện lặp lại việc cập nhật gradient qua hàng trăm hoặc hàng nghìn bước (epochs/batches). Nếu áp dụng định lý thành phần tuần tự (Sequential Composition) của DP truyền thống, ngân sách bảo mật $(\epsilon, \delta)$ sẽ bị nới lỏng nhanh chóng (sai số $\delta$ bị cộng dồn thành $k\delta$, làm suy giảm mức độ bảo đảm bảo mật). RDP sử dụng phân kỳ Rényi bậc $\alpha > 1$, cho phép đo lường mức độ mất mát tính riêng tư chặt chẽ và chính xác hơn khi kết hợp nhiều cơ chế thành phần, từ đó tạo ra cận bảo mật $(\epsilon, \delta)$ tối ưu hơn nhiều cho học sâu.

2. Kẻ tấn công Khả năng định danh vi phân (DI) khác biệt và mạnh hơn kẻ tấn công Suy diễn thành viên (MIA) ở điểm nào?

Kẻ tấn công MIA chỉ biết phân phối dữ liệu tổng thể và muốn xác định xem một điểm dữ liệu có nằm trong tập huấn luyện hay không. Ngược lại, kẻ tấn công DI có quyền truy cập vào gần như toàn bộ thông tin nền tảng ngoại trừ một bản ghi duy nhất; kẻ tấn công biết rõ cả hai tập dữ liệu lân cận khả dĩ ($D$ và $D'$) cũng như quan sát được toàn bộ các bản cập nhật gradient qua từng bước lặp. Do đó, DI đại diện cho trường hợp kẻ tấn công mạnh nhất, và việc mô hình phòng thủ thành công trước DI đồng nghĩa với việc sẽ an toàn trước kẻ tấn công MIA (Mệnh đề 1: DI ngụ ý MI).

3. Chỉ số SSIM được sử dụng với mục đích gì trong quy trình chuẩn bị dữ liệu?

Chỉ số tương đồng cấu trúc (SSIM) đo lường sự tương đồng giữa các hình ảnh dựa trên ba yếu tố: độ sáng (luminance), độ tương phản (contrast) và cấu trúc (structure). Nhóm tác giả sử dụng SSIM trên các ảnh MNIST đã được làm phẳng để tính toán khoảng cách tương đồng giữa các mẫu ảnh, từ đó xác định các điểm dữ liệu có độ không tương đồng lớn nhất (độ nhạy cục bộ tối đa) và các điểm ít nhạy cảm nhất (độ nhạy cục bộ tối thiểu) nhằm phục vụ việc phân tích độ nhạy cục bộ.

4. Ngưỡng cắt gradient (clipping norm) $C$ được cấu hình bằng bao nhiêu trong thực nghiệm và dựa trên cơ sở nào?

Ngưỡng cắt gradient được thiết lập cố định ở giá trị $C = 3$ trong tất cả các lần chạy thực nghiệm. Cấu hình này được nhóm tác giả lựa chọn dựa trên khuyến nghị từ nghiên cứu của Alexandre Sablayrolles và cộng sự, trong đó giá trị $C$ được xác định dựa trên trung vị (median) của các độ chuẩn gradient (gradient norms) chưa bị cắt của mô hình, đảm bảo hạn chế ảnh hưởng của từng điểm dữ liệu đơn lẻ mà không làm triệt tiêu tín hiệu học tập của toàn mạng.

5. Sự khác biệt căn bản giữa LocalDPAdamGaussianOptimizer và GlobalDPAdamGaussianOptimizer là gì?

Cả hai bộ tối ưu đều được kế thừa từ AdamOptimizer của TensorFlow và sử dụng nhiễu Gaussian, tuy nhiên:

  • GlobalDPAdamGaussianOptimizer áp dụng mức độ nhiễu Gaussian cố định trong suốt quá trình học dựa trên độ nhạy toàn cục (Global Sensitivity), phù hợp cho các trường hợp độ nhạy dữ liệu ít biến động nhưng có thể làm giảm độ chính xác mô hình do lượng nhiễu lớn.
  • LocalDPAdamGaussianOptimizer áp dụng mức nhiễu biến thiên được tính toán dựa trên độ nhạy cục bộ (Local Sensitivity), cho phép điều chỉnh lượng nhiễu tương thích với từng gradient cụ thể tại mỗi bước huấn luyện, giúp bảo vệ dữ liệu hiệu quả với mức suy hao độ chính xác thấp hơn.

Kết luận

Khóa luận tốt nghiệp của sinh viên Võ Thị Hà Trang và Nguyễn Hiền Đức đã giải quyết bài toán cân bằng giữa bảo mật quyền riêng tư và hiệu năng phân loại của mô hình học sâu trước nguy cơ tấn công suy diễn thành viên. Bằng việc tích hợp kỹ thuật Rényi Differential Privacy vào thuật toán DPSGD kết hợp tối ưu hóa độ nhạy cục bộ thông qua SSIM, nghiên cứu đã thiết lập một khung phòng thủ hộp đen có cơ sở toán học chặt chẽ trên tập dữ liệu MNIST. Kết quả thực nghiệm khẳng định việc kiểm soát gradient và bổ sung nhiễu Gaussian thích nghi giúp hạn chế năng lực định danh của đối thủ mà không làm suy giảm nghiêm trọng độ chính xác của mạng nơ-ron. Công trình đóng góp cả về mặt lý luận suy diễn Bayesian lẫn giải pháp kỹ thuật tối ưu hóa mô hình, mở ra tiền đề thực tiễn cho việc phát triển các hệ thống học máy an toàn dữ liệu theo các tiêu chuẩn pháp lý hiện hành.