DIFFERENTIAL PRIVACY IN DEEP LEARNING

Tìm hiểu về Differential Privacy trong Deep Learning. Khám phá ứng dụng bảo mật dữ liệu, mô hình học sâu và phân loại ảnh an toàn. Luận văn Kỹ thuật Dữ liệu.

• Tác giả: Lê Minh Trí
• Người hướng dẫn: PGS. Hoàng Văn Dũng
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Dữ Liệu
• Đề tài: Ứng dụng Differential Privacy trong Deep Learning
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• ĐỀ CƯƠNG KHÓA LUẬN TỐT NGHIỆP
• MỞ ĐẦU
• 0.1. Tính cấp thiết của đề tài
• 0.2. Mục tiêu của đề tài
• 0.3. Phương pháp nghiên cứu
• 0.4. Đối tượng và phạm vi nghiên cứu
• 1. CHƯƠNG 1: BẢO MẬT KHÁC BIỆT (DIFFERENTIAL PRIVACY)
• 1.1. TỔNG QUAN VỀ DIFFERENTIAL PRIVACY
• 1.1.1. Ý tưởng cốt lõi của Differential Privacy
• 1.1.2. Định nghĩa Differential Privacy
• 1.1.3. Các thuộc tính của Differential Privacy
• 1.1.4. Tổng hợp tuần tự (Sequential Composition)
• 1.1.5. Tổng hợp song song (Parallel Composition)
• 1.1.6. Tính không biến đổi sau cùng (Post – processing)
• 1.1.7. Những mở rộng của Differential Privacy
• 1.1.7.1. Concentrated Differential Privacy (CDP)
• 1.1.7.2. Zero-Concentrated Differential Privacy (zCDP)
• 1.1.7.3. Rényi Differential Privacy (RDP)
• 1.1.7.4. So sánh các mở rộng của Differential Privacy
• 1.1.8. Những cơ chế cơ bản Differential Privacy
• 1.1.8.1. Cơ chế Randomized Response
• 1.1.9. MỘT SỐ TRƯỜNG HỢP THỰC TẾ SỬ DỤNG DIFFERENTIAL PRIVACY
• 2. CHƯƠNG 2: HỌC SÂU (DEEP LEARNING)
• 2.1. TỔNG QUAN VỀ DEEP LEARNING
• 2.2. KHÁI NIỆM VÀ CÁC THÀNH PHẦN CƠ BẢN CỦA DEEP LEARNING
• 2.2.1. Cấu trúc của mạng nơ-ron
• 2.2.2. Lớp đầu vào (Input layer)
• 2.2.3. Lớp đầu ra (Output layer)
• 2.2.4. Trọng số và hàm kích hoạt. Hàm Leaky ReLU.
• 2.3. MÔ HÌNH CONVOLUTIONAL NEURAL NETWORKS (CNNs)
• 2.3.1. Lớp tích chập (Convolutional layer)
• 2.3.2. Lớp kết nối đầy đủ (Fully connected layer)
• 2.4. QUÁ TRÌNH HUẤN LUYỆN VÀ TỐI ƯU HÓA MÔ HÌNH
• 3. CHƯƠNG 3: DIFFERENTIAL PRIVACY TRONG DEEP LEARNING
• 3.1. RỦI RO VI PHẠM RIÊNG TƯ DỮ LIỆU TRONG HỌC SÂU
• 3.1.1. Tấn công suy luận thành viên
• 3.1.2. Tấn công hộp đen
• 3.1.3. Tấn công hộp trắng
• 3.1.4. Tấn công trích xuất mô hình (model inversion attacks)
• 3.1.5. Tấn công suy luận tính chất (property inference attacks)
• 3.1.6. Tấn công suy luận thuộc tính và đảo ngược mô hình
• 3.2. CÀI ĐẶT BẢO MẬT KHÁC BIỆT
• 3.2.1. Mô hình đe dọa
• 3.2.2. Những cách tiếp cận Differential Privacy
• 3.2.2.1. Bảo mật khác biệt trung tâm (central/ global/ trusted-aggregator differential privacy)
• 3.2.2.2. Bảo mật khác biệt cục bộ (local differential privacy)
• 3.3. NHỮNG VỊ TRÍ ÁP DỤNG DP TRONG QUY TRÌNH HỌC MÁY
• 3.3.1. Thêm DP ở cấp độ đầu vào
• 3.3.2. Thêm DP vào dự đoán của mô hình
• 3.3.3. Thêm DP trong quá trình huấn luyện mô hình
• 3.3.4. Một số phương pháp DP – Training bảo vệ toàn diện mô hình
• 3.4. DIFFERENTIALLY PRIVATE STOCHASTIC GRADIENT DESCENT (DP-SGD)
• 3.4.1. Khái niệm DP-SGD
• 3.4.2. Cơ chế hoạt động của DP-SGD
• 3.4.2.1. Cắt xén gradient
• 3.4.2.2. Thêm Nhiễu Gaussian
• 3.4.2.3. Cập nhật trọng số
• 3.4.2.4. Theo dõi ngân sách quyền riêng tư
• 4. CHƯƠNG 4: ĐỀ XUẤT GIẢI PHÁP ÁP DỤNG DIFFERENTIAL PRIVACY
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. BÀI TOÁN ĐẶT RA
• 5.2. THÔNG TIN VỀ TẬP DỮ LIỆU
• 5.3. Ý TƯỞNG THỰC NGHIỆM
• 5.4. MÔI TRƯỜNG LẬP TRÌNH VÀ CÁC THƯ VIỆN CẦN THIẾT
• 5.4.1. Môi trường lập trình
• 5.4.2. Thư viện cài đặt
• 5.5. Xử lý dữ liệu
• 5.6. Xây dựng kiến trúc mô hình
• 5.7. Huấn luyện mô hình
• 5.8. Đánh giá kiểm thử
• 5.9. Áp dụng Differential Privacy
• 5.9.1. Áp dụng 2 mô hình
• 5.10. Kết quả thực nghiệm
• KẾT LUẬN
• K.1. Kết quả đạt được
• K.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Differential Privacy trong Deep Learning Tổng quan Khái niệm

Trong kỷ nguyên số, dữ liệu cá nhân trở thành tài sản vô giá nhưng cũng tiềm ẩn rủi ro bị xâm phạm. Các mô hình Deep Learning, dù mạnh mẽ, có thể vô tình tiết lộ thông tin nhạy cảm từ dữ liệu huấn luyện. Giải pháp Differential Privacy (DP) nổi lên như một biện pháp bảo vệ quyền riêng tư hiệu quả, bằng cách thêm nhiễu có kiểm soát vào dữ liệu hoặc mô hình, đảm bảo thông tin cá nhân không thể bị suy luận ngược lại. Kỹ thuật Dữ liệu đóng vai trò quan trọng trong việc triển khai và tối ưu hóa DP, cân bằng giữa bảo mật và độ chính xác của mô hình. Đề tài khóa luận tốt nghiệp này đi sâu vào ứng dụng DP trong Deep Learning, nhằm xây dựng các hệ thống học máy vừa mạnh mẽ vừa tôn trọng quyền riêng tư. Đây là một lĩnh vực nghiên cứu đầy tiềm năng, hứa hẹn mang lại nhiều đột phá trong tương lai.

1.1. Ý tưởng cốt lõi của Differential Privacy trong Kỹ thuật Dữ liệu

Ý tưởng cốt lõi của Differential Privacy là bảo vệ quyền riêng tư của cá nhân trong một tập dữ liệu bằng cách thêm một lượng nhiễu nhất định vào kết quả truy vấn hoặc huấn luyện mô hình. Việc thêm nhiễu này phải được thực hiện một cách cẩn thận để đảm bảo rằng sự có mặt hoặc vắng mặt của một cá nhân trong tập dữ liệu không ảnh hưởng đáng kể đến kết quả cuối cùng. Mục tiêu là cho phép các nhà phân tích dữ liệu rút ra những thông tin hữu ích từ tập dữ liệu mà không tiết lộ bất kỳ thông tin cá nhân nào. Kỹ thuật Dữ liệu đóng vai trò quan trọng trong việc thiết kế và triển khai các cơ chế DP hiệu quả, đảm bảo cân bằng giữa bảo mật và độ chính xác của thông tin.

1.2. Định nghĩa Differential Privacy và ứng dụng Deep Learning

Định nghĩa toán học của Differential Privacy đảm bảo rằng việc thêm hoặc xóa một bản ghi khỏi tập dữ liệu sẽ chỉ thay đổi kết quả của một truy vấn một lượng nhỏ, được kiểm soát bởi một tham số gọi là ngân sách bảo mật (privacy budget). Trong ngữ cảnh của Deep Learning, DP có thể được áp dụng bằng cách thêm nhiễu vào gradient trong quá trình huấn luyện mô hình (DP-SGD), hoặc bằng cách làm nhiễu đầu ra của mô hình. Mục tiêu là xây dựng các mô hình Deep Learning có khả năng bảo vệ quyền riêng tư mà vẫn duy trì độ chính xác chấp nhận được. Việc lựa chọn tham số và cơ chế DP phù hợp đòi hỏi sự hiểu biết sâu sắc về cả DP và Deep Learning.

II. Cách Giải quyết Rủi ro Riêng tư Deep Learning Khám phá DP

Mô hình Deep Learning có thể vô tình tiết lộ thông tin nhạy cảm từ dữ liệu huấn luyện thông qua các cuộc tấn công suy luận thành viên, trích xuất mô hình, hoặc suy luận thuộc tính. Những cuộc tấn công này khai thác lỗ hổng trong quá trình huấn luyện và kiến trúc mô hình. Differential Privacy cung cấp một lá chắn bảo vệ bằng cách giới hạn lượng thông tin mà mô hình có thể học được về từng cá nhân trong tập dữ liệu. Bằng cách thêm nhiễu, DP làm giảm nguy cơ tiết lộ thông tin cá nhân, đồng thời cho phép mô hình vẫn học được các mẫu tổng quát hữu ích. Giải quyết các rủi ro này là một phần quan trọng trong khóa luận tốt nghiệp về Kỹ thuật Dữ liệu.

2.1. Tấn công suy luận thành viên và ảnh hưởng đến Data Privacy

Tấn công suy luận thành viên (Membership Inference Attack) là một loại tấn công quyền riêng tư nhằm xác định xem một bản ghi dữ liệu cụ thể có được sử dụng để huấn luyện mô hình Deep Learning hay không. Kẻ tấn công sử dụng thông tin về mô hình đã được huấn luyện để đưa ra suy đoán. Thành công của cuộc tấn công này cho thấy mô hình đã học được thông tin nhạy cảm về các cá nhân trong tập dữ liệu huấn luyện, vi phạm Data Privacy. Differential Privacy giúp chống lại các cuộc tấn công này bằng cách hạn chế lượng thông tin mà mô hình có thể học được về từng cá nhân.

2.2. Tấn công trích xuất mô hình và bảo vệ thông tin độc quyền

Tấn công trích xuất mô hình (Model Extraction Attack) là một loại tấn công mà kẻ tấn công cố gắng tái tạo một mô hình Deep Learning tương tự như mô hình gốc bằng cách truy vấn mô hình và phân tích đầu ra của nó. Điều này có thể dẫn đến việc tiết lộ thông tin độc quyền về kiến trúc mô hình, trọng số, hoặc dữ liệu huấn luyện. Differential Privacy có thể được sử dụng để bảo vệ chống lại các cuộc tấn công này bằng cách làm nhiễu đầu ra của mô hình, làm cho việc trích xuất một mô hình chính xác trở nên khó khăn hơn. Điều này đặc biệt quan trọng trong các ứng dụng thương mại, nơi mô hình Deep Learning là tài sản trí tuệ có giá trị.

2.3. Tấn công suy luận thuộc tính và đảm bảo Data Privacy

Tấn công suy luận thuộc tính (Property Inference Attack) là một loại tấn công quyền riêng tư nhằm suy luận các thuộc tính thống kê của tập dữ liệu huấn luyện, chẳng hạn như tỷ lệ các mẫu thuộc một lớp cụ thể. Ngay cả khi không thể xác định thông tin về từng cá nhân, việc tiết lộ các thuộc tính tổng hợp này vẫn có thể gây ra lo ngại về Data Privacy. Differential Privacy có thể giúp bảo vệ chống lại các cuộc tấn công này bằng cách làm nhiễu quá trình huấn luyện mô hình, làm cho việc suy luận các thuộc tính chính xác của tập dữ liệu trở nên khó khăn hơn.

III. Hướng dẫn Cách Cài đặt Differential Privacy vào Deep Learning

Cài đặt Differential Privacy trong Deep Learning đòi hỏi sự hiểu biết về các mô hình đe dọa, các phương pháp tiếp cận DP, và vị trí áp dụng DP trong quy trình học máy. Các mô hình đe dọa xác định những kẻ tấn công có thể truy cập vào thông tin nào và mục tiêu của chúng là gì. Các phương pháp tiếp cận DP bao gồm bảo mật khác biệt trung tâm và cục bộ. DP có thể được áp dụng ở cấp độ đầu vào, đầu ra, hoặc trong quá trình huấn luyện mô hình. Lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu bảo mật và hiệu suất của ứng dụng. Việc này cần được phân tích kỹ lưỡng trong khóa luận tốt nghiệp Kỹ thuật Dữ liệu.

3.1. Mô hình đe dọa và các yếu tố ảnh hưởng đến Data Privacy

Mô hình đe dọa (threat model) xác định các giả định về khả năng và mục tiêu của kẻ tấn công. Trong bối cảnh Deep Learning và Differential Privacy, mô hình đe dọa cần xem xét các yếu tố như: liệu kẻ tấn công có quyền truy cập vào dữ liệu huấn luyện, kiến trúc mô hình, hoặc đầu ra của mô hình; liệu kẻ tấn công có thể thực hiện các truy vấn tùy ý vào mô hình; và liệu kẻ tấn công có thể hợp tác với các cá nhân khác để thu thập thông tin. Việc xác định mô hình đe dọa phù hợp là rất quan trọng để lựa chọn các biện pháp bảo vệ Data Privacy hiệu quả.

3.2. Bảo mật khác biệt trung tâm và cục bộ Ưu nhược điểm

Bảo mật khác biệt trung tâm (central differential privacy) giả định rằng có một bên đáng tin cậy có quyền truy cập vào toàn bộ tập dữ liệu và có thể áp dụng DP trước khi chia sẻ dữ liệu với các bên khác. Ưu điểm của phương pháp này là có thể đạt được mức bảo mật cao với chi phí hiệu suất thấp. Tuy nhiên, nó đòi hỏi sự tin tưởng tuyệt đối vào bên trung tâm. Bảo mật khác biệt cục bộ (local differential privacy) không yêu cầu bên trung tâm đáng tin cậy. Thay vào đó, mỗi cá nhân áp dụng DP vào dữ liệu của mình trước khi chia sẻ nó với bất kỳ ai. Ưu điểm của phương pháp này là bảo vệ quyền riêng tư mạnh mẽ hơn, nhưng nó có thể dẫn đến chi phí hiệu suất cao hơn.

3.3. Các vị trí áp dụng DP trong quy trình học máy hiệu quả

Differential Privacy có thể được áp dụng ở nhiều vị trí khác nhau trong quy trình học máy, bao gồm: thêm DP ở cấp độ đầu vào (làm nhiễu dữ liệu huấn luyện trước khi đưa vào mô hình); thêm DP vào dự đoán của mô hình (làm nhiễu đầu ra của mô hình); và thêm DP trong quá trình huấn luyện mô hình (ví dụ: DP-SGD). Lựa chọn vị trí áp dụng DP phù hợp phụ thuộc vào yêu cầu bảo mật, hiệu suất, và độ phức tạp của ứng dụng. Trong nhiều trường hợp, việc kết hợp nhiều phương pháp có thể mang lại kết quả tốt nhất.

IV. Bí quyết dùng DP SGD bảo vệ Privacy trong Deep Learning

Differentially Private Stochastic Gradient Descent (DP-SGD) là một thuật toán phổ biến để huấn luyện mô hình Deep Learning với Differential Privacy. DP-SGD sửa đổi thuật toán SGD tiêu chuẩn bằng cách cắt xén gradient của mỗi mẫu dữ liệu và thêm nhiễu Gaussian vào gradient. Việc cắt xén gradient giúp giới hạn ảnh hưởng của mỗi mẫu dữ liệu đến quá trình huấn luyện, trong khi việc thêm nhiễu Gaussian giúp bảo vệ quyền riêng tư. DP-SGD là một chủ đề quan trọng trong khóa luận tốt nghiệp này, đặc biệt đối với sinh viên ngành Kỹ thuật Dữ liệu.

4.1. Khái niệm DP SGD và vai trò của nó trong Data Privacy

DP-SGD là một thuật toán cho phép huấn luyện các mô hình Deep Learning một cách riêng tư, tức là bảo vệ quyền riêng tư của dữ liệu được sử dụng để huấn luyện mô hình. Điều này được thực hiện bằng cách thêm nhiễu vào gradient trong quá trình huấn luyện. Gradient là một vectơ cho biết hướng và độ lớn của sự thay đổi cần thiết để cải thiện hiệu suất của mô hình. Bằng cách thêm nhiễu vào gradient, DP-SGD làm cho việc suy luận thông tin về các mẫu dữ liệu riêng lẻ trở nên khó khăn hơn, từ đó bảo vệ Data Privacy.

4.2. Cơ chế hoạt động của DP SGD Cắt xén thêm nhiễu cập nhật

Cơ chế hoạt động của DP-SGD bao gồm ba bước chính: cắt xén gradient (gradient clipping), thêm nhiễu Gaussian (Gaussian noise addition), và cập nhật trọng số (weight update). Cắt xén gradient giới hạn độ lớn của gradient của mỗi mẫu dữ liệu để ngăn chặn một số mẫu dữ liệu có ảnh hưởng quá lớn đến quá trình huấn luyện. Thêm nhiễu Gaussian làm cho việc suy luận thông tin về các mẫu dữ liệu riêng lẻ trở nên khó khăn hơn. Cập nhật trọng số sử dụng gradient đã được cắt xén và làm nhiễu để cập nhật các trọng số của mô hình.

4.3. Theo dõi ngân sách quyền riêng tư khi áp dụng DP SGD

Ngân sách quyền riêng tư (privacy budget), thường được ký hiệu bằng epsilon (ε), là một tham số kiểm soát mức độ bảo vệ quyền riêng tư mà DP-SGD cung cấp. Giá trị epsilon càng nhỏ, mức độ bảo vệ quyền riêng tư càng cao, nhưng độ chính xác của mô hình có thể giảm. Trong quá trình huấn luyện, mỗi bước cập nhật gradient tiêu thụ một phần của ngân sách quyền riêng tư. Do đó, cần theo dõi ngân sách quyền riêng tư một cách cẩn thận để đảm bảo rằng tổng lượng quyền riêng tư bị mất không vượt quá một ngưỡng cho phép. Các kỹ thuật như Rényi Differential Privacy (RDP) có thể được sử dụng để theo dõi ngân sách quyền riêng tư một cách chính xác hơn.

V. Thực nghiệm và Đánh giá Ứng dụng Differential Privacy DL

Để đánh giá hiệu quả của Differential Privacy trong Deep Learning, cần thực hiện các thực nghiệm trên các tập dữ liệu khác nhau và so sánh hiệu suất của mô hình có DP và mô hình không có DP. Các chỉ số đánh giá bao gồm độ chính xác, độ tin cậy, và khả năng chống lại các cuộc tấn công quyền riêng tư. Kết quả thực nghiệm cho thấy rằng DP có thể làm giảm độ chính xác của mô hình, nhưng có thể cải thiện khả năng bảo vệ quyền riêng tư đáng kể. Việc cân bằng giữa bảo mật và độ chính xác là một thách thức quan trọng trong lĩnh vực này. Phần này cần được minh họa cụ thể trong khóa luận tốt nghiệp.

5.1. Bài toán và tập dữ liệu sử dụng trong thực nghiệm DP SGD

Bài toán và tập dữ liệu được sử dụng trong thực nghiệm có ảnh hưởng lớn đến kết quả đánh giá. Các bài toán phân loại ảnh, phân loại văn bản, và dự đoán chuỗi thời gian thường được sử dụng để đánh giá hiệu quả của DP-SGD. Các tập dữ liệu phổ biến bao gồm MNIST, CIFAR-10, và IMDB. Việc lựa chọn bài toán và tập dữ liệu phù hợp phụ thuộc vào mục tiêu nghiên cứu và nguồn lực có sẵn.

5.2. Môi trường lập trình và các thư viện cần thiết cho Deep Learning

Môi trường lập trình và các thư viện cần thiết đóng vai trò quan trọng trong việc triển khai và đánh giá DP-SGD. Các thư viện phổ biến bao gồm TensorFlow Privacy, PyTorch Privacy, và Opacus. Các thư viện này cung cấp các công cụ và hàm để dễ dàng áp dụng DP vào các mô hình Deep Learning. Việc lựa chọn môi trường lập trình và thư viện phù hợp phụ thuộc vào kinh nghiệm của nhà nghiên cứu và yêu cầu của dự án.

5.3. Kết quả thực nghiệm và phân tích ưu điểm hạn chế của DP

Kết quả thực nghiệm cần được phân tích một cách cẩn thận để đánh giá ưu điểm và hạn chế của DP-SGD. Các kết quả cần xem xét bao gồm: độ chính xác của mô hình, độ tin cậy của mô hình, khả năng chống lại các cuộc tấn công quyền riêng tư, và chi phí tính toán. Phân tích kết quả thực nghiệm giúp hiểu rõ hơn về tác động của các tham số DP đến hiệu suất và quyền riêng tư, từ đó đưa ra các khuyến nghị cho việc áp dụng DP trong các ứng dụng thực tế.

VI. Kết luận Hướng Phát triển Differential Privacy Deep Learning

Differential Privacy là một công cụ mạnh mẽ để bảo vệ quyền riêng tư trong Deep Learning. Tuy nhiên, việc áp dụng DP có thể làm giảm độ chính xác của mô hình. Cần tiếp tục nghiên cứu để phát triển các thuật toán DP hiệu quả hơn, giảm thiểu tác động đến hiệu suất và mở rộng phạm vi ứng dụng. Hướng phát triển bao gồm: cải thiện thuật toán DP-SGD, phát triển các phương pháp DP cho các kiến trúc mô hình mới, và khám phá các ứng dụng DP trong các lĩnh vực khác nhau. Các nghiên cứu này rất quan trọng với sinh viên Kỹ thuật Dữ liệu và được tổng hợp trong khóa luận tốt nghiệp.

6.1. Tóm tắt kết quả đạt được và đóng góp của khóa luận

Phần này tóm tắt các kết quả đạt được trong khóa luận tốt nghiệp, nhấn mạnh những đóng góp mới vào lĩnh vực Differential Privacy trong Deep Learning. Kết quả có thể bao gồm việc phát triển và đánh giá một thuật toán DP mới, cải thiện hiệu suất của một thuật toán DP hiện có, hoặc khám phá một ứng dụng mới của DP. Tóm tắt cần nêu rõ những điểm mạnh và hạn chế của các kết quả đạt được.

6.2. Các thách thức còn tồn tại và hướng nghiên cứu tương lai

Phần này thảo luận về các thách thức còn tồn tại trong lĩnh vực Differential Privacy trong Deep Learning, và đề xuất các hướng nghiên cứu tương lai. Các thách thức có thể bao gồm: giảm thiểu tác động của DP đến hiệu suất, phát triển các thuật toán DP cho các kiến trúc mô hình mới, và giải quyết các vấn đề liên quan đến việc triển khai DP trong các ứng dụng thực tế. Hướng nghiên cứu tương lai có thể bao gồm việc khám phá các kỹ thuật học máy mới, phát triển các công cụ hỗ trợ DP, và nghiên cứu về các khía cạnh pháp lý và đạo đức của DP.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: BẢO MẬT KHÁC BIỆT (DIFFERENTIAL PRIVACY) 1. TỔNG QUAN VỀ DIFFERENTIAL PRIVACY 1. Ý tưởng cốt lõi của Differential Privacy Đầu tiên, hãy xem xét hai câu hỏi sau đây: 1. “Có bao nhiêu người sống tại Cam Lâm?” 2.

“Có bao nhiêu người tên Lê Minh Trí sống tại Cam Lâm?” Câu hỏi đầu tiên tiết lộ về một đặc điểm của toàn bộ quần thể (population), còn câu thứ hai tiết lộ thông tin về một cá nhân duy nhất. Khi sử dụng dữ liệu, mục tiêu của chúng ta là có thể tìm hiểu các xu hướng trong quần thể mà vẫn ngăn khả năng tìm hiểu bất kỳ điều gì mới về một cá nhân cụ thể. Điều này là mục tiêu của nhiều phân tích thống kê dữ liệu, chẳng hạn như các thống kê được công bố bởi Cơ quan Thống kê Dân số Hoa Kỳ (U. Census Bureau) [1], Cơ quan Thống kê châu Âu (Eurostat) [2], … và lĩnh vực Học máy (Machine Learning) nói chung.

Nhưng làm thế nào để chúng ta có thể trả lời câu hỏi đầu tiên “Có bao nhiêu người sống tại Cam Lâm” – chúng ta sẽ gọi là một truy vấn, trong khi ngăn ngừa câu hỏi thứ hai “Có bao nhiêu người tên Lê Minh Trí sống tại Cam Lâm?” được trả lời? Hay nói cách khác, là chúng ta đang tìm lời giải cho câu hỏi “Làm thế nào để công bố dữ liệu về người mà vẫn bảo vệ quyền riêng tư của họ?”. Giải pháp phổ biến nhất được gọi là giải trừ nhận dạng (de-identification) hay ẩn danh (anonymization), trong đó thông tin nhận dạng cá nhân được loại bỏ khỏi tập dữ liệu, giả định rằng tập dữ liệu này chứa thông tin được thu thập từ nhiều cá nhân. Một lựa chọn khác là chỉ cho phép các truy vấn tổng hợp, chẳng hạn như trung bình trên dữ liệu. Tuy nhiên, hiện nay, chúng ta hiểu rằng cả hai phương pháp này đều không cung cấp sự bảo vệ mạnh mẽ về quyền riêng tư [3].

Cụ thể, các tập dữ liệu đã được giải trừ nhận dạng có thể dễ dàng bị tấn công liên kết cơ sở dữ liệu, và việc tổng hợp chỉ bảo vệ sự riêng tư nếu các nhóm đang được tổng hợp đủ lớn, ngay cả khi nhóm đủ lớn, vẫn có thể xảy ra các cuộc tấn công vào quyền riêng tư [3, 4]. Qua đó có thể thấy rằng trong nhiều năm, các nhà khoa học máy tính đã đề xuất nhiều ý tưởng sáng tạo, nhưng không có khái niệm nào thực sự thỏa đáng: tất cả những khái niệm này đều được chứng minh là có 3 hạn chế trong một số hoàn cảnh. Chúng cũng khó áp dụng mà không làm mất đi tính hữu ích của dữ liệu. Song, phương pháp này cũng làm giảm độ chính xác của các truy vấn [4].

Thách thức đặt ra là làm sao để thêm đủ nhiễu để bảo vệ quyền riêng tư của mỗi cá nhân mà không làm mất đi tính hữu ích của dữ liệu. Các nghiên cứu, công trình sau đó [5, 6] đã cải tiến ý tưởng thêm nhiễu vào các bảng được công bố để bảo vệ quyền riêng tư của các cá nhân trong tập dữ liệu [4]. Cho đến năm 2006, bốn tác giả là Cynthia Dwork, Frank McSherry, Kobbi Nissim, và Adam Smith đã đề xuất một khung (framework) lý thuyết chính thức cho những kết quả này trong bài báo “Calibrating Noise to Sensitivity in Private Data Analysis” [7]. Bài báo này đã giới thiệu khái niệm Bảo mật khác biệt (Differential Privacy), một định nghĩa toán học về sự mất mát dữ liệu mà mọi người phải chịu khi công bố dữ liệu, và nhóm tác giả đã đề xuất một cơ chế (mechanism) để xác định mức nhiễu cần thêm cho bất kỳ mức bảo vệ riêng tư nào.

Phần dưới đây sẽ làm rõ hơn về ý tưởng của Bảo mật khác biệt. Giả sử, chúng ta có một quy trình (process), quy trình này sẽ lấy một đầu vào (input) là một cơ sở dữ liệu và trả về một số đầu ra nào đó. Minh họa quy trình [8] Quy trình ở đây có thể là bất kỳ hành động gì [8], ví dụ như: - Một chiến lược gỡ bỏ thông tin cá nhân: Loại bỏ tên Họ và ba chữ số cuối điện thoại, … - Một quy trình tính toán thống kê: Cho biết có bao nhiêu người có tóc màu vàng, … 4 - Một quy trình huấn luyện học máy: Xây dựng một mô hình để dự đoán người dùng nào thích mua sắm, … Để làm cho một quy trình tương tự như các ví dụ ở trên trở nên bảo mật khác biệt, chúng ta thường phải điều chỉnh một chút bằng cách thêm một ít sự ngẫu nhiên hoặc nhiễu vào một số nơi cụ thể. Cách chúng ta thực hiện và mức độ nhiễu cần thêm sẽ phụ thuộc vào từng quy trình, điều này sẽ được trình bày chi tiết hơn trong các phần sau.

Hiện tại, theo một cách gần gũi, ta có thể nói rằng quy trình của chúng ta đang thực hiện một số “ma thuật” nào đó. Minh họa việc thêm "ma thuật" vào quy trình [8] Hình 1. Loại bỏ một người khỏi tập dữ liệu [8] Giả sử chúng ta loại bỏ một ai đó khỏi cơ sở dữ liệu và chạy lại quy trình mới với cơ sở dữ liệu mới đó. Nếu quy trình mới là bảo mật khác biệt, hai kết quả sẽ “gần giống nhau” (basically the same).

Điều này chắc chắn đúng dù chúng ta loại bỏ ai và cơ sở dữ liệu ban đầu là gì. Cụm từ “gần giống nhau” ở đây không có nghĩa là “nó trông có vẻ tương tự 5 một chút”. Thay vào đó, ma thuật ngẫu nhiên hóa được thêm vào quy trình đã đảm bảo rằng chúng ta không luôn luôn nhận được cùng một kết quả nếu chạy lại quy trình nhiều lần. Vậy “gần giống nhau” trong ngữ cảnh này có nghĩa là chúng ta có thể có cùng kết quả chính xác từ cả hai cơ sở dữ liệu với khả năng tương tự [8].

Nhưng điều này có ý nghĩa gì đến quyền riêng tư? Giả sử bạn là một kẻ xấu đang cố gắng xác định xem đối tượng mục tiêu có trong dữ liệu gốc hay không. Nhìn vào kết quả, bạn không thể chắc chắn 100% về điều gì cả, vì kết quả có thể đến từ cơ sở dữ liệu chứa mục tiêu hoặc không chứa mục tiêu, với xác suất tương tự. Do đó, bạn không thể xác định được điều gì chắc chắn [8]. Xuyên suốt quá trình trên, chúng ta không đề cập đến dữ liệu đầu ra trông như thế nào.

Điều này là vì bảo mật khác biệt tập trung chủ yếu vào bản chất của quá trình thay vì đặc điểm của dữ liệu đầu ra, điều này khác với các định nghĩa về quyền riêng tư dữ liệu trước đây như k – anonymity [9]. Chúng ta không thể nhìn vào dữ liệu đầu ra và xác định liệu nó có tuân theo bảo mật khác biệt hay không. Thay vào đó, bảo mật khác biệt là một tính chất của quy trình: chúng ta phải biết cách dữ liệu được tạo ra để xác định liệu nó có tuân theo bảo mật khác biệt hay không [8]. Định nghĩa Differential Privacy Bảo mật khác biệt (Differential Privacy - DP) là một định nghĩa toán học về quyền riêng tư trong ngữ cảnh phân tích thống kê và học máy [10, 11].

DP không phải là một quy trình cụ thể như việc loại bỏ thông tin cá nhân (de-identification), mà là một thuộc tính mà quy trình có thể có. Chẳng hạn, có thể chứng minh rằng một thuật toán cụ thể “đáp ứng” các tiêu chuẩn của bảo mật khác biệt [12]. Nói một cách không chính thức, bảo mật khác biệt đảm bảo rằng đối với mỗi cá nhân đóng góp dữ liệu, kết quả của một phân tích bảo mật khác biệt (differentially private analysis) sẽ gần như giống nhau, bất kể dữ liệu của cá nhân đó có được bao gồm hay không [12]. Một phân tích bảo mật khác biệt thường được gọi là một cơ chế (mechanism) và thường được ký hiệu là 𝑀 hoặc 𝐴.

Cho 𝐷 là một tập dữ liệu bao gồm 𝑛 bản ghi. Một nhà phân tích muốn truy vấn tập dữ liệu này. Một cách chính thức, truy vấn là một hàm 𝑓 nhận tập dữ liệu làm đầu vào và xuất ra một giá trị quan tâm. Truy vấn có thể đơn giản như tính trung bình của một đặc trưng nào đó, hoặc phức tạp hơn, như huấn luyện một mạng nơ-ron và sau đó trả về các 6 trọng số của mạng.

DP được thực hiện thông qua một cơ chế 𝑀: một thuật toán ngẫu nhiên ước tính kết quả của 𝑓. Một lớp cơ chế phổ biến có thể được coi là phiên bản “có nhiễu” của 𝑓, bằng cách thêm nhiễu được chọn cẩn thận vào 𝑓, tức là, 𝑀(𝐷 ) = 𝑓 (𝐷 ) + 𝑍, trong đó, 𝑍 là một biến ngẫu nhiên được lấy mẫu từ một phân phối nhiễu cụ thể [13]. Chúng ta nói rằng hai tập dữ liệu 𝐷 và 𝐷′ là hàng xóm (neighbors) nếu chúng khác nhau chỉ trong một bản ghi; cụ thể hơn, một tập dữ liệu là một bản sao của tập dữ liệu kia nhưng có thêm hoặc bớt một bản ghi duy nhất. Cho 𝜀 là một số dương.

Một cơ chế 𝑀 đảm bảo 𝜀-differential privacy nếu đối với bất kỳ hai tập dữ liệu hàng xóm 𝐷 và 𝐷′ nào, và bất kỳ 𝑆 ⊆ 𝑅𝑎𝑛𝑔𝑒(𝑀), 𝑃[𝑀(𝐷) ∈ 𝑆] ≤ 𝑒𝑥𝑝(𝜀) × 𝑃[𝑀(𝐷′ ) ∈ 𝑆]. (1) Trong Định nghĩa 1, 𝑅𝑎𝑛𝑔𝑒(𝑀) là tập hợp của tất cả các kết quả có thể của 𝑀. Định nghĩa differential privacy - minh họa [15] Theo giải thích của Natalia Ponomareva và các cộng sự [13], Định nghĩa 1 đảm bảo rằng xác suất thấy một kết quả cụ thể trên hai tập dữ liệu hàng xóm bất kỳ có thể khác nhau tối đa một hệ số nhân của 𝑒𝑥𝑝(𝜀). 𝑒𝑥𝑝(𝜀) hay 𝑒 𝜀 là hàm mũ áp dụng cho tham số 𝜀 > 0.

Nếu 𝜀 rất gần với 0, thì 𝑒 𝜀 sẽ rất gần với 1, vì vậy các xác suất rất tương tự nhau [8]. Do đó, khi 𝜀 đủ nhỏ, ý nghĩa chính của định nghĩa là việc bao gồm hoặc loại trừ một bản ghi duy nhất khỏi tập dữ liệu không có khả năng thay đổi kết quả. Do đó, một kẻ thù chỉ có quyền truy cập vào kết quả của 𝑀 sẽ gặp khó khăn trong việc suy luận xem bất kỳ bản ghi cụ thể nào có tồn tại trong tập dữ liệu hay không [13]. 7 Cũng theo Natalia Ponomareva và cộng sự [13], việc lựa chọn điều gì tạo nên một "bản ghi" (đơn vị của sự riêng tư) là trọng tâm trong việc giải thích định nghĩa của DP và ý nghĩa của các cam kết nó cung cấp.

Các đơn vị riêng tư khác nhau có thể phù hợp cho các ứng dụng học máy khác nhau.