Chương 1. TONG QUAN ĐỂ TÀII. Phạm vi để tai. CƠ SỞ LY THUYÊT.---2- 5£ £2S£+EE£EEt2E££EEEEEtEEtEEEEEEerkrrkeree 18 2.
Giới thiệu về quyền riêng tư vi phân trong khai thác dữ liệu. Tại sao lại cần riêng tư vi phân?. _ Riêng tư vi phân là gÌ?. Xác định tính chất riêng tư vi phân, áp dụng:.
Nó hoạt động như thé nào?.---- 5c + 5s+Sk+EE+EE+E+EerEerkerxerxeree 20 2. _ Tính chất của khác biệt về quyền riêng tư vi phân. Mô hình mang sáng tao: Generative Adversarial NÑetwork.- 25 02a Pa Wa © 5 (6) 0h 00 (210 perce 25 2. Tại sao có thé sử dung Generative adversarial networks dé dam bao quyền riêng tư Vi Phan.
Định Nia oo. Ứng dung cecccecccecccccsccscsessssssessessessesssessessecsucsusssessvssucsssssessessecsseesesseeaes 29 2. Differentially Private Generative Adversarial Networks (DP-GAN). Khuôn khổ Private Aggregation of Teacher Ensembles (khuôn khổ PATE).
Private Aggregation of Teacher Ensembles - Generative adversarial networks (PATE-GAN). Hàm kích hoạt Š1gImOI(.- 5 2< + 31 91H HH ng ng ướt 31 2. Hàm kích hoạt Leaky ReLL. Chuẩn hoá Adam.
Giới thiệu ngôn ngữ lập trình Python.-- 5 6S EsEsseksskssersvee 36 Chương 3. LÝ THUYET ÁP DỤNG CÁC PHƯƠNG PHÁP VÀO DU LIEU HÌNH ẢNH. Phuong pháp Differentially Private Generative Adversarial Networks. Phuong pháp sử dụng khuôn khổ Private Aggregation of Teacher 01590010) 5018.
Phương pháp sử dụng Private Aggregation of Teacher Ensembles - Generative adversarial €VWOTKS.-- -- s1 HH ngư 43 Chương 4. THỰC NGHIEM VA DANH GIA KET QUA. Giới thiệu môi trường thực hiỆn. Sử dụng tập dữ liệu MNISTT”.
Môi trường thực hiỆn. Thực nghiệm phương pháp Differentially Private Generative Adversarial 010i<0. Công tác thực hiỆn.- - Ác 311211191113 1119 11191 1H vn ng ngư,48 4. HH HH TT TH HH HH HH 52 4.
Thực nghiệm áp dụng khuôn khổ Private Aggregation of Teacher 201210522277. Thử nghiệm thông số khuôn khổ PATE trước khi thực hiện. COng tac thurc WISN. HH HH HH TH TT HH 64 4.
Thực nghiệm phương pháp Private Aggregation of Teacher Ensembles - Generative adversarial I€EWOTKS.-- «+ s1 vn ng nghệ 65 4. 09):sar1vii1ìieii1:01 1070787. KẾT LUẬN VÀ HƯỚNG PHAT TRIỀN. Định hướng phát triỀn.---- + 2 2+ £+E+E£EEEEEEEEEEEEEEEEE2E71 21211,73 DANH MỤC HÌNH Hình 2.
Mô tả thông tin trong quyền riêng tư vi phân [9]. Thuật toán đồng xu đơn giản để cung cấp thêm quyền riêng tư vi Hình 2. Biểu đồ mô phỏng khoảng tin cậy của các giá trị trung bình trong cơ ChE bao mat Vi PhAn 8021010515. Biểu đồ mô phỏng khoảng tin cậy của các giá trị trung bình trong cơ chế bảo mật Vi phân € = 0,05 .cH nà Hà Hà HH Hà Hà HH pH HH nghườt 24 Hình 2.
Cách hoạt động mô hình máy học có giám sai và không giảm sát. Mô hình mạng sinh đối kháng [5]. Mô hình khái quát của khuôn khổ Private Aggregation of Teacher Ensembles []].-----s-c-sccs£cs+t+rcksEkSEEEEEstkersrkrrkerrkstkerkrkrrkrrkrrrkrkrrkrrsrkrrkrrsrkrrkrrsrerkrrsrkee 30 Hình 2. Đồ thị hàm Sigmoid.--:-ccs:rteccStrrrevEEtrreertrrrrsrrtrrrrrrrrrrerrrrrrre 32 Hình 2.
Đồ thị hàm ReLU, Leaky ReLU, PReLU và RReLU [10]. Chi phi dao tạo mạng no-ron hợp pháp. (trai) Chi phí đào tao trong ba kỷ nguyên đầu tiên. (phải) Chi phí đào tạo trong 45 kỷ nguyên.
CIFAR-10 với kiến trúc c64-c64-c 128- OO [7] .--‹--<:-c-cccxcc+kkitEEiH HH HH iày 34 Hình 3. Tổng quát khuôn khổ PATE. Trường hợp các Teacher đạt sự đồng thuận cao thì nhiễu ngẫu nhiên không làm ảnh hưởng đến kết quả. Tổng quát khuôn khổ PATE.
Trường hợp các Teacher có số lượng bầu băng nhau thì nhiêu sẽ đảm bảo sẽ được chọn ngâu nhiên trong các phiêu bau cao 10. Các đơn vị dữ liệu mau trong tập dữ liệu MNISTT. Mô hình mạng nơ-ron ĐỘ tao. --«-- << xssrke+keekttrrtkkrrkirrrrrkrrrrrrrkee 48 Hình 4.
Mô hình mạng nơ-ron bộ phân biỆt. Quy trình chạy huấn luyện phương pháp DP-GAN. Quá trình dao tạo thành công của phương pháp DP-GAN. Biểu đồ thống kê loss function với mỗi Epochs đảo tạo.
Một trong các kết quả đào tạo của GAN - đào tạo thất bại. Cài đặt và sử dụng bộ thư viện syft==0.9 để đánh giá khuôn khổ PATE "m. Khai báo hàm cal-max, hàm noiSÿ_In4X .---ce+cccccccscceserseerrseee 56 Hình 4. Kết quả thực thi kiểm định kịch bản 1 (=5, num_teachers=1000, num_examples=10000, num_possible_answers = 1) .-----ecc-erxexesexeeerrerreee 57 Hình 4.Két quả thực thi kiểm định kịch bản 2 (e=5, num_teachers=1000, num_examples=1000, num_possible_answers = 1Õ).c-cc«cccsexeersesreee 58 Hình 4.
Kết quả thực thi kiểm định kịch ban 3 (e=5, num_teachers=100, num_examples=1000, num_possible_answers = IŨ(). Kết quả thực thi kiểm định kịch bản 4 (e=0.001, num_teachers=100, num_examples=1000, num_possible_answers = 100). Thông số cho quá trình thực thi phương pháp áp dụng khuôn khổ PATE "1". Sơ đồ giải thuật quá trình đào tạo của phương pháp PATE-GAN.
Thiết lập lớp Teacher và tách bộ dữ liệu để mỗi Teacher học từ bộ dữ liệu khác nhau không trùng lặp.-------+-5<e sexy giờ 62 Hình 4. Kiểm định kết quả thiết lập của bộ các Teacher theo thực nghiệm bộ dữ in. Độ chính xác trung bình của các Teacher với mức bảo vệ riêng tư =2. Bắt đầu đào tạo cho mô hình Student.
Tính toán kiểm định mất mát và kiểm định độ chính xác. Khởi tạo mạng nơ-ron của bộ tổng hỢp. Khởi tạo mạng nơ-ron của bộ phân biệt của phương pháp PATE-GAN65 Hình 4. Khởi tạo mạng no-ron của bộ tạo của phương pháp PATE-GAN.
Tách bộ dữ liệu thành từng nhóm và đào tạo bộ phân biệt Teacher, bộ tông hợp va bộ phân biệt Student. Sử dụng bộ tạo để tạo bộ dữ liệu giả để cùng đào tạo bộ phân biệt Teacher, bộ tổng hợp và bộ phân biệt Student.------cc:+iceccccerrrrreecvvrrrrre 66 Hình 4. Sơ đồ giải thuật quá trình đào tạo của phương pháp PATE-GAN. Biéu đồ hiển thị điểm đánh giá của bộ tạo (càng về 0 càng tốt) và bộ phân biệt (càng về 1 càng tốt) trong các lượt đào tạO.
Biéu đồ biểu thị kết quả của hàm mất mát trong thực nghiệm dao tạo PATE-GAN qua 200 epochs .-- << 5+ tt HH H1 11g11 1g rikg 69 Hình 4. Xuất kết quả huấn luyện sau mỗi lần đào tạo dé đối chứng. Mô hình khái quát của phương pháp G-PATE [6].---s----s« 74 DANH MỤC BẢNG Bảng 1. Tổng kết so sánh các phương pháp DANH MỤC TỪ VIET TAT STT Từ viết tắt Nội dung Adaptive Moment Estimation — Hàm tối ưu ước tính 1 Adam , thoi diém thích ứng 2 DP Differential Privacy — riéng tu vi phan Differentially Private Generative Adversarial 3 DP-GAN Networks — Phương pháp sử dung mô hình mạng sinh đối kháng có cung cấp quyền riêng tư vi phân Generative adversarial networks — Mạng sinh đối 4 GAN kháng General Data Protection Regulation- Bộ luật bảo vệ dữ 5 GPDR ; ligu chung Private Aggregation of Teacher Ensembles — Tông 6 PATE ¬¬ hợp riêng tư của bộ các giáo viên Private Aggregation of Teacher Ensembles - 7 PATE-GAN Generative Adversarial Networks 8 ReLU rectified linear unit - Don vị tuyến tính chỉnh lưu 9 RMSProp Root Mean Square Prop Report Noise Max — Tham số báo cáo nhiễu cần lớn 10 RNM nhất TÓM TAT KHÓA LUẬN Trong khóa luận, tác giả tập trung tìm hiểu và mô phỏng mô hình toán học riêng tư vi phân, mô hình mang sinh đối kháng, khuôn khổ tổng hợp riêng tư của bộ các giáo viên Qua các mô hình đó cung cấp được mức bảo vệ riêng tư nhất định cho quá trình khai thác dữ liệu.
Trong đó bao gồm phương pháp sử dụng nhiễu trong quá trình học của mô hình mạng sinh đối kháng, khả năng cung cấp riêng tư vi phân trong khuôn khổ tông hợp riêng tư của bộ các giáo viên và cuối cùng kết hợp tạo mô hình mạng sinh đối kháng theo khuôn khổ tổng hợp riêng tư của bộ các giáo viên. Mô hình học sâu ngày càng có nhiều ứng dụng trong cuộc sống như trong các hệ thống khuyến nghị, xe tự hành,. Đề xây dựng các mô hình học sâu có độ chính xác cao cần phải có số lượng lớn dữ liệu dé xây dựng mô hình. Số lượng lớn dit liệu này có thé thu thập từ người dùng.
Việc thu thập dữ liệu này có thé gây ra mắt tính riêng tư theo luật GPDR(General Data Protection Regulation). Trước khi dit liệu của client được gửi về server dé xây dựng mô hình máy học thi dữ liệu này cần được làm nhiễu dé bảo vệ tính riêng tư của người dùng. Bảo vệ tính riêng tư đữ liệu trong đề tài thực hiện bằng cách tìm hiểu mô hình toán học riêng tư vi phân, mô hình mạng sinh đối kháng, thư viện tensorflow và sử dụng tập dữ liệu MNIST để mô phỏng bảo vệ tính riêng tư của người dùng trong quá trình bị thu thập. Một số kết quả đạt được: e Tim hiéu được quyên riêng tư vi phân là gì, như thê nao, nhu câu va yêu câu của quyền riêng tư vi phân.
e Tim hiểu được về các mô hình, phương pháp triển khai đáp ứng được quyền riêng tư vi phân. e Tìm hiểu được công nghệ lập trình xử lý ảnh. e Tìm hiểu được về mô hình GAN. 13 e Tìm hiểu và thực nghiệm được về phương pháp DP-GAN.
e Tìm hiểu và thực nghiệm được về phương pháp sử dụng khuôn khổ PATE. e Tìm hiểu và thực nghiệm được được về phương pháp PATE-GAN. TONG QUAN DE TÀI 1. Dat van dé Ngày nay, nhờ sự phát triển của công nghệ thông tin, các công cụ thu thập, lưu trữ, giao chuyền và phân tích đữ liệu ngày càng đơn giản đi.
Các phát triển kỹ thuật như thư điện tử, Internet, thiết bị di động, giám sát video hay cả các phương pháp thanh toán điện tử cũng tạo nên những cơ hội tiếp cận mới đề thu thập dữ liệu. Cả cơ quan quốc gia lẫn doanh nghiệp tư nhân đều quan tâm đến những thông tin có liên quan đến cá nhân nhưng cũng đồng thời quan tâm đến đặc điểm thông tin chung dé hỗ trợ khai thác dữ liệu hỗ trợ cho việc dao tạo dữ liệu. Tầm quan trọng của việc bảo vệ thông tin cá nhân ngày càng được đề cao khi các tổ chức và ké cả mỗi cá nhân đều có nhu cầu khai thác thông tin cá nhân trong đa dạng mục đích sử dụng. Bảo vệ đữ liệu cá nhân ủng hộ ý tưởng là về nguyên tắc mỗi người đều có thé tự quyết định là người nào, khi nào và dữ liệu cá nhân nào của mình được phép cho người khác xem.
Quyền riêng tư vi phân là một khái niệm tương đối mới, nhưng ý tưởng là nó có thé cung cấp cho bat kì đối tượng nào như công ty, bên thứ 3 những hiéu biết sâu sắc dựa trên đữ liệu từ người dùng mà không cần biết những gì chính xác dit liệu đó cho biết hoặc nó bắt nguồn từ ai. Nhiều chính phủ trên thế giới có chính sách nghiêm ngặt về cách các công ty công nghệ thu thập và chia sẻ dữ liệu người dùng. Các công ty không tuân theo các quy tắc có thê phải đối mặt với tiền phạt rất lớn.