CHƯƠNG 1. TỔNG QUAN ĐỀ TÀI Trong chương đầu tiên, luận văn sẽ giới thiệu về học sâu và vấn đề bảo vệ tính riêng tư dữ liệu. Trên cơ sở đó, đề tài sẽ đúc kết ra một số vấn đề cần phải giải quyết trong việc xây dựng một phương pháp học sâu bảo vệ tính riêng tư và liệt kê một số đóng góp chính. Tiếp đến, chương sẽ trình bày ý nghĩa về mặt khoa học lẫn thực tiễn của đề tài.
Cuối cùng, chương này sẽ kết thúc bằng việc trình bày về mục tiêu, phạm vi, giới hạn và cấu trúc luận văn. KIẾN THỨC NỀN TẢNG Trong chương này, luận văn sẽ trình bày ngắn gọn các lý thuyết, cơ sở khoa học được sử dụng trong đề tài. Cụ thể lần lược là: nền tảng học sâu, riêng tư vi phân, PATE, kỹ thuật vector thưa, lược đồ mã hoá Paillier và human-in-the-loop. CÔNG TRÌNH LIÊN QUAN Trong chương này, luận văn sẽ trình bày các tìm hiểu, nghiên cứu phân tích về rủi ro vi phạm riêng tư của các mô hình học sâu và các phương pháp bảo vệ được đề xuất trong các công trình, bài báo gần đây.
GIẢI PHÁP ĐỀ XUẤT Trong chương này, luận văn trình bày cụ thể và chi tiết về giải pháp được đề xuất - phương pháp học sâu bảo vệ riêng tư. THIẾT KẾ THÍ NGHIỆM VÀ ĐÁNH GIÁ Trong chương này, luận văn sẽ mô tả về thí nghiệm, phân tích kết quả thu được của phương pháp được đề xuất. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong chương cuối cùng, luận văn tổng kết lại các vấn đề trong quá trình nghiên cứu. Đồng thời nêu ra các hạn chế cũng như mở ra các hướng phát triển của đề tài trong tương lai.
10 2 KIẾN THỨC NỀN TẢNG Trong chương này, luận văn sẽ trình bày ngắn gọn các lý thuyết, cơ sở khoa học được sử dụng trong đề tài. Cụ thể lần lược là: nền tảng học sâu, riêng tư vi phân, PATE, kỹ thuật vector thưa, lược đồ mã hoá Paillier và human-in-the-loop.1 Nền tảng học sâu Mặc dù lĩnh vực trí tuệ nhân tạo đã có lịch sử cũng khá lâu (có thể xem hội nghị Dartmouth 1956 làm dấu mốc bắt đầu) nhưng AI thực sự bùng nổ và hồi sinh từ mùa đông (2nd AI winter 1987–1993) là nhờ vào các mô hình học dựa trên học sâu [52]. Học sâu là một tập con của các phương pháp học máy dựa vào các mạng nơ-ron nhân tạo (artificial neural networks), được lấy cảm hứng từ cách tổ chức thần kinh của con người. Các mô hình, lý thuyết học dựa trên mạng nơ-ron (còn gọi là trường phái kết nối - connectionism) thực ra cũng đã có trước đó.
Tiêu biểu là mạng nơ-ron nhiều lớp (multi-layer perceptrons - MLP (1967)). Tuy nhiên, trước đây thì các phương pháp này toả ra không hiệu quả hơn các phương pháp học máy truyền thống. Sự phát minh thuật toán huấn luyện Backpropagation bởi Geoffrey Hinton và các cộng sự (1986) đã giúp cho mạng nơ-ron học nhanh hơn gấp nhiều lần. Bên cạnh đó, học sâu thực sự bùng nổ là nhờ Internet ngày càng định hình các con người sống và dữ liệu từ đó được tạo ra và lưu trữ ngày càng nhiều (dữ liệu lớn - Big Data) và sự phát triển khả năng xử lý của phần cứng (GPU, TPU) đã tạo điều cho việc xây dựng những mô hình học sâu với các lớp ngày càng sâu và phức tạp hơn, đi liền là khả năng dự đoán vượt trội so với các mô hình, phương pháp học máy trước đó.
Về mặt cấu trúc, một mô hình học sâu gồm nhiều lớp (layers) phức tạp, biến đổi phi tuyến, còn được gọi là hàm kích hoạt (activation functions), tiêu biểu là sigmoid và rectified linear units (ReLUs) và học được cách biểu diễn (representations) và đưa ra dự đoán, khác với các kỹ thuật học máy khác như: SVM, cây quyết định, naive Bayes, logistic regression, .v phải cần bước rút trích đặc trưng (feature extraction) thủ công trước khi đưa vào mô hình để học. Bên cạnh đó, để huấn luận cấu trúc này có thể học được ta cần định nghĩa một hàm mất mát (loss function) để tối thiểu hoá đầu ra của cấu trúc với dữ liệu thực tế. Giả sử dữ liệu cần học {x1 , x2 , ., xn } , ta cần tìm tập tham số của mô hình so cho L(θ) = n1 L(θ; xi ) đạt giá trị nhỏ nhất có thể. Thuật toán xuống đồi (gradient descent) được dùng để tìm điểm cực tiểu có khả năng đạt giá trị nhỏ nhất này.
Vì các mô hình học sâu thường được huấn luyện trên một tập dữ liệu rất lớn nên ta thường không thể bỏ tất cả các dữ liệu đầu vào học trong một lần mà phải bỏ theo từng lô (batch) và dùng mini-batch hay stochastic gradient descent để tìm các điểm cực tiểu địa phương. AlexNet [1] là một mạng nơ-ron học sâu đánh dấu khả năng ứng dụng của các công nghệ này trong lĩnh vực thị giác máy tính. Nó được xây dựng dựa trên một mạng nơ-ron đặc biệt, gọi là mạng nơ-ron tích chập (Convolution Neural Network - CNN). Generative adversarial network (GAN) [53]–[55] là một mạng nơ-ron học sâu có khả năng sinh ra dữ liệu, ví dụ công nghệ Deepfake [56] sinh ra những mặt người giả từ mạng nơ-ron này.
Qua quá trình phát triển các mạng nơ-ron cho các tác vụ cụ thể từ AlexNet [1] đến ResNet [2], DenseNet [57], Yolo [58], [59], faster-RCNN [60], transformer [4], BERT [5],.v các mô hình học sâu ngày càng lớn và nhiều tham số. Việc này dẫn đến cần tìm ra các kỹ thuật để nén các mô hình (model compression), tăng tốc độ, ví dụ để triển khai ở các thiết bị tài nguyên hạn chế hơn như di động, trích xuất tri thức thực sự (dark knowledge), chưng cất mạng [61] là nhóm các kỹ thuật để thực hiện việc này. Trong đó có kỹ thuật chưng cất tri thức (knowledge distillation) [61] sử dụng kỹ thuật transfer learning để chuyển tri thức từ mạng có kiến trúc lớn thành mạng có kiến trúc nhỏ hơn nhưng vẫn giữ lại độ chính xác tối đa. Những mô hình chúng tôi liệt kê trên được xếp vào loại học có không có giám sát (unsupervised learning), ví dụ GAN và giám sát (supervised learning) tức là dữ liệu khi đem vào mạng nơ-ron học sâu có nhãn và không có nhãn.
Tuy nhiên còn một 12 cách huấn luyện khác sử dụng cả dữ không có nhãn lẫn dữ liệu có nhãn là học nửa giám sát [62], [63]. Cụ thể thường sử dụng một lượng nhỏ dữ liệu có nhãn và một lượng lớn dữ liệu không có nhãn.2 Riêng tư vi phân Riêng tư vi phân [36], [37] là một tiêu chuẩn bảo vệ tính riêng tư dữ liệu được xây dựng dựa trên một cơ sở lý thuyết toán học vững chắc, đảm bảo rằng sự có mặt hay vắng mặt của một thể hiện dữ liệu hay một điểm dữ liệu sẽ không ảnh hưởng đến kết quả của một giải thuật, một mô hình hay một quá trình khai phá dữ liệu nào. Vì sự xuất hiện của một dữ liệu cá nhân không ảnh hưởng quá nhiều đến kết quả cuối cùng nên khi một mô hình, giải thuật cho ra một kết quả và kẻ tấn công suy luận một thông tin nào đó, chủ dữ liệu có khả năng từ chối kết quả, gọi là sự phủ nhận hợp lý (plausible deniability). Do đó dữ liệu cá nhân của chủ liệu đó được bảo vệ về tính riêng tư.
Cơ chế trả lời ngẫu nhiên [64], [65] là một minh hoạ cho tính chất phủ nhận hợp lý này (Hình 2. Giả sử một cuộc khảo sát về việc hút thuốc của thanh niên thì nếu thu thập bằng cách trả lời ngẫu nhiên này thì P (có) = 12 ∗ p + 14 (với p là xác suất người đó có hút thuốc thực sự và giả sử đồng xu không có thiên kiến (bias)) hay P (hút thuốc∣có) = 2p+1 2p. Do đó từ kết quả là “có” thì người cung cấp dữ liệu có thể phủ nhận về kết quả rằng đó là kết quả ngẫu nhiên của mô 2p hình, cơ chế với xác suất 2p+1 chứ kết quả không thực sự là vậy. Cơ chế này còn có thể mở rộng ra cho đồng xu thiên kiến - tỉ lệ tung được mặt sấp và ngửa không phải là 1 ∶ 1.1: Cơ chế trả lời ngẫu nhiên M để thu thập dữ liệu mà chủ dữ liệu có thể phủ nhận hợp lý kết quả Để đạt được điều này giải thuật, mô hình phải có một sự ngẫu nhiên (randomness) trong việc xuất ra kết quả.
Cụ thể: Định nghĩa 2. Một cơ chế ngẫu nhiên M (Hình 2.2) thoả ϵ-differential privacy nếu với hai tập dữ liệu liền kề D, D′ (khác nhau một điểm dữ liệu duy nhất) với bất kỳ tập kết quả S ⊆ R (miền kết quả), ta có P r[M (D) ∈ S] ≤ exp(ϵ) ∗ P r[M (D′ ) ∈ S] 13 Đại lượng ϵ trong công thức trên còn được gọi là ngân sách riêng tư (privacy budget). Ngân sách riêng tư càng nhỏ thì cơ chế M càng bảo đảm về mặt bảo vệ tính riêng tư.2: Cơ chế ngẫu nhiên M thoả ϵ-differential privacy - ảnh hưởng của điểm dữ liệu x đối với kết quả của cơ chế M là nhỏ (đặc trưng bởi đại lượng ϵ) Rộng hơn đạt được tiêu chuẩn này ta thường dùng các kỹ thuật thêm nhiễu dựa vào xác suất thống kê, mặc dù ta có thể dùng nhiều cách khác để tạo tính ngẫu nhiên ví dụ như lấy mẫu. Một trong những phân phối của nhiễu mà thường được dùng trong riêng tư vi phân là phân phối Laplace.
Cơ chế được định nghĩa như sau: Định nghĩa 2. Cho một hàm f :D → R trên một tập dữ liệu D, cơ chế M được thêm nhiễu như sau: ∆f M (D) = f (D) + Lap( ) ϵ Trong [36], [37] đã chứng minh cơ chế thêm nhiễu này thỏa tiêu chuẩn ϵ-differential privacy với f (D) là kết quả đầu ra của một tính toán, ∆f là hàm nhạy cảm (sensitivity function) - là khoảng cách lớn nhất giữa hai kết quả của phép tính toán trên hai tập dữ liệu liền kề ∆f = max′ ∣∣f (D) − f (D′ )∣∣ D,D Riêng tư vi phân đã và đang trở thành một tiêu chuẩn “de facto” trong bảo vệ tính riêng tư cho nhiều vấn đề khác nhau do có thể dễ dàng áp dụng bằng cách xáo trộn kết quả của một phép tính toán, quy trình chỉ với cộng thêm nhiễu, cụ thể ta có thể dùng trong việc bảo vệ riêng tư cho mô hình, cơ chế, thập dữ liệu hay xuất bản kết quả của một mô hình.