Khóa Luận Tốt Nghiệp: Nghiên Cứu Tấn Công Sử Dụng Mẫu Đối Kháng Trên Hệ Thống Nhận Diện Giọng Nói Tự Động

• Tác giả: Nguyen Xuan Khang
• Người hướng dẫn: TS. Nguyen Ngoc Tu
• Trường học: Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: An toàn thông tin
• Đề tài: Tấn công sử dụng mẫu đối kháng trên các hệ thống nhận diện giọng nói tự động
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG NHẬN DIỆN GIỌNG NÓI TỰ ĐỘNG
• 1.1. Các hệ thống nhận diện giọng nói nổi bật
• 1.2. Lý thuyết về mẫu đối kháng
• 1.3. Tối ưu cách tạo mẫu đối kháng sử dụng các hàm mất mát khác nhau
• 1.4. Các phương pháp tạo mẫu
• 1.5. Triển khai thực nghiệm tấn công và đánh giá, bàn luận, so sánh
• 2. CHƯƠNG 2: TỔNG QUAN VỀ CÁC NGHIÊN CỨU ĐI TRƯỚC
• 2.1. Những vấn đề còn tồn tại
• 2.2. Tấn công các mô hình học sâu trong hệ thống ASR sử dụng mẫu đối kháng
• 3. CHƯƠNG 3: TIỀN XỬ LÝ DỮ LIỆU VÀ CÁC MÔ HÌNH NHẬN DIỆN GIỌNG NÓI TỰ ĐỘNG NỔI BẬT
• 3.1. Khái niệm về mẫu đối kháng và tấn công sử dụng mẫu đối kháng
• 3.2. Mục tiêu của mẫu đối kháng
• 3.3. Ngữ cảnh cuộc tấn công sử dụng mẫu đối kháng
• 3.4. Các loại hàm mất mát
• 3.5. Tổng quan về hàm mất mát
• 3.6. Hàm mất mát Connectionist Temporal Classification (CTC)
• 3.7. Các cách tạo mẫu đối kháng tấn công hệ thống nhận diện giọng nói tự động
• 3.7.1. Phương pháp Fast Gradient Sign Method
• 3.7.2. Phương pháp Projected Gradient Descent
• 3.7.3. Phương pháp Carlini & Wagner
• 3.7.4. Phương pháp sử dụng psychoacoustic model
• 3.8. Chỉ số đánh giá mô hình nhận diện giọng nói
• 4. CHƯƠNG 4: THỰC NGHIỆM TẤN CÔNG MÔ HÌNH HỌC SÂU TRONG CÁC HỆ THỐNG NHẬN DIỆN
• 4.1. Tấn công mô hình học sâu trong DeepSpeech
• 4.2. Kịch bản tấn công
• 4.3. Kết quả thực nghiệm
• 4.4. Bình luận và đánh giá
• 4.5. Tấn công mô hình học sâu trong Lingvo
• 4.5.1. Kịch bản 1: Tấn công mô hình học sâu trong Lingvo sử dụng phương pháp
• 4.5.2. Kịch bản 2: Tấn công mô hình học sâu trong với sự hỗ trợ của psychoacoustic model
• 5. CHƯƠNG 5: SO SÁNH KẾT QUẢ THỰC NGHIỆM
• 5.1. So sánh, đánh giá phương pháp tấn công
• 5.2. Đánh giá các hệ thống ASR mục tiêu
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO
• 6.1. Các điểm chưa hoàn chỉnh của nghiên cứu
• 6.2. Hướng nghiên cứu tiếp theo — bảo vệ các mô hình học sâu của hệ thống
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT

I. Tổng quan về hệ thống nhận diện giọng nói tự động

Hệ thống nhận diện giọng nói tự động (ASR) là một công nghệ quan trọng trong lĩnh vực trí tuệ nhân tạo, sử dụng các mô hình học sâu để chuyển đổi ngôn ngữ tự nhiên thành dữ liệu số. Các hệ thống này được ứng dụng rộng rãi trong các trợ lý ảo như Siri, Google Assistant, và các hệ thống điều khiển thông minh. DeepSpeech và Lingvo là hai hệ thống ASR nổi bật hiện nay, sử dụng các mô hình như Connectionist Temporal Classification (CTC) và Recurrent Neural Network (RNN) để cải thiện độ chính xác. Tuy nhiên, các hệ thống này dễ bị tấn công bởi mẫu đối kháng (adversarial examples), làm giảm độ tin cậy và bảo mật.

1.1. Kiến trúc hệ thống ASR

Hệ thống ASR truyền thống dựa trên Hidden Markov Model (HMM), trong khi các hệ thống hiện đại sử dụng các mô hình học sâu như CTC và RNN. Các hệ thống này bao gồm các bước xử lý âm thanh, trích xuất đặc trưng, và dự đoán văn bản. DeepSpeech của Baidu là một ví dụ điển hình, sử dụng Bidirectional RNN để tăng độ chính xác. Tuy nhiên, việc sử dụng các mô hình học sâu cũng làm tăng nguy cơ bị tấn công bởi mẫu đối kháng.

1.2. Ứng dụng của hệ thống ASR

Các hệ thống ASR được ứng dụng trong nhiều lĩnh vực như điều khiển xe tự hành, smarthome, và phiên dịch trực tiếp. Các trợ lý ảo như Siri và Google Assistant là những ví dụ điển hình. Tuy nhiên, bất kỳ lỗ hổng nào trong các mô hình học sâu đều có thể gây ra hậu quả nghiêm trọng, làm giảm hiệu quả và độ tin cậy của các hệ thống này.

II. Tấn công sử dụng mẫu đối kháng trên hệ thống ASR

Tấn công mẫu đối kháng (adversarial attack) là một phương pháp tấn công phổ biến nhằm vào các mô hình học sâu. Kẻ tấn công thêm nhiễu loạn nhỏ vào dữ liệu đầu vào để đánh lừa mô hình, khiến nó đưa ra kết quả sai lệch. Các hệ thống ASR, đặc biệt là những hệ thống sử dụng mô hình học sâu, dễ bị tổn thương trước loại tấn công này. Fast Gradient Sign Method (FGSM) và Carlini & Wagner (C&W) là hai phương pháp tấn công phổ biến.

2.1. Nguyên nhân dễ bị tấn công

Các mô hình học sâu dễ bị tấn công bởi mẫu đối kháng do tính chất tuyến tính của chúng trong không gian đa chiều. Goodfellow và cộng sự đã chỉ ra rằng việc thêm nhiễu loạn nhỏ vào dữ liệu đầu vào có thể làm thay đổi kết quả dự đoán. Ngoài ra, việc sử dụng dữ liệu huấn luyện không đầy đủ cũng làm tăng nguy cơ bị tấn công.

2.2. Phương pháp tấn công phổ biến

Các phương pháp tấn công phổ biến bao gồm FGSM, Projected Gradient Descent (PGD), và C&W. FGSM sử dụng gradient của hàm mất mát để tạo nhiễu loạn, trong khi C&W tối ưu hóa nhiễu loạn để đánh lừa mô hình. Các phương pháp này đã được thử nghiệm trên các hệ thống ASR như DeepSpeech và Lingvo, cho thấy tính khả thi của việc tấn công.

III. Thực nghiệm và đánh giá

Các thực nghiệm tấn công trên hệ thống DeepSpeech và Lingvo đã được tiến hành để đánh giá tính khả thi của các phương pháp tấn công. Kết quả cho thấy các hệ thống ASR dễ bị tấn công bởi mẫu đối kháng, đặc biệt là khi sử dụng phương pháp C&W. Các chỉ số đánh giá như Word Error Rate (WER) và Character Error Rate (CER) được sử dụng để đo lường hiệu quả của các cuộc tấn công.

3.1. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy DeepSpeech và Lingvo đều dễ bị tấn công bởi mẫu đối kháng. Phương pháp C&W đạt hiệu quả cao nhất, với tỷ lệ lỗi WER tăng đáng kể. Các kịch bản tấn công được thực hiện trong cả môi trường white-box và black-box, cho thấy tính linh hoạt của các phương pháp tấn công.

3.2. Đánh giá và bàn luận

Các kết quả thực nghiệm cho thấy sự cần thiết của việc nghiên cứu các phương pháp phòng thủ để bảo vệ các hệ thống ASR. Các phương pháp như phát hiện mẫu đối kháng và tăng cường tính bảo mật của mô hình học sâu cần được phát triển để giảm thiểu nguy cơ bị tấn công.

IV. Kết luận và hướng nghiên cứu tiếp theo

Nghiên cứu này đã chỉ ra rằng các hệ thống ASR dễ bị tấn công bởi mẫu đối kháng, đặc biệt là khi sử dụng các mô hình học sâu. Các phương pháp tấn công như FGSM và C&W đã được chứng minh là hiệu quả trong việc đánh lừa các mô hình. Hướng nghiên cứu tiếp theo tập trung vào việc phát triển các phương pháp phòng thủ để bảo vệ các hệ thống ASR khỏi các cuộc tấn công này.

4.1. Hướng nghiên cứu phòng thủ

Các hướng nghiên cứu phòng thủ bao gồm việc phát triển các phương pháp phát hiện mẫu đối kháng, tăng cường tính bảo mật của mô hình học sâu, và sử dụng các kỹ thuật như adversarial training để giảm thiểu nguy cơ bị tấn công. Các nghiên cứu này sẽ giúp cải thiện độ tin cậy và bảo mật của các hệ thống ASR trong tương lai.