Chương 1. Tong quan về hệ thống nhận diện giọng nói tự động. Cac mô hình học sâu dé bị khai thác bởi cuộc tan công sử dụng mẫu đối kháng. Tan công sử dụng mẫu đối kháng đánh lừa các mô hình học sâu trong ASR .--- - St St 221 21221211 212112112111211 21111121 re 9 1.
Các hệ thống nhận diện giọng nói nỗi bật. Ly thuyết về mẫu đối kháng. Tối ưu cách tạo mẫu đối kháng sử dung các hàm mat mát khác nhau. Các phương pháp tạo mẫu.
Triển khai thực nghiệm tấn công và đánh giá, bàn luận, so sánh. -- 2-2 2S SE9SE2E£EEEEE2EEEEEEEEEE2312121211217111211 11212. Tổng quan về các nghiên cứu di trước. Những vấn đề còn tồn tại.
Tan công các mô hình học sâu trong hệ thống ASR sử dung mẫu đối 3. Tiền xử lý dữ liệu. Các mô hình nhận diện giọng nói tự động nỗi bật .-- LH HH TH TH HH HH 25 3. LH TH HH HH TH TH TH HT HH ng HH 25 3.
Khái niệm về mẫu đối kháng và tan công sử dụng mẫu đối kháng. Mục tiêu của mẫu đối kháng. Ngữ cảnh cuộc tấn công sử dụng mẫu đối kháng. Các loại hàm mat mat.
¿+ 52 S9SE+E#EE£E#EEEEEEEEEEEEEEEEEEEEEEErkrrrrkes 29 3. Tống quan về hàm mat mát. 2-2 2+ E£EE2E+EE+E+EE+E+EErErEerxrrerxes 29 3. Hàm mat mát €r0SS-eIfFODV.---- - + 2 SE+E+E2E£EEEEEE+EeEeEeEErkrkrrereree 30 3.
Ham mat mát Connectionist Temporal Classification (CTC). Các cách tạo mẫu đối kháng tấn công hệ thống nhận giọng nói tự động. Phuong pháp Fast Gradient Sign Method. Phương pháp Projected Gradient Descen(.
Phương pháp Carlini & Wagner. Phương pháp sử dung psychoacoustic model. Chỉ số đánh giá mô hình nhận diện giọng noi .ccccecceceeseeeseeseeees 46 Chương 4. Thực nghiệm tấn công mô hình học sâu trong các hệ thống nhận diện 40153001080) 0:0) 1 000010587.
Tấn công mô hình hoc sâu trong DeepSpeech. Kịch bản tấn công. Kết quả thực nghiệm .--- 52 S212 EE2EEEE2EEE12E E21 EErrrreeo 54 4. Binh luận và đánh giá.- - - -- - 2n LH ng kg Hy 56 4.
Tấn công mô hình hoc sâu trong Lingvo. Kịch bản 1: Tan công mô hình học sâu trong Lingvo sử dung phương 4. Kịch bản 2: Tan công mô hình học sâu trong với sự hỗ trợ của psychoacoustic modeÌ.- - - -- 33 211113211 1115511 1111501111 11 1k TH vn key 62 Chương 5. So sánh kết quả thực nghiệm.
2+ 2S ££SE££E+E££EzE££zEe£zzxczez 65 5. So sánh, đánh giá phương pháp tan công:. Đánh giá các hệ thống ASR mục tiêu.---- eseseseeseeeeeseeeeseees 67 Chương 6. Kết luận và hướng nghiên cứu tiếp theo.
Các điểm chưa hoàn chỉnh của nghiên cứu.- 2-2-2 ss+cs+szzzzxece+ 69 6. Hướng nghiên cứu tiếp theo — bảo vệ các mô hình hoc sâu của hệ thống DANH MỤC HÌNH Hình 1. 1: Kiến trúc tổng quát của một hệ thống nhận diện giọng nói tự động (Nguồn: Under the Hood: Automatic Speech ReCOgTIfIOT),. 2: Mô hình kèm các mối đe doa (threat model) đến các giai đoạn khác nhau trong một trợ lý ảo nhận diện giọng nói ứng dung mô hình deep learning.
3: Minh họa ngữ cảnh targeted attack nhắm vào mô hình học sâu của hệ thống nhận diện giọng nói tự động (Nguồn: https://adversarial-attacks. 1: Kiến trúc truyền thống của một hệ thống nhận diện giọng nói tự động. 2: Các bước tiến hành trong giải thuật MFCC dé trích xuất đặc trưng của một tín hiệu âm thanh đầu vào(nguôn: Speech Recognition — Feature Extraction MECC & PLP).HHHY ng neo 18 Hình 3. 3: Bước xử lý chuyền analog signal thành digital (A/D conversion) (nguồn: Speech Recognition — Feature Extraction MECC & PLP).
4: Bước cắt audio thành các frames sử dung window function(nguén: Speech Recognition — Feature Extraction MFCC & PLP).-- 25 51 + VE+seeEsseeeesseee 19 Hình 3. 5: Chuyên đổi tín hiệu âm thanh (biên độ theo thời gian) về miền âm phé(nguén: Speech Recognition — Feature Extraction MECC & PLP). Sử dung mô hình DNN dé cải tiến các ASR trong DeepSpeech. 7: Mô tả các bước hoạt động của CTC (ref: https://distilI.
§: Ma trận Alignments đầu ra của mạng CTC (ref: https://medium.com/corti- ai/ctc-networks-and-language-models-prefix-beam-search-explained-c1 1d1ee23306) 34 Hình 3. 9: Mô ta thuật toán Best Path Decoding (ref: https://towardsdatascience.com/intuitively-understanding-connectionist-temporal- Classification-3797C43a86C). 10: 7 hàm mục tiêu được Carlini đề xuất (nguồn: [4l). 11: Một sô khái niệm trong âm học, miên nghe được, miên tân sô giao tiêp.
12: Một ví dụ masking threshold, masker và maskee (nguồn: [19 ]). 13: Input và output của mô hình tâm lý học âm thanh (psychoacoustic model) TT aAä¬ăă. 14: Thuật toán tính WER. ST HH TH TH HH HH ng như 48 Hình 4.
1: Ngữ cảnh tấn công các mô hình học sâu trong hệ thống DeepSpeech và 0a. Kiến trúc DeepSpeech ASR với mô hình học sâu sử dụng Bidirectional Recurrent Neural Network và CTC ÏOSs. Kiến trúc Lingvo ASR với mô hình học sâu sử dụng kết hợp các layers của Encoder 88v 0 ae a. 58 DANH MỤC BANG Bảng 5.
1: Bang so sánh 2 kịch ban tan công.---- ¿+ 2 +s+ESE+E£E£EeEzEeErrxrrerees 67 DANH MỤC TU VIET TAT A/D: analogue to digital API: Application Programming Interface ASR: Automated System Recognition BFGS: Broyden—Fletcher—Goldfarb—Shanno BIM: Based Iterative method C&W: Carlini and Wagner CER: character error rate CSR: command success rate CTC: Connectionist Temporal Classification DFT: Discrete Fourier Transform DNN: Deep neural network FFT: fast Fourier transform FGSM: Fast gradient sign method GMM: Gaussian Mixed Model HMM: Hidden Markov Model L-BFGS: Limited-memory BFGS LK-SD: Limited-Knowledge - Surrogate Data LK-SL: Limited-Knowledge - Limited-Knowledge LK: Limited-Knowledge LPC: Linear Predictive Coefficient LVCSR: Large Vocabulary Continuous Speech Recognition MAE: Mean Absolute Error MFCC: Mel-Frequency Cepstral Coefficients MMT: minimum masking threshold MSE: Mean Square Error PGD: Projected gradient descent PK: Perfect-Knowledge PLP: Perceptual Linear Predictive PSD: power spectral density RNN: Recurrent neural network RNNTs: Recurrent neural network — Transducers SGD: Stochastic gradient descent SWER: single word error rate WER: word error rate WEST: Weighted Finite-state transducer ZK: Zero-Knowledge ad-ex: adversarial examples TÓM TAT KHÓA LUẬN Hệ thống nhận diện giọng nói tự động (ASR system) là một xu hướng quan trọng ở hiện tại và cả trong tương lai, sử dụng các mô hình học sâu dé xử lý các giao tiếp của nó với môi trường xung quanh, nơi diễn ra quá trình chuyên đổi ngôn ngữ tự nhiên thành các dit liệu số đáp ứng các nhu cầu như nhận diện hiệu lệnh và thực thi, chuyên đổi thành các bản dịch, hay xác nhận chủ thê giọng nói. Tuy nhiên, các nghiên cứu gần đây [33], [3] chứng minh rang các mô hình học máy, học sâu nói chung dễ bị tổn thương trước các cuộc tan công sử dụng mẫu đối kháng (adversarial example attacks). Loại tan công này có tác động nghiêm trọng lên các hệ thống nhận diện giọng nói tự động trong ngữ cảnh ngày càng có nhiều hệ thống này sử dụng mô hình học sâu như thành phần cốt lõi để cải thiện hiệu năng và độ chính xác trong cơ chế hoạt động của chúng. Chính vì vai trò quan trọng của các hệ thông ASR trong xu hướng phát triển của cuộc sống hiện dai ma chúng ta cần phải nghiêm túc nghiên cứu, xem xét cơ chế hoạt động của các thành phần trong hệ thống ASR và đánh giá bảo mật, cũng như độ tin cậy của hệ thống này.
Cụ thé nhóm sẽ thực hiện tìm hiểu, nghiên cứu về kiến trúc tổng quát của một hệ thống nhận diện giọng nói tự động, tham khảo các công trình đi trước về các cách sinh ra các mẫu đối kháng âm thanh sử dụng cho cuộc tân công, phương pháp tối ưu các mẫu đối kháng tạo ra dé sự thay đôi của nó khó nhận ra bởi tai người so với âm thanh gốc ban đầu, tiễn hành thực nghiệm va so sánh các phương pháp sinh ra mẫu âm thanh đối kháng (phương pháp Carlini& Wagner [4], phương pháp PGD [21]) trên các hệ thống nhận diện giọng nói tự động (ASR) nổi tiếng hiện tại bao gồm: DeepSpeech [13] và Lingo [32]. Cuối cùng, nhóm sẽ đề xuất các hướng nghiên cứu phòng thủ phát hiện, loại bỏ hay ngăn chặn các mẫu đối kháng dé tăng cường tính bảo mật và an toàn cho các hệ thống nhận diện giọng nói tự động hiện nay. Ngữ cảnh Ngày càng có nhiều công trình chứng minh răng các mô hình học sâu (deep learning models) dé bị khai thác bởi các kẻ tan công bang cách sử dụng mẫu đối kháng dé đánh lừa mô hình thông qua việc thêm các nhiễu loạn nhỏ vào đầu vào ban đầu (input có thé là ảnh, file âm thanh, các gói tin mạng v. Vấn đề này càng trở nên nghiêm trọng khi chúng đang là xu hướng và đóng một vai trò cốt lõi trong các ứng dụng phố biến khác nhau hiện nay, có thé kê đến như phân loại hình ảnh, phát hiện đối tượng trong anh, phát hiện các cuộc tấn công mạng, biến thể của mã độc và đặc biệt là các hệ thống nhận diện giọng nói tự động — sử dụng các mô hình học sâu dé xử lý các giao tiếp của nó với môi trường xung quanh, nơi diễn ra quá trình chuyên đổi ngôn ngữ tự nhiên thành các dữ liệu sé dap ứng các nhu cầu như nhận diện hiệu lệnh và thực thi, chuyên đổi thành các bản dịch, hay xác nhận chủ thé giọng nói.
Khai thác và tắn công đề kiêm nghiệm tính chất bảo mật các mô hình học sâu của các hệ thong nhận diện giọng nói cũng chính là chủ đề tập trung nghiên cứu trong đồ án lần này. Làm rõ tính khả thi của cuộc tấn công thông qua thực nghiệm, đồng thời từ các nghiên cứu về kiến trúc của các hệ thống nhận diện giọng nói, phương pháp của các cuộc tan công đề đưa ra các hướng nghiên cứu giải pháp phòng thủ, phát hiện hoặc loại bỏ các mẫu đối kháng để đảm bảo tính an toàn cho các hệ thống nhận diện giọng nói tự động hiện nay. Tổng quan về hệ thống nhận diện giọng nói tự động LEXI ACOUSTIC LANGUAGE \ WA MODEL — s nt => “most likely words spoken” Hình I. 1: Kiến trúc tổng quát của một hệ thống nhận diện giọng nói tự động (Nguon: Under the Hood: Automatic Speech Recognition) Cac hé thống nhận diện giọng nói truyền thống hoạt động dựa trên mô hình markov an (Hidden Markov Model - HMM) — một mô hình thống kê cổ điển giúp chúng ta có thé xác định được các tham số ân từ các tham số quan sát được, dựa trên đó mà thực hiện phân tích dự đoán trạng thái kế tiếp, áp dụng trong nhận diện giọng nói.
Năm 2014, Baidu Lab đã công bố công trình nghiên cứu nỗi tiếng Deep Speech: Scaling up end-to-end speech recognition [13], dé minh họa việc áp dụng deep learning nhằm gia tăng sức mạnh tính toán, độ chính xác của một trong các hệ thống ASR nổi bật hiện tại đó chính là DeepSpeech. Công trình này cũng chính là phát súng đầu tiên cho cuộc cách mạng trong thay đôi kiến trúc của hệ thống ASR, tiếp cập, áp dụng học sâu để tăng độ chính xác của các mô hình hiện tại và gần hơn với cấp độ nhận thức của con nBưỜi.