Bối cảnh và vấn đề nghiên cứu

Hệ thống nhận diện giọng nói tự động (Automatic Speech Recognition - ASR) đóng vai trò trung tâm trong quá trình chuyển đổi ngôn ngữ tự nhiên thành dữ liệu số phục vụ điều khiển giọng nói, phiên dịch và xác thực sinh trắc học. Sự chuyển dịch kiến trúc từ các mô hình thống kê truyền thống (Hidden Markov Model - HMM kết hợp Gaussian Mixture Model - GMM) sang các kiến trúc học sâu (Deep Neural Network - DNN, Recurrent Neural Network - RNN, Connectionist Temporal Classification - CTC, Listen Attend and Spell - LAS) đã nâng cao độ chính xác nhận dạng trên các nền tảng như Mozilla DeepSpeech, Kaldi và Google Lingvo, đồng thời được ứng dụng rộng rãi trong các trợ lý ảo (Apple Siri, Google Assistant, Amazon Alexa), hệ thống nhà thông minh và phương tiện tự hành.

Tuy nhiên, các mô hình học sâu tiềm ẩn lỗ hổng bảo mật nghiêm trọng trước dạng tấn công sử dụng mẫu đối kháng (adversarial example attack). Bằng cách thêm vào tín hiệu âm thanh gốc một lượng nhiễu loạn nhỏ mà thính giác con người khó nhận biết, kẻ tấn công có thể thao túng mô hình giải mã ra văn bản mục tiêu hoàn toàn sai lệch. Khóa luận tốt nghiệp kỹ sư ngành An toàn thông tin của tác giả Nguyễn Xuân Khang và Nguyễn Thanh Gia Truyền (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh, năm 2022) tập trung khảo sát cơ chế tấn công này nhằm đánh giá mức độ an toàn và độ tin cậy của các hệ thống ASR hiện đại.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định cụ thể:

  1. Nghiên cứu kiến trúc tổng quát của hệ thống nhận diện giọng nói tự động truyền thống và hệ thống ứng dụng mô hình học sâu.
  2. Hệ thống hóa lý thuyết về mẫu đối kháng, mô hình đe dọa (threat model), phân loại không gian tri thức tấn công (White-box, Gray-box, Black-box) và mục tiêu tấn công (Targeted attack và Untargeted attack).
  3. Phân tích các hàm mất mát (Cross-entropy, CTC loss) và các giải thuật tối ưu hóa tạo mẫu đối kháng âm thanh (Fast Gradient Sign Method - FGSM, Projected Gradient Descent - PGD, Carlini & Wagner - C&W, mô hình tâm lý học âm thanh - psychoacoustic model).
  4. Triển khai thực nghiệm tấn công có chủ đích (targeted attack) trong ngữ cảnh hộp trắng (white-box) ở giai đoạn kiểm nghiệm nội bộ (internal testing phase) trên hai hệ thống ASR tiêu biểu: DeepSpeech và Lingvo.
  5. Đánh giá, so sánh hiệu quả tấn công giữa các phương pháp và đề xuất định hướng nghiên cứu giải pháp phòng thủ.

Đối tượng nghiên cứu là các mô hình học sâu trong hệ thống nhận diện giọng nói tự động cùng các thuật toán sinh mẫu âm thanh đối kháng. Phạm vi nghiên cứu giới hạn ở hình thức tấn công có chủ đích (targeted attack), mô hình tấn công hộp trắng (white-box attack) trong giai đoạn kiểm nghiệm mô hình (internal testing phase), thực nghiệm trực tiếp trên hai nền tảng DeepSpeech (kết hợp giải thuật Carlini & Wagner và CTC loss) và Lingvo (kết hợp giải thuật PGD, Cross-entropy loss và Psychoacoustic model).

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng nền tảng lý thuyết dựa trên quy trình xử lý của hệ thống nhận diện giọng nói tự động và các nguyên lý an ninh mô hình học máy:

  • Khung kiến trúc hệ thống ASR:

    • Tiền xử lý và trích xuất đặc trưng: Chuyển đổi tín hiệu tương tự sang số (A/D conversion), tiền nhấn (Pre-emphasis), phân khung tín hiệu (Windowing với cửa sổ trượt từ 10 đến 30 ms có vùng chồng lấp), biến đổi Fourier rời rạc (DFT/FFT) chuyển sang miền âm phổ, áp dụng bộ lọc tam giác Mel-filterbank mô phỏng thính giác người, lấy Logarit và biến đổi ngược Cepstrum để trích xuất 12 hệ số Mel-Frequency Cepstral Coefficients (MFCC) kết hợp với năng lượng khung.
    • Các mô hình thành phần: Mô hình phát âm/từ vựng (Lexicon model) biểu diễn qua bộ chuyển đổi trạng thái hữu hạn (Finite State Transducer); mô hình âm học (Acoustic model) dự đoán xác suất âm tiết; mô hình ngôn ngữ (Language model) như N-gram, Unigram, Bidirectional và Continuous space; cùng thuật toán tìm kiếm/giải mã (Decoder) như Viterbi, Beam Search, Best Path Decoding hoặc Weighted Finite-state Transducer (WFST).
    • Mô hình học sâu đầu-cuối (End-to-End): Thay thế cấu trúc phân tầng truyền thống bằng mạng nơ-ron hồi quy hai chiều (Bidirectional RNN) kết hợp tầng giải mã CTC.

  • Khái niệm và không gian mẫu đối kháng:

    • Mẫu đối kháng được biểu diễn toán học: $x^* = x + \delta_x$ sao cho $O(x^*) \neq O(x)$, trong đó $x$ là mẫu gốc, $\delta_x$ là độ nhiễu loạn thêm vào, và $O(\cdot)$ là đầu ra dự đoán của mô hình.
    • Không gian tri thức của kẻ tấn công được mô hình hóa bằng bộ tham số $\Phi = (D, X, f, w)$ gồm: dữ liệu huấn luyện $D$, tập đặc trưng $X$, thuật toán $f$, và trọng số mô hình $w$. Ba ngữ cảnh tấn công gồm:
      1. Hộp trắng (Perfect-Knowledge - PK): $\Phi_{PK} = (D, X, f, w)$, kẻ tấn công nắm toàn bộ thông tin kiến trúc, trọng số và dữ liệu.
      2. Hộp xám (Limited-Knowledge - LK): Chia thành LK-SD (Surrogate Data) $\Phi_{LK-SD} = (D, X, f, 0)$ khi kẻ tấn công tự huấn luyện mô hình thay thế từ dữ liệu tương đương; và LK-SL (Surrogate Learners) $\Phi_{LK-SL} = (D, X, \hat{f}, \hat{w})$ khai thác tính chuyển giao (transferability) của mẫu đối kháng.
      3. Hộp đen (Zero-Knowledge - ZK): $\Phi_{ZK} = (\hat{D}, \hat{X}, \hat{f}, \hat{w})$, kẻ tấn công chỉ có thể gửi truy vấn đầu vào và nhận phản hồi đầu ra (nhãn dự đoán hoặc điểm tin cậy).

  • Hàm mất mát và giải thuật sinh mẫu đối kháng:

    • Hàm mất mát Cross-entropy: Đo lường sai khác phân phối xác suất cho bài toán phân loại, biểu diễn bằng $H(p,q) = -\sum p_i \log q_i$.
    • Hàm mất mát Connectionist Temporal Classification (CTC Loss): Giải quyết vấn đề căn chỉnh (alignment problem) giữa chuỗi âm thanh và văn bản bằng cách thêm ký tự đặc biệt blank (-), tính tổng xác suất của tất cả các đường căn chỉnh hợp lệ thông qua phép ánh xạ co $B(\cdot)$, tối ưu hóa bằng hàm mục tiêu cực đại hóa hàm hợp lý âm (Negative Log Likelihood).
    • Giải thuật FGSM và PGD: Tận dụng đạo hàm hàm mất mát theo dữ liệu đầu vào $\text{sign}(\nabla_x J(\theta, x, y))$ để tối đa hóa độ lỗi.
    • Phương pháp Carlini & Wagner (C&W): Thiết lập bài toán tối ưu hóa có ràng buộc nhằm cực tiểu hóa chuẩn khoảng cách ($L_2$) của độ nhiễu đồng thời ép đầu ra mô hình khớp với nhãn mục tiêu định trước.
    • Mô hình tâm lý học âm thanh (Psychoacoustic model): Tính toán ngưỡng che giấu tối thiểu (minimum masking threshold - MMT), xác định các vùng âm thanh che giấu (masker) và bị che giấu (maskee) để cài cắm nhiễu vào các dải tần số mà thính giác người không phát hiện được.

  • Phương pháp nghiên cứu thực nghiệm:

    • Phương pháp phân tích - tổng hợp lý thuyết an toàn học sâu và cấu trúc giải mã âm thanh số.
    • Phương pháp thực nghiệm kiểm thử an ninh: Cài đặt và thực thi tấn công trên máy ảo thuộc phòng thí nghiệm Inseclab và tài nguyên đám mây Google Cloud Platform (sử dụng gói tín dụng $300); áp dụng các thước đo đánh giá độ chính xác nhận dạng (Word Error Rate - WER, Character Error Rate - CER, Command Success Rate - CSR).
    • Nguồn dữ liệu: Các tệp âm thanh định dạng sóng (.wav) trích xuất từ tập dữ liệu âm thanh chuẩn và các mẫu thử nghiệm được kế thừa từ các công trình nghiên cứu của Carlini & Wagner [2018] và Qin cùng cộng sự [2019].

Nội dung chính theo từng chương

Chương 1. Tổng quan về hệ thống nhận diện giọng nói tự động

Chương 1 giới thiệu lịch sử phát triển của công nghệ ASR, sự chuyển dịch từ mô hình HMM-GMM sang mô hình học sâu (DeepSpeech, Kaldi, Lingvo) và ứng dụng thực tiễn trong trợ lý ảo, xe tự hành, nhà thông minh. Tác giả phân tích tính dễ bị tổn thương nội tại của mạng nơ-ron sâu đa chiều (tính tuyến tính trong không gian lớn, dữ liệu đào tạo không bao quát hết biên phân định) và mô hình hóa 5 mối đe dọa bảo mật qua vòng đời hệ thống: (1) Đầu độc dữ liệu huấn luyện (poisoning), (2) Cài cửa sau (backdoor), (3) Tấn công sử dụng mẫu đối kháng, (4) Đánh cắp mô hình/tham số, và (5) Khôi phục dữ liệu huấn luyện nhạy cảm. Chương này cũng phân định rõ ranh giới giữa tấn công hộp trắng/hộp đen và tấn công có chủ đích/không chủ đích, đồng thời xác lập mục tiêu nghiên cứu của khóa luận.

Chương 2. Tổng quan về các nghiên cứu đi trước

Chương 2 tổng hợp các hướng tiếp cận tấn công mẫu đối kháng âm thanh đã được công bố:

  • Các nghiên cứu tấn công không chủ đích (untargeted attacks) chỉ làm hệ thống nhận diện sai lệch hoặc tạo văn bản vô nghĩa.
  • Tấn công có chủ đích (targeted attacks): Hidden Voice Command (Carlini et al.) tạo lệnh ẩn nhưng dễ bị người nghe phát hiện; DolphinAttack (Zhang et al.) khai thác dải tần siêu âm của phần cứng micro; CommanderSong (Yuan et al.) và nghiên cứu của Yakura & Sakuma giải quyết bài toán tấn công qua không khí (over-the-air) nhưng còn hạn chế về chiều dài chuỗi từ và độ nhiễu tín hiệu lớn; Psychoacoustic Hiding (Schönherr et al.) trên hệ thống Kaldi; và nghiên cứu của Qin et al. tối ưu hóa mẫu đối kháng trên hệ thống Lingvo kết hợp mô phỏng phòng thu.
  • Tác giả chỉ rõ các tồn tại của nghiên cứu trước: mẫu đối kháng dễ bị phát hiện bởi tai người, thiếu tính linh hoạt khi triển khai thực tế và chi phí tính toán cao. Từ đó, nhóm nghiên cứu lựa chọn kế thừa phương pháp của Carlini & Wagner cùng phương pháp của Qin et al. làm cơ sở triển khai thực nghiệm.

Chương 3. Tấn công các mô hình học sâu trong hệ thống ASR sử dụng mẫu đối kháng

Chương 3 trình bày chi tiết toàn bộ chuỗi cơ sở kỹ thuật phục vụ việc tạo mẫu đối kháng:

  • Quy trình trích xuất đặc trưng âm thanh MFCC qua 3 giai đoạn: xử lý tín hiệu (A/D, Pre-emphasis, Windowing 10-30 ms), lọc dải tần (DFT, Mel-filterbank, Log, Inverse DFT) và xuất 12 hệ số Cepstrum kèm năng lượng khung.
  • Cơ chế vận hành của Lexicon model, Acoustic model (GMM so với DNN), Language model (N-gram, Unigram, Bidirectional, Continuous space) và các giải thuật tìm kiếm giải mã (Viterbi, WFST, Beam Search, Best Path Decoding).
  • Kiến trúc chi tiết của ba hệ thống ASR: DeepSpeech (sử dụng Bidirectional RNN kết hợp CTC loss), Kaldi (DNN-HMM) và Lingvo (mô hình chuỗi Sequence-to-Sequence Listen, Attend and Spell).
  • Hệ thống hóa 3 không gian tri thức tấn công: White-box ($\Phi_{PK}$), Gray-box ($\Phi_{LK-SD}, \Phi_{LK-SL}$) và Black-box ($\Phi_{ZK}$).
  • Cơ sở toán học của hai hàm mất mát: Cross-entropy Loss và Connectionist Temporal Classification (CTC) Loss (cơ chế chèn ký tự blank, thuật toán loại bỏ ký tự lặp và giải mã đường dẫn tối ưu Best Path Decoding).
  • Bốn kỹ thuật sinh mẫu đối kháng: FGSM, PGD, Carlini & Wagner (C&W), và kỹ thuật giấu nhiễu theo mô hình tâm lý học âm thanh (Psychoacoustic model); cùng công thức tính độ lỗi từ (Word Error Rate - WER).

Chương 4. Thực nghiệm tấn công mô hình học sâu trong các hệ thống nhận diện giọng nói tự động

Chương 4 thiết lập môi trường và tiến hành các kịch bản tấn công thực nghiệm:

  • Tấn công DeepSpeech: Triển khai kịch bản tấn công có chủ đích (targeted attack) trong môi trường hộp trắng sử dụng thuật toán Carlini & Wagner kết hợp hàm mất mát CTC loss. Tác giả ghi nhận quá trình tối ưu hóa vector nhiễu tác động trực tiếp lên ma trận xác suất của tầng CTC để ép hệ thống nhận diện ra câu mục tiêu định sẵn.
  • Tấn công Lingvo:
    • Kịch bản 1: Thực hiện tấn công mô hình học sâu trong Lingvo sử dụng phương pháp lặp Projected Gradient Descent (PGD) kết hợp hàm mất mát Cross-entropy.
    • Kịch bản 2: Tấn công Lingvo có sự hỗ trợ của mô hình tâm lý học âm thanh (Psychoacoustic model), tính toán ngưỡng che giấu tối thiểu (MMT) để tối ưu hóa vị trí và cường độ của nhiễu trên từng dải tần số.

Chương 5. So sánh kết quả thực nghiệm

Chương 5 phân tích định lượng và đánh giá đối chiếu giữa các kịch bản tấn công:

  • So sánh hiệu năng giữa phương pháp Carlini & Wagner (áp dụng trên DeepSpeech) và phương pháp PGD kết hợp mô hình tâm lý âm học (áp dụng trên Lingvo).
  • Đánh giá chất lượng tệp âm thanh đối kháng qua các chỉ số đo lường mức độ biến dạng tín hiệu, độ lỗi từ (WER) của mô hình trước và sau tấn công, và khả năng phân biệt của thính giác người đối với mẫu âm thanh đối kháng so với âm thanh gốc.
  • Đánh giá mức độ tổn thương của từng kiến trúc ASR mục tiêu (DeepSpeech dùng CTC loss so với Lingvo dùng mô hình chuỗi LAS).

Chương 6. Kết luận và hướng nghiên cứu tiếp theo

Chương 6 tổng hợp các kết quả nghiên cứu đã đạt được, thẳng thắn chỉ ra các điểm chưa hoàn chỉnh của đề tài và vạch ra định hướng nghiên cứu tiếp theo: tập trung vào việc xây dựng các giải pháp phòng thủ chuyên sâu, phát hiện và loại bỏ mẫu đối kháng nhằm bảo vệ các mô hình học sâu trong hệ thống nhận diện giọng nói tự động.

Kết quả và đóng góp

Khóa luận đã chứng minh tính khả thi của hình thức tấn công có chủ đích nhắm vào các mô hình học sâu trong hệ thống nhận diện giọng nói tự động thông qua việc triển khai thực nghiệm cụ thể. Kết quả so sánh giữa hai kịch bản tấn công chính được tổng hợp trong bảng dưới đây:

Tiêu chí so sánh Kịch bản 1: Tấn công DeepSpeech Kịch bản 2: Tấn công Lingvo
Hệ thống ASR mục tiêu Mozilla DeepSpeech Google Lingvo
Kiến trúc mô hình Bidirectional RNN + CTC Listen, Attend and Spell (LAS / Seq2Seq)
Phương pháp tối ưu hóa Carlini & Wagner (C&W) Projected Gradient Descent (PGD)
Hàm mất mát sử dụng Connectionist Temporal Classification (CTC Loss) Cross-entropy Loss
Kỹ thuật che giấu âm học Tối ưu hóa chuẩn khoảng cách $L_2$ thuần túy Tích hợp Psychoacoustic Model (ngưỡng che giấu MMT)
Khả năng đánh lừa ASR Thành công ép mô hình giải mã văn bản mục tiêu Thành công ép mô hình giải mã văn bản mục tiêu
Chất lượng âm thanh Còn tồn tại tạp âm nhỏ có thể nhận biết khi nghe kỹ Độ nhiễu được ẩn dưới ngưỡng nghe của tai người

Các đóng góp khoa học chính mà tác giả đã nêu rõ:

  • Hệ thống hóa toàn diện cơ sở lý thuyết xử lý tín hiệu âm thanh (MFCC), kiến trúc ASR hiện đại và không gian tri thức tấn công học máy ($\Phi_{PK}, \Phi_{LK-SD}, \Phi_{LK-SL}, \Phi_{ZK}$).
  • Thực nghiệm kiểm chứng thành công khả năng tấn công có chủ đích (targeted attack) trên hai kiến trúc ASR học sâu tiêu biểu là DeepSpeech (mô hình CTC) và Lingvo (mô hình LAS).
  • Làm rõ hiệu quả của việc ứng dụng mô hình tâm lý học âm thanh (Psychoacoustic model) trong việc hạn chế sự suy giảm chất lượng âm thanh, giúp mẫu đối kháng duy trì tính ngụy trang trước thính giác con người.
  • Xác định các cơ chế nền tảng phục vụ cho việc phát triển các giải pháp phòng thủ, phát hiện và khử nhiễu đối kháng trong các nghiên cứu tiếp theo.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận đã tự chỉ ra những hạn chế còn tồn đọng trong quá trình thực hiện:

  • Phạm vi ngữ cảnh tấn công: Thực nghiệm mới chỉ dừng lại ở mô hình tấn công hộp trắng (White-box attack) trong giai đoạn kiểm nghiệm nội bộ (internal testing phase), chưa mở rộng sang môi trường hộp đen (Black-box attack) hoàn chỉnh.
  • Môi trường truyền dẫn: Các mẫu đối kháng được thử nghiệm trực tiếp qua kênh tín hiệu số (line-in/tệp âm thanh kỹ thuật số), chưa khảo sát đầy đủ trong điều kiện phát và thu qua không khí (over-the-air) vốn chịu ảnh hưởng phức tạp bởi tạp âm môi trường và độ vang của phòng thu.
  • Chi phí tính toán: Quá trình tối ưu hóa mẫu đối kháng kết hợp mô hình âm học đòi hỏi tài nguyên tính toán lớn và thời gian xử lý lặp đáng kể.

Hướng nghiên cứu tiếp theo được tác giả đề xuất:

  • Nghiên cứu và xây dựng các phương pháp phòng thủ chủ động cho hệ thống ASR, bao gồm các bộ tiền xử lý phát hiện mẫu đối kháng (adversarial detection) và module làm sạch tín hiệu âm thanh trước khi đưa vào mô hình nhận dạng.
  • Áp dụng kỹ thuật huấn luyện đối kháng (adversarial training) để gia tăng độ vững chắc của mạng nơ-ron học sâu.
  • Mở rộng kịch bản tấn công và phòng thủ sang ngữ cảnh hộp đen và môi trường phát âm thanh thực tế qua không khí.

Giá trị tham khảo

Khóa luận là tài liệu học thuật hữu ích cho sinh viên, học viên cao học và các nhóm nghiên cứu thuộc các chuyên ngành:

  • An toàn thông tin: Nắm vững cơ chế tấn công mẫu đối kháng (Adversarial Machine Learning), mô hình đe dọa trong học sâu và phương pháp đánh giá an ninh cho các ứng dụng trí tuệ nhân tạo.
  • Khoa học máy tính và Trí tuệ nhân tạo: Tham khảo chi tiết quy trình xử lý tín hiệu âm thanh số (MFCC), cơ chế toán học của hàm mất mát CTC loss, kiến trúc Listen Attend and Spell, và các thuật toán giải mã văn bản.
  • Kỹ thuật Mạng và Hệ thống nhúng: Định hướng xây dựng các biện pháp bảo vệ cho giao diện giọng nói trên các thiết bị Internet of Things (IoT), nhà thông minh và trợ lý ảo.

Nội dung đáng giá nhất để tham khảo bao gồm chương trình bày chi tiết về toán học của CTC loss, cơ chế tính toán ngưỡng che giấu của mô hình tâm lý âm học (Chương 3) và quy trình thiết lập thực nghiệm tấn công trên hai hệ sinh thái DeepSpeech và Lingvo (Chương 4 và Chương 5).

Câu hỏi thường gặp

1. Khóa luận thực hiện tấn công thực nghiệm trên những hệ thống nhận diện giọng nói tự động cụ thể nào và sử dụng phương pháp nào?
Khóa luận triển khai thực nghiệm trên hai hệ thống ASR: (1) Hệ thống Mozilla DeepSpeech (sử dụng kiến trúc Bidirectional RNN và CTC loss) bị tấn công bằng giải thuật Carlini & Wagner kết hợp hàm mất mát CTC; (2) Hệ thống Google Lingvo (sử dụng kiến trúc Listen, Attend and Spell) bị tấn công bằng phương pháp Projected Gradient Descent (PGD) kết hợp hàm mất mát Cross-entropy và mô hình tâm lý học âm thanh (Psychoacoustic model).

2. Hàm mất mát CTC (Connectionist Temporal Classification Loss) đóng vai trò gì trong việc tạo mẫu đối kháng trên DeepSpeech?
CTC loss giải quyết bài toán căn chỉnh thời gian giữa khung âm thanh và chuỗi ký tự văn bản bằng cách cho phép chèn ký tự blank và lặp ký tự. Trong tấn công đối kháng, kẻ tấn công tính đạo hàm của hàm mất mát CTC theo tín hiệu âm thanh đầu vào để tối ưu hóa vector nhiễu, buộc tổng xác suất của các đường căn chỉnh (alignments) tương ứng với chuỗi văn bản mục tiêu đạt giá trị cực đại.

3. Mục đích của việc tích hợp mô hình tâm lý học âm thanh (Psychoacoustic model) vào quá trình sinh mẫu đối kháng là gì?
Mô hình tâm lý học âm thanh được sử dụng nhằm tính toán ngưỡng che giấu tối thiểu (minimum masking threshold). Kỹ thuật này giúp phân bổ và giới hạn mức độ nhiễu loạn đối kháng nằm dưới ngưỡng cảm nhận của tai người (tận dụng hiện tượng âm thanh lớn che lấp âm thanh nhỏ liền kề về tần số hoặc thời gian), khiến mẫu âm thanh đối kháng nghe gần như hoàn toàn giống với âm thanh gốc trong khi vẫn đánh lừa được mô hình ASR.

4. Khóa luận phân chia các mối đe dọa bảo mật đối với mô hình học sâu qua các giai đoạn vòng đời như thế nào?
Khóa luận chia thành 5 mối đe dọa chính: (1) Đầu độc tập dữ liệu huấn luyện (Poisoning training dataset) và (2) Ẩn giấu backdoor trong tập huấn luyện (xảy ra trong giai đoạn đào tạo); (3) Tấn công sử dụng mẫu đối kháng, (4) Đánh cắp mô hình/tham số mô hình, và (5) Khôi phục dữ liệu huấn luyện nhạy cảm (xảy ra trong giai đoạn kiểm nghiệm mô hình hoặc triển khai thực tế).

5. Không gian tri thức của kẻ tấn công được mô hình hóa bằng những tham số nào?
Không gian tri thức được biểu diễn bằng bộ tham số $\Phi = (D, X, f, w)$, trong đó $D$ là tập dữ liệu huấn luyện, $X$ là tập thuộc tính đặc trưng, $f$ là thuật toán huấn luyện cùng hàm mục tiêu, và $w$ là tập tham số/siêu tham số của mô hình. Tùy thuộc vào mức độ kiểm soát các yếu tố này, kịch bản tấn công được phân loại thành White-box ($\Phi_{PK}$), Gray-box ($\Phi_{LK-SD}, \Phi_{LK-SL}$) hoặc Black-box ($\Phi_{ZK}$).

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Xuân Khang và Nguyễn Thanh Gia Truyền đã khảo sát và kiểm chứng thành công lỗ hổng bảo mật của các mô hình học sâu trong hệ thống nhận diện giọng nói tự động trước dạng tấn công mẫu đối kháng có chủ đích. Thông qua việc thiết lập thực nghiệm trên DeepSpeech và Lingvo, nghiên cứu đã chứng minh rằng việc kết hợp các thuật toán tối ưu hóa gradient với mô hình tâm lý học âm thanh có thể đánh lừa chính xác các hệ thống ASR hiện đại trong khi vẫn duy trì tính ngụy trang đối với thính giác con người. Công trình cung cấp nguồn tư liệu học thuật giá trị về mặt lý thuyết giải mã âm thanh lẫn kỹ thuật tấn công đối kháng, đồng thời đặt nền móng vững chắc cho các nghiên cứu tiếp theo về cơ chế phòng thủ và nâng cao độ an toàn cho các ứng dụng giọng nói thông minh.