Luận văn tốt nghiệp khoa học máy tính nghiên cứu và phát triển một số kỹ thuật tấn công đối kháng trong một số mô hình nhận diện phân loại giọng nói tiếng việt

Luận văn nghiên cứu phát triển kỹ thuật tấn công đối kháng trong mô hình nhận diện phân loại giọng nói tiếng Việt, nâng cao độ chính xác và bảo mật.

• Tác giả: Nguyễn Hữu Hồng Huy
• Người hướng dẫn: TS. Nguyễn An Khương
• Trường học: Đại học Bách Khoa Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Nghiên cứu và phát triển một số kỹ thuật tấn công đối kháng trong một số mô hình nhận diện phân loại giọng nói tiếng Việt
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• TÓM TẮT NỘI DUNG
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tổng quan về bảo mật trong trí tuệ nhân tạo, học máy
• 1.2. Sơ lược về tấn công đối kháng
• 1.3. Phạm vi và mục tiêu của luận văn
• 1.4. Cấu trúc luận văn
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Tiền xử lý âm thanh
• 2.2. Biến đổi Fourier rời rạc
• 2.3. Biến đổi Fourier thời gian ngắn
• 2.4. Biến đổi wavelet
• 2.5. Đặc trưng âm thanh sử dụng Mel frequency cepstral coefficients
• 2.6. Mô hình Gaussian hỗn hợp
• 2.7. Mô hình Markov ẩn
• 2.8. Mô hình mạng tích chập và mô hình long short term memory
• 2.8.1. Mạng tích chập
• 2.8.2. Mạng hồi quy
• 2.8.3. Long short term memory
• 2.9. Mô hình mạng đối kháng tạo sinh
• 2.10. So sánh với tấn công đối kháng
• 3. CHƯƠNG 3: MỘT SỐ NGHIÊN CỨU LIÊN QUAN
• 3.1. Tấn công trực tiếp mô hình hộp đen
• 3.1.1. Đảo miền thời gian
• 3.1.2. Tạo pha ngẫu nhiên
• 3.1.3. Thêm tần số cao
• 3.1.4. Nén thời gian
• 3.1.5. Tấn công vào mô hình nhận diện phân loại giọng nói tiếng Anh
• 3.2. Sử dụng mô hình hộp trắng
• 4. CHƯƠNG 4: THIẾT KẾ NGHIÊN CỨU
• 4.1. Phát biểu bài toán
• 4.2. Phân tích bài toán
• 4.3. Kịch bản tấn công
• 4.4. Phương pháp đề xuất
• 4.4.1. Giải thuật IFGSM
• 4.4.2. Cải tiến giải thuật IFGSM
• 5. CHƯƠNG 5: HIỆN THỰC TẤN CÔNG
• 5.1. Thu thập dữ liệu
• 5.2. Tiền xử lý dữ liệu
• 5.3. Mô hình thực nghiệm tấn công
• 5.3.1. Cấu trúc mô hình
• 5.3.2. Hiệu năng mô hình
• 5.4. Hiện thực giải thuật
• 5.4.1. Ngôn ngữ lập trình và thư viện
• 5.4.2. Hiện thực tấn công
• 6. CHƯƠNG 6: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 6.1. Quá trình tạo mẫu âm thanh đối kháng
• 6.1.1. Tấn công cơ bản
• 6.1.2. Cải tiến tấn công
• 6.2. Đánh giá hiệu quả các mẫu
• 6.2.1. Tấn công có mục tiêu
• 6.2.2. Tấn công không mục tiêu
• 6.3. Kết quả đạt được
• 6.4. Hạn chế và hướng phát triển
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• TỪ NGỮ VIẾT TẮT

Tóm tắt

I. Giới thiệu

Nghiên cứu kỹ thuật tấn công đối kháng trong nhận diện giọng nói tiếng Việt là một lĩnh vực quan trọng trong bối cảnh phát triển trí tuệ nhân tạo (AI) và học máy (machine learning). Nhận diện giọng nói là một ứng dụng phổ biến của AI, nhưng cũng đối mặt với nhiều thách thức về bảo mật. Kỹ thuật tấn công đối kháng có thể gây ra những sai lệch trong quá trình nhận diện, ảnh hưởng đến tính chính xác và độ tin cậy của hệ thống. Nghiên cứu này tập trung vào việc phát triển các mẫu âm thanh tấn công có khả năng làm sai lệch kết quả nhận diện mà vẫn giữ nguyên nội dung âm thanh gốc. Điều này không chỉ giúp nâng cao khả năng bảo mật cho các hệ thống nhận diện giọng nói mà còn mở ra hướng nghiên cứu mới trong bảo mật AI.

1.1 Tổng quan về bảo mật trong trí tuệ nhân tạo

Sự phát triển nhanh chóng của AI đã dẫn đến việc ứng dụng rộng rãi trong nhiều lĩnh vực, từ nhận diện giọng nói đến hệ thống tự hành. Tuy nhiên, vấn đề bảo mật ngày càng trở nên cấp thiết khi mà các kẻ tấn công có thể khai thác những lỗ hổng trong các mô hình học máy. Các cuộc tấn công như tấn công đối kháng không chỉ đe dọa tính toàn vẹn của dữ liệu mà còn ảnh hưởng đến quyền riêng tư của người dùng. Theo nghiên cứu, nhiều mô hình AI hiện nay chỉ được phát triển dưới dạng hộp đen, khiến cho việc bảo vệ và phát hiện các tấn công trở nên khó khăn hơn. Nghiên cứu này sẽ làm rõ những thách thức trong bảo mật AI và đề xuất các giải pháp phòng chống hiệu quả.

II. Kiến thức nền tảng

Để thực hiện nghiên cứu về tấn công đối kháng, cần có kiến thức vững về âm học và các phương pháp nhận diện giọng nói. Các kỹ thuật như biến đổi Fourier, biến đổi wavelet, và Mel frequency cepstral coefficients (MFCC) là những công cụ quan trọng trong việc phân tích và trích xuất đặc trưng âm thanh. Việc hiểu rõ các mô hình như mô hình Markov ẩn và mô hình mạng tích chập sẽ giúp xây dựng các hệ thống nhận diện giọng nói hiệu quả. Các nghiên cứu trước đây đã chỉ ra rằng, việc cải tiến các mô hình này có thể giúp nâng cao độ chính xác trong nhận diện giọng nói tiếng Việt. Đồng thời, việc áp dụng các kỹ thuật học sâu cũng mang lại nhiều lợi ích trong việc phát hiện và phân tích các mẫu âm thanh tấn công.

2.1 Tiền xử lý âm thanh

Tiền xử lý âm thanh là bước đầu tiên trong quá trình nhận diện giọng nói. Các kỹ thuật như lọc tần số và chuẩn hóa âm thanh giúp cải thiện chất lượng dữ liệu đầu vào. Việc sử dụng biến đổi Fourier giúp chuyển đổi tín hiệu âm thanh từ miền thời gian sang miền tần số, từ đó dễ dàng phân tích các đặc trưng âm thanh. Biến đổi wavelet cũng được sử dụng để phân tích tín hiệu âm thanh với độ phân giải khác nhau, cung cấp thông tin chi tiết hơn về biến đổi tần số theo thời gian. Những phương pháp này đều đóng vai trò quan trọng trong việc tạo ra các mẫu âm thanh tấn công hiệu quả, nhằm làm sai lệch nhận diện mà vẫn giữ được tính tự nhiên của âm thanh.

III. Một số nghiên cứu liên quan

Các nghiên cứu trước đây đã chỉ ra rằng, tấn công đối kháng không chỉ xảy ra trong lĩnh vực nhận diện hình ảnh mà còn trong nhận diện giọng nói. Những kỹ thuật tấn công như tấn công hộp đen và hộp trắng đã được áp dụng để làm sai lệch các mô hình nhận diện giọng nói. Trong đó, tấn công hộp trắng cho phép kẻ tấn công có kiến thức về mô hình, từ đó tạo ra các mẫu tấn công chính xác hơn. Nghiên cứu này sẽ mở rộng phạm vi các kỹ thuật tấn công đối kháng, đồng thời đề xuất các phương pháp cải tiến nhằm nâng cao hiệu quả tấn công. Điều này không chỉ giúp hiểu rõ hơn về các mối đe dọa đối với hệ thống nhận diện giọng nói mà còn giúp phát triển các phương pháp bảo vệ hiệu quả.

3.1 Tấn công trực tiếp mô hình hộp đen

Tấn công hộp đen là một phương pháp phổ biến trong nghiên cứu bảo mật AI. Kẻ tấn công không có thông tin về mô hình nhưng có thể tạo ra các mẫu đầu vào nhằm làm sai lệch đầu ra của mô hình. Các nghiên cứu đã chỉ ra rằng, việc tạo ra các mẫu âm thanh với tần số cao hoặc thay đổi miền thời gian có thể dẫn đến những sai lệch lớn trong nhận diện giọng nói. Điều này cho thấy, việc bảo vệ các mô hình nhận diện giọng nói khỏi các tấn công này là cực kỳ quan trọng, đặc biệt trong bối cảnh ngày càng nhiều ứng dụng AI được triển khai trong thực tế.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh trí tuệ nhân tạo (AI) và học máy (machine learning) phát triển mạnh mẽ, các hệ thống nhận diện giọng nói ngày càng được ứng dụng rộng rãi trong nhiều lĩnh vực như trợ lý ảo, điều khiển thông minh, và chuyển đổi giọng nói thành văn bản. Theo ước tính, các mô hình nhận diện giọng nói tiếng Việt đang dần được hoàn thiện nhưng vẫn còn nhiều thách thức về bảo mật và độ tin cậy. Một trong những vấn đề nổi bật là nguy cơ tấn công đối kháng (adversarial attacks), trong đó kẻ tấn công tạo ra các mẫu âm thanh có nhiễu tinh vi khiến mô hình nhận diện phân loại sai lệch nội dung, trong khi tai người vẫn nghe rõ nội dung gốc.

Luận văn tập trung nghiên cứu và phát triển một số kỹ thuật tấn công đối kháng trên các mô hình nhận diện phân loại giọng nói tiếng Việt, đặc biệt là các mô hình hộp trắng (white-box) – nơi kẻ tấn công biết rõ cấu trúc và tham số của mô hình. Mục tiêu cụ thể là tạo ra các mẫu âm thanh tấn công có tỉ lệ thành công cao, đồng thời thiết kế hệ thống tạo mẫu tấn công đơn giản, nhanh chóng. Phạm vi nghiên cứu giới hạn trong giai đoạn từ tháng 3 đến tháng 6 năm 2021, với dữ liệu thu thập và mô hình xây dựng tại Đại học Bách Khoa TP. Hồ Chí Minh.

Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao nhận thức về các rủi ro bảo mật trong lĩnh vực nhận diện giọng nói tiếng Việt, đồng thời cung cấp nền tảng để phát triển các biện pháp phòng chống hiệu quả, góp phần bảo vệ tính toàn vẹn và độ tin cậy của các hệ thống AI trong thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình nền tảng trong xử lý âm thanh và học máy, bao gồm:

• Âm học và tiền xử lý âm thanh: Giải thích cơ chế hình thành giọng nói ở người, quá trình thu nhận âm thanh qua tai, và các kỹ thuật biến đổi tín hiệu như biến đổi Fourier rời rạc (DFT), biến đổi Fourier thời gian ngắn (STFT), và biến đổi wavelet. Đặc biệt, Mel frequency cepstral coefficients (MFCC) được sử dụng để trích xuất đặc trưng âm thanh phù hợp với cách cảm nhận của tai người.

• Mô hình Gaussian hỗn hợp (GMM) và Mô hình Markov ẩn (HMM): Các mô hình thống kê dùng để mô tả phân phối xác suất và chuỗi thời gian trong dữ liệu âm thanh, hỗ trợ phân loại và nhận diện giọng nói.

• Mạng tích chập (CNN) và Mạng hồi quy dài hạn (LSTM): Các kiến trúc mạng nơ-ron sâu được áp dụng để xây dựng mô hình nhận diện giọng nói, tận dụng khả năng trích xuất đặc trưng cục bộ và xử lý dữ liệu chuỗi thời gian.

• Mạng đối kháng tạo sinh (GAN): Mô hình gồm hai mạng sinh và phân biệt đối kháng nhau, được so sánh và phân biệt với tấn công đối kháng nhằm làm rõ mục tiêu và ứng dụng của từng loại.

Phương pháp nghiên cứu

Luận văn sử dụng phương pháp nghiên cứu thực nghiệm kết hợp phân tích lý thuyết:

• Nguồn dữ liệu: Thu thập dữ liệu âm thanh tiếng Việt từ các nguồn thực tế, đảm bảo đa dạng về giọng nói và nội dung. Dữ liệu được tiền xử lý qua các bước chuẩn hóa, cắt frame, và trích xuất đặc trưng MFCC.

• Phương pháp phân tích: Xây dựng mô hình nhận diện giọng nói dựa trên CNN và LSTM, sau đó áp dụng các kỹ thuật tấn công đối kháng hộp trắng như biến đổi theo dấu gradient có lặp lại (IFGSM) và cải tiến giải thuật này để tạo mẫu âm thanh đối kháng.

• Timeline nghiên cứu: Quá trình nghiên cứu diễn ra từ tháng 3 đến tháng 6 năm 2021, bao gồm các giai đoạn tìm hiểu lý thuyết, thiết kế mô hình, hiện thực tấn công, và đánh giá kết quả.

• Cỡ mẫu và chọn mẫu: Sử dụng tập dữ liệu huấn luyện và kiểm định với số lượng mẫu âm thanh đủ lớn để đảm bảo tính đại diện và độ tin cậy của kết quả. Phương pháp chọn mẫu dựa trên các tiêu chí về độ chính xác nhận diện ban đầu và khả năng tạo mẫu đối kháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả tấn công đối kháng trên mô hình hộp trắng: Kết quả thực nghiệm cho thấy các kỹ thuật tấn công IFGSM và cải tiến có thể tạo ra mẫu âm thanh đối kháng với tỉ lệ tấn công thành công lên đến khoảng 85%, làm giảm độ chính xác nhận diện của mô hình từ 95% xuống còn dưới 15% trong các kịch bản tấn công không mục tiêu.

2. Bảo toàn nội dung âm thanh gốc: Các mẫu tấn công khi phát ra vẫn được tai người nghe rõ nội dung gốc, nhưng mô hình nhận diện lại phân loại sai lệch với tỉ lệ sai lệch lên đến 90% trong các cuộc tấn công có mục tiêu, ví dụ mẫu âm thanh "xin chào" bị nhận diện thành "chuyển tiền".

3. Tốc độ tạo mẫu tấn công được cải tiến: Giải thuật cải tiến IFGSM giúp giảm thời gian tạo mẫu đối kháng xuống còn khoảng 30% so với phương pháp cơ bản, phù hợp với yêu cầu thực tiễn về tốc độ và hiệu quả.

4. So sánh với các nghiên cứu quốc tế: Kết quả tương đồng với các nghiên cứu tấn công đối kháng trên mô hình nhận diện giọng nói tiếng Anh, tuy nhiên nghiên cứu này là một trong số ít công trình tập trung vào tiếng Việt, góp phần làm phong phú thêm kho tàng kiến thức trong lĩnh vực.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả tấn công cao là do mô hình hộp trắng cho phép kẻ tấn công truy cập đầy đủ cấu trúc và tham số, từ đó dễ dàng tính toán gradient và tạo nhiễu tinh vi. Việc bảo toàn nội dung âm thanh gốc trong khi làm sai lệch dự đoán cho thấy các mẫu đối kháng rất khó bị phát hiện bằng tai người, làm tăng tính nguy hiểm của các cuộc tấn công này.

So với các nghiên cứu trước đây, luận văn đã cải tiến giải thuật IFGSM để tăng tốc độ tạo mẫu mà không làm giảm tỉ lệ thành công, đồng thời xây dựng mô hình nhận diện giọng nói tiếng Việt riêng biệt, phù hợp với đặc thù ngôn ngữ. Kết quả có thể được trình bày qua biểu đồ đường thể hiện độ chính xác mô hình trước và sau tấn công, cũng như ma trận nhầm lẫn minh họa sự sai lệch trong phân loại.

Ý nghĩa của nghiên cứu là cảnh báo về các rủi ro bảo mật trong các hệ thống nhận diện giọng nói tiếng Việt, đồng thời cung cấp nền tảng để phát triển các kỹ thuật phòng chống hiệu quả trong tương lai.

Đề xuất và khuyến nghị

1. Phát triển kỹ thuật phòng chống tấn công đối kháng: Áp dụng các phương pháp tăng cường mô hình như huấn luyện đối kháng (adversarial training) để nâng cao khả năng nhận diện và chống lại các mẫu âm thanh đối kháng, nhằm cải thiện độ chính xác nhận diện lên ít nhất 90% trong vòng 12 tháng tới. Chủ thể thực hiện: các nhóm nghiên cứu AI và doanh nghiệp phát triển phần mềm nhận diện giọng nói.

2. Xây dựng hệ thống giám sát và phát hiện mẫu đối kháng: Thiết kế các bộ lọc và thuật toán phát hiện mẫu âm thanh có nhiễu đối kháng dựa trên đặc trưng tín hiệu và phân tích hành vi mô hình, nhằm giảm thiểu rủi ro tấn công trong môi trường thực tế. Thời gian triển khai dự kiến 6-9 tháng, chủ thể: các tổ chức an ninh mạng và nhà cung cấp dịch vụ AI.

3. Mở rộng nghiên cứu sang mô hình hộp đen và đa ngôn ngữ: Tiếp tục nghiên cứu tấn công đối kháng trên các mô hình hộp đen phổ biến như Google Assistant, Microsoft Cortana, và mở rộng sang các ngôn ngữ khác để đánh giá tính phổ quát và hiệu quả của kỹ thuật tấn công. Thời gian nghiên cứu 1-2 năm, chủ thể: các viện nghiên cứu và trường đại học.

4. Tăng cường đào tạo và nâng cao nhận thức về bảo mật AI: Tổ chức các khóa đào tạo, hội thảo chuyên sâu về bảo mật trong AI và học máy cho các nhà phát triển, kỹ sư và quản lý dự án nhằm nâng cao kiến thức và kỹ năng phòng chống tấn công đối kháng. Chủ thể: các trường đại học, trung tâm đào tạo chuyên ngành.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức nền tảng và phương pháp thực nghiệm về tấn công đối kháng trong nhận diện giọng nói tiếng Việt, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Doanh nghiệp phát triển sản phẩm nhận diện giọng nói và trợ lý ảo: Các kỹ thuật và kết quả nghiên cứu giúp doanh nghiệp hiểu rõ các rủi ro bảo mật, từ đó cải tiến sản phẩm và tăng cường tính an toàn cho người dùng.

3. Chuyên gia an ninh mạng và bảo mật AI: Luận văn cung cấp các kịch bản tấn công thực tế và phương pháp phòng chống, hỗ trợ xây dựng các giải pháp bảo mật hiệu quả cho hệ thống AI.

4. Cơ quan quản lý và hoạch định chính sách công nghệ: Thông tin nghiên cứu giúp các cơ quan đánh giá mức độ rủi ro và xây dựng các quy định, tiêu chuẩn về bảo mật trong ứng dụng AI, đặc biệt trong lĩnh vực nhận diện giọng nói.

Câu hỏi thường gặp

1. Tấn công đối kháng là gì và tại sao nó nguy hiểm?
   Tấn công đối kháng là kỹ thuật tạo ra các mẫu dữ liệu có nhiễu tinh vi nhằm làm mô hình AI nhận diện sai lệch. Nó nguy hiểm vì các mẫu này khó bị phát hiện bằng mắt hoặc tai người, có thể gây ra hậu quả nghiêm trọng trong các ứng dụng thực tế như trợ lý ảo hay hệ thống an ninh.

2. Tại sao nghiên cứu tập trung vào mô hình hộp trắng?
   Mô hình hộp trắng cho phép kẻ tấn công biết rõ cấu trúc và tham số của mô hình, giúp tính toán gradient và tạo mẫu đối kháng hiệu quả hơn. Đây là bước đầu để hiểu rõ các điểm yếu và phát triển kỹ thuật phòng chống.

3. Các mẫu âm thanh đối kháng có thể nghe được bình thường không?
   Có, các mẫu âm thanh đối kháng được thiết kế sao cho tai người vẫn nghe rõ nội dung gốc, nhưng mô hình nhận diện lại bị đánh lừa, dẫn đến phân loại sai lệch.

4. Giải thuật IFGSM cải tiến có ưu điểm gì?
   Giải thuật cải tiến giúp tăng tốc độ tạo mẫu đối kháng lên khoảng 3 lần so với phương pháp cơ bản, đồng thời duy trì hoặc nâng cao tỉ lệ tấn công thành công, phù hợp với yêu cầu thực tiễn.

5. Có thể áp dụng kết quả nghiên cứu cho các mô hình hộp đen không?
   Hiện tại nghiên cứu tập trung vào mô hình hộp trắng, nhưng nền tảng và kỹ thuật phát triển có thể mở rộng sang mô hình hộp đen trong tương lai, giúp đánh giá và nâng cao bảo mật cho các dịch vụ AI phổ biến.

Kết luận

• Luận văn đã nghiên cứu và phát triển thành công các kỹ thuật tấn công đối kháng trên mô hình nhận diện giọng nói tiếng Việt, đạt tỉ lệ tấn công thành công khoảng 85%.
• Các mẫu âm thanh đối kháng giữ nguyên nội dung gốc khi nghe bằng tai người nhưng làm mô hình nhận diện sai lệch đến 90% trong các kịch bản có mục tiêu.
• Giải thuật IFGSM được cải tiến giúp tăng tốc độ tạo mẫu đối kháng lên gấp 3 lần so với phương pháp cơ bản.
• Nghiên cứu góp phần làm rõ các rủi ro bảo mật trong lĩnh vực nhận diện giọng nói tiếng Việt và cung cấp nền tảng để phát triển các biện pháp phòng chống hiệu quả.
• Đề xuất mở rộng nghiên cứu sang mô hình hộp đen và đa ngôn ngữ, đồng thời phát triển hệ thống giám sát và đào tạo nâng cao nhận thức về bảo mật AI.

Để tiếp tục phát triển lĩnh vực này, các nhà nghiên cứu và doanh nghiệp nên hợp tác triển khai các giải pháp phòng chống tấn công đối kháng, đồng thời nâng cao nhận thức về bảo mật trong AI nhằm bảo vệ người dùng và hệ thống khỏi các nguy cơ tiềm ẩn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU quá trình dự đoán để thay đổi kết quả, dẫn đến các dự đoán sai lệch. • Quyền riêng tư về dữ liệu: hiện tại dữ liệu huấn luyện ở các mô hình gần như là dữ liệu thực tế. Kẻ tấn công có thể lặp lại các truy vấn tới một mô hình đã được huấn luyện nhằm thu thập dữ liệu ban đầu dùng cho quá trình huấn luyện.

• Bảo mật phần cứng và phần mềm: mã nguồn của ứng dụng, nền tảng sử dụng, hay các thiết bị phần cứng như chip có thể mang lỗ hổng hoặc các cửa hậu (backdoor) cho phép kẻ tấn công có thể khai thác. Dựa vào các thách thức trên mà nhiều người đã và đang nghiên cứu về các cuộc tấn công có thể xảy ra để phòng chống đối với các bước cơ bản của một quá trình tạo nên sản phẩm trí tuệ nhân tạo: • Quá trình huấn luyện (training): tấn công đầu độc dữ liệu (poi- soning) [5][6], sử dụng các phần mềm độc hại như backdoor kèm theo trong dữ liệu, và các vấn đề về quyền riêng tư về dữ liệu (differential privacy) [7]. • Quá trình dự đoán (predicting): tấn công né tránh (evasion) [1][2][3] điển hình là tạo các mẫu đối kháng (adversarial samples) hay tác động mặt vật lý như sửa đổi các biển báo giao thông để đánh lừa mô hình trí tuệ nhân tạo nhận diện biển báo giao thông. Sơ lược về tấn công đối kháng Tấn công đối kháng (adversarial attacks) được giới thiệu đầu tiên vào năm 2014, bởi một nhóm nghiên cứu trí tuệ nhân tạo của Google [8].

Cụ thể, bằng cách chèn một lượng nhiễu nhất định vào các hình ảnh khác nhau từ cơ sở dữ liệu ImageNet, các nhà nghiên cứu của Google đã khiến một hệ thống học máy phân loại sai lệch các hình ảnh này mặc dù hệ thống này được xây dựng trên mạng nơ-ron tích chập AlexNet - một mạng tích chập (convolutional neural network - CNN) [9] rất phổ biến và được đánh giá cao trong lĩnh vực phân loại ảnh. Quá trình chèn nhiễu vào các dữ liệu trước khi đưa vào các mô hình học máy, trí tuệ nhân tạo đã được xây dựng trước, đó khiến cho các mô hình này đưa ra các dự đoán sai về dữ liệu, hay đưa ra các phán đoán theo mục đích của kẻ tấn công được gọi là tấn công đối kháng. Và các mẫu dữ liệu đã bị thay đổi gọi là mẫu đối kháng (adversarial samples). Đến nay đã có rất nhiều nghiên cứu về tấn công đối kháng ngoài hình ảnh còn có cả âm thanh, văn bản chữ viết, và ngày càng tinh vi hơn.

Bằng cách cải thiện phương pháp chèn nhiễu khiến con người khó có thể nhận biết đâu là các dữ liệu đã được thay đổi để tấn công. Ngược lại, các mô hình học máy, trí tuệ nhân tạo lại có thể hiểu và thực hiện các lệnh thực thi ẩn theo mục đích của kẻ tấn công. Phạm vi và mục tiêu của luận văn 1. Mục tiêu Trong luận văn này, chúng tôi tập trung nghiên cứu về các cuộc tấn công đối kháng với các mô hình nhận diện phân loại giọng nói tiếng Việt.

Trong quá trình nghiên cứu có các hướng tiếp cận tấn công khác nhau. Tấn công vào các mô hình hộp trắng (white-box), khi đó kẻ tấn biết được các cấu trúc thông số của mô hình và có quyền truy cập sửa đổi dữ liệu khiến mô hình hoạt động sai lệch. Ngoài ra, còn hướng tấn công vào các mô hình hộp đen (black-box) đang được áp dụng thực tế như Google Assistant, Microsoft Cortana. Trong tấn công mô hình hộp đen, kẻ tấn chỉ có quyền truy vấn, gửi các dữ liệu đến mô hình và nhận lại kết quả mà không hề biết mô hình sử dụng là gì và hoạt động như thế nào.

Theo như chúng tôi khảo sát, việc nghiên cứu về các cuộc tấn công vào các mô hình nhận diện giọng nói trong tiếng Anh đã được thực hiện rất nhiều trong các năm gần đây (2014-2021) [1][2][3][10]. Tuy nhiên lại rất ít nghiên cứu thực hiện các cuộc tấn công này trên các mô hình nhận diện giọng nói trong tiếng Việt. Vì vậy, chúng tôi quyết định lựa chọn xây dựng các cuộc tấn công cơ bản trên các mô hình nhận diện phân loại giọng nói tiếng Việt hộp trắng. Trong quá trình nghiên cứu chúng tôi sử dụng phương thức tấn công cơ bản nhất đã được giới thiệu bởi nhóm nghiên cứu của Google [8].

Ngoài ra chúng tôi cải biến phương pháp ấy giúp các cuộc tấn công hiệu quả và nhanh chóng hơn. Thông qua các công việc trên, chúng tôi muốn xây dựng một nền tảng cơ bản để mở rộng các cuộc tấn công đối kháng vào các mô hình nhận diện chuyển đổi giọng nói thành chữ viết, hay các mô hình hộp đen trong tiếng Việt. Phạm vi Trong quá trình nghiên cứu, chúng tôi sẽ giới hạn bài toán lớn cần phải giải quyết vào một ngữ cảnh tấn công nhất định với một số điều kiện thích hợp. Về ngữ cảnh tấn công, chúng tôi giả sử mình là kẻ tấn công, và đã truy cập thành công vào một hệ thống trí tuệ nhân tạo.

Chúng tôi có thể xem được cấu trúc, thông số của mô hình, bên cạnh đó chúng tôi cũng có thể truy cập, tải về và chỉnh sửa các dữ liệu dùng cho việc huấn luyện mô hình. Từ đó chúng tôi sẽ xây dựng một mô hình bản sao của mô hình mục tiêu, sử dụng mô hình bản sao ấy để tạo ra các mẫu âm thanh đối kháng từ các mẫu âm thanh đã được mô hình gốc nhận diện chính xác trước đó. Các mẫu âm thanh đối kháng sẽ được gửi đến mô hình gốc ban đầu để thực hiện quá trình dự đoán. Đối với các mẫu âm thanh đối kháng được tạo ra phải đáp ứng được hai điều kiện quan trọng mà chúng tôi đặt ra đó là 1.

Các mẫu tấn công phải có ảnh hưởng đến quá trình dự đoán của mô hình. Các mẫu tấn công sẽ làm độ chính xác quá trình dự đoán của mô hình giảm đối với các cuộc tấn công không mục tiêu. Ngược lại, đối với các cuộc tấn công có mục tiêu do chúng tôi chỉ định, thì các mẫu tấn công phải được dự đoán vào lớp mục tiêu chỉ định ban đầu. Nội dung ban đầu của các mẫu âm thanh gốc ban đầu vẫn sẽ được bảo toàn, không thay đổi.

Ví dụ, với một mẫu âm thanh gốc có nội dung là “xin chào”, thì mẫu tấn công khi phát ra tai người vẫn nghe là “xin chào” nhưng mô hình lại nhận diện phân loại sai lệch thành “chuyển tiền” và thực hiện giao dịch. Cấu trúc luận văn Luận văn bao gồm bảy chương, có bố cục như sau: • Chương 1: Giới thiệu và đưa ra cái nhìn tổng quan về “Nghiên cứu và phát triển một số kỹ thuật tấn công đối kháng trong mô hình nhận diện phân loại giọng nói tiếng Việt”. • Chương 2: Cơ sở lý thuyết nền tảng cho các phương pháp, quá trình thực hiện đề tài. • Chương 3: Các công trình nghiên cứu, tiếp cận liên quan về các cuộc tấn công đối kháng trên các mô hình nhận diện giọng nói hộp trắng và hộp đen.

• Chương 4, Chương 5: Đây là phần nội dung trọng tâm của luận văn. Hai chương này lần lượt trình bày phương pháp đề xuất và quá trình hiện thực mô hình. • Chương 6: Thực nghiệm và đánh giá kết quả từ các cuộc tấn công do chúng tôi thực hiện • Chương 7: Tổng kết lại toàn bộ quá trình thực hiện, kết quả đạt được, những hạn chế và hướng mở rộng trong tương lai. 7 2 Kiến thức nền tảng 2.

Tiền xử lý âm thanh 2. Âm học Các mô hình trí tuệ nhân tạo nói chung và mô hình nhận diện phân loại giọng nói nói riêng đều được xây dựng dựa trên các đặc tính cơ bản của các giác quan con người. Mắt dùng để xử lý hình ảnh, tai dùng để tiếp thu các thông tin thông qua âm thanh, miệng giúp phát ra âm thanh truyền đạt nội dung mong muốn. Vì vậy, để hiểu được một mô hình nhận diện giọng nói hoạt động như thế nào ta cần có kiến thức cơ sở về âm thanh và giọng nói của con người.

Tại sao mỗi người khác nhau sẽ có các giọng nói khác nhau, tại sao tai người có thể nghe và phân biệt các loại giọng nói, từ ngữ khác nhau. Tất cả những câu hỏi ấy sẽ cần phân tích rõ trước khi tìm hiểu về một mô hình nhận diện giọng nói. Nguyên lý hình thành giọng nói. Trong cuộc sống hằng ngày, giao tiếp là một công việc không thể thiếu đối với mỗi người.

Trong quá trình giao tiếp, từng câu, từng chữ mà ta nói ra đều có một luồng hơi được đẩy lên từ phổi tạo áp lực lên thanh quản (vocal folds). Dưới áp lực đó, thanh quản mở ra giúp luồng không khí thoát ra, sau đó áp lực giảm xuống khiến thanh quản tự động đóng lại. Việc đóng lại như vậy lại khiến áp lực 8 CHƯƠNG 2. KIẾN THỨC NỀN TẢNG tăng lên và quá trình tái diễn liên tục trong một cuộc hội thoại.

Các chu kì đóng và mở thanh quản liên tục tái diễn, tạo ra rung động với tần số cơ bản hình thành nên các sóng, và các sóng này được gọi là sóng âm. Như vậy thanh quản đã tạo ra các tần số sóng âm cơ bản. Tuy nhiên để hình thành lên giọng nói còn cần đến các cơ quan khác như vòm họng, khoang miệng, lưỡi, răng, môi, mũi. Các cơ quan này hoạt động như một bộ cộng hưởng giống hộp đàn guitar, nhưng có khả năng thay đổi linh hoạt.

Bộ cộng hưởng này có tác dụng khuếch đại một vài tần số, và triệt tiêu một vài tần số khác để tạo ra các sóng âm mới. Khả năng thay đổi linh hoạt của bộ cộng hưởng giúp tạo ra các sóng âm khác nhau và được kết hợp lại hình thành nên giọng nói.1 mô tả chi tiết về cơ chế hình thành giọng nói ở con người, các luồng khí từ phổi lên đến thanh quản tạo ra các nguồn âm với các tần số khác nhau. Sau đó thông qua các cơ quan được xem như một bộ lọc (filter), các nguồn âm ban đầu được thay đổi thành các âm thanh thanh mang ý nghĩa mà con người có thể nghe hiểu được, hay còn gọi là giọng nói. Nguồn âm + Bộ lọc → Giọng nói con người.

Cơ chế hoạt động của tai. Như đã giới thiệu trong phần trên, âm thanh, giọng nói mà ta vẫn nghe hằng ngày là một pha trộn của rất nhiều sóng âm với các tần số khác nhau. Các tần số này thường nằm trong khoảng từ 20Hz đến 20.