Mô Hình Chung CAT Đa Tác Vụ Cho Nhận Dạng Giọng Nói Tiếng Việt

Khám phá mô hình chưng cất đa tác vụ cho nhận dạng giọng nói tiếng Việt, nâng cao hiệu suất và độ chính xác trong xử lý ngôn ngữ tự nhiên.

• Tác giả: Đào Hoàng Mai
• Người hướng dẫn: PGS. Phạm Văn Cường
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Chung CAT Đa Tác Vụ Cho Nhận Dạng Giọng Nói Tiếng Việt
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ CÁC TÁC VỤ CHO BÀI TOÁN NHẬN DẠNG GIỌNG NÓI
• 1.1. Bài toán nhận dạng giọng nói
• 1.2. Phát hiện giọng nói giả mạo
• 1.3. Nhận diện khẩu lệnh trong giọng nói
• 1.4. Các phương pháp tiếp cận đương đại
• 1.4.1. Các bộ dữ liệu cho nhận dạng giọng nói
• 1.4.2. Các phương pháp nhận dạng giọng nói truyền thống
• 1.4.3. Các phương pháp nhận diện giọng nói dựa trên kỹ thuật học sâu
• 1.5. Mục tiêu của đồ án
• 1.6. Tổng kết chương 1
• 2. CHƯƠNG 2: NHẬN DẠNG GIỌNG NÓI BẰNG MÔ HÌNH CHƯNG CẤT VÀ HỌC ĐA TÁC VỤ
• 2.1. Giới thiệu về trí tuệ nhân tạo
• 2.1.1. Trí tuệ nhân tạo
• 2.1.2. Cấu trúc và mô hình của một nơ-ron nhân tạo
• 2.1.3. Mạng nơ-ron nhân tạo
• 2.1.4. Lan truyền thẳng
• 2.1.5. Lan truyền ngược và hàm đạo hàm
• 2.2. Mạng nơ-ron tích chập (Convolutional Neural Network - CNN)
• 2.2.1. Kiến trúc của mạng nơ-ron tích chập
• 2.2.2. Lớp kết nối đầy đủ
• 2.2.3. Những kiến trúc mạng CNN thông dụng
• 2.3. Mô hình mạng nơ-ron đồ thị sử dụng cơ chế chú ý
• 2.4. Nghiên cứu đề xuất mô hình học sâu đa tác vụ cho nhận dạng giọng nói
• 2.4.1. Các đặc trưng miền thời gian và tần số của dữ liệu âm thanh
• 2.4.2. Chưng cất tri thức
• 2.5. Biểu diễn dữ liệu (Audio Representation)
• 2.6. Mô-đun đồ thị (Graph Module)
• 2.7. Lớp chú ý chéo (Cross-Task Attention)
• 2.8. Cắt tia và chưng cất
• 2.9. Tổng kết chương 2
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ KẾT QUẢ
• 3.1. Bộ dữ liệu đa tác vụ dành cho tiếng Việt
• 3.1.1. Thu thập dữ liệu
• 3.1.2. Thống kê dữ liệu
• 3.2. Cài đặt thực nghiệm
• 3.3. Phương pháp đánh giá
• 3.4. Kết quả thực nghiệm
• 3.5. Tổng kết chương 3
• 4. CHƯƠNG 4: TỔNG KẾT
• DANH SÁCH BẢNG
• DANH SÁCH HÌNH VẼ

Tóm tắt

I. Tổng Quan Về Mô Hình Chung CAT Đa Tác Vụ Nhận Dạng Giọng Nói

Mô hình chung CAT đa tác vụ cho nhận dạng giọng nói tiếng Việt là một trong những nghiên cứu quan trọng trong lĩnh vực trí tuệ nhân tạo. Mô hình này không chỉ giúp cải thiện độ chính xác trong việc nhận diện giọng nói mà còn tối ưu hóa hiệu suất cho các thiết bị có cấu hình thấp. Việc áp dụng mô hình này vào thực tiễn sẽ mang lại nhiều lợi ích cho người dùng trong việc tương tác với công nghệ thông qua giọng nói.

1.1. Khái Niệm Về Nhận Dạng Giọng Nói

Nhận dạng giọng nói là quá trình mà máy tính có thể hiểu và thực hiện các tác vụ dựa trên âm thanh đầu vào. Công nghệ này cho phép người dùng tương tác với hệ thống bằng giọng nói, mang lại sự tiện lợi và hiệu quả trong nhiều ứng dụng.

1.2. Lợi Ích Của Mô Hình Đa Tác Vụ

Mô hình đa tác vụ giúp xử lý nhiều nhiệm vụ cùng lúc, từ nhận diện người nói đến phát hiện giọng nói giả mạo. Điều này không chỉ tiết kiệm thời gian mà còn giảm thiểu độ trễ trong quá trình xử lý, nâng cao trải nghiệm người dùng.

II. Thách Thức Trong Nhận Dạng Giọng Nói Tiếng Việt

Nhận dạng giọng nói tiếng Việt đang phải đối mặt với nhiều thách thức lớn. Một trong số đó là sự thiếu hụt dữ liệu có gán nhãn chất lượng cao. Ngoài ra, các mô hình hiện tại thường yêu cầu tài nguyên tính toán lớn, điều này gây khó khăn cho việc triển khai trên các thiết bị có cấu hình thấp.

2.1. Thiếu Dữ Liệu Chất Lượng Cao

Việc thiếu hụt các bộ dữ liệu có gán nhãn chất lượng cao là một trong những thách thức lớn nhất trong nghiên cứu nhận dạng giọng nói tiếng Việt. Điều này ảnh hưởng đến khả năng huấn luyện và độ chính xác của các mô hình.

2.2. Yêu Cầu Tài Nguyên Tính Toán Cao

Nhiều mô hình hiện tại yêu cầu tài nguyên tính toán lớn, điều này làm cho việc triển khai trên các thiết bị di động hoặc thiết bị có cấu hình thấp trở nên khó khăn. Cần có các giải pháp tối ưu hóa để khắc phục vấn đề này.

III. Phương Pháp Xây Dựng Mô Hình Chung CAT Đa Tác Vụ

Mô hình chung CAT đa tác vụ được xây dựng dựa trên các kỹ thuật học sâu và cơ chế chú ý. Mô hình này cho phép kết hợp thông tin từ nhiều nhiệm vụ khác nhau, từ đó nâng cao hiệu suất tổng thể của hệ thống.

3.1. Kỹ Thuật Học Sâu Trong Nhận Dạng Giọng Nói

Kỹ thuật học sâu đã được áp dụng rộng rãi trong nhận dạng giọng nói, giúp cải thiện độ chính xác và khả năng nhận diện. Các mạng nơ-ron tích chập (CNN) thường được sử dụng để trích xuất đặc trưng từ tín hiệu âm thanh.

3.2. Cơ Chế Chú Ý Trong Mô Hình

Cơ chế chú ý giúp mô hình tập trung vào các phần quan trọng của tín hiệu âm thanh, từ đó cải thiện khả năng nhận diện và giảm thiểu sai sót trong quá trình xử lý.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Nhận Dạng Giọng Nói

Mô hình nhận dạng giọng nói tiếng Việt có thể được ứng dụng trong nhiều lĩnh vực khác nhau như trợ lý ảo, hệ thống bảo mật và giao diện người dùng. Việc áp dụng mô hình này sẽ mang lại nhiều lợi ích cho người dùng trong việc tương tác với công nghệ.

4.1. Ứng Dụng Trong Trợ Lý Ảo

Trợ lý ảo sử dụng mô hình nhận dạng giọng nói để thực hiện các tác vụ như tìm kiếm thông tin, đặt lịch hẹn và điều khiển thiết bị thông minh. Điều này giúp người dùng tiết kiệm thời gian và nâng cao trải nghiệm.

4.2. Ứng Dụng Trong Hệ Thống Bảo Mật

Mô hình nhận dạng giọng nói có thể được sử dụng để xác thực người dùng trong các hệ thống bảo mật, giúp ngăn chặn truy cập trái phép và bảo vệ thông tin cá nhân.

V. Kết Luận Về Mô Hình Nhận Dạng Giọng Nói Tiếng Việt

Mô hình chung CAT đa tác vụ cho nhận dạng giọng nói tiếng Việt không chỉ giải quyết các thách thức hiện tại mà còn mở ra nhiều cơ hội mới cho nghiên cứu và ứng dụng trong tương lai. Việc phát triển mô hình này sẽ góp phần nâng cao chất lượng dịch vụ và trải nghiệm người dùng.

5.1. Tương Lai Của Nhận Dạng Giọng Nói

Tương lai của nhận dạng giọng nói tiếng Việt hứa hẹn sẽ phát triển mạnh mẽ với sự hỗ trợ của các công nghệ mới. Việc cải thiện độ chính xác và khả năng xử lý sẽ là mục tiêu hàng đầu trong nghiên cứu tiếp theo.

5.2. Hướng Nghiên Cứu Tiếp Theo

Các nghiên cứu tiếp theo cần tập trung vào việc phát triển các bộ dữ liệu chất lượng cao và tối ưu hóa mô hình để có thể hoạt động hiệu quả trên các thiết bị có cấu hình thấp.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Đồ án tốt nghiệp "Mô hình chưng cất đa tác vụ cho nhận dạng giọng nói tiếng Việt" được thực hiện bởi sinh viên Đào Hoàng Mai, ngành Hệ thống Thông tin, Khoa Công nghệ Thông tin, Học viện Công nghệ Bưu chính Viễn thông dưới sự hướng dẫn của PGS. Phạm Văn Cường (hoàn thành tháng 01/2022). Nghiên cứu đặt trong bối cảnh nhận dạng giọng nói tự động là một trong những nhiệm vụ trọng tâm của xử lý tín hiệu âm thanh và trí tuệ nhân tạo, ngày càng được ứng dụng rộng rãi trong các hệ thống thông minh như trợ lý ảo (Siri, Alexa, Cortana), nhà thông minh và các giải pháp xác thực sinh trắc học.

Theo tác giả, việc nghiên cứu và triển khai nhận dạng giọng nói tiếng Việt cho các thiết bị phần cứng cấu hình thấp đang đối mặt với 3 thách thức lớn trong thực tiễn:

1. Sự thiếu hụt dữ liệu gán nhãn chất lượng cao và nguy cơ từ công nghệ giả mạo: Các bộ dữ liệu tiếng Việt có gán nhãn chất lượng cao rất khan hiếm và phần lớn không được công bố công khai. Đặc biệt, sự bùng nổ của các mô hình học sâu và công nghệ DeepFake cho phép kẻ xấu tạo ra giọng nói giả mạo giống đến 90% người thật chỉ từ 5 giây âm thanh đầu vào, trong khi tiếng Việt hoàn toàn chưa có bộ dữ liệu nào được công bố nhằm hỗ trợ hệ thống nhận dạng phòng chống các dạng tấn công giả mạo này.
2. Mô hình học sâu cồng kềnh, tiêu tốn tài nguyên: Hầu hết các mô hình nhận dạng giọng nói hiện đại đều có kích thước lớn, chứa hàng triệu tham số và đòi hỏi tài nguyên tính toán mạnh (GPU/TPU). Điều này cản trở việc triển khai trực tiếp lên các thiết bị phần cứng hạn chế tài nguyên như điện thoại thông minh, máy tính bảng hay thiết bị đeo tay thông minh.
3. Tính chất đơn lẻ, thiếu liên kết giữa các tác vụ: Các bài toán nhận dạng giọng nói thường được thiết kế và huấn luyện độc lập. Trong ứng dụng thực tế (chẳng hạn như trợ lý ảo), hệ thống cần xử lý đồng thời nhiều nhiệm vụ: định danh người nói, kiểm tra tính xác thực để từ chối truy cập giả mạo và giải mã khẩu lệnh điều khiển. Việc chạy đồng thời nhiều mô hình riêng rẽ làm gia tăng đáng kể số lượng phép tính, gây độ trễ hệ thống và làm giảm trải nghiệm người dùng.

Nhiệm vụ và mục tiêu nghiên cứu của đồ án được xác định gồm 3 nội dung trọng tâm:

1. Xây dựng và công bố bộ dữ liệu âm thanh tiếng Việt đầu tiên phục vụ học đa tác vụ, có khả năng hỗ trợ phát hiện tấn công giả mạo và xử lý khẩu lệnh.
2. Thiết kế mô hình học sâu đa tác vụ tích hợp, là phiên bản mở rộng của kiến trúc AASIST, có khả năng giải quyết đồng thời ba bài toán con: định danh người nói, phát hiện giọng nói giả mạo và nhận diện khẩu lệnh.
3. Áp dụng kỹ thuật cắt tỉa mô hình và chưng cất tri thức nhằm nén kích thước mạng nơ-ron, tạo ra mô hình gọn nhẹ, tốc độ xử lý nhanh, đáp ứng yêu cầu nhúng trực tiếp vào các thiết bị biên dung lượng thấp.

Đối tượng nghiên cứu của đồ án là tín hiệu giọng nói tiếng Việt, các cấu trúc mạng nơ-ron học sâu xử lý âm thanh (mạng tích chập CNN, mạng đồ thị GAT, cơ chế chú ý chéo), cùng các giải thuật tối ưu hóa mô hình (cắt tỉa tham số, chưng cất tri thức). Phạm vi nghiên cứu tập trung vào giọng nói tiếng Việt độc lập với văn bản; mục tiêu triển khai nhắm đến các thiết bị phần cứng có hiệu suất tính toán và bộ nhớ giới hạn.

Cơ sở lý thuyết và phương pháp

Để giải quyết bài toán nhận dạng giọng nói đa tác vụ, đồ án tổng hợp các cơ sở lý thuyết về biểu diễn tín hiệu âm thanh và các thuật toán phân loại:

Biểu diễn tín hiệu âm thanh:

• Tín hiệu âm thanh được khai thác qua các đặc trưng miền thời gian (năng lượng tín hiệu, tốc độ giao nhau qua điểm không, biên độ tối đa, năng lượng tối thiểu) và đặc trưng phổ miền tần số thông qua Biến đổi Fourier.
• Các hệ số đặc trưng âm thanh được khảo sát gồm: hệ số Mel-Frequency Cepstral Coefficients (MFCC), hệ số Constant Q Cepstral Coefficients (CQCC) dựa trên phép biến đổi Constant Q Transform, Gammatone Frequency Cepstral Coefficients (GFCC), Linear Prediction Cepstral Coefficients (LPCC), Shifted Delta Cepstral Coefficients (SDCC) và Power Normalized Cepstral Coefficients (PNCC). Trong đó, kỹ thuật cửa sổ trượt 2 giây với độ chồng lấn 1 giây được sử dụng để phân đoạn tín hiệu đầu vào.

Mô hình học máy truyền thống và học sâu:

• Mô hình Gaussian hỗn hợp (Gaussian Mixture Model - GMM): Mô hình hóa phân phối xác suất của vector đặc trưng âm thanh dựa trên tổng có trọng số của các hàm mật độ Gaussian thành phần: $$p(x|\lambda) = \sum_{i=1}^{M} w_i \times g(x|\mu_i, \Sigma_i)$$
• Máy vector hỗ trợ (Support Vector Machine - SVM): Phân loại dữ liệu dựa trên việc xác định siêu phẳng tối ưu có lề lớn nhất, áp dụng cho cả trường hợp phân tách tuyến tính và phi tuyến tính thông qua các hàm biến đổi hạt nhân (kernel).
• Mạng nơ-ron nhân tạo (ANN) và mạng nơ-ron tích chập (CNN): Sử dụng các tầng tích chập (Convolutional layer), tầng giảm mẫu (Pooling: Max-pooling, Average-pooling) và tầng kết nối đầy đủ (Fully Connected) cùng các hàm kích hoạt (Sigmoid, Tanh, ReLU, Softmax). Đồ án khảo sát các kiến trúc kinh điển gồm LeNet-5, AlexNet, VGG-16, GoogLeNet (Inception) và Residual Network (ResNet-34, ResNet-50).
• Mạng nơ-ron đồ thị sử dụng cơ chế chú ý (Graph Attention Networks - GAT): Khai thác cấu trúc quan hệ giữa các nút đặc trưng $h = {h_1, h_2, ..., h_N}$ thông qua ma trận trọng số chuyển đổi $W$, hàm kích hoạt LeakyReLU và chuẩn hóa hệ số chú ý $\alpha_{ij}$ qua Softmax cục bộ trên tập lân cận $N_i$: $$\alpha_{ij} = \frac{\exp\left(\text{LeakyReLU}\left(a^T [Wh_i \parallel Wh_j]\right)\right)}{\sum_{k \in N_i} \exp\left(\text{LeakyReLU}\left(a^T [Wh_i \parallel Wh_k]\right)\right)}$$

Phương pháp nén mô hình:

• Cắt tỉa mô hình (Pruning): Áp dụng phương pháp cắt tỉa có cấu trúc (loại bỏ nơ-ron, bộ lọc, kênh) và không cấu trúc (loại bỏ trọng số riêng lẻ) theo thuật toán lặp của Han et al. (2015), bao gồm khởi tạo, huấn luyện hội tụ, tính điểm tham số, cắt tỉa và tinh chỉnh (fine-tuning).
• Chưng cất tri thức (Knowledge Distillation): Chuyển giao tri thức từ mạng lớn (Teacher) sang mạng nhỏ hơn (Student) để giảm dung lượng bộ nhớ và tăng tốc độ suy luận mà vẫn bảo toàn độ chính xác.

Nguồn dữ liệu tham chiếu trong y văn: Đồ án khảo sát các tập dữ liệu quốc tế như ASVspoof 2019, ASVspoof 2021 (bao gồm các kịch bản Logical Access - LA, Physical Access - PA, DeepFake), VoxCeleb, VoxCeleb2 (hơn 100.251 người nổi tiếng từ YouTube), FMFCC-A (tiếng Quan thoại). Đối với tiếng Việt, tác giả chỉ ra các nghiên cứu trước đây chỉ sử dụng các tập dữ liệu nhỏ, đóng (như tập dữ liệu 300 bài hát của 18 ca sĩ của Van et al., tập dữ liệu 20 người nói của Nguyen et al., hoặc các tập phân loại khẩu lệnh không công khai).

Thiết kế và triển khai mô hình học sâu đa tác vụ

Mô hình đề xuất trong đồ án được phát triển dưới dạng một hệ sinh thái học sâu hoàn chỉnh, mở rộng từ kiến trúc AASIST (Audio Anti-Spoofing using Integrated Spectro-Temporal Graph Attention Networks) nhằm xử lý song song 3 nhiệm vụ con.

Tín hiệu âm thanh đầu vào (Cửa sổ 2s, trượt 1s)
[Khối biểu diễn dữ liệu âm thanh (Audio Representation)]
[Khối đồ thị thời gian - tần số (Graph Module - GAT)]
[Lớp chú ý chéo giữa các tác vụ (Cross-Task Attention)]
Định danh người nói    Phát hiện giọng giả mạo    Nhận diện khẩu lệnh
(Speaker ID)           (Spoofing Detection)       (Command Detection)
[Quy trình nén: Cắt tỉa (Pruning) & Chưng cất tri thức (Teacher -> Student)]

Hệ thống kỹ thuật được cấu thành từ 4 khối chức năng:

1. Khối biểu diễn dữ liệu âm thanh (Audio Representation): Đóng vai trò là bộ mã hóa đầu vào (front-end encoder), nhận tín hiệu âm thanh thô được phân đoạn qua cửa sổ trượt 2 giây (độ chồng lấn 1 giây), trích xuất và biến đổi thành các biểu diễn phổ đặc trưng đa chiều trên cả miền thời gian và tần số.
2. Mô-đun đồ thị (Graph Module): Tích hợp kiến trúc mạng đồ thị chú ý GAT. Thay vì xử lý các ma trận điểm ảnh độc lập, mô-đun này thiết lập cấu trúc đồ thị liên kết giữa các đặc trưng thời gian và tần số, giúp nắm bắt ngữ cảnh phân tán và các bất thường trong tín hiệu âm thanh giả mạo.
3. Lớp chú ý chéo (Cross-Task Attention): Đây là thành phần mở rộng quan trọng do tác giả thiết kế nhằm kết nối biểu diễn giữa 3 nhánh tác vụ. Cơ chế này cho phép thông tin nhận dạng đặc trưng người nói hỗ trợ việc phát hiện giọng giả mạo, đồng thời định hướng cho việc xác định sự hiện diện của khẩu lệnh.
4. Cơ chế học chung (Joint Learning) và nén mô hình: Hệ thống sử dụng một hàm mất mát tổng hợp để cập nhật đồng thời các trọng số cho cả 3 đầu ra. Sau khi mô hình gốc (Teacher) đạt độ hội tụ, quy trình cắt tỉa lặp (Thuật toán 1) kết hợp chưng cất tri thức được tiến hành để nén cấu trúc mạng thành mô hình Student gọn nhẹ.

Nội dung chính theo từng chương

Chương 1: Tổng quan về các tác vụ cho bài toán nhận dạng giọng nói

Chương 1 hệ thống hóa cơ sở lý luận về bài toán nhận dạng giọng nói, tập trung làm rõ 3 bài toán con:

• Định danh người nói (Speaker Identification): Phân tích hai hướng tiếp cận gồm phụ thuộc văn bản và độc lập với văn bản; mô tả quy trình hai giai đoạn gồm đăng ký (xây dựng hồ sơ âm thanh người dùng) và xác minh (so khớp giọng nói đầu vào).
• Phát hiện giọng nói giả mạo (Spoofing Detection): Đánh giá nguy cơ từ các kỹ thuật giả mạo truyền thống (phát lại qua nguồn thứ phát) đến các mô hình DeepFake hiện đại; định nghĩa bài toán phân loại nhị phân gán nhãn True (người thật) hoặc False (giọng tổng hợp máy).
• Nhận diện khẩu lệnh (Command Detection): Làm rõ sự khác biệt bản chất giữa nhận diện khẩu lệnh (phân loại nhị phân câu nói có chứa khẩu lệnh hay không) với bài toán phân loại khẩu lệnh (command classification) hoặc dò tìm từ khóa (keyword spotting). Tác vụ này cho phép hệ thống lắng nghe bị động mà không cần từ đánh thức (wake-word như "Hi Siri"), giảm tải chi phí xử lý các câu hội thoại thông thường.
• Khảo sát phương pháp và dữ liệu: Tổng kết các đặc trưng thủ công (MFCC, CQCC), mô hình phân loại GMM, SVM và các mạng nơ-ron học sâu (FastAudio, mạng residual, cơ chế transfer learning). Chương 1 kết luận bằng việc chỉ ra khoảng trống nghiên cứu tại Việt Nam do rào cản về phương ngữ 3 miền (Bắc 6 thanh điệu, Trung 5 thanh điệu, sự đa dạng từ vựng địa phương) và sự vắng bóng của các bộ dữ liệu công khai.

Chương 2: Nhận dạng giọng nói sử dụng mô hình chưng cất và học đa tác vụ

Chương 2 trình bày chi tiết kiến trúc toán học và quy trình thiết kế mô hình đề xuất:

• Cung cấp nền tảng toán học về mạng nơ-ron nhân tạo: quá trình lan truyền thẳng, lan truyền ngược, thuật toán hạ đạo hàm và cơ chế hoạt động của các hàm kích hoạt (Sigmoid, Tanh, ReLU, Softmax).
• Phân tích cấu tạo mạng tích chập CNN (tích chập, bộ lọc, bước trượt stride, đệm zero-padding, pooling) và các kiến trúc LeNet-5, AlexNet, VGG-16, Inception, ResNet.
• Trình bày chi tiết mạng nơ-ron đồ thị sử dụng cơ chế chú ý (GAT): thiết lập ma trận trọng số chuyển đổi, cơ chế tự chú ý che giấu (masked attention) trên vùng lân cận, công thức chuẩn hóa hệ số chú ý và cập nhật nút đặc trưng.
• Đề xuất mô hình học sâu đa tác vụ mở rộng từ AASIST: kết hợp khối biểu diễn âm thanh, mô-đun đồ thị, lớp chú ý chéo (Cross-Task Attention) cho 3 nhánh đầu ra.
• Chi tiết hóa giải thuật nén mạng: quy trình cắt tỉa tham số lặp theo thuật toán của Han et al. (2015) và nguyên lý chưng cất tri thức từ mô hình Teacher sang Student nhằm tối ưu hóa tham số cho thiết bị phần cứng dung lượng thấp.

Chương 3: Thực nghiệm và kết quả

Chương 3 trình bày các thiết lập thực nghiệm và kết quả đánh giá hệ thống:

• Xây dựng bộ dữ liệu đa tác vụ tiếng Việt: Mô tả quy trình thu thập dữ liệu âm thanh tiếng Việt phục vụ đồng thời cho 3 bài toán. Dữ liệu được phân chia thành 4 nhóm đặc thù (Bảng 3.1) và được thống kê chi tiết theo đơn vị thời lượng giây (s) và số lượng token (t) (Bảng 3.2).
• Cài đặt thực nghiệm: Thiết lập môi trường huấn luyện, các siêu tham số mạng, phương pháp trượt cửa sơ 2 giây (độ chồng lấn 1 giây).
• Phương pháp và kết quả đánh giá: Tiến hành đo lường hiệu năng của mô hình đề xuất so với các mô hình cơ sở (baseline) trên tập dữ liệu kiểm thử (Bảng 3.3). Đồ án chỉ ra rằng mô hình chưng cất đa tác vụ đạt hiệu quả phân loại vượt trội so với các mô hình độc lập, đồng thời giảm thiểu đáng kể kích thước tham số lưu trữ và thời gian tính toán.

Chương 4: Tổng kết

Chương 4 đúc kết các kết quả đạt được của đồ án:

• Hoàn thành việc đề xuất kiến trúc đa tác vụ kết hợp GAT và Cross-Task Attention giải quyết đồng thời 3 bài toán nhận dạng giọng nói tiếng Việt.
• Hiện thực hóa quy trình cắt tỉa và chưng cất tri thức giúp thu nhỏ mô hình để triển khai trên thiết bị biên.
• Xây dựng thành công bộ dữ liệu thử nghiệm tiếng Việt đa tác vụ đầu tiên.
• Xác định các giới hạn tồn tại và đề xuất định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

Nghiên cứu mang lại những kết quả và đóng góp cụ thể cho lĩnh vực xử lý tiếng nói tiếng Việt:

1. Đóng góp về tài nguyên dữ liệu: Xây dựng bộ dữ liệu âm thanh tiếng Việt đầu tiên phục vụ mục tiêu học đa tác vụ, kết hợp kiểm thử khả năng phòng chống tấn công giả mạo (spoofing/deepfake) và phát hiện khẩu lệnh, tạo lập nền tảng dữ liệu cho các nghiên cứu quy trình đầu-cuối (end-to-end).
2. Đóng góp về mặt kiến trúc mô hình: Phát triển biến thể mở rộng của mô hình AASIST tích hợp mạng nơ-ron đồ thị (GAT) và lớp chú ý chéo (Cross-Task Attention). Thiết kế này giải quyết triệt để sự rời rạc của các nghiên cứu trước đây bằng cách gắn kết thông tin ngữ cảnh giữa 3 tác vụ con, cải thiện hiệu suất nhận dạng tổng thể.
3. Đóng góp về giải pháp triển khai phần cứng: Chứng minh tính khả thi của việc tích hợp giải thuật cắt tỉa mô hình lặp cùng kỹ thuật chưng cất tri thức Teacher - Student, giúp giảm đáng kể kích thước mô hình để nhúng trực tiếp vào các thiết bị di động, thiết bị đeo tay thông minh mà không làm suy giảm nghiêm trọng độ chính xác.

Bảng tổng hợp đặc điểm kỹ thuật của mô hình đề xuất so với các tiếp cận truyền thống:

Tiêu chí kỹ thuật	Phương pháp truyền thống	Mô hình đề xuất trong đồ án
Xử lý tác vụ	Huấn luyện riêng lẻ từng mô hình đơn nhiệm	Học chung đa tác vụ (Joint Multi-task Learning) cho 3 bài toán
Tương tác giữa các tác vụ	Không có liên kết, chạy độc lập	Cơ chế chú ý chéo (Cross-Task Attention) chia sẻ đặc trưng
Kiến trúc mạng cốt lõi	GMM, SVM hoặc CNN đơn lẻ	Mạng đồ thị chú ý (GAT) mở rộng từ AASIST
Kỹ thuật nén mô hình	Giữ nguyên cấu trúc mạng lớn cồng kềnh	Kết hợp cắt tỉa tham số (Pruning) và chưng cất tri thức (Distillation)
Tài nguyên dữ liệu tiếng Việt	Chưa có dữ liệu tiếng Việt chống giả mạo	Bộ dữ liệu tiếng Việt đa tác vụ đầu tiên có chống giả mạo và khẩu lệnh

Hạn chế và hướng nghiên cứu tiếp

Hạn chế:

• Mặc dù đã giải quyết được tính liên kết đa tác vụ, nguồn dữ liệu tiếng Việt được xây dựng vẫn có quy mô hạn chế hơn so với các tập dữ liệu quốc tế lớn (như VoxCeleb hay ASVspoof).
• Sự đa dạng phức tạp về phương ngữ ba miền (đặc biệt là phương ngữ miền Trung với 5 thanh điệu và các biến thể phát âm địa phương) vẫn đặt ra thách thức lớn đối với độ bao phủ của mô hình.

Hướng phát triển tiếp theo:

• Tiếp tục mở rộng quy mô thu thập và làm giàu bộ dữ liệu đa tác vụ tiếng Việt, gia tăng độ đa dạng về môi trường nhiễu và phương ngữ vùng miền.
• Hoàn thiện việc đóng gói và thử nghiệm triển khai thực tế trên các vi điều khiển, chip nhúng AI chuyên dụng của các thiết bị IoT và thiết bị đeo tay thông minh.
• Thử nghiệm mở rộng kiến trúc sang các ngôn ngữ đơn lập có thanh điệu tương tự tiếng Việt (như tiếng Hán).

Giá trị tham khảo

Đồ án là tài liệu chuyên khảo hữu ích cho:

• Sinh viên, học viên cao học và nghiên cứu sinh thuộc các chuyên ngành Công nghệ Thông tin, Kỹ thuật Máy tính, Hệ thống Thông tin, Trí tuệ Nhân tạo và Xử lý Tín hiệu.
• Các kỹ sư và chuyên gia nghiên cứu phát triển các sản phẩm trợ lý ảo, hệ thống nhà thông minh và các giải pháp xác thực sinh trắc học bằng giọng nói tiếng Việt.
• Nội dung đáng tham khảo nhất là Chương 2 và Chương 3: cung cấp chi tiết cơ sở toán học của mạng nơ-ron đồ thị chú ý GAT, cơ chế lớp chú ý chéo (Cross-Task Attention), giải thuật cắt tỉa mô hình kết hợp chưng cất tri thức (Knowledge Distillation) và phương pháp xây dựng bộ dữ liệu giọng nói tiếng Việt đa tác vụ.

Câu hỏi thường gặp

1. Ba nhiệm vụ con mà mô hình đa tác vụ trong đồ án giải quyết đồng thời là gì?
Mô hình giải quyết đồng thời: (1) Định danh người nói (Speaker Identification) nhằm xác thực danh tính người dùng; (2) Phát hiện giọng nói giả mạo (Spoofing Detection) phân biệt giọng người thật và giọng nhân tạo do DeepFake tạo ra; (3) Nhận diện khẩu lệnh (Command Detection) phát hiện câu nói có chứa lệnh điều khiển hay không.

2. Điểm khác biệt giữa "nhận diện khẩu lệnh" (command detection) trong đồ án và "dò tìm từ khóa" (keyword spotting) là gì?
Nhận diện khẩu lệnh trong đồ án được thiết kế dưới dạng bài toán phân loại nhị phân nhằm xác định xem một câu nói thông thường của người dùng có chứa khẩu lệnh hay không. Tác vụ này khác với phân loại khẩu lệnh (gán nhãn loại lệnh cụ thể) hay dò tìm từ khóa (tìm chính xác từ khóa kích hoạt). Nó giúp hệ thống lắng nghe bị động và quyết định có cần gửi dữ liệu xử lý tiếp hay không, loại bỏ sự phụ thuộc vào từ đánh thức (wake-word) như "Hi Siri".

3. Kiến trúc học sâu nào được tác giả lựa chọn làm nền tảng mở rộng?
Tác giả mở rộng kiến trúc từ mô hình AASIST (mô hình mạng nơ-ron đồ thị sử dụng cơ chế chú ý kết hợp đặc trưng thời gian và phổ tần số), bổ sung thêm tầng chú ý chéo (Cross-Task Attention) để chia sẻ biểu diễn đặc trưng giữa 3 nhánh tác vụ con.

4. Kỹ thuật nào được áp dụng để nén mô hình phục vụ triển khai trên thiết bị cấu hình thấp?
Đồ án kết hợp hai kỹ thuật nén mô hình: cắt tỉa mạng nơ-ron (Pruning) theo thuật toán lặp của Han et al. (2015) nhằm loại bỏ các trọng số/thành phần dư thừa, và chưng cất tri thức (Knowledge Distillation) nhằm truyền tri thức từ mạng Teacher lớn sang mạng Student nhỏ gọn.

5. Những đặc thù nào của ngữ âm tiếng Việt được tác giả nêu ra làm thách thức cho hệ thống?
Tiếng Việt là ngôn ngữ đơn lập có thanh điệu phong phú, phân vùng thành 3 phương ngữ chính Bắc - Trung - Nam với hệ thống âm sắc khác nhau (miền Bắc có 6 thanh điệu, miền Trung có 5 thanh điệu, một số địa phương có phát âm và từ vựng đặc thù), tạo ra sự biến đổi ngữ nghĩa và ngữ âm phức tạp cho các mô hình nhận dạng.

Kết luận

Đồ án tốt nghiệp của tác giả Đào Hoàng Mai đã giải quyết bài toán nhận dạng giọng nói tiếng Việt bằng cách tiếp cận học đa tác vụ kết hợp cơ chế chú ý đồ thị và chú ý chéo. Nghiên cứu đóng góp bộ dữ liệu tiếng Việt đa tác vụ đầu tiên tích hợp bài toán chống giả mạo DeepFake và nhận diện khẩu lệnh. Thông qua việc áp dụng kỹ thuật cắt tỉa tham số và chưng cất tri thức, đồ án cung cấp một giải pháp mô hình nhỏ gọn, hiệu quả cao, đáp ứng yêu cầu triển khai thực tế trên các thiết bị phần cứng có tài nguyên hạn chế.

Trích đoạn nội dung tài liệu

chương 1, đồ án sẽ trình bày tổng quan về bài toán nhận dạng giọng nói trong đó có ba nhiệm vụ con là nhận dạng người nói, phát hiện giọng nói giả mạo và xác định hiệu lệnh, giới thiệu các phương pháp được sử dụng rộng rãi cho ba nhiệm vụ con này và mục tiêu của đồ án qua các phần: ¢ Bài toán nhận dạng giọng nói s Các phương pháp nhận dạng giọng nói hiện nay ¢ Mục tiêu do án Sinh viên: Đào Hoàng Mai - B17DCCN4II - Lớp DI7HTTT2 3 CHUONG 1. TONG QUAN VE CAC TAC VU CHO BAI TOAN NHAN DANG GIONG NOI 1.1 Bài toán nhận dang giọng nói Nhận dạng giọng nói là một lĩnh vực phụ liên ngành của khoa học máy tính và ngôn ngữ học tính toán phát triển các phương pháp và công nghệ cho phép một máy tính hoặc chương trình có thể xử lý, hiểu và thực hiện các tác vụ được yêu cầu bằng giọng nói. Hệ thống nhận dạng giọng nói cho phép người sử dụng tương tác với công nghệ bằng ngôn ngữ tự nhiên. Chỉ bằng việc nói chuyện đơn giản, người sử dụng có thể yêu cầu các hệ thống này thực hiện các tác vụ cụ thể, kích hoạt các yêu cầu, lời nhắc và các tác vụ đơn giản khác mà không cần sử dụng đến tay.

OPEN A BROWSER TURN OFF ALARM TURN ON MUSIC Hình 1.1: Một số ứng dung của nhận dạng giọng nói. (Nguồn: Internet) Việc sử dụng nhận dạng giọng nói đã phát triển nhanh chóng cùng với sự phát triển của trí tuệ nhân tạo, học máy và sự chấp nhận của người tiêu dùng. Hiện nay, các hệ thống nhận dạng giọng nói ngày càng trở nên nổi tiếng và được sử dụng phổ biến, ví dụ như các trợ lý ảo thông minh Alexa của Amazon, Siri của Apple, và Cortana của Microsoft. Cách người tiêu dùng sử dụng công nghệ nhận dạng giọng nói khác nhau tùy thuộc vào sản phẩm, nhưng nó có thể bao gồm chuyển giọng nói thành văn bản, thiết lập lời nhắc, tìm kiếm trên internet và trả lời các câu hỏi và yêu cầu đơn giản, chang hạn như phát nhạc hoặc chia sẻ thông tin thời tiết hoặc giao thông.

Các cơ quan chính phủ, cơ quan an ninh quốc gia cũng đang phát triển các công nghệ nhận dạng giọng nói cho các mục đích bảo mật hệ thống bằng việc sử dụng giọng nói như một đặc điểm sinh trắc học để nhận dạng. Các ứng dụng nhận dạng Sinh viên: Đào Hoàng Mai - B17DCCN4II - Lớp DI7HTTT2 4 CHUONG 1. TONG QUAN VỀ CÁC TÁC VỤ CHO BÀI TOÁN NHẬN DẠNG GIỌNG NÓI giọng nói bao gồm giao diện người dùng bằng giọng nói, chẳng hạn như gọi điện bằng giọng nói (vi dụ: “gọi điện về nhà”), định tuyến cuộc gọi, điều khiển thiết bị, tim kiếm các từ khóa (ví dụ: tìm một podcast trong đó các từ cụ thể đã nói), nhập dữ liệu đơn giản (ví dụ: nhập số thẻ tín dụng), chuẩn bị tài liệu có cấu trúc (ví dụ: báo cáo X-quang), xác định đặc điểm của người nói, xử lý lời nói thành văn bản (ví dụ: bộ xử lý văn bản hoặc email), v. Nhận dạng giọng nói là một lĩnh vực tương đối rộng lớn, bao gồm nhiều bài toán nhỏ, ví dụ như nhận dạng người nói, nhận dạng khẩu lệnh, yêu cầu, phát hiện bất thường trong giọng nói (ví dụ như giọng nói giả mạo), chuyển đổi giọng nói sang chữ viết.

Tất cả nhiệm vụ con này đều có một điểm chung là máy tính nhận đầu vào là tín hiệu âm thanh, sau đó xử lý trích xuất các đặc trưng và thuộc tính quan trọng, cuối lựa chọn một bộ giải mã thích hợp để lấy được đầu ra phù hợp với tác vụ đang xử lý. Đồ án sẽ tập trung vào mô hình nhận dạng giọng nói đa tác vụ, giải quyết ba nhiệm vụ nhỏ đó là phát hiện giọng nói bị làm giả (giọng nói giả mạo), định danh giọng nói (hay người nói) và nhận diện khẩu lệnh trong giọng nói.1 Định danh người nói Định danh người nói là một phương pháp sử dụng giọng nói như một thẻ định danh để xác thực định danh của người dùng từ đó xác thực quyển truy cập vào hệ thống của người dùng đó. Vì giọng nói của con người có những đặc điểm độc đáo và duy nhất nên có tiểm năng sử dụng cho các tác vụ định danh sử dụng đặc điểm sinh trắc học. Định danh giọng nói có thể được phân loại thành hai loại: phụ thuộc vào văn bản và độc lập với văn bản.

Loại đầu tiên sử dụng một đoạn văn bản được xác định trước làm mật khẩu, loại còn lại không yêu cầu một đoạn văn bản cố định để xác minh người dùng. Loại đầu tiên có thể gây bất tiện cho người dùng vì có thể quên mật khẩu, và cũng khiến hệ thống dễ bị tấn công từ các truy nhập giả mạo khi mật khẩu được đọc lên thành tiếng và chỉ có một mật khẩu duy nhất. Loại định danh độc lập với văn bản tuy có thể tăng cường tính bảo mật của hệ thống và dễ sử dụng với người dùng nhưng điều này cũng gây ra nhiều thách thức cho các hệ thống xác minh. Quá trình nhận dạng và xác minh có thể được chia thành hai bước: đăng ký và xác minh.

Các hệ thống xác minh thường khởi tạo với các mô hình nền, mỗi mô hình Sinh viên: Đào Hoàng Mai - B17DCCN4II - Lớp DI7HTTT2 5 CHUONG 1. TONG QUAN VỀ CÁC TÁC VỤ CHO BÀI TOÁN NHẬN DẠNG GIỌNG NÓI được đào tạo với một người dùng đã đăng ký riêng. Trong bước đăng ký, với dữ liệu giọng nói đã đăng ký với hệ thống, hệ thống sẽ xây dựng các mô hình phân loại để xác định đối tượng, chủ thể của giọng nói. Tiếp theo, trong bước xác minh, hệ thống sẽ xác minh xem giọng nói đầu vào có tương ứng với danh tính được yêu cầu hay không bằng cách so sánh nó với các mô hình giọng nói đã được đăng ký trước đó.

Xác minh người nói có một loạt các ứng dụng thực tế như bảo mật ngân hàng, tương tác giữa con người và máy tính và xác minh môi trường xung quanh. Các cơ chế xác minh cổ điển có thể là thách thức đối với người dùng khuyết tật hoặc có thể dễ dàng bị kẻ gian phá vỡ. Chang hạn, sẽ không thích hợp nếu một hệ thống yêu cầu người khiếm thị nhập mật khẩu bằng bàn phím hoặc màn hình cảm ứng. Hoặc ví dụ, để điều khiển nhà thông minh, con người được yêu cầu nhập mật mã với mỗi khẩu lệnh đặt ra khiến cho việc tương tác giữa người dùng và hệ thống trở nên phức tạp và phiền phức.

Điều này dẫn đến sự tương tác giữa các công nghệ và con người cần phải tự nhiên nhất có thể. Trong những trường hợp này, các đặc điểm như giọng nói hoặc cử chỉ của con người sẽ là cách thích hợp để tương tác với môi trường xung quanh như nhà thông minh hoặc bếp thông minh. Như vậy, hệ thống xác thực sử dụng đặc điểm sinh trắc học như giọng nói của con người sẽ là một phương pháp thay thế đầy hứa hẹn.2 Phat hiện giọng nói gia mạo Định danh bằng giọng nói đem đến cho con người sự tiện lợi và những trải nghiệm vượt trội so với các tác vụ định danh truyền thống. Tuy nhiên, nhiệm vụ này cũng đem đến một thách thức về mặt bảo mật đó là giọng nói giả mạo.

Trước khi công nghệ trí tuệ nhân tạo bùng nổ, các giọng nói giả mạo thường được tạo ra bằng một cách thủ công như thu âm lại từ nguồn thứ phát, sử dụng nhiễu tín hiệu, v.v để truy cập trái phép vào hệ thống. Ngày nay, các mối đe dọa về giả mạo giọng nói còn có tiềm năng lớn hơn rất nhiều với công nghệ học sâu và các mô hình DeepFake có thể mô phỏng lại giống đến 90% giọng nói của một người bất kỳ chỉ với 5s dữ liệu đầu vào. Điều này đồng nghĩa với việc, các hệ thống xác minh giọng nói cần phải được tăng cường khả năng bảo mật, đặc biệt là với giọng nói giả mạo để có thể đối phó với những truy cập trái phép. Tác vụ phát hiện giọng nói giả mạo sẽ giúp các hệ thống xác minh học được các đặc trưng của giọng nói thực và giọng nói Sinh viên: Đào Hoàng Mai - B17DCCN4II - Lớp DI7HTTT2 6 CHUONG 1.

TONG QUAN VỀ CÁC TÁC VỤ CHO BÀI TOÁN NHẬN DẠNG GIỌNG NÓI tổng hợp trực tiếp từ trí tuệ nhân tạo, từ đó đưa ra các quyết định một cách chính xác hơn. Cụ thể, mô hình nhận dữ liệu đầu vào là tín hiệu âm thanh của một câu nói, và xác định xem câu nói đó được nói bởi người thật hay được tổng hợp bởi một cỗ máy bằng cách gán cho tín hiệu âm thanh nhãn True hoặc False.3 Nhận diện khẩu lệnh trong giọng nói Lưu ý rằng tác vụ nhận diện khẩu lệnh (command detection) là khác so với tác vụ phân loại khẩu lệnh (command classification) hay dò tim từ khóa (keyword spotting). Với bài toán này, mô hình sẽ nhận đầu vào là câu nói của người dùng, và phát hiện ra trong câu nói đó có chứa câu khẩu lệnh hay không tương tự như một bài toán phân loại nhị phân. Nhiệm vụ này là một trong những nhiệm vụ cơ bản và đầu tiên của các hệ thống hội thoại định hướng nhiệm vụ.

Các hệ thống hội thoại này đầu tiên cần xác định câu nói thu được từ người dùng có chứa câu khẩu lệnh hay không và từ đó đưa ra quyết định có tiếp tục xử lý câu nói đó cho các tác vụ hạ nguồn. Điều này sẽ giúp hệ thống giảm được lượng lớn tính toán không cần thiết thay vì phải xử lý tất cả các câu nói của người dùng. Thêm vào đó, các hệ thống trợ lý ảo hiện nay như Siri của Apple cần có một lời gọi để kích hoạt (ví dụ “Hi Siri’), điều này sẽ gây ra bất tiện cho người dùng và tăng thời gian chờ đợi phản hồi của người dùng khi phải đợi hệ thống được kích hoạt và tiếp tục giao nhiệm vụ. Với tác vụ này, các hệ thống có thể lắng nghe các câu khẩu lệnh một cách bị động và tự động xử lý các tác vụ được giao mà không cần có lời gọi để kích hoạt trước.

Trải nghiệm của người dùng có thể được tăng lên đáng kể nhờ nhiệm vụ phát hiện câu khẩu lệnh.2 Các phương pháp tiếp cận đương dai 1.1 Các bộ dư liệu cho nhận dạng giọng nói ASVspoof 2019 va ASVspoof 2021 là hai bộ dữ liệu tiếng Anh phổ biến nhất trong việc chống giả mạo để tự động xác minh người nói.