Tổng quan luận án
Luận án tiến sĩ ngành Hệ thống thông tin với đề tài "Nghiên cứu phát triển hệ thống thích nghi giọng nói trong tổng hợp tiếng Việt và ứng dụng" do nghiên cứu sinh Phạm Ngọc Phương thực hiện dưới sự hướng dẫn khoa học của PGS. Lương Chi Mai tại Học viện Khoa học và Công nghệ – Viện Hàn lâm Khoa học và Công nghệ Việt Nam (bảo vệ năm 2023, mã số chuyên ngành: 9 48 01 04).
Tính cấp thiết và khoảng trống nghiên cứu
Trong lĩnh vực tổng hợp tiếng nói từ văn bản (Text-to-Speech – TTS), để xây dựng một mô hình tổng hợp giọng nói cho một người nói cụ thể theo phương pháp truyền thống, hệ thống đòi hỏi một tập dữ liệu ghi âm chất lượng cao với dung lượng lớn (khoảng 10 giờ thu âm trong phòng thu tiêu chuẩn). Điều này dẫn đến chi phí tài chính cao, tốn thời gian thu âm và xử lý dữ liệu, đồng thời khó triển khai đối với các ngôn ngữ nghèo tài nguyên.
Bên cạnh đó, các nhu cầu thực tế hiện nay đòi hỏi việc cá nhân hóa giọng đọc, phục hồi giọng nói hoặc nhân bản giọng nói với nguồn ngữ liệu mẫu rất hạn chế (từ vài câu đến vài chục câu). Tiếng Việt là ngôn ngữ đơn âm tiết có thanh điệu phức tạp, chứa nhiều thành phần ngữ điệu và từ mượn tiếng nước ngoài; các kỹ thuật tổng hợp giọng nói tiếng Việt trước đây chủ yếu dựa trên mô hình Markov ẩn (HMM) hoặc kỹ thuật ghép nối đơn vị âm thanh, cho chất lượng âm thanh chưa tự nhiên và độ linh hoạt thích nghi thấp. Khoảng trống nghiên cứu chính mà tác giả xác định là việc thiếu hụt các mô hình thích nghi âm học dựa trên mạng nơ-ron sâu (DNN) dành riêng cho tiếng Việt, có khả năng tạo giọng nói mới với chất lượng cao và độ tương đồng tốt khi chỉ sử dụng một lượng dữ liệu mẫu nhỏ (vài phút) hoặc tối thiểu (vài giây) mà không cần tốn chi phí huấn luyện lại mô hình từ đầu.
Mục tiêu và câu hỏi nghiên cứu
Mục tiêu tổng quát của luận án là nghiên cứu và xây dựng hệ thống tổng hợp tiếng nói tiếng Việt bằng các kỹ thuật huấn luyện thích nghi các đặc trưng âm học của người nói dựa trên mạng nơ-ron sâu (DNN), nhằm:
- Nâng cao chất lượng tổng hợp tiếng nói dựa trên thích nghi bằng các đề xuất cải tiến về độ tự nhiên.
- Tổng hợp giọng nói mới mang các đặc trưng âm học của giọng nói đích với chất lượng và độ tương đồng cao trong khi chỉ cần sử dụng một lượng dữ liệu mẫu nhỏ.
- Tổng hợp giọng nói tức thì với lượng mẫu nhỏ mà không cần tốn chi phí huấn luyện lại.
Luận án đặt ra và giải quyết bốn câu hỏi nghiên cứu cụ thể:
- Phương pháp nào giúp tổng hợp tiếng nói đảm bảo chất lượng cho ngôn ngữ nghèo tài nguyên như tiếng Việt trong khi chỉ có vài phút mẫu thích nghi?
- Cần tối thiểu bao nhiêu dữ liệu thích nghi (được huấn luyện cùng hệ thống) để đảm bảo giọng tổng hợp đạt được chất lượng và độ tương đồng cao?
- Nếu thích nghi bằng mẫu dữ liệu chỉ vài giây và không cần huấn luyện lại mô hình thì hệ thống có thể thực hiện được không và lượng mẫu thích nghi tối thiểu cần bao nhiêu?
- Kích thước mẫu sẽ ảnh hưởng như thế nào đến chất lượng tổng hợp và ưu nhược điểm của các phương pháp này?
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Hệ thống tổng hợp tiếng nói tiếng Việt có khả năng cá nhân hóa bằng phương pháp thích nghi trong điều kiện số lượng mẫu thích nghi hạn chế, bao gồm cả phương thức có huấn luyện (Few-shot TTS) và không phải huấn luyện lại (Zero-shot TTS).
- Phạm vi dữ liệu: Dữ liệu huấn luyện và dữ liệu mẫu giọng đích được giới hạn ở phương ngữ giọng miền Bắc và giọng miền Nam, với phong cách đọc thông tin thời sự thuộc chủ đề chính trị, xã hội.
- Phạm vi ứng dụng: Xây dựng ứng dụng bắt chước hoặc phục hồi giọng nói hoạt động trên môi trường máy tính đa nền tảng, thiết bị di động và hệ thống phần cứng nhúng (Raspberry Pi 4 Model B).
Tổng quan tài liệu và vị trí của luận án
Các hướng nghiên cứu trước đây
Tác giả đã hệ thống hóa các giai đoạn phát triển của công nghệ tổng hợp tiếng nói và các kỹ thuật thích nghi:
- Kỹ thuật tổng hợp truyền thống và tham số thống kê: Bắt đầu từ tổng hợp khớp nối (Articulatory Synthesis - Klatt, 1980), tổng hợp formant (Klatt, 1987), đến tổng hợp ghép nối đơn vị âm (Hunt & Black, 1996) và tổng hợp tham số thống kê (SPSS - Zen et al., 2009) dựa trên HMM kết hợp các bộ phát âm tham số như STRAIGHT (Kawahara et al., 1999) và WORLD (Morise et al., 2016).
- Kỹ thuật tổng hợp dựa trên học sâu (DNN): Mô hình WaveNet (van den Oord et al., 2016) tạo dạng sóng trực tiếp; các kiến trúc một luồng vào ra (End-to-End) như Tacotron 1/2 (Wang et al., 2017; Shen et al., 2018), Deep Voice 1/2/3 (Arik et al., 2017; Ping et al., 2018), ClariNet (Ping et al., 2019), EATS (Donahue et al., 2020); các kiến trúc không tự hồi quy (Non-Autoregressive) tiêu biểu là FastSpeech 1/2 (Ren et al., 2019, 2020) giúp tăng tốc độ suy diễn và tránh lỗi lặp từ/bỏ từ.
- Các nghiên cứu thích nghi người nói quốc tế: Các phương pháp trích xuất vector đặc trưng người nói như d-vector (Variani et al., 2014), x-vector (Snyder et al., 2018); kỹ thuật thích nghi mẫu nhỏ AdaSpeech (Chen et al., 2021) dựa trên Acoustic Condition Modeling; AdaSpeech 3 (Yan et al., 2021) thích nghi phong cách đọc tự do; nghiên cứu thích nghi dựa trên tối ưu hóa Bayes của Moss và cộng sự (2020); các chiến dịch đánh giá chuẩn quốc tế như ZeroSpeech Challenge (Dunbar et al., 2019) và M2VoC Challenge (2020).
- Các nghiên cứu tổng hợp tiếng nói tiếng Việt: Hệ thống ghép nối đơn vị âm "Hoa súng" (Trần Đỗ Đạt, 2001); hệ thống ghép nối đơn vị không đồng nhất của Viện MICA (Đoàn Tùng et al., 2004); hệ thống VoS (Vũ Hải Quân et al., 2005); các hệ thống SPSS dựa trên HTS cho tiếng Việt của Viện Công nghệ Thông tin (Lương Chi Mai et al., 2008, 2012) và Đại học Vân Nam (Nguyễn và cs, 2009); hệ thống nơ-ron của Viettel tại hội thảo VLSP 2018. Về thích nghi tiếng Việt, các nghiên cứu của Lương Chi Mai và cs (2012, 2014) sử dụng kỹ thuật MAP (Maximum A Posteriori), VFS (Vector Field Smoothing) và MLLR (Maximum Likelihood Linear Regression) trên nền HMM.
Khoảng trống luận án lựa chọn giải quyết
Các hệ thống thích nghi tiếng Việt trước đó hầu hết dừng lại ở nền tảng HMM, cho chất lượng âm thanh bị làm mịn quá mức (muffled), dải tần hẹp và độ tự nhiên thấp. Các mô hình mạng nơ-ron sâu hiện đại trên thế giới tuy phát triển mạnh nhưng chưa được tối ưu cho các đặc thù ngữ âm tiếng Việt (ngôn ngữ đơn âm tiết có 6 thanh điệu, hiện tượng biến đổi F0 phức tạp, nhiều từ mượn). Đồng thời, chưa có công trình nào giải quyết hoàn chỉnh bài toán thích nghi giọng nói tiếng Việt ở cả hai cấp độ: Few-shot TTS (tối ưu hóa dữ liệu huấn luyện mẫu nhỏ từ vài phút) và Zero-shot TTS (thích nghi tức thì với mẫu vài giây không cần huấn luyện lại).
Cơ sở lý thuyết và phương pháp nghiên cứu
Cơ sở lý thuyết và khung phân tích
- Lý thuyết bộ lọc nguồn (Source-Filter Theory): Tác giả dựa trên lý thuyết của Fant (1960), mô hình hóa quá trình tạo âm của con người bằng tích chập trong miền thời gian:
$$y(t) = h(t) * x(t)$$
hoặc trong miền tần số:
$$Y(\omega) = H(\omega)X(\omega) = [T(\omega)R(\omega)]X(\omega)$$
trong đó $X(\omega)$ là phổ âm thanh nguồn tạo ra từ nếp gấp thanh quản, $H(\omega)$ là đáp ứng của bộ lọc đường âm gồm hàm truyền qua đường thanh âm $T(\omega)$ và đặc tính bức xạ $R(\omega)$.
- Ngữ âm học tiếng Việt: Cấu trúc âm tiết tiếng Việt được phân tích thành 5 thành phần: Thanh điệu, Âm đầu (phụ âm đầu), Âm đệm, Âm chính và Âm cuối. Tiếng Việt có 22 âm vị phụ âm, 14 âm vị nguyên âm, 2 bán nguyên âm và 6 thanh điệu (Ngang, Huyền, Ngã, Hỏi, Sắc, Nặng). Toàn bộ hệ thống có 18.958 âm tiết lý thuyết và khoảng 7.000 âm tiết thực tế được sử dụng thường xuyên.
| Thành phần cấu tạo âm tiết tiếng Việt |
Chi tiết phân loại ngữ âm |
| Thanh điệu |
6 thanh: Ngang, Huyền, Ngã, Hỏi, Sắc, Nặng |
| Âm đầu (Phụ âm đầu) |
22 âm vị phụ âm |
| Âm đệm |
Biến đổi cấu hình mở môi (u, o) |
| Âm chính |
14 âm vị nguyên âm (đơn và đôi) |
| Âm cuối |
Phụ âm kết thúc hoặc bán nguyên âm (2 bán nguyên âm) |
- Kiến trúc mạng nơ-ron phi tự hồi quy FastSpeech2: Sử dụng các khối biến đổi chuyển tiếp (Feed-Forward Transformer - FFT) kết hợp bộ thích nghi phương sai (Variance Adaptor) bao gồm bộ dự đoán trường độ (Duration Predictor dựa trên căn chỉnh cưỡng bức MFA), bộ dự đoán cao độ (Pitch Predictor sử dụng biến đổi wavelet liên tục CWT/iCWT) và bộ dự đoán cường độ (Energy Predictor).
- Lý thuyết mô hình khuếch tán xác suất khử nhiễu (DDPM): Ứng dụng tiến trình khuếch tán thuận (thêm nhiễu Gauss) và tiến trình nghịch đảo (khử nhiễu từng bước) để tái tạo phổ Mel chi tiết từ vector điều kiện âm học.
+-------------------------------------------------------------------+
| KHUNG MÔ HÌNH THÍCH NGHI GIỌNG NÓI |
+-------------------------------------------------------------------+
| [Đầu vào Văn bản] ---> [Mã hóa Text Encoder] |
| | |
| v |
| [Âm thanh Mẫu] ---> [Trích xuất EMV / Speaker Embedding] |
| | |
| v |
| [Variance Adaptor] |
| (Duration, Pitch, Energy) |
| | |
| v |
| [Giải mã / Diffusion Denoiser] |
| | |
| v |
| [Bộ phát âm Nơ-ron (Vocoder)] |
| | |
| v |
| [Sóng âm tổng hợp đầu ra] |
+-------------------------------------------------------------------+
Phương pháp nghiên cứu thực nghiệm
- Phương pháp thu thập và xây dựng ngữ liệu: Xây dựng cơ sở dữ liệu chi phí thấp kết hợp giữa thu âm tự động qua giao diện web và khai thác nguồn âm thanh có sẵn; làm sạch dữ liệu văn bản, tự động hóa gán nhãn trường độ bằng Montreal Forced Aligner (MFA), chèn điểm dừng lấy hơi, chèn dấu câu và chuyển đổi hình vị sang âm vị (G2P) cho từ mượn bằng mạng Transformer.
- Phương pháp học chuyển đổi (Transfer Learning) và mã hóa vector: Đề xuất kỹ thuật tinh chỉnh nhiều lượt (Multi-pass fine-tune) và thiết kế module trích xuất vector đặc trưng Extracting Mel-Vector (EMV).
- Phương pháp sinh âm thanh xác suất: Xây dựng khối khử nhiễu khuếch tán phổ Mel (Mel-spectrogram denoiser) có điều kiện cho bài toán Zero-shot TTS.
Phương pháp và công cụ đánh giá
- Đánh giá chủ quan:
- Điểm ý kiến trung bình (MOS - Mean Opinion Score): Thang đo 5 mức theo chuẩn ITU-T P.800 (1: Rất kém, 2: Kém, 3: Trung bình, 4: Tốt, 5: Xuất sắc) để đo độ tự nhiên và dễ hiểu.
- Điểm đo độ tương đồng (SIM - Similarity Score): Thang đo 4 mức (1: Chắc chắn khác nhau, 2: Có thể khác nhau, 3: Có thể giống nhau, 4: Chắc chắn giống nhau) để so sánh giọng tổng hợp với giọng gốc.
- Đánh giá khách quan:
- Độ méo phổ Mel-Cepstral (MCD - Mel-Cepstral Distortion): Đo khoảng cách sai lệch phổ giữa giọng tổng hợp và âm thanh tự nhiên.
- Tỷ lệ lỗi từ (WER - Word Error Rate): Kiểm tra tính dễ hiểu bằng cách đưa âm thanh tổng hợp qua hệ thống nhận dạng tiếng nói tự động (ASR).
- Giảm chiều dữ liệu t-SNE: Biểu diễn trực quan phân bố không gian vector đặc trưng của các giọng nói.
- Kiểm định thống kê phân tích phương sai (ANOVA): Kiểm tra mức độ khác biệt có ý nghĩa thống kê giữa các mô hình với độ tin cậy 95%.
Nội dung chính theo từng chương
Chương 1: Các nghiên cứu liên quan và kiến thức cơ sở về tổng hợp và thích nghi giọng nói
Chương này tổng kết toàn diện nền tảng lý thuyết từ cơ chế tạo âm sinh học theo mô hình bộ lọc nguồn đến các mô hình toán học biểu diễn tiếng nói. Tác giả phân loại chi tiết các phương pháp tổng hợp tiếng nói qua các thời kỳ: Khớp nối, Formant, Ghép nối đơn vị âm, Tham số thống kê (SPSS trên nền HMM) và Tổng hợp dựa trên mạng nơ-ron sâu (DNN).
| Tiêu chí phân tích |
Phương pháp SPSS (nền tảng HMM) |
Phương pháp DNN / End-to-End |
| Mô hình âm học |
Cây quyết định và phân bố Gauss đơn |
Mạng nơ-ron sâu đa tầng, Transformer |
| Biểu diễn tham số |
Đặc trưng phổ Mel-cepstral, F0 rời rạc |
Phổ Mel liên tục, chuỗi biểu diễn ẩn |
| Bộ phát âm (Vocoder) |
Thuật toán tham số (STRAIGHT, WORLD) |
Mạng nơ-ron (WaveNet, HiFi-GAN) |
| Chất lượng âm thanh |
Bị làm mịn quá mức, có cảm giác giọng máy |
Độ tự nhiên cao, dải tần chi tiết |
| Cơ chế thích nghi |
Cập nhật tham số qua MAP, MLLR, VFS |
Fine-tune tham số, Vector Speaker Embedding |
Chương 1 cũng phân tích chi tiết hai kiến trúc học sâu đại diện: Tacotron2 (tự hồi quy - Autoregressive) và FastSpeech2 (không tự hồi quy - Non-Autoregressive), chỉ ra ưu điểm vượt trội của FastSpeech2 về tốc độ suy diễn và khả năng kiểm soát tham số phương sai. Đồng thời, tác giả khảo cứu sâu các kỹ thuật thích nghi trên thế giới (AdaSpeech, d-vector, x-vector) và hiện trạng nghiên cứu thích nghi tại Việt Nam, qua đó xác lập định hướng nghiên cứu: Phát triển các mô hình thích nghi trên nền mạng nơ-ron phi tự hồi quy nhằm giải quyết bài toán ít dữ liệu (Few-shot) và không cần huấn luyện lại (Zero-shot) cho tiếng Việt.
Chương 2: Xây dựng cơ sở dữ liệu tiếng Việt chi phí thấp cho tổng hợp và thích nghi giọng nói
Chương 2 tập trung giải quyết bài toán thiếu hụt tài nguyên ngữ liệu tiếng Việt phục vụ huấn luyện mô hình đa người nói:
- Quy trình thu thập và tiền xử lý dữ liệu: Thiết lập giải pháp xây dựng dữ liệu kết hợp giữa thu âm mới qua giao diện web (đảm bảo kiểm soát chất lượng từ đầu) và trích xuất từ các nguồn âm thanh sẵn có (chương trình thời sự, đọc báo). Quy trình xử lý văn bản gồm chuẩn hóa số, ngày tháng, viết tắt và lọc bỏ nhiễu.
- Tăng cường nhãn thông tin ngôn ngữ:
- Chèn điểm dừng lấy hơi và phục hồi dấu câu: Bổ sung các nhãn ngắt câu tự nhiên dựa trên mô hình ngôn ngữ nhằm giúp bộ tổng hợp nắm bắt nhịp điệu sinh học của người đọc.
- Xử lý từ mượn tiếng nước ngoài: Ứng dụng mô hình Transformer để thực hiện phiên âm tự động từ mượn tiếng Anh sang âm vị tiếng Việt (G2P), giải quyết hiện tượng đọc sai các thực thể tên riêng, thuật ngữ quốc tế.
- Thống kê bộ dữ liệu xây dựng: Xây dựng thành công tập dữ liệu đa người nói bao gồm giọng chuẩn miền Bắc và miền Nam, phục vụ việc huấn luyện mô hình nguồn và tập mẫu thích nghi. Tác giả tiến hành phân tích phân bố trường độ âm vị giữa các lứa tuổi và giới tính, xác nhận độ bao phủ ngữ âm của 20 âm vị phổ biến nhất trong tập dữ liệu.
Chương 3: Mô hình tổng hợp thích nghi có huấn luyện với mẫu nhỏ (Few-shot TTS)
Chương này đề xuất hai giải pháp nâng cao chất lượng thích nghi người nói khi có một lượng nhỏ dữ liệu huấn luyện (từ 1 đến 4 phút):
+------------------------------------------------------------------+
| QUY TRÌNH TINH CHỈNH ĐA BƯỚC (MULTI-PASS FINE-TUNE) |
+------------------------------------------------------------------+
| |
| +--------------------------+ |
| | Mô hình cơ sở đa người | |
| | nói (Pre-trained Base) | |
| +--------------------------+ |
| | |
| v (Bước 1: Đóng băng Encoder, tinh chỉnh |
| Decoder + Variance Adaptor) |
| +--------------------------+ |
| | Chuyển đổi đặc trưng | |
| | âm học người nói đích | |
| +--------------------------+ |
| | |
| v (Bước 2: Mở toàn bộ tham số với tốc độ học |
| nhỏ lr thấp để khớp toàn diện) |
| +--------------------------+ |
| | Mô hình thích nghi hoàn | |
| | chỉnh cho người đích | |
| +--------------------------+ |
+------------------------------------------------------------------+
- Đề xuất 1: Kỹ thuật tinh chỉnh nhiều lần (Multi-pass fine-tune):
- Thay vì tinh chỉnh toàn bộ mạng cùng lúc (dễ gây hiện tượng quá khớp do ít dữ liệu) hoặc chỉ tinh chỉnh tầng cuối, tác giả đề xuất quy trình tinh chỉnh đa bước: Bước đầu cố định bộ mã hóa văn bản, chỉ cập nhật các trọng số của bộ giải mã và bộ thích nghi phương sai với tốc độ học phù hợp để ép mô hình học đặc trưng âm học của giọng mới; bước tiếp theo mở khóa toàn bộ mô hình để tinh chỉnh mịn với tốc độ học nhỏ.
- Kết quả thực nghiệm: Với tập dữ liệu mẫu 4 phút, mô hình Multi-pass fine-tune đạt điểm MOS và độ tương đồng SIM vượt trội so với mô hình tinh chỉnh truyền thống (Fine-tune thông thường). Phân tích kiểm định ANOVA xác nhận sự khác biệt này có ý nghĩa thống kê ($p < 0.05$).
| Mô hình thử nghiệm (với 4 phút dữ liệu) |
Điểm MOS (Độ tự nhiên) |
Điểm SIM (Độ tương đồng) |
| Tinh chỉnh truyền thống (Baseline Fine-tune) |
Thấp hơn |
Thấp hơn |
| Multi-pass fine-tune (Đề xuất) |
Cải thiện rõ rệt |
Cải thiện rõ rệt |
- Đề xuất 2: Vector trích xuất đặc trưng Extracting Mel-Vector (EMV):
- Tác giả thiết kế module trích xuất đặc trưng EMV tích hợp trực tiếp vào kiến trúc FastSpeech2. Khác với d-vector hay x-vector chỉ tối ưu cho nhiệm vụ phân loại người nói (nhận dạng), EMV được tối ưu hóa đồng thời cùng hàm mất mát tái tạo âm thanh của hệ thống TTS, giúp trích xuất trực tiếp các biến đổi tinh tế của phổ Mel.
- Kết quả thực nghiệm: Khi chỉ sử dụng 1 phút dữ liệu mẫu thích nghi, mô hình tích hợp EMV cho chất lượng tái tạo đường bao phổ tương đồng sát với âm thanh gốc (Ground Truth). Biểu diễn phân bố không gian t-SNE cho thấy các vector EMV của giọng tổng hợp hội tụ chặt chẽ quanh cụm vector giọng của người nói thật.
Chương 4: Mô hình tổng hợp thích nghi không huấn luyện với mẫu tối thiểu (Zero-shot TTS)
Chương 4 nghiên cứu giải pháp thích nghi giọng nói tức thì (Zero-shot) mà không cần cập nhật bất kỳ trọng số nào của mạng nơ-ron, áp dụng khi chỉ có 3 giây âm thanh mẫu:
- Đề xuất mô hình Adapt-TTS: Kiến trúc kết hợp module trích xuất đặc trưng EMV với bộ khử nhiễu khuếch tán phổ Mel (Mel-spectrogram denoiser) hoạt động trên nguyên lý mô hình khuếch tán (Diffusion Model).
+-------------------------------------------------------------------+
| KIẾN TRÚC MÔ HÌNH ADAPT-TTS |
+-------------------------------------------------------------------+
| [Đầu vào: Mẫu âm thanh 3 giây] ---> [Module EMV] |
| | (Vector điều kiện) |
| v |
| [Đầu vào: Văn bản] ---> [Text Encoder] -> [Variance Adaptor] |
| | |
| v |
| [Nhiễu Gauss ngẫu nhiên] ----------------> [Mel Denoiser] |
| (Khử nhiễu từng bước) |
| | |
| v |
| [Phổ Mel chất lượng cao] |
| | |
| v |
| [HiFi-GAN Vocoder] |
| | |
| v |
| [Sóng âm hoàn chỉnh] |
+-------------------------------------------------------------------+
- Cơ chế khử nhiễu khuếch tán phổ Mel: Bộ giải mã truyền thống được thay thế bằng tiến trình khuếch tán nghịch đảo. Tại mỗi bước khử nhiễu, mạng nhận đầu vào là phổ Mel bị nhiễu cùng với điều kiện ngữ âm từ bộ mã hóa và vector biểu diễn người nói từ EMV để khôi phục cấu trúc phổ hài hòa và chi tiết F0 của giọng nói đích.
- Hàm mất mát huấn luyện: Kết hợp hàm mất mát L1/L2 trên phổ Mel tái tạo và hàm mất mát biến phân của mô hình khuếch tán, đảm bảo độ hội tụ chính xác của các dải formant.
- Kết quả thực nghiệm và đánh giá:
- Thử nghiệm trên các giọng nói hoàn toàn chưa từng xuất hiện trong tập huấn luyện (Unseen Speakers) với đoạn mẫu 3 giây.
- Mô hình Adapt-TTS đạt điểm MOS và độ tương đồng SIM cao hơn đáng kể so với các mô hình cơ sở Zero-shot TTS dùng x-vector/d-vector.
- Tỷ lệ lỗi từ (WER) khi đưa qua bộ nhận dạng ASR đạt mức thấp, chứng minh tính dễ hiểu cao của âm thanh tổng hợp.
- Kiểm định ANOVA đối với điểm đánh giá tương đồng khẳng định mô hình Adapt-TTS tạo ra sự vượt trội có ý nghĩa thống kê so với mô hình cơ sở.
- Phân tích phổ Mel và biểu đồ t-SNE trên 10 người nói khác nhau cho thấy Adapt-TTS bắt chước chính xác các đặc trưng âm sắc và cao độ của người nói đích.
Ứng dụng thực nghiệm
Luận án đã thiết kế và triển khai một hệ thống ứng dụng thử nghiệm hoàn chỉnh:
- Xây dựng phần mềm nhân bản và bắt chước giọng nói tích hợp trên thiết bị di động và máy tính cá nhân.
- Tối ưu hóa và đóng gói mô hình chạy thực nghiệm trên máy tính nhúng đơn bo Raspberry Pi 4 Model B, chứng minh tính khả thi của việc ứng dụng các mô hình thích nghi tiếng Việt trên các phần cứng có tài nguyên giới hạn.
Kết quả và những đóng góp mới
Đóng góp về mặt khoa học và lý luận
- Đề xuất quy trình tinh chỉnh Multi-pass fine-tune: Giải quyết hiệu quả hiện tượng quá khớp trong bài toán thích nghi giọng nói ít dữ liệu (Few-shot TTS), cho phép tái tạo giọng người nói mới với chất lượng cao chỉ từ 4 phút dữ liệu âm thanh.
- Đề xuất cấu trúc trích xuất đặc trưng EMV (Extracting Mel-Vector): Module trích xuất vector biểu diễn đặc trưng âm học được tối ưu hóa đồng thời với mạng tổng hợp, vượt trội hơn các vector nhận dạng truyền thống (d-vector, x-vector) trong việc lưu giữ thông tin âm sắc và ngữ điệu cho tổng hợp tiếng nói từ 1 phút dữ liệu.
- Đề xuất mô hình Adapt-TTS dựa trên Diffusion Model: Thiết lập thành công kiến trúc Zero-shot TTS cho tiếng Việt kết hợp vector EMV và bộ khử nhiễu khuếch tán phổ Mel, cho phép thích nghi giọng tức thì với mẫu âm thanh 3 giây mà không cần huấn luyện lại mạng.
Đóng góp về mặt thực tiễn
- Xây dựng bộ cơ sở dữ liệu tiếng Việt đa người nói chi phí thấp: Cung cấp tập ngữ liệu chuẩn phục vụ huấn luyện các hệ thống TTS thích nghi cho cả hai miền Bắc và Nam.
- Quy trình tăng cường nhãn tự động: Phát triển các công cụ tự động chèn điểm dừng lấy hơi, phục hồi dấu câu và mô hình Transformer phiên âm từ mượn tiếng Anh sang tiếng Việt, nâng cao độ tự nhiên cho giọng đọc.
- Triển khai ứng dụng đa nền tảng: Hiện thực hóa giải pháp nhân bản giọng nói trên thiết bị di động và máy tính nhúng Raspberry Pi 4 Model B, mở ra tiềm năng tích hợp vào các hệ thống trợ lý ảo, thiết bị IoT và thiết bị hỗ trợ người khiếm thính/mất giọng.
Đề xuất và khuyến nghị
- Ứng dụng mô hình Adapt-TTS vào các hệ thống ki-ốt thông tin công cộng, tổng đài tự động và hệ thống đọc báo cá nhân hóa nhằm giảm thiểu chi phí thu âm cho từng giọng đọc mới.
- Tích hợp module phiên âm từ mượn dựa trên Transformer vào các đường ống tiền xử lý ngôn ngữ tiếng Việt để chuẩn hóa ngữ âm cho các hệ thống đàm thoại người - máy.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế của luận án
- Phạm vi ngữ liệu: Bộ dữ liệu huấn luyện và tập mẫu thích nghi mới chỉ tập trung vào phong cách đọc tin tức thời sự chính trị - xã hội; chưa bao phủ các phong cách nói chuyện tự do, hội thoại đời thường hoặc diễn cảm kịch nghệ.
- Phương ngữ: Thử nghiệm chỉ giới hạn ở giọng chuẩn miền Bắc (Hà Nội) và miền Nam (TP. Hồ Chí Minh), chưa bao gồm các phương ngữ miền Trung hoặc các vùng miền đặc thù khác.
- Điều kiện âm thanh đầu vào: Mô hình Zero-shot Adapt-TTS đòi hỏi mẫu âm thanh 3 giây đầu vào phải tương đối sạch; nếu mẫu bị lẫn tạp âm môi trường lớn hoặc méo tiếng do thiết bị thu kém, chất lượng vector EMV sẽ bị ảnh hưởng.
Hướng nghiên cứu tiếp theo
- Mở rộng mô hình thích nghi sang các phong cách nói đa dạng (đọc truyện, hội thoại tương tác, giọng biểu cảm cảm xúc).
- Thu thập và chuẩn hóa dữ liệu phương ngữ miền Trung để hoàn thiện hệ thống tổng hợp thích nghi đa phương ngữ toàn diện cho tiếng Việt.
- Nghiên cứu tối ưu hóa thuật toán nén mô hình (quantization, pruning) để giảm độ trễ khử nhiễu khuếch tán, hỗ trợ suy diễn thời gian thực với tài nguyên tính toán siêu nhỏ trên chip IoT.
Giá trị tham khảo
Luận án là tài liệu tham khảo có giá trị chuyên môn cao cho các nhóm đối tượng:
- Nghiên cứu sinh, học viên cao học và nhà nghiên cứu ngành Hệ thống thông tin, Khoa học máy tính, Xử lý ngôn ngữ tự nhiên và Tiếng nói: Cung cấp tài liệu hệ thống hóa toàn diện về lý thuyết tổng hợp tiếng nói từ HMM đến Diffusion Models; phương pháp luận thiết kế hàm mất mát và kiến trúc mạng FastSpeech2 tùy biến.
- Kỹ sư phát triển hệ thống AI/Speech trong doanh nghiệp: Tham khảo quy trình xây dựng cơ sở dữ liệu tiếng nói chi phí thấp, giải pháp phiên âm từ mượn và kỹ thuật đóng gói mô hình nơ-ron lên phần cứng nhúng (Raspberry Pi).
- Các nhà phát triển ứng dụng trợ năng và giáo dục: Ứng dụng kỹ thuật Few-shot/Zero-shot TTS để xây dựng phần mềm phục hồi giọng nói cho người bệnh mất khả năng phát âm hoặc tạo giọng đọc cá nhân hóa trong sách nói điện tử.
Câu hỏi thường gặp
1. Sự khác biệt căn bản giữa hai hướng tiếp cận Few-shot TTS và Zero-shot TTS trong luận án là gì?
Trong luận án, Few-shot TTS là phương pháp thích nghi phụ thuộc người nói có huấn luyện: Hệ thống sử dụng một tập dữ liệu mẫu nhỏ (từ 1 đến 4 phút) của người nói đích và tiến hành tinh chỉnh (fine-tune) lại một phần hoặc toàn bộ trọng số mô hình thông qua kỹ thuật Multi-pass fine-tune hoặc module EMV. Ngược lại, Zero-shot TTS (mô hình Adapt-TTS) là phương pháp thích nghi độc lập người nói không cần huấn luyện lại: Hệ thống chỉ nhận một đoạn âm thanh mẫu tối thiểu (3 giây) của người nói chưa từng biết, module EMV trích xuất trực tiếp vector đặc trưng để điều khiển bộ khử nhiễu khuếch tán sinh ra giọng nói mới ngay lập tức mà không thay đổi bất kỳ tham số nào của mạng.
2. Module trích xuất đặc trưng EMV có ưu điểm gì so với các vector d-vector hay x-vector truyền thống?
Các vector truyền thống như d-vector hay x-vector được huấn luyện trước trên tác vụ nhận dạng người nói (Speaker Identification), do đó mạng chỉ tập trung vào việc tìm ranh giới phân lớp để phân biệt giữa các người nói khác nhau và có thể bỏ qua các chi tiết âm học mịn cần thiết cho việc tái tạo giọng. Module EMV (Extracting Mel-Vector) do luận án đề xuất được tích hợp và tối ưu hóa đồng thời với hàm mất mát tái tạo âm thanh của chính mạng tổng hợp TTS, nhờ đó trích xuất đầy đủ và chính xác các biến đổi liên tục của phổ Mel, cao độ F0 và năng lượng của giọng nói đích.
3. Quy trình Multi-pass fine-tune hoạt động như thế nào để tránh quá khớp (overfitting)?
Thay vì tinh chỉnh toàn bộ các tầng mạng ngay từ đầu trên lượng dữ liệu quá nhỏ (dễ làm hỏng không gian biểu diễn tổng quát đã học), kỹ thuật Multi-pass fine-tune chia thành các bước: Bước 1 khóa (freeze) bộ mã hóa văn bản và chỉ tinh chỉnh bộ giải mã cùng bộ thích nghi phương sai nhằm ép các tầng sinh âm thanh thích nghi với đặc trưng âm học mới; bước 2 mới mở khóa toàn bộ mô hình để tinh chỉnh đồng bộ với tốc độ học (learning rate) rất nhỏ, giúp mô hình thích nghi mượt mà mà không bị quá khớp.
4. Luận án giải quyết vấn đề từ mượn tiếng nước ngoài trong tổng hợp tiếng Việt bằng cách nào?
Tác giả xây dựng một mô hình chuyển đổi từ hình vị sang âm vị (G2P) dựa trên kiến trúc mạng Transformer. Mô hình này được huấn luyện để tự động nhận dạng và phiên âm các từ mượn (đặc biệt là tiếng Anh) sang chuỗi âm vị tiếng Việt tương ứng, sau đó ghép nối đồng bộ vào luồng xử lý văn bản đầu vào của bộ mã hóa Text Encoder, giúp hệ thống đọc chính xác các thuật ngữ và tên riêng quốc tế.
5. Những thang đo nào được sử dụng để khẳng định mô hình đề xuất vượt trội so với các mô hình cơ sở?
Luận án kết hợp cả thang đo chủ quan gồm MOS (Mean Opinion Score - đánh giá độ tự nhiên từ 1 đến 5 theo chuẩn ITU-T) và SIM (Similarity Score - đánh giá độ tương đồng giọng nói từ 1 đến 4); cùng các thang đo khách quan gồm MCD (Mel-Cepstral Distortion - đo khoảng cách méo phổ) và WER (Word Error Rate - đo tỷ lệ lỗi nhận dạng từ qua hệ thống ASR). Tất cả các kết quả so sánh đều được kiểm chứng thông qua phân tích phương sai ANOVA với độ tin cậy 95% ($p < 0.05$).
Kết luận
Luận án tiến sĩ của tác giả Phạm Ngọc Phương đã giải quyết trọn vẹn bài toán thích nghi giọng nói trong tổng hợp tiếng Việt từ quy trình xây dựng dữ liệu chi phí thấp đến các mô hình học sâu. Bằng việc đề xuất kỹ thuật tinh chỉnh Multi-pass fine-tune, module vector đặc trưng EMV và kiến trúc khuếch tán Adapt-TTS, công trình đã đạt được bước tiến quan trọng khi cho phép tạo giọng nói tiếng Việt tự nhiên, có độ tương đồng cao với lượng mẫu chỉ từ 3 giây đến vài phút. Các kết quả thực nghiệm và ứng dụng thành công trên hệ thống máy tính nhúng Raspberry Pi khẳng định giá trị khoa học vững chắc và khả năng ứng dụng thực tiễn của luận án trong lĩnh vực xử lý tiếng nói tiếng Việt.
