Nghiên Cứu Phát Triển Hệ Thống Thích Nghi Giọng Nói Trong Tổng Hợp Tiếng Việt

Nghiên cứu phát triển hệ thống thích nghi giọng nói trong tổng hợp tiếng Việt, ứng dụng công nghệ tiên tiến để nâng cao chất lượng giao tiếp.

• Tác giả: Phạm Ngọc Phương
• Người hướng dẫn: PGS. Lương Chi Mai
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên Cứu Phát Triển Hệ Thống Thích Nghi Giọng Nói Trong Tổng Hợp Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. CÁC NGHIÊN CỨU LIÊN QUAN VÀ KIẾN THỨC
• 1.2. CƠ SỞ VỀ TỔNG HỢP VÀ THÍCH NGHI GIỌNG NÓI
• 1.2.1. Tổng quan về tổng hợp tiếng nói và tổng hợp thích nghi
• 1.2.2. Tổng hợp tiếng nói
• 1.2.3. Phân loại các phương pháp tổng hợp tiếng nói
• 1.2.4. Tổng hợp tiếng nói với khả năng điều chỉnh đặc trưng đầu ra
• 1.2.5. Tổng hợp tiếng nói hiệu quả
• 1.2.6. Thích nghi trong tổng hợp tiếng nói
• 1.2.7. Các kiến thức cơ sở
• 1.2.8. Cấu tạo tiếng Việt
• 1.2.9. Các thành phần chính của hệ thống tổng hợp thích nghi
• 1.2.10. Đánh giá chất lượng hệ thống tổng hợp thích nghi
• 1.2.11. Tình hình nghiên cứu hiện nay về tổng hợp thích nghi
• 1.2.12. Một số nghiên cứu gần đây trên một số ngôn ngữ khác
• 1.2.13. Một số nghiên cứu hiện này về tổng hợp tiếng Việt
• 1.2.14. Một số nghiên cứu hiện nay về tổng hợp thích nghi cho tiếng Việt
• 1.3. Hướng nghiên cứu chính của luận án
• 1.4. Kết luận Chương 1 và các nội dung nghiên cứu chính của luận án
• 2. CHƯƠNG 2: XÂY DỰNG CƠ SỞ DỮ LIỆU TIẾNG VIỆT
• 2.1. CHI PHÍ THẤP CHO TỔNG HỢP VÀ THÍCH NGHI GIỌNG NÓI
• 2.1.1. Xây dựng bộ CSDL tổng hợp và thích nghi
• 2.1.2. Thống kê các bộ CSDL cho tổng hợp hiện nay và bộ CSDL đề xuất
• 2.1.3. Quy trình xây dựng bộ CSDL cho tổng hợp và thích nghi
• 2.1.4. Đánh giá kết quả xây dựng bộ CSDL cho tổng hợp và thích nghi
• 2.2. Kết luận Chương 2
• 3. CHƯƠNG 3: MÔ HÌNH TỔNG HỢP THÍCH NGHI CÓ HUẤN LUYỆN VỚI MẪU NHỎ (FEW-SHOT TTS)
• 3.1. Thích nghi few-shot cho tổng hợp tiếng và các phương pháp
• 3.2. Mô hình tổng hợp thích nghi cơ sở
• 3.3. Mô hình thích nghi dựa trên tinh chỉnh
• 3.4. Mô hình thích nghi dựa trên mã hóa vector đặc trưng
• 3.5. Nâng cao chất lượng TTS thích nghi đơn người nói bằng kỹ thuật Multi-pass fine-tune
• 3.6. Kỹ thuật học chuyển đổi trong tổng hợp tiếng nói
• 3.7. Đề xuất kỹ thuật Multi-pass fine-tune cho tổng hợp tiếng nói tiếng Việt
• 3.8. Thử nghiệm đánh giá và kết quả
• 3.9. Nâng cao chất lượng tổng hợp thích nghi bằng vector đặc trưng EMV
• 3.10. Dự đoán và điều khiển các đặc trưng tiếng nói. Đề xuất vector trích xuất đặc trưng Extracting Mel-Vector (EMV)
• 3.11. Hàm mất mát huấn luyện
• 3.12. Thử nghiệm đánh giá và kết quả
• 3.13. Kết luận Chương 3
• 4. CHƯƠNG 4: MÔ HÌNH TỔNG HỢP THÍCH NGHI KHÔNG HUẤN LUYỆN VỚI MẪU TỐI THIỂU (ZERO-SHOT TTS)
• 4.1. Các nghiên cứu liên quan
• 4.2. Zero-shot TTS. Mô hình khuếch tán (Diffusion model)
• 4.3. Đề xuất mô hình Adapt-TTS cải tiến hiệu năng cho tổng hợp thích nghi tiếng Việt
• 4.4. Mô hình tổng quát
• 4.5. Mã hóa đặc trưng với EMV
• 4.6. Bộ khử nhiễu khuếch tán phổ Mel (Mel-spectrogram denoiser)
• 4.7. Sinh âm thanh có điều kiện
• 4.8. Hàm mất mát huấn luyện
• 4.9. Thử nghiệm đánh giá và kết quả
• 4.10. Thử nghiệm đánh giá
• 4.11. Kết luận Chương 4
• DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ
• LIÊN QUAN ĐẾN LUẬN ÁN
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Nghiên Cứu Tổng Quan Hệ Thống Thích Nghi Giọng Nói TTS

Tiếng nói nhân tạo, hay còn gọi là tổng hợp tiếng nói, đã có lịch sử phát triển hơn 200 năm. Ngày nay, tổng hợp tiếng nói tiếng Việt đã đạt đến chất lượng gần giống với giọng người thật và có nhiều ứng dụng rộng rãi. Ta có thể dễ dàng thấy các sản phẩm tổng hợp tiếng nói tiếng Việt trên Internet, ứng dụng di động và các hệ thống trả lời tự động. Một trong những chủ đề quan trọng nhất là điều khiển và thích nghi các đặc trưng của giọng nói để tạo ra các giọng nói có phong cách và ngữ điệu riêng. Thông thường, để xây dựng giọng nói có đặc trưng của một người cụ thể, cần thu âm một lượng lớn dữ liệu. Điều này tốn kém, mất thời gian và khó thực hiện với các ngôn ngữ nghèo tài nguyên. Các yêu cầu hiện nay còn cao hơn, như xây dựng giọng nói riêng, cá nhân hóa hay phục hồi giọng nói. Vì vậy, nâng cao chất lượng tổng hợp tiếng nói với lượng dữ liệu mẫu nhỏ là một thách thức. Các đặc trưng riêng biệt của người nói bao gồm đặc trưng giọng nói và đặc trưng ngữ điệu. Do đó, cần phải chuyển đổi tất cả các tham số đặc trưng giọng nói nguồn thành các tham số đặc trưng giọng nói đích.

1.1. Lịch Sử Phát Triển Tổng Hợp Tiếng Nói Speech Synthesis

Tổng hợp tiếng nói đã trải qua một chặng đường dài. Từ những thí nghiệm ban đầu đến những hệ thống phức tạp ngày nay, công nghệ này đã có những bước tiến vượt bậc. Chất lượng âm thanh ngày càng được cải thiện, giúp tổng hợp tiếng nói trở nên tự nhiên và dễ nghe hơn. Điều này mở ra nhiều cơ hội ứng dụng trong các lĩnh vực khác nhau. Các nghiên cứu điều chỉnh, biến đổi tham số đặc trưng giọng nói và thích nghi giọng nói đa phần mới chỉ được áp dụng trong các công trình nghiên cứu của các tác giả nước ngoài trên các ngôn ngữ phổ biến.

1.2. Ứng Dụng Thực Tiễn Của Tổng Hợp Tiếng Nói Tiếng Việt

Ứng dụng tổng hợp tiếng nói tiếng Việt ngày càng phổ biến. Chúng ta có thể thấy chúng trong các trợ lý ảo, hệ thống điều khiển bằng giọng nói, và các ứng dụng học tập. Việc phát triển các ứng dụng này đòi hỏi sự hiểu biết sâu sắc về ngôn ngữ và công nghệ. Những thành tựu này mở ra nhiều cơ hội mới cho việc tương tác giữa con người và máy móc thông qua giọng nói.

II. Thách Thức Trong Phát Triển Hệ Thống Thích Nghi Giọng Nói

Với tiếng Việt, một ngôn ngữ nghèo tài nguyên và phức tạp, việc phát triển hệ thống thích nghi giọng nói gặp nhiều khó khăn. Ngôn ngữ này có chứa thành phần ngữ điệu và nhiều từ mượn. Ngay cả các kỹ thuật tổng hợp tiếng nói tiên tiến nhất áp dụng cho tiếng Việt cũng chưa giải quyết được triệt để các vấn đề như đọc câu dài và từ mượn. Đã có một số nghiên cứu về chuyển đổi đặc trưng giọng nói và thích nghi giọng nói áp dụng đối với tiếng Việt. Tuy nhiên, các nghiên cứu này vẫn tiếp cận phương pháp tổng hợp thích nghi dựa trên HMM và cho chất lượng tổng hợp thấp. Vì vậy, việc nghiên cứu một giải pháp tổng hợp tiếng nói tiếng Việt dựa trên thích nghi giọng nói là một vấn đề cấp thiết cả về tính khoa học và tính kinh tế.

2.1. Khó Khăn Với Ngôn Ngữ Nghèo Tài Nguyên Low resource Language

Tiếng Việt là một ngôn ngữ nghèo tài nguyên, gây khó khăn cho việc thu thập dữ liệu và huấn luyện mô hình tổng hợp tiếng nói. Số lượng dữ liệu giọng nói có sẵn thường hạn chế, dẫn đến chất lượng tổng hợp không cao. Do đó, cần có các phương pháp tiếp cận sáng tạo để vượt qua những hạn chế này. Giải pháp cần đảm bảo chất lượng cho ngôn ngữ nghèo tài nguyên như tiếng Việt trong khi chỉ có vài phút mẫu thích nghi.

2.2. Vấn Đề Xử Lý Từ Mượn Trong Tổng Hợp Tiếng Việt

Tiếng Việt có nhiều từ mượn từ các ngôn ngữ khác, gây khó khăn cho việc tổng hợp tiếng nói chính xác. Các mô hình cần được huấn luyện để nhận diện và phát âm các từ mượn này một cách tự nhiên. Điều này đòi hỏi sự kết hợp giữa kiến thức ngôn ngữ học và các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến. Cần xem xét đến việc hệ thống có thể thực hiện được không và lượng mẫu thích nghi tối thiểu cần bao nhiêu nếu thích nghi bằng mẫu dữ liệu chỉ vài giây và không cần huấn luyện lại mô hình.

2.3. Hạn Chế Của Phương Pháp Thích Nghi Giọng Nói Dựa Trên HMM

Các nghiên cứu trước đây về thích nghi giọng nói tiếng Việt thường sử dụng phương pháp dựa trên HMM, cho chất lượng tổng hợp thấp. Các phương pháp mới hơn, như sử dụng mạng nơ-ron sâu (DNN), có thể mang lại kết quả tốt hơn. Cần phải khám phá và áp dụng các kỹ thuật tiên tiến này để cải thiện chất lượng tổng hợp.

III. Phương Pháp Phát Triển Hệ Thống Thích Nghi Giọng Nói DNN

Luận án này tập trung vào việc nghiên cứu và xây dựng hệ thống tổng hợp tiếng nói tiếng Việt bằng các kỹ thuật huấn luyện thích nghi các đặc trưng âm học của người nói dựa trên DNN. Mục tiêu là nâng cao chất lượng tổng hợp tiếng nói dựa trên thích nghi bằng các đề xuất cải tiến về độ tự nhiên. Đồng thời, hệ thống cần có khả năng tổng hợp giọng nói mới mang các đặc trưng âm học của giọng nói đích với chất lượng và độ tương đồng cao trong khi chỉ cần sử dụng một lượng dữ liệu mẫu nhỏ. Cuối cùng, hệ thống cần có khả năng tổng hợp giọng nói tức thì với lượng mẫu nhỏ mà không cần tốn chi phí huấn luyện lại.

3.1. Ứng Dụng Mạng Nơ Ron Sâu Deep Learning Cho Tổng Hợp Giọng Nói

Mạng nơ-ron sâu (DNN) là một công cụ mạnh mẽ để tổng hợp tiếng nói. Chúng có khả năng học các đặc trưng phức tạp của giọng nói và tạo ra âm thanh tự nhiên hơn. Việc áp dụng DNN vào thích nghi giọng nói có thể cải thiện đáng kể chất lượng tổng hợp. Nghiên cứu này khám phá các kiến trúc DNN khác nhau và các kỹ thuật huấn luyện phù hợp cho tổng hợp tiếng Việt.

3.2. Kỹ Thuật Huấn Luyện Thích Nghi Speaker Adaptation Trong DNN

Kỹ thuật huấn luyện thích nghi cho phép mô hình tổng hợp tiếng nói điều chỉnh theo đặc trưng của từng người nói. Điều này giúp tạo ra các giọng nói cá nhân hóa và tự nhiên hơn. Các phương pháp thích nghi có thể bao gồm tinh chỉnh mô hình với dữ liệu giọng nói của người nói đích hoặc sử dụng các vector biểu diễn đặc trưng giọng nói để điều khiển quá trình tổng hợp. Cần tối thiểu bao nhiêu dữ liệu thích nghi (được huấn luyện cùng hệ thống) để đảm bảo giọng tổng hợp đạt được chất lượng và độ tương đồng cao?

3.3. Đề Xuất Cải Tiến Về Độ Tự Nhiên Của Giọng Nói Tổng Hợp

Nghiên cứu này tập trung vào việc cải thiện độ tự nhiên của giọng nói tổng hợp. Các kỹ thuật như mô hình hóa ngữ điệu và điều chỉnh âm vực có thể giúp tạo ra âm thanh giống với giọng nói của con người hơn. Cần xem xét đến việc tích hợp các yếu tố này vào mô hình tổng hợp để đạt được chất lượng cao nhất.

IV. Giải Pháp Thích Nghi Giọng Nói Với Dữ Liệu Mẫu Hạn Chế

Luận án đề xuất hai mô hình tổng hợp thích nghi phụ thuộc người nói dựa trên DNN với điều kiện ít dữ liệu mẫu huấn luyện (Few-shot TTS): 1) Mô hình tổng hợp thích nghi phụ thuộc người nói dựa trên học chuyển đổi (transfer-learning); và 2) Mô hình tổng hợp thích nghi phụ thuộc người nói dựa trên trích xuất vector biểu diễn đặc trưng. Ngoài ra, luận án còn đề xuất mô hình tổng hợp thích nghi độc lập người nói dựa trên DNN với điều kiện chỉ cần một vài câu mẫu mà không cần huấn luyện lại mô hình. Kích thước mẫu sẽ ảnh hưởng như thế nào đến chất lượng tổng hợp và ưu nhược điểm của các phương pháp này?

4.1. Mô Hình Tổng Hợp Thích Nghi Dựa Trên Học Chuyển Đổi Transfer Learning

Học chuyển đổi là một kỹ thuật cho phép mô hình học từ một tập dữ liệu lớn (ví dụ: dữ liệu giọng nói của nhiều người) và sau đó áp dụng kiến thức đó vào một tập dữ liệu nhỏ hơn (ví dụ: dữ liệu giọng nói của một người cụ thể). Điều này giúp mô hình tổng hợp hoạt động tốt hơn với ít dữ liệu hơn. Kỹ thuật này hiệu quả với việc xây dựng tổng hợp tiếng nói đảm bảo chất lượng cho ngôn ngữ nghèo tài nguyên như tiếng Việt trong khi chỉ có vài phút mẫu thích nghi.

4.2. Mô Hình Tổng Hợp Thích Nghi Dựa Trên Trích Xuất Vector Đặc Trưng

Phương pháp này trích xuất các vector đặc trưng từ dữ liệu giọng nói của người nói đích và sử dụng chúng để điều khiển quá trình tổng hợp. Các vector này có thể biểu diễn các đặc trưng như âm sắc, ngữ điệu và tốc độ nói. Việc sử dụng các vector đặc trưng giúp tạo ra các giọng nói cá nhân hóa và tự nhiên hơn. Và quan trọng nhất là khả năng bắt chước hoặc tạo một giọng nói mới bất kỳ với ngữ liệu huấn luyện từ đa người nói và đa phong cách với chỉ một lượng mẫu nhỏ.

4.3. Mô Hình Tổng Hợp Thích Nghi Không Cần Huấn Luyện Lại Mô Hình

Mô hình này cho phép tổng hợp giọng nói ngay lập tức mà không cần huấn luyện lại mô hình. Điều này đặc biệt hữu ích trong các ứng dụng thời gian thực hoặc khi không có đủ dữ liệu để huấn luyện một mô hình mới. Tuy nhiên, chất lượng của giọng nói có thể thấp hơn so với các phương pháp khác. Các nghiên cứu này vẫn tiếp cận phương pháp tổng hợp thích nghi dựa trên HMM và cho chất lượng tổng hợp thấp.

V. Ứng Dụng Thực Tế và Đánh Giá Chất Lượng Hệ Thống TTS

Các mô hình được đề xuất có thể được ứng dụng trong nhiều lĩnh vực, bao gồm trợ lý ảo tiếng Việt, hệ thống điều khiển bằng giọng nói tiếng Việt, và các ứng dụng speech therapy. Việc đánh giá chất lượng của các mô hình này là rất quan trọng để đảm bảo rằng chúng hoạt động tốt và đáp ứng được nhu cầu của người dùng. Cần sử dụng các phương pháp đánh giá khách quan và chủ quan để có được cái nhìn toàn diện về hiệu quả của các mô hình. Thử nghiệm đánh giá và kết quả cần chứng minh được các điều sau: Nâng cao chất lượng tổng hợp tiếng nói dựa trên thích nghi bằng các đề xuất cải tiến về độ tự nhiên; Tổng hợp giọng nói mới mang các đặc trưng âm học của giọng nói đích với chất lượng và độ tương đồng cao trong khi chỉ cần sử dụng một lượng dữ liệu mẫu nhỏ.

5.1. Phát Triển Ứng Dụng Trợ Lý Ảo Tiếng Việt Cá Nhân Hóa

Các mô hình tổng hợp tiếng nói có thể được sử dụng để tạo ra các trợ lý ảo tiếng Việt có giọng nói cá nhân hóa. Điều này giúp người dùng cảm thấy gần gũi hơn và dễ dàng tương tác hơn với các thiết bị thông minh. Nghiên cứu này tập trung vào việc phát triển các ứng dụng trợ lý ảo có khả năng thích nghi giọng nói.

5.2. Ứng Dụng Trong Hệ Thống Điều Khiển Bằng Giọng Nói Tiếng Việt

Các hệ thống điều khiển bằng giọng nói tiếng Việt có thể được cải thiện bằng cách sử dụng các mô hình tổng hợp tiếng nói tiên tiến. Điều này giúp hệ thống hiểu rõ hơn các lệnh của người dùng và phản hồi một cách tự nhiên hơn. Các kết quả nghiên cứu sẽ được áp dụng vào các hệ thống điều khiển bằng giọng nói để cải thiện hiệu suất.

5.3. Đánh Giá Chất Lượng Giọng Nói Tổng Hợp Bằng Phương Pháp MOS

MOS (Mean Opinion Score) là một phương pháp đánh giá chủ quan được sử dụng rộng rãi để đánh giá chất lượng giọng nói tổng hợp. Người tham gia sẽ nghe các đoạn giọng nói và cho điểm theo thang điểm từ 1 đến 5, với 5 là chất lượng tốt nhất. Kết quả MOS sẽ được sử dụng để so sánh các mô hình tổng hợp tiếng nói khác nhau. Cần chú ý đến các yếu tố như độ rõ ràng, độ tự nhiên và độ dễ nghe của giọng nói.

VI. Kết Luận và Hướng Phát Triển Hệ Thống Tổng Hợp Tiếng Việt

Luận án này đã trình bày một nghiên cứu về phát triển hệ thống thích nghi giọng nói trong tổng hợp tiếng Việt. Các mô hình được đề xuất có khả năng tạo ra các giọng nói cá nhân hóa với chất lượng cao và yêu cầu ít dữ liệu huấn luyện. Các kết quả nghiên cứu có thể được ứng dụng trong nhiều lĩnh vực khác nhau. Trong tương lai, cần tập trung vào việc cải thiện hơn nữa chất lượng giọng nói và khám phá các ứng dụng mới của công nghệ này. Các kết quả nghiên cứu đảm bảo trung thực và khách quan nhất.

6.1. Tóm Tắt Những Đóng Góp Chính Của Luận Án Về TTS Tiếng Việt

Luận án này đã đóng góp vào lĩnh vực tổng hợp tiếng nói tiếng Việt bằng cách đề xuất các mô hình thích nghi giọng nói mới. Các mô hình này có khả năng tạo ra các giọng nói cá nhân hóa với chất lượng cao và yêu cầu ít dữ liệu huấn luyện. Các kết quả nghiên cứu có thể được ứng dụng trong nhiều lĩnh vực khác nhau. Đề xuất phương pháp tổng hợp giọng nói dựa trên kỹ thuật thích nghi bằng mạng nơ-ron sâu (DNN) để cải thiện chất lượng tổng hợp.

6.2. Các Hướng Nghiên Cứu Tiềm Năng Trong Tương Lai

Trong tương lai, cần tập trung vào việc cải thiện hơn nữa chất lượng giọng nói tổng hợp. Các hướng nghiên cứu tiềm năng bao gồm sử dụng các kiến trúc mạng nơ-ron tiên tiến hơn, tích hợp các yếu tố cảm xúc vào giọng nói, và phát triển các phương pháp thích nghi giọng nói không cần giám sát. Cần nghiên cứu thêm để hệ thống có thể thực hiện được không và lượng mẫu thích nghi tối thiểu cần bao nhiêu nếu thích nghi bằng mẫu dữ liệu chỉ vài giây và không cần huấn luyện lại mô hình.

6.3. Tích Hợp Thêm Yếu Tố Cảm Xúc Vào Giọng Nói Tổng Hợp

Tích hợp các yếu tố cảm xúc vào giọng nói tổng hợp là một hướng nghiên cứu đầy hứa hẹn. Điều này có thể giúp tạo ra các giọng nói biểu cảm hơn và phù hợp hơn với ngữ cảnh giao tiếp. Cần nghiên cứu các phương pháp để nhận diện và mô hình hóa các yếu tố cảm xúc trong giọng nói.

Nội dung chính

Tổng quan về luận án

Tổng hợp tiếng nói từ văn bản (Text-to-Speech - TTS) đã đạt được những bước tiến vượt bậc nhờ sự hội tụ của học sâu (Deep Learning) và các kiến trúc mạng nơ-ron sinh hạt nhân. Tuy nhiên, rào cản kỹ thuật lớn nhất đối với các hệ thống tổng hợp tiếng nói truyền thống là sự phụ thuộc nặng nề vào khối lượng dữ liệu khổng lồ. Cụ thể, "để xây dựng được tiếng nói tổng hợp với đặc trưng của một người nói cụ thể, cần thu âm một lượng lớn dữ liệu (khoảng 10 giờ trong môi trường phòng thu tiêu chuẩn) của chính giọng nói đó để huấn luyện [1]". Đối với tiếng Việt – một ngôn ngữ đơn lập, nghèo tài nguyên số hóa âm học chất lượng cao và có đặc trưng thanh điệu phức tạp – chi phí thu âm và huấn luyện lại toàn bộ mô hình (re-training) cho từng giọng nói mới tạo nên điểm nghẽn lớn cho việc ứng dụng thực tiễn.

Luận án tiến sĩ ngành Hệ thống thông tin với đề tài "Nghiên cứu phát triển hệ thống thích nghi giọng nói trong tổng hợp tiếng Việt và ứng dụng" do nghiên cứu sinh Phạm Ngọc Phương thực hiện dưới sự hướng dẫn khoa học của PGS. Lương Chi Mai tại Học viện Khoa học và Công nghệ (Viện Hàn lâm Khoa học và Công nghệ Việt Nam) đã giải quyết triệt để khoảng trống nghiên cứu (research gap) này. Công trình tiên phong thiết lập khung thích nghi giọng nói (Speaker Adaptation / Voice Cloning) hiệu năng cao cho tiếng Việt dựa trên mạng nơ-ron sâu (DNN), chuyển dịch từ tổng hợp đơn người nói sang đa người nói với lượng mẫu dữ liệu cực nhỏ.

Hệ thống câu hỏi và giả thuyết nghiên cứu của luận án được xác định rõ ràng:

• Câu hỏi nghiên cứu 1 (RQ1): Cơ chế học chuyển đổi và thích nghi tham số nào cho phép mô hình TTS tiếng Việt đạt chất lượng tự nhiên và độ tương đồng cao khi chỉ có vài phút âm thanh mẫu?
• Câu hỏi nghiên cứu 2 (RQ2): Cần lượng dữ liệu thích nghi tối thiểu là bao nhiêu (được huấn luyện cùng hệ thống) để bảo đảm sự hội tụ của các tham số âm học đặc trưng cho từng người nói đích?
• Câu hỏi nghiên cứu 3 (RQ3): Có thể thích nghi giọng nói tức thì mà hoàn toàn không cần tái huấn luyện mô hình (Zero-shot TTS) với mẫu âm thanh chỉ vài giây hay không?
• Câu hỏi nghiên cứu 4 (RQ4): Kích thước mẫu và kiến trúc trích xuất biểu diễn đặc trưng ảnh hưởng như thế nào đến độ méo phổ Mel và độ tương đồng nhận thức?

Các giả thuyết tương ứng gồm:

• Giả thuyết H1: Kỹ thuật tinh chỉnh nhiều lượt (Multi-pass fine-tune) trên nền tảng học chuyển đổi (Transfer Learning) sẽ giải quyết hiện tượng quá khớp (overfitting) và duy trì tính ổn định của ngữ điệu tiếng Việt tốt hơn tinh chỉnh đơn lượt truyền thống.
• Giả thuyết H2: Việc tích hợp vector trích xuất đặc trưng phổ Mel chuyên biệt (Extracting Mel-Vector - EMV) vào bộ điều phối phương sai (Variance Adaptor) sẽ bảo toàn bản sắc người nói đích chỉ với 1 phút dữ liệu huấn luyện.
• Giả thuyết H3: Kết hợp không gian nhúng EMV với mô hình xác suất khuếch tán khử nhiễu (Denoising Diffusion Probabilistic Model - DDPM) cho phép thực thi Zero-shot TTS đạt chất lượng tự nhiên tương đương giọng gốc với chỉ 3 giây âm thanh tham chiếu.

Khung lý thuyết của nghiên cứu tích hợp Lý thuyết bộ lọc nguồn (Source-Filter Theory), Kiến trúc biến đổi tiến (Feed-Forward Transformer - FFT) không tự hồi quy và Mô hình sinh khuếch tán (Diffusion Models). Luận án tạo đột phá định lượng khi hạ thấp yêu cầu dữ liệu từ 10 giờ xuống 4 phút (Multi-pass fine-tune), 1 phút (EMV Module) và 3 giây (Adapt-TTS Zero-shot), kiểm thử trên tập ngữ liệu chuẩn giọng Bắc và Nam trong miền phong cách tin tức chính trị - xã hội.

---

Literature Review và Positioning

Lịch sử phát triển của tổng hợp tiếng nói nhân tạo đã trải qua bốn thế hệ công nghệ chính:

1. Tổng hợp khớp nối (Articulatory Synthesis) và Tổng hợp Formant (Klatt, 1980): Mô phỏng chuyển động cơ học của cơ quan phát âm hoặc điều khiển các tần số cộng hưởng bằng tập luật cứng, tạo ra giọng nói mang tính máy móc rõ rệt.
2. Tổng hợp ghép nối đơn vị âm (Concatenative Synthesis - Hunt & Black, 1996): Nối các đoạn sóng âm tự nhiên (diphone, bán âm tiết). Dù giữ được độ tự nhiên cục bộ nhưng hệ thống đòi hỏi kho ngữ liệu khổng lồ và xuất hiện lỗi gián đoạn biên độ, pha tại điểm ghép nối.
3. Tổng hợp tham số thống kê (Statistical Parametric Speech Synthesis - SPSS dựa trên HMM - Tokuda et al., 2013; Zen et al., 2009): Sử dụng mô hình Markov ẩn để tham số hóa âm phổ, F0 và trường độ. Dù mở ra khả năng thích nghi giọng qua thuật toán thích nghi tuyến tính MLLR (Maximum Likelihood Linear Regression) hay cực đại hậu nghiệm kết hợp làm mịn trường vector MAP-VFS (Yamagishi et al., 2009), âm thanh tạo ra vẫn bị làm mịn quá mức (over-smoothing) dẫn đến hiện tượng âm nghẹt, méo tiếng.
4. Tổng hợp nơ-ron End-to-End (Deep Neural Networks): Mở đầu với WaveNet (van den Oord et al., 2016), Tacotron/Tacotron 2 (Shen et al., 2018), Deep Voice 3 (Ping et al., 2018), và chuyển dịch sang dòng không tự hồi quy (Non-Autoregressive) như FastSpeech/FastSpeech 2 (Ren et al., 2019, 2020).

[Tổng hợp khớp nối / Formant] 
       ↓
       ↓
       ↓
       ↓

Trong bức tranh tổng thể đó, tranh luận học thuật trung tâm xoay quanh hai hướng tiếp cận: Mô hình tự hồi quy (Autoregressive - AR) và Mô hình không tự hồi quy (Non-Autoregressive - NAR). Kiến trúc AR (như Tacotron 2) bảo đảm sự phụ thuộc thời gian giữa các khung phổ Mel:

$$p(\mathbf{y}|\mathbf{x}, \theta) = \prod_{t=1}^{T} p(y_t | y_{<t}, \mathbf{x}, \theta)$$

Tuy nhiên, AR chịu nút thắt cổ chai về tốc độ suy diễn tuần tự, dễ rơi vào lỗi tích lũy, bỏ từ hoặc lặp từ trong các câu văn bản dài. Ngược lại, kiến trúc NAR (như FastSpeech 2) tối ưu hóa xác suất độc lập có điều kiện:

$$p(\mathbf{y}|\mathbf{x}, \theta) = \prod_{t=1}^{T} p(y_t | \mathbf{x}, \theta)$$

NAR cho phép sinh toàn bộ khung phổ Mel song song với tốc độ vượt trội, nhưng đặt ra thách thức lớn về việc mô hình hóa phân phối đa phương thức của trường độ (duration), cao độ (pitch) và năng lượng (energy).

Đối với tiếng Việt, các nghiên cứu trước đây phân hóa rõ rệt. Nhóm nghiên cứu ghép nối như hệ thống "Hoa Súng" (ĐHBK Hà Nội) hay "VoS" (AILab, ĐHQG TP.HCM) bộc lộ nhược điểm khi không thể bao quát hết các biến thể F0 của 6 thanh điệu khi ghép âm. Các nghiên cứu SPSS dựa trên HMM của Viện Công nghệ Thông tin (Lương Chi Mai và cộng sự) và Đại học Vân Nam sử dụng bộ tổng hợp STRAIGHT/WORLD đã đặt nền móng cho việc thích nghi tham số MLLR, nhưng chất lượng điểm ý kiến trung bình (MOS) còn thấp. Sự xuất hiện của hệ thống nơ-ron tại VLSP 2018 đánh dấu bước nhảy vọt về độ tự nhiên nhưng vẫn phụ thuộc hoàn toàn vào kiến trúc đơn người nói đơn lẻ.

Trên trường quốc tế, các công trình thích nghi giọng nói đột phá như AdaSpeech / AdaSpeech 3 của Microsoft (Chen et al., 2021; Yan et al., 2021) dựa trên thích nghi điều kiện âm học và chuẩn hóa lớp có điều kiện (Conditional LayerNorm), hay các giải pháp trong khuôn khổ ZeroSpeech Challenge (Dunbar et al., 2019/2021) và Multi-Speaker Multi-Style Voice Cloning Challenge - M2VoC (Wu et al., 2021) chủ yếu tối ưu cho tiếng Anh và tiếng Trung. Luận án của NCS. Phạm Ngọc Phương đã định vị chính xác khoảng trống: Xây dựng cơ chế thích nghi giọng nói nơ-ron ít dữ liệu (Few-shot) và không dữ liệu huấn luyện lại (Zero-shot) được thiết kế đặc thù cho ngôn ngữ có thanh điệu phong phú và nghèo tài nguyên như tiếng Việt, vượt qua giới hạn của các kỹ thuật d-vector, x-vector truyền thống vốn chỉ tối ưu cho phân lớp nhận dạng thay vì tái tạo âm sắc.

---

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng Lý thuyết bộ lọc nguồn của Gunnar Fant (1960) trong không gian biểu diễn ẩn của mạng nơ-ron sâu. Theo nguyên lý cổ điển, tín hiệu tiếng nói trong miền thời gian là tích chập của nguồn kích thích $x(t)$ và đáp ứng xung $h(t)$:

$$y(t) = h(t) * x(t)$$

Chuyển sang miền tần số:

$$Y(\omega) = H(\omega)X(\omega) = [T(\omega)R(\omega)]X(\omega)$$

Trong đó $T(\omega)$ là hàm truyền đường thanh âm và $R(\omega)$ là đặc tính bức xạ môi - mũi. Luận án đã tái hiện lý thuyết này bằng cách phi tuyến tính hóa toàn bộ quá trình: Nguồn kích thích dao động cơ bản (F0) và đường bao phổ thanh âm được phân rã thành các không gian đặc trưng ẩn đa tầng (latent representations), cho phép can thiệp và biến đổi độc lập đặc trưng người nói (Speaker Identity) mà không làm suy hao cấu trúc ngữ âm (Phonetic Content).

                                   Ánh xạ phi tuyến tính
                                   vào không gian nơ-ron
                                   Tổng hợp có điều kiện

Đồng thời, luận án đóng góp vào lý thuyết học chuyển đổi (Transfer Learning Theory - Pan & Yang, 2010) khi chỉ ra rằng việc cập nhật đồng thời toàn bộ trọng số mạng nơ-ron sâu khi thích nghi ít dữ liệu gây hiện tượng quên thảm khốc (catastrophic forgetting). Đề xuất kỹ thuật Multi-pass fine-tune thiết lập nguyên lý tối ưu hóa đa pha, phân tách quá trình thích nghi thành các bước tinh chỉnh cục bộ theo từng nhóm tham số đặc thù của người nói, giúp duy trì phân phối xác suất tiên nghiệm của mô hình nguồn.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp ba trụ cột lý thuyết: Mô hình Transformer dòng thẳng không tự hồi quy, Module trích xuất vector đặc trưng Mel (EMV - Extracting Mel-Vector), và Mô hình xác suất khuếch tán khử nhiễu (DDPM).

                                  KHUNG PHÂN TÍCH ĐỘC ĐÁO
                                  
                                  (Text Embedding ẩn)
                                          [Variance Adaptor]
                                     (Trường độ + Cao độ F0 + Năng lượng)
                                          [Bộ giải mã Phổ Mel (NAR)]
                                          [Khử nhiễu Khuếch tán DDPM]
                                            Phổ Mel chất lượng cao
                                           [Bộ phát âm (Vocoder)]
                                              Sóng âm hoàn chỉnh

• Mô hình hóa xác suất thích nghi: Hệ thống ước lượng hàm phân phối xác suất có điều kiện:

  $$p(y|x, Y, X) = \iiint \sum_{\forall l} \sum_{\forall L} p(y|o) p(o|\mathcal{O}, l, \lambda) p(\mathcal{O}|L, \lambda) p(l|x) p(L|X) p(\lambda) , do , d\mathcal{O} , d\lambda$$

  Trong đó $X, Y$ là cặp văn bản - âm thanh huấn luyện nguồn; $x, y$ là văn bản đầu vào và âm thanh đích; $o, \mathcal{O}$ là đặc trưng âm học; $l, L$ là đặc trưng ngôn ngữ; $\lambda$ là không gian tham số mô hình.

• Module EMV (Extracting Mel-Vector): Khác biệt hoàn toàn với các vector nhúng i-vector, d-vector hay x-vector truyền thống (vốn sử dụng mạng tích chập TDNN hoặc LSTM huấn luyện trên bài toán phân loại người nói Softmax), EMV được thiết kế dựa trên mạng tích chập đa tầng kết hợp khối gộp thống kê (statistical pooling) trích xuất trực tiếp từ phổ Mel đa khung thời gian. EMV bảo toàn thông tin phổ chi tiết (spectral envelopes) và cấu trúc cao độ (F0 contours), tối ưu hóa trực tiếp cho hàm mất mát tái tạo âm học thay vì hàm mất mát phân loại.

• Điều kiện biên (Boundary Conditions): Khung phân tích xác định các biên giới hạn âm học gồm: Tần số lấy mẫu chuẩn hóa 22.05 kHz, độ phân giải phổ Mel 80 chiều (80-band Mel-scale filterbanks), khung cửa sổ FFT 1024 mẫu với bước nhảy 256 mẫu. Các ràng buộc này bảo đảm tính toàn vẹn thông tin ngữ âm tiếng Việt mà không gây quá tải tài nguyên tính toán.

---

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ thế giới quan thực chứng (Positivism) kết hợp phương pháp luận kỹ thuật thực nghiệm nghiêm ngặt (Empirical Engineering Research). Thiết kế nghiên cứu đa tầng (Multi-level experimental design) được triển khai qua ba cấp độ thích nghi:

1. Cấp độ tinh chỉnh tham số chuyên sâu (Multi-pass Fine-tune Few-shot): Phân tích sự hội tụ của trọng số mô hình âm học với mẫu dữ liệu 4 phút.
2. Cấp độ biểu diễn không gian ẩn (EMV-based Few-shot): Khóa toàn bộ mạng nơ-ron nền tảng, chỉ thích nghi vector biểu diễn đặc trưng người nói thông qua 1 phút âm thanh.
3. Cấp độ sinh không giám sát thời gian thực (Zero-shot Adapt-TTS): Triển khai mô hình khuếch tán DDPM khử nhiễu phổ Mel có điều kiện từ 3 giây âm thanh mẫu mà không cập nhật bất kỳ gradient nào của mô hình.

+-----------------------------------------------------------------------------------+
|                        THIẾT KẾ NGHIÊN CỨU ĐA TẦNG CỦA LUẬN ÁN                    |
+--------------------------+----------------------------+---------------------------+
| 1. Multi-pass Fine-tune  | 2. EMV Feature Adaptation  | 3. Adapt-TTS Zero-shot    |
+--------------------------+----------------------------+---------------------------+
| - Dữ liệu mẫu: 4 phút    | - Dữ liệu mẫu: 1 phút      | - Dữ liệu mẫu: 3 giây     |
| - Cơ chế: Tinh chỉnh     | - Cơ chế: Trích xuất       | - Cơ chế: Điều kiện hóa   |
|   trọng số qua nhiều pha |   vector nhúng âm sắc EMV  |   khuếch tán (DDPM)       |
| - Huấn luyện lại: Có     | - Huấn luyện lại: Tối thiểu| - Huấn luyện lại: KHÔNG   |
+--------------------------+----------------------------+---------------------------+

Quy trình nghiên cứu rigorous

Nhằm giải quyết bài toán thiếu hụt tài nguyên, nghiên cứu đã chuẩn hóa quy trình xây dựng cơ sở dữ liệu tiếng Việt chi phí thấp kết hợp làm giàu nhãn thông tin:

• Mô hình hóa ngữ âm tiếng Việt: Dựa trên cấu trúc âm tiết hoàn chỉnh gồm: Thanh điệu, Âm đầu (phụ âm đầu), Vần (Âm đệm, Âm chính, Âm cuối). Trong đó, hệ thống bao quát toàn diện "tổng số âm tiết không trùng lặp phát âm bằng tiếng Việt là 18.958 nhưng số âm tiết đã sử dụng trong thực tế chỉ khoảng 7000 âm tiết [54]", xử lý triệt để 22 âm vị phụ âm, 14 âm vị nguyên âm, 2 bán nguyên âm và 6 thanh điệu (ngang, huyền, sắc, hỏi, ngã, nặng).
• Quy trình xử lý nhãn gia tăng:
  • Căn chỉnh thời gian cưỡng bức: Ứng dụng Montreal Forced Aligner (MFA) để tự động căn chỉnh cấp độ âm vị chính xác ở mức mili-giây.
  • Bộ phiên âm từ mượn G2P (Grapheme-to-Phoneme): Triển khai kiến trúc Transformer Sequence-to-Sequence chuyên biệt để chuyển tự các từ mượn tiếng Anh và danh từ riêng quốc tế sang bảng ký hiệu ngữ âm tiếng Việt, triệt tiêu hiện tượng OOV (Out-of-Vocabulary).
  • Mô hình chèn điểm dừng lấy hơi và phục hồi dấu câu: Bổ sung nhãn ngữ điệu (prosodic boundaries) giúp mô hình NAR học được khoảng ngắt nghỉ tự nhiên như người thật khi đọc các văn bản phức hợp.

Data và phân tích

• Đặc trưng tập dữ liệu: Tập ngữ liệu đa người nói bao gồm các giọng đọc tiêu chuẩn miền Bắc và miền Nam, phân tầng theo độ tuổi và giới tính. Cấu trúc âm vị được thống kê kiểm soát độ bao phủ (coverage) nhằm bảo đảm không có âm vị nào bị thiếu hụt trong quá trình huấn luyện.
• Kỹ thuật phân tích dữ liệu chuyên sâu:
  • Đánh giá chủ quan: Đo lường điểm chất lượng âm thanh trung bình MOS (Mean Opinion Score) theo chuẩn viễn thông quốc tế ITU-T P.800 (thang điểm 1-5) và điểm tương đồng người nói SIM (Similarity Score) (thang điểm 1-4).
  • Đánh giá khách quan: Tính toán hệ số méo phổ Mel MCD (Mel-Cepstral Distortion) và tỷ lệ lỗi từ WER (Word Error Rate) thông qua hệ thống nhận dạng tiếng nói tự động (ASR) trung gian.
  • Phân tích thống kê suy luận: Toàn bộ các thử nghiệm so sánh đều áp dụng Kiểm định phân tích phương sai (ANOVA) với mức ý nghĩa $\alpha = 0.05$ (khoảng tin cậy 95%) để xác thực tính khác biệt có ý nghĩa thống kê giữa mô hình đề xuất và mô hình cơ sở (Baseline).
  • Trực quan hóa không gian đặc trưng: Ứng dụng thuật toán giảm chiều dữ liệu t-SNE (t-Distributed Stochastic Neighbor Embedding) để chứng minh sự phân cụm chặt chẽ giữa phân bố giọng tổng hợp và giọng người nói gốc.

---

Phát hiện đột phá và implications

Những phát hiện then chốt

1. Hiệu năng vượt trội của kỹ thuật Multi-pass Fine-tune (Few-shot 4 phút): So với phương pháp tinh chỉnh truyền thống (thường làm vỡ cấu trúc âm phổ khi dữ liệu quá ít), kỹ thuật Multi-pass fine-tune với 4 phút dữ liệu thích nghi đạt điểm tương đồng SIM và chất lượng MOS tiệm cận với giọng thu âm thực tế. Kiểm định ANOVA trên kết quả SIM khẳng định sự vượt trội có ý nghĩa thống kê ($p < 0.05$).

2. Đột phá trích xuất bản sắc âm học của module EMV (Few-shot 1 phút): Khi tích hợp module EMV vào hệ thống Multi-TTS không tự hồi quy, mô hình chỉ cần đúng 1 phút âm thanh mẫu để tái tạo chính xác âm sắc người nói đích. Hình ảnh biểu diễn t-SNE chứng minh các vector nhúng của giọng tổng hợp bằng EMV hội tụ hoàn toàn vào cùng không gian cụm với giọng gốc của người nói đích, loại bỏ triệt để hiện tượng trôi dạt đặc trưng (speaker identity drift).

3. Hiện thực hóa Zero-shot TTS với Adapt-TTS (Zero-shot 3 giây): Mô hình Adapt-TTS kết hợp giữa EMV và bộ khử nhiễu khuếch tán phổ Mel (Mel-spectrogram Denoiser) đã tạo ra bước nhảy vọt: Tổng hợp thành công giọng nói của một người nói hoàn toàn mới chưa từng xuất hiện trong tập huấn luyện chỉ từ một câu mẫu 3 giây duy nhất mà không cần huấn luyện lại mô hình. Các chỉ số khách quan (MCD thấp, WER tối ưu) và chủ quan (MOS/SIM cao) chứng minh tính ưu việt tuyệt đối so với các mô hình baseline dựa trên x-vector.

+-----------------------------------------------------------------------------------------+
|                  BẢNG TỔNG HỢP CÁC PHÁT HIỆN ĐỘT PHÁ CỦA LUẬN ÁN                        |
+----------------------+--------------------+--------------------+------------------------+
| Mô hình / Phương pháp| Kích thước mẫu     | Cơ chế thích nghi  | Đóng góp cốt lõi       |
+----------------------+--------------------+--------------------+------------------------+
| Multi-pass Fine-tune | 4 phút             | Tinh chỉnh đa pha  | Khắc phục Overfitting  |
| EMV Multi-TTS        | 1 phút             | Vector nhúng EMV   | Hội tụ t-SNE tối ưu    |
| Adapt-TTS Diffusion  | 3 giây (Zero-shot) | Khử nhiễu DDPM     | Không cần huấn luyện lại|
+----------------------+--------------------+--------------------+------------------------+

4. Khả năng giải quyết đặc thù ngôn ngữ đơn âm tiết có thanh điệu: Việc tích hợp bộ dự đoán phương sai (trường độ, F0, năng lượng) kết hợp với nhãn điểm dừng lấy hơi giúp triệt tiêu hoàn toàn lỗi vỡ thanh điệu tiếng Việt (đặc biệt là thanh ngã và thanh nặng) ở các câu dài – vấn đề mà các kiến trúc quốc tế áp dụng trực tiếp lên tiếng Việt thường xuyên mắc phải.

Implications đa chiều

                                  CÁC HỆ GIÁ TRỊ VÀ TÁC ĐỘNG
                                  

• Về mặt học thuật: Chứng minh rằng mô hình sinh khuếch tán kết hợp với bộ biểu diễn đặc trưng cục bộ (EMV) là phương pháp tối ưu hơn hẳn các mô hình tự hồi quy trong bài toán tổng hợp có điều kiện ít mẫu.
• Về mặt phương pháp luận: Chuẩn hóa quy trình tạo lập tập dữ liệu tiếng nói chất lượng cao với chi phí thấp, cung cấp khung đánh giá toàn diện kết hợp giữa trắc lượng âm học (Acoustic metrics) và thống kê suy luận (ANOVA) cho cộng đồng xử lý ngôn ngữ tự nhiên tiếng Việt.
• Về mặt thực tiễn và công nghệ: Khả năng đóng gói và thực thi mô hình trên phần cứng nhúng thương mại giá rẻ (như Raspberry Pi 4 Model B) mở đường cho việc thương mại hóa các thiết bị IoT điều khiển bằng giọng nói cá nhân hóa.
• Về mặt xã hội: Ứng dụng nhân đạo sâu sắc trong việc tái tạo và phục hồi giọng nói cho các bệnh nhân bị tổn thương thanh quản hoặc mất khả năng phát âm, cho phép họ giao tiếp lại bằng chính giọng nói nguyên bản của mình chỉ từ vài câu ghi âm trong quá khứ.

---

Limitations và Future Research

Luận án thẳng thắn chỉ ra 4 giới hạn nghiên cứu mang tính biên điều kiện:

1. Phạm vi phương ngữ: Ngữ liệu huấn luyện và thích nghi tập trung chủ yếu vào phương ngữ chuẩn miền Bắc (giọng Hà Nội) và miền Nam (giọng TP.HCM); chưa mở rộng đầy đủ sang các phương ngữ miền Trung (như Nghệ An, Hà Tĩnh, Huế, Quảng Nam) với hệ thống thanh điệu và biến thể ngữ âm phức tạp.
2. Độ nhạy cảm với nhiễu môi trường trong Zero-shot: Mô hình Adapt-TTS 3 giây nhạy cảm với chất lượng của mẫu âm thanh đầu vào; nếu mẫu âm thanh tham chiếu có tỷ lệ tín hiệu trên nhiễu (SNR) thấp hoặc thu âm trong môi trường dội âm (reverberation), vector EMV có thể bị trôi dạt dẫn đến phổ tổng hợp bị suy hao độ trong trẻo.
3. Mô hình hóa cảm xúc đa dạng: Hệ thống tập trung chủ yếu vào phong cách đọc tin tức báo chí, chính trị - xã hội; khả năng tổng hợp tiếng nói mang sắc thái cảm xúc sâu sắc (hỷ, nộ, ái, ố) hoặc giọng kịch nghệ, hội thoại tự do vẫn là một thách thức mở.
4. Tối ưu hóa độ trễ suy diễn trên chip nhúng cực thấp: Mặc dù đã triển khai thành công trên Raspberry Pi 4, quá trình khử nhiễu lặp nhiều bước của mô hình khuếch tán DDPM vẫn đòi hỏi tài nguyên tính toán đáng kể, cần các giải pháp chưng cất mô hình (knowledge distillation) để đạt thời gian thực tuyệt đối trên vi điều khiển.

Chương trình nghiên cứu tiếp theo (Future Research Agenda) bao gồm:

• Mở rộng tập ngữ liệu thích nghi đa phương ngữ toàn quốc và đa phong cách hội thoại tự nhiên.
• Nghiên cứu cơ chế thích nghi Zero-shot kháng nhiễu (Noise-robust Zero-shot TTS) ứng dụng mạng tự mã hóa biến phân đối nghịch.
• Tích hợp mô hình ngôn ngữ lớn (LLMs) để tự động điều chỉnh ngữ điệu và sắc thái biểu cảm dựa trên ngữ cảnh ngữ nghĩa sâu của văn bản.
• Ứng dụng kỹ thuật khuếch tán một bước (One-step Diffusion / Consistency Models) nhằm tăng tốc độ suy diễn lên gấp hàng chục lần.

---

Tác động và ảnh hưởng

• Tác động học thuật: Các bài báo khoa học xuất bản từ luận án trên các kỷ yếu hội nghị quốc tế uy tín và tạp chí chuyên ngành thuộc danh mục ISI/Scopus và VAST2 đã đóng góp trực tiếp vào kho tàng tri thức xử lý tiếng nói tiếng Việt, tạo tiền đề trích dẫn cho các nghiên cứu tiếp nối về Speech Synthesis và Voice Cloning.
• Chuyển đổi công nghiệp: Cung cấp giải pháp công nghệ lõi cho các doanh nghiệp công nghệ số (như VAIS, AIMed) trong việc phát triển các tổng đài thông minh tự động (Callbot), trợ lý ảo AI, hệ thống đọc báo tự động và sản xuất nội dung số đa giọng đọc với chi phí vận hành giảm hơn 90% so với phương pháp thu âm phòng thu truyền thống.
• Triển khai chính sách và dịch vụ công: Ứng dụng trong các hệ thống công cộng như ki-ốt thông tin tự động, hệ thống cảnh báo giao thông thông minh, sách nói cho người khiếm thị, thúc đẩy chương trình Chuyển đổi số Quốc gia và xây dựng xã hội số bao trùm.
• Giá trị quốc tế hóa: Đưa các kỹ thuật học sâu tiên tiến nhất thế giới (Diffusion, Non-Autoregressive Transformers) tích hợp thành công với đặc thù ngôn ngữ học tiếng Việt, đóng góp một nghiên cứu điển hình (case study) xuất sắc cho cộng đồng xử lý ngôn ngữ nghèo tài nguyên toàn cầu.

---

Đối tượng hưởng lợi

• Nghiên cứu sinh và Giới học thuật: Tiếp cận một khung phương pháp luận hoàn chỉnh từ khâu chuẩn hóa ngữ liệu, mô hình hóa âm học chuyên sâu đến phương pháp kiểm định thống kê ANOVA chuẩn mực trong nghiên cứu TTS.
• Kỹ sư R&D và Doanh nghiệp Trí tuệ nhân tạo: Sở hữu kiến trúc mạng EMV và Adapt-TTS có khả năng triển khai thực tế ngay trên hạ tầng máy chủ cũng như thiết bị biên (Edge devices), giải quyết triệt để bài toán chi phí dữ liệu.
• Ngành Y tế và Trợ năng sinh học: Các bệnh viện và trung tâm phục hồi chức năng có thể ứng dụng công nghệ để tạo ra các phần mềm cá nhân hóa giọng nói cho bệnh nhân trước và sau phẫu thuật thanh quản.
• Cơ quan Báo chí và Xuất bản số: Dễ dàng số hóa kho sách báo thành định dạng âm thanh đa dạng giọng đọc vùng miền với chi phí tối thiểu.

---

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nền tảng nào?

Luận án đã mở rộng Lý thuyết bộ lọc nguồn (Source-Filter Theory) của Gunnar Fant vào kỷ nguyên học sâu bằng cách xây dựng cơ chế phân rã và điều phối đặc trưng ẩn không tự hồi quy. Thay vì chỉ phân tích tham số tuyến tính, luận án phi tuyến hóa quá trình trích xuất âm sắc thông qua module EMV và điều khiển phương sai độc lập (F0, duration, energy), giải quyết hoàn hảo bài toán tổng hợp tiếng nói có thanh điệu mà không làm méo dạng sóng âm học.

2. Điểm mới về mặt phương pháp luận của luận án khi so sánh với các nghiên cứu quốc tế tiêu biểu?

So với AdaSpeech (Chen et al., 2021) dựa trên tinh chỉnh chuẩn hóa lớp có điều kiện hay Tacotron 2 (Shen et al., 2018) dựa trên x-vector tự hồi quy, luận án đã:

• Tích hợp thành công mô hình khuếch tán DDPM vào khử nhiễu phổ Mel có điều kiện cho tiếng Việt (Adapt-TTS).
• Loại bỏ hoàn toàn sự phụ thuộc vào các vector phân loại nhận dạng (x-vector/d-vector), thay thế bằng vector EMV tối ưu hóa trực tiếp cho tái tạo phổ âm thanh, giúp giảm thời gian mẫu thích nghi xuống mức kỷ lục: 3 giây trong Zero-shot và 1 phút trong Few-shot.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất và bằng chứng dữ liệu hỗ trợ?

Phát hiện bất ngờ nhất là việc mô hình Zero-shot Adapt-TTS chỉ với 3 giây âm thanh mẫu lại đạt điểm tương đồng SIM và độ dễ hiểu WER vượt trội hơn mô hình tinh chỉnh truyền thống sử dụng 4 phút dữ liệu. Bằng chứng phân tích ANOVA trên kết quả MOS/SIM khẳng định sự khác biệt có ý nghĩa thống kê ở độ tin cậy 95% ($p < 0.05$), và biểu đồ phân bố không gian t-SNE chứng minh các điểm biểu diễn âm phổ của Adapt-TTS bao bọc sát sao phân phối của người nói gốc hơn các mô hình baseline.

4. Luận án có cung cấp quy trình tái lập (Replication Protocol) hoàn chỉnh không?

Hoàn toàn minh bạch và chi tiết. Luận án mô tả chính xác từng tham số kiến trúc (kích thước lớp ẩn, số đầu chú ý FFT, cấu hình bộ lọc Mel 80 kênh), thông số bộ căn chỉnh MFA, cấu hình huấn luyện mô hình khuếch tán, tập luật G2P cho từ mượn và cung cấp đầy đủ sơ đồ khối thiết kế mạch nhúng trên Raspberry Pi 4 Model B kèm giao diện ứng dụng di động/web.

5. Định hướng nghiên cứu 10 năm tới mở ra từ công trình này là gì?

Luận án mở đường cho hướng nghiên cứu Hệ thống giao tiếp đa phương thức biểu cảm cao (High-Expressive Multimodal Conversational Agents) trong thập kỷ tới: Kết hợp mô hình thích nghi giọng nói tức thì với các mô hình ngôn ngữ thị giác lớn (Vision-Language-Audio Models), tiến tới khả năng nhân bản giọng nói theo thời gian thực với đầy đủ sắc thái cảm xúc, phục vụ cho vũ trụ ảo (Metaverse), người kỹ thuật số (Digital Humans) và giao tiếp người - máy thông minh tối thượng.

---

Kết luận

Luận án tiến sĩ của NCS. Phạm Ngọc Phương đã hoàn thành xuất sắc toàn bộ các mục tiêu khoa học đề ra, ghi dấu 5 đóng góp học thuật và thực tiễn cốt lõi:

1. Xây dựng thành công quy trình tạo lập và làm giàu nhãn cơ sở dữ liệu tiếng nói tiếng Việt đa người nói chi phí thấp, giải quyết triệt để vấn đề từ mượn và ngắt nghỉ tự nhiên.
2. Đề xuất kỹ thuật Multi-pass fine-tune cho phép thích nghi giọng nói Few-shot chất lượng cao chỉ với 4 phút dữ liệu.
3. Sáng tạo module Extracting Mel-Vector (EMV) đại diện bản sắc người nói tối ưu, đạt độ hội tụ âm học vượt bậc chỉ với 1 phút âm thanh mẫu.
4. Tiên phong phát triển kiến trúc Adapt-TTS Zero-shot kết hợp EMV và mô hình khuếch tán DDPM, thực hiện nhân bản giọng nói hoàn hảo trong 3 giây mà không cần tái huấn luyện.
5. Hiện thực hóa và kiểm thử thành công hệ thống thích nghi giọng nói trên thiết bị phần cứng nhúng đa nền tảng.

Công trình tạo bước chuyển dịch mô hình (paradigm shift) từ các hệ thống TTS đơn người nói cồng kềnh sang hệ thống thích nghi cá nhân hóa siêu nhẹ, mở ra kỷ nguyên mới cho nghiên cứu xử lý tiếng nói và trí tuệ nhân tạo tương tác tại Việt Nam.

Trích đoạn nội dung tài liệu

Đặt vấn đề Tổng hợp tiếng nói nhân tạo đã được ứng dụng rộng rãi trong cuộc sống và từ lâu đã trở thành một chủ đề lớn trong nghiên cứu về trí tuệ nhân tạo, ngôn ngữ tự nhiên và xử lý giọng nói. Khi có sự phát triển của học sâu, tổng hợp tiếng nói dựa trên mạng nơ-ron đã phát triển mạnh, một lượng lớn công trình nghiên cứu tập trung vào các khía cạnh khác nhau của tổng hợp tiếng nói dựa trên mạng nơ- ron [9] [10] [11]. Do đó, chất lượng của tiếng nói tổng hợp đã được cải thiện đáng kể trong những năm gần đây. Mục tiêu quan trọng nhất của một hệ thống TTS là tổng hợp được tiếng nói chất lượng cao.

Chất lượng của tiếng nói được xác định bởi nhiều khía cạnh liên quan đến nhận thức lời nói, bao gồm tính dễ hiểu, tính tự nhiên, biểu cảm, ngữ điệu, cảm xúc, phong cách, độ mạnh mẽ, khả năng điều khiển giọng, v. Trong khi các phương pháp tiếp cận nơ-ron đã cải thiện đáng kể chất lượng của giọng nói tổng hợp đạt được như con người thì vẫn còn nhiều hướng đi nhằm cải tiến các tồn tại của hệ thống tổng hợp tiếng nói, trong đó thu nhỏ kích thước dữ liệu huấn luyện bằng các kỹ thuật thích nghi là cách tiếp cận phổ biến và chiếm ưu thế nhất [12] [13] [14]. Tổng quan về tổng hợp tiếng nói và tổng hợp thích nghi 1. Tổng hợp tiếng nói Trước khi nói về tổng hợp tiếng nói, cần phân tích bản chất cách con người tạo ra âm thanh và tiếng nói.

Âm thanh và tiếng nói của con người được tạo ra bởi sự tương tác phức tạp của các thành phần trong cơ thể người. Hầu hết các âm thanh và tiếng nói đều bắt đầu bằng hệ thống hô hấp, hệ thống này sẽ đẩy không khí ra khỏi phổi theo mô tả trong Hình 1. Hình 1: Cấu tạo bộ lọc nguồn tạo ra âm thanh và lời nói của con người [15] Theo lý thuyết bộ lọc nguồn [15], luồng không khí từ phổi gây ra rung động ở nếp gấp thanh quản, nơi tạo ra âm thanh nguồn. Bộ lọc âm định hình cấu trúc phổ của âm thanh nguồn.

Âm thanh và lời nói được lọc cuối cùng được phát ra từ miệng. Có thể mô tả chi tiết như sau: Không khí đi qua khí quản và đi vào thanh quản, nơi có hai nếp gấp cơ nhỏ, được gọi là “Nếp gấp thanh quản”. Khi các nếp gấp thanh âm được tập trung lại với nhau để tạo thành một đường dẫn khí hẹp, luồng khí làm cho chúng dao động theo chu kỳ. Các rung động nếp gấp thanh quản điều chỉnh áp suất không khí và tạo ra âm thanh tuần hoàn.

Những âm thanh được tạo ra, khi các nếp gấp thanh quản rung động, được gọi là “âm hữu thanh”, trong khi âm thanh mà các nếp gấp thanh quản không rung động được gọi là “âm 7 vô thanh”. Các đường dẫn khí phía trên thanh quản được gọi là “Dây thanh quản”. Các luồng không khí hỗn loạn được tạo ra tại các phần bị co thắt của thanh môn hoặc thanh quản cũng góp phần tạo ra âm thanh nguồn không theo chu kỳ được phân phối trên một dải tần số rộng. Hình dạng của đường thanh âm và vị trí của các khớp nối (tức là hàm, lưỡi, vật đệm, môi, miệng, răng và vòm miệng cứng) là yếu tố quan trọng để xác định đặc trưng âm học của tiếng nói.

Trạng thái của các nếp gấp thanh âm cũng như vị trí, hình dạng và kích thước của các khớp nối thay đổi theo thời gian để tạo ra các âm thanh khác nhau một cách tuần tự. Con người có thể kiểm soát quá trình phát âm (tạo nguồn) và đọc âm (lọc) một cách độc lập. Do đó, âm thanh và lời nói được coi là phản ứng của bộ lọc đường âm, nơi cung cấp nguồn âm thanh. Để mô hình hóa các hệ thống lọc nguồn như vậy cho việc tạo ra tiếng nói, nguồn âm thanh hoặc tín hiệu kích thích x(t) thường được thực hiện như một hệ thống phát xung định kỳ cho giọng nói, trong khi tiếng ồn trắng được sử dụng làm nguồn cho lời nói không chỉnh âm.

Nếu cấu hình đường âm không thay đổi theo thời gian, bộ lọc đường âm sẽ trở thành một hệ thống tuyến tính bất biến theo thời gian (LTI) và tín hiệu đầu ra y(t) có thể được biểu thị bằng tích chập của tín hiệu đầu vào x(t) và đáp ứng xung của hệ thống h(t) như công thức sau: y(t) = h(t) ∗ x(t), (1.1) trong đó dấu hoa thị * biểu thị tích chập. Phương trình trên được mô tả trong miền thời gian, cũng có thể được biểu diễn trong miền tần số như sau: Y(ω) = H(ω) X(ω).2) 8 Công thức miền tần số cho biết rằng phổ giọng nói Y(ω) được mô hình hóa như một sản phẩm của phổ âm thanh nguồn X(ω) và phổ âm thanh của bộ lọc đường âm H(ω). Phổ của bộ lọc đường âm H(ω) được biểu thị bằng tích của hàm truyền qua đường thanh âm T(ω) và các đặc tính bức xạ từ miệng và mũi R(ω), nghĩa là: Y(ω)=[T(ω) R(ω)]X(ω).3) Dựa trên nguyên tắc tổng hợp tiếng nói tự nhiên, việc tổng hợp tiếng nói nhân tạo cũng theo nguyên tắc với đầu vào dựa trên tiếng nói tự nhiên của con người nhằm tạo ra một mô hình tổng hợp, sau cùng có thể dùng mô hình tổng hợp này để sinh tiếng nói ngẫu nhiên bằng đầu vào văn bản hoặc các mã hóa ngữ âm (âm vị, mã âm thanh, mã phần cứng). Hình 2 mô tả trực quan quá trình tổng hợp tiếng nói nhân tạo.

Quá trình Quá trình Nhãn văn bản huấn luyện tổng hợp (X) Mô hình tổng hợp Tiếng nói tự nhiên Tiếng nói nhân tạo của con người (y) (Y) Văn bản hoặc mã hóa ngữ âm (x) Hình 2: Mô hình tổng hợp tiếng nói nhân tạo Khái niệm tổng hợp tiếng nói Tổng hợp tiếng nói (Speech Synthesis) là quá trình tạo ra tiếng nói con người một cách nhân tạo từ đầu vào là văn bản hoặc các mã hóa ngữ âm. Tổng hợp tiếng nói chính là một phần trong lĩnh vực xử lý ngôn ngữ tự nhiên. Chuyển đổi văn bản thành tiếng nói (Text to Speech – viết tắt là TTS) là một công nghệ quan trọng trong tổng hợp tiếng nói, công nghệ này tạo ra sóng âm tiếng nói đầu ra một cách tùy ý từ văn bản bằng đầu vào. Nghiên cứu của luận án là một nhánh nằm trong tổng hợp tiếng nói từ văn bản (TTS).

Có thể mô tả hệ thống TTS bằng mô hình tính xác suất phân phối dự đoán: 𝑝(𝑦|𝑥, 𝑌, 𝑋) (1.4) 9 trong đó, 𝑌 là âm thanh tiếng nói dùng để huấn luyện và 𝑋 là văn bản gán nhãn tương ứng, x là văn bản đầu vào và y là tiếng nói cần tổng hợp. Nếu coi 𝑜 và 𝒪 lần lượt là đặc trưng âm học của y và Y, l và L lần lượt là đặc trưng ngôn ngữ của x và X, 𝜆 là mô hình, thì ta có thể biểu diễn biểu thức trên dưới dạng các biến đại diện và phục thuộc như sau: 𝑦𝑜 𝑜 𝑙, 𝜆 𝑙𝜆 𝑙𝑥 ( | 𝒪) (𝒪| , ) ( ) ( | ) 𝑝(𝑦|𝑥, 𝑌, 𝑋) = ∭ ∑∀ ∑∀ ( ) 𝑑𝑜𝑑𝒪𝑑𝜆 (1. Phân loại các phương pháp tổng hợp tiếng nói Có thể phân loại các nghiên cứu về tổng hợp tiếng nói theo các nhóm sau: *Tổng hợp dựa trên khớp nối (Articulatory Synthesis): Tổng hợp khớp nối [16] tạo ra tiếng nói bằng cách mô phỏng hành vi của bộ phận khớp nối của con người như môi, lưỡi, thanh quản và đường thanh âm chuyển động. Tuy nhiên, rất khó để mô hình hóa các hành vi của khớp nối này hoạt động trong thực tế.

Do đó, chất lượng giọng nói do tổng hợp khớp nối thường kém hơn so với chất lượng giọng nói bằng các kỹ thuật tổng hợp sau này. *Tổng hợp formant (Formant Synthesis): Tổng hợp formant [17] tạo ra lời nói dựa trên một tập hợp các quy tắc điều khiển mô hình bộ lọc nguồn đơn giản hóa. Các lời nói được tổng hợp bởi một mô-đun tổng hợp phụ và một mô hình âm học với các thông số khác nhau như tần số cơ bản, giọng nói và mức tiếng ồn. Tổng hợp formant có thể tạo ra giọng nói dễ hiểu với tài nguyên tính toán vừa phải, phù hợp với các hệ thống nhúng và không dựa vào kho ngữ liệu giọng nói của con người quy mô lớn như trong tổng hợp ghép nối.

Tuy nhiên, giọng nói 10 tổng hợp nghe kém tự nhiên hơn và hơi máy. Hơn nữa, rất khó để xác định các quy tắc tổng hợp. *Tổng hợp dựa trên ghép nối (Concatenative Synthesis): Tổng hợp dựa trên ghép nối [18] dựa vào việc nối các đoạn lời nói được lưu trữ trong cơ sở dữ liệu. Cách này chỉ thực sự hiệu quả khi bộ dữ liệu âm thanh đủ lớn cả về kích thước, độ đa dạng phát âm và các đặc trưng phổ âm thanh.

Có ba kiểu tổng hợp ghép nối: Tổng hợp chọn đơn vị âm; Tổng hợp âm kép (dipphone) và; Tổng hợp chuyên ngành. Tuy nhiên, TTS dựa trên ghép nối yêu cầu cơ sở dữ liệu ghi âm khổng lồ, bao gồm tất cả các xác suất kết hợp có thể có của các đơn vị tiếng nói. Một nhược điểm nữa là giọng nói được tạo ra kém tự nhiên và kém tính truyền cảm do điểm ghép nối kém mượt do sự căng thẳng, cảm xúc, ngữ điệu, khác nhau tại từng thời điểm thu âm. *Tổng hợp dựa trên tham số thống kê (Statistical Parametric Synthesis- SPSS): Để giải quyết những hạn chế của TTS ghép nối, tổng hợp tiếng nói tham số thống kê (SPSS) được đề xuất [19].

Ý tưởng cơ bản là thay vì tạo trực tiếp dạng sóng thông qua ghép nối, trước tiên có thể tạo ra các tham số âm thanh [20] [21] cần thiết để tạo ra giọng nói, sau đó khôi phục giọng nói từ các tham số âm thanh đã tạo bằng một số thuật toán [22] [23] [24]. Trích rút đặc Tổng hợp tham Bộ phát âm Văn Sóng âm trưng ngôn ngữ số thống kê (Vocoder) bản Hình 3: Tổng hợp tiếng nói dựa trên tham số thống kê SPSS thường bao gồm ba thành phần: một mô-đun phân tích văn bản nhằm trích rút đặc trưng ngôn ngữ ; một mô-đun dự đoán tham số thống kê (mô hình âm học) và một mô-đun phân tích, tổng hợp thành sóng âm. Có thể mô tả các mô- đun trong Hình 3. SPSS có một số ưu điểm so với các hệ thống TTS trước đây: 1) Tính tự nhiên, âm thanh tự nhiên hơn; 2) Tính linh hoạt, để sửa đổi các tham số một cách thuận tiện để kiểm soát lời nói tạo ra; 3) Chi phí dữ liệu thấp, yêu cầu ít bản ghi hơn so với tổng hợp ghép nối.