CHƯƠNG 1. CƠ SỞ LÝ THUYẾT VÀ CÁC CÔNG TRÌNH NGHIÊN CỨU 1 1. Giới thiệu chung. Sơ bộ nghiên cứu về các phương pháp truyền thống.
Tổng hợp tiếng nói. Lựa chọn Vocoder. Tổng hợp tiếng Việt có cảm xúc. Các nghiên cứu trên thế giới.
Tổng hợp tiếng nói. Tổng hợp tiếng nói có cảm xúc. Các nghiên cứu đã công bố trong tiếng Việt. HMM-based TTS for hanoi Vietnamese: Issues in design and evaluation.
Development of Vietnamese Speech Synthesis System using Deep Neural Networks. Alternative Vietnamese Speech Synthesis with Phoneme Structure. Vietnamese Speech Synthesis with End-to-end Model. Tổng hợp tiếng Việt có cảm xúc với các chất giọng khác nhau và có biểu lộ cảm xúc.
Các bộ dữ liệu được công bố. Bộ dữ liệu cảm xúc nước ngoài. Bộ dữ liệu cảm xúc trong nước. Các đề xuất giải quyết cho bài toán tổng hợp tiếng Việt có cảm xúc.
TỔNG HỢP TIẾNG VIỆT CÓ CẢM XÚC. 19 i luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep 2. Bộ dữ liệu AnSpeech. Mô hình đề xuất.
Huấn luyện mô hình tổng hợp tiếng nói. Quy trình huấn luyện. Biến thể của Tacotron 2. Biến đổi phong cách, cảm xúc của tiếng nói.
Sơ đồ quá trình tạo tiếng nói bình thường. Sơ đồ quá trình tạo tiếng nói cảm xúc. Quá trình hoạt động. Huấn luyện mô hình.
Thiết kế thử nghiệm. Thí nghiệm 01 – Mô hình M1. Thí nghiệm 02 – Mô hình M2. Thí nghiệm 03 – Mô hình M3.
Thí nghiệm 04 – Mô hình M4. Thí nghiệm 05 – Chuyển đổi cảm xúc. Thí nghiệm 06 – Đánh giá phần cứng. ĐÁNH GIÁ KẾT QUẢ TỔNG HỢP.
Công cụ đánh giá. Tổng hợp kết quả đánh giá. 37 ii luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep 3. Thang đo Mean Opinion Score (MOS).
Trực quan hóa dữ liệu bằng T-distributed Stochastic Neighbor Embedding48 3. KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN. Định hướng phát triển. 55 DANH MỤC TÀI LIỆU THAM KHẢO.
56 iii luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC HÌNH ẢNH Hình 1. 1 Ví dụ minh hóa biến đổi văn bản đầu vào theo mức âm vị và mức ký tự14 Hình 2. 1: Histogram số lượng từ trong bộ ngữ liệu AnSpeech. 2: Kiến thức mô hình tổng hợp tiếng Việt được đề xuất.
3: Tiền xử lý dữ liệu âm thanh và transcripts. 4: Quy trình huấn luyện mô hình tổng hợp tiếng Việt trần thuật được đề xuất. 5: Kiến trúc mô hình Tacotron2 chỉnh sửa. 6: Sơ đồ kiến trúc Flowtron.
7: Sơ đồ khởi tạo tiếng nói cảm xúc bình thường. 8: Quá trình chuyển đổi cảm xúc trong tiếng Việt. 9: Các thí nghiệm nhóm 1 và luồng lưu trữ. 10: Ví dụ minh họa quá trình chuyển đổi Z.
1: Màn hình chính và hướng dẫn khảo sát. 2: Màn hình thực hiện khảo sát. 3: So sánh giữa các câu trong và ngoài tệp huấn luyện của cảm xúc BT của người đánh giá Nữ. 4: So sánh giữa các câu trong và ngoài tệp huấn luyện của cảm xúc Buồn của người đánh giá Nữ.
5 So sánh giữa các câu trong và ngoài tệp huấn luyện của cảm xúc Vui của người đánh giá Nữ. 6 So sánh giữa các câu trong và ngoài tệp huấn luyện của cảm xúc BT của người đánh giá Nam. 7 So sánh giữa các câu trong và ngoài tệp huấn luyện của cảm xúc Buồn của người đánh giá Nam. 8 So sánh giữa các câu trong và ngoài tập huấn luyện của cảm xúc Vui của người đánh giá Nam.
9 MOS trung bình của 3 cảm xúc với 2 phương diện của người đánh giá Nam. 46 iv luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep Hình 3. 10 MOS trung bình của 3 cảm xúc trên 2 phương diện của người đánh giá Nữ. 11 Đồ thị phân bố các giá trị trên miền Z theo 3 cảm xúc của nghệ sĩ N.
12 Đồ thị phân bố các giá trị trên miền Z theo 3 cảm xúc của nghệ sĩ N. 13 Đồ thị tSNE- biểu diễn phân bổ trên miền Z của các câu tổng hợp trần thuật, các câu cảm xúc buồn huấn luyện và câu tổng hợp cảm xúc Buồn. 14 Đồ thị tSNE- biểu diễn phân bổ trên miền Z của các câu tổng hợp trần thuật, các câu cảm xúc vui huấn luyện và câu tổng hợp cảm xúc Vui. 15 Đồ thị tSNE- biểu diễn phân bổ trên miền Z của tất cả các câu tổng hợp, âm thanh của nghệ sĩ N.T trong 3 cảm xúc khác nhau.
51 v luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC BẢNG Bảng 1-1. Thang đo MOS của hệ thống GST-Tacotron2 trên ngôn ngữ Hàn quốc 5 Bảng 1-2. Tham số ABX giữa mô hình GST và mô hình đề xuất. Subject preference (%) và p-values của GST với Tacotron làm cơ sở.
Tổng hợp điểm số đánh giá chủ quan và khách quan của mô hình đề xuất với mô hình cơ bản. So sánh điểm MOS của: DeepEST, VAW-GAN-EVE và câu thực tế 10 Bảng 1-6. Độ méo phổ của DeepEST trong giọng nam, nữ với 3 cảm xúc .