Nghiên Cứu Phát Triển Hệ Thống Tổng Hợp Tiếng Nói Tiếng Việt Sử Dụng Công Nghệ Học Sâu

• Tác giả: Nguyễn Văn Thành
• Người hướng dẫn: TS. Mạc Đăng Khoa
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nghiên Cứu Phát Triển Hệ Thống Tổng Hợp Tiếng Nói Tiếng Việt Sử Dụng Công Nghệ Học Sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

• LỜI CẢM ƠN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT VÀ THUẬT NGỮ
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TỔNG HỢP TIẾNG NÓI
• 1.1. Giới thiệu về tổng hợp tiếng nói
• 1.1. Tổng quan về tổng hợp tiếng nói
• 1.2. Xử lý ngôn ngữ tự nhiên trong tổng hợp tiếng nói
• 1.3. Tổng hợp tín hiệu tiếng nói
• 1.4. Các phương pháp tổng hợp tiếng nói
• 1.4.1. Tổng hợp mô phỏng hệ thống phát âm
• 1.4.2. Tổng hợp tần số formant
• 1.4.3. Tổng hợp ghép nối
• 2. CHƯƠNG 2: PHƯƠNG PHÁP HỌC SÂU ÁP DỤNG TRONG TỔNG HỢP TIẾNG NÓI
• 2.1. Kỹ thuật học sâu sử dụng mạng nơ ron nhân tạo
• 2.1.1. Những mạng nơ ron cơ bản
• 2.1.2. Mạng nơ ron học sâu
• 2.2. Tổng hợp tiếng nói dựa trên phương pháp học sâu
• 2.2.1. Trích chọn các đặc trưng ngôn ngữ
• 2.2.2. Mô hình âm học dựa trên mạng nơ ron học sâu
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG TỔNG HỢP TIẾNG NÓI TIẾNG VIỆT VỚI CÔNG NGHỆ HỌC SÂU
• 3.1. Giới thiệu hệ thống Viettel TTS
• 3.2. Kiến trúc tổng quan của hệ thống Viettel TTS
• 3.3. Xây dựng các mô đun của hệ thống tổng hợp tiếng nói
• 3.3.1. Mô đun chuẩn hóa văn bản đầu vào
• 3.3.2. Mô đun trích chọn đặc trưng ngôn ngữ
• 3.3.3. Mô đun tạo tham số đặc trưng âm học
• 3.3.4. Mô đun tổng hợp tiếng nói từ các đặc trưng âm học
• 3.4. Xây dựng cơ sở dữ liệu và huấn luyện hệ thống
• 3.4.1. Thu thập dữ liệu cho hệ thống tổng hợp tiếng nói
• 3.4.2. Huấn luyện hệ thống
• 3.5. Xử lý dữ liệu huấn luyện để nâng cao chất lượng đầu ra
• 4. CHƯƠNG 4: CÀI ĐẶT THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Cài đặt thử nghiệm hệ thống
• 4.2. Đánh giá kết quả thử nghiệm hệ thống
• 4.2.1. Đánh giá chất lượng bộ tổng hợp dùng DNN so với HMM
• 4.2.2. Đánh giá kết quả của việc cải thiện cơ sở dữ liệu huấn luyện
• 4.2.3. Đánh giá so sánh chất lượng hệ thống tổng hợp tiếng nói so với các hệ thống tổng hợp tiếng Việt hiện có
• 4.2.4. Đánh giá hiệu năng hệ thống
• 4.3. Phương hướng phát triển và cải thiện hệ thống
• TÀI LIỆU THAM KHẢO
• Phụ lục A: Cấu trúc của một nhóm biểu diễn ngữ cảnh của âm vị
• Phụ lục B: Các công bố khoa học của luận văn

I. Tổng Quan Nghiên Cứu Hệ Thống Tổng Hợp Tiếng Nói Tiếng Việt

Tổng hợp tiếng nói, hay TTS Tiếng Việt, là quá trình tạo ra tiếng nói từ văn bản. Một hệ thống Text-to-Speech Tiếng Việt nhận văn bản và tạo ra tín hiệu âm thanh tương ứng. Nghiên cứu trong lĩnh vực này đã có từ lâu, bắt đầu từ những nỗ lực mô phỏng cơ quan phát âm của con người. Các hệ thống hiện đại đã đạt được những tiến bộ đáng kể nhờ vào sự phát triển của công nghệ điện tử và xử lý tín hiệu số. Ngày nay, công nghệ tổng hợp tiếng nói được ứng dụng rộng rãi trong sách nói, trợ lý ảo và nhiều ứng dụng khác. Về cơ bản, một hệ thống tổng hợp âm thanh Tiếng Việt bao gồm hai thành phần chính: xử lý ngôn ngữ tự nhiên và tổng hợp tín hiệu tiếng nói. Quá trình xử lý ngôn ngữ tự nhiên chuẩn hóa văn bản đầu vào. Phần tổng hợp tín hiệu tiếng nói tạo ra tín hiệu âm thanh từ các thành phần ngữ âm.

1.1. Lịch sử phát triển của công nghệ TTS Tiếng Việt

Nghiên cứu về tổng hợp tiếng nói bắt đầu từ năm 1779 khi Christian Kratzenstein xây dựng mô phỏng đơn giản hệ thống cấu âm. Đến thế kỷ 20, hệ thống VODER được giới thiệu vào năm 1939. Ngày nay, TTS Tiếng Việt được tích hợp trong nhiều sản phẩm như sách nói và trợ lý ảo. Sự phát triển của công nghệ tổng hợp tiếng nói đang diễn ra mạnh mẽ trên toàn thế giới.

1.2. Các thành phần chính của hệ thống tổng hợp tiếng nói

Hệ thống tổng hợp tiếng nói gồm hai phần chính: xử lý ngôn ngữ tự nhiên và tổng hợp tín hiệu. Xử lý ngôn ngữ tự nhiên chuẩn hóa văn bản. Tổng hợp tín hiệu tạo âm thanh từ ngữ âm. Các hệ thống TTS Tiếng Việt tốt cần cả hai thành phần này hoạt động hiệu quả. Một ví dụ về kiến trúc hệ thống tổng hợp tiếng nói được trình bày trong tài liệu gốc (Hình 1).

II. Thách Thức Vấn Đề Trong Tổng Hợp Tiếng Nói Tiếng Việt

Các hệ thống tổng hợp âm thanh Tiếng Việt hiện tại đối mặt với nhiều thách thức. Chất lượng âm thanh tổng hợp đôi khi không tự nhiên. Cần cải thiện khả năng chuyển văn bản thành giọng nói Tiếng Việt để giọng nói gần gũi với con người hơn. Hơn nữa, cần giải quyết vấn đề về ngữ điệu và biểu cảm trong giọng nói nhân tạo. Các hệ thống hiện tại thường thiếu sự linh hoạt trong việc điều chỉnh giọng nói cho phù hợp với các ngữ cảnh khác nhau. Vì vậy, cần tập trung vào phát triển các phương pháp tổng hợp tiếng nói mới để vượt qua những hạn chế này và tạo ra giọng nói giọng nói nhân tạo Tiếng Việt tự nhiên và biểu cảm hơn.

2.1. Hạn chế về chất lượng âm thanh và tính tự nhiên

Các hệ thống TTS Tiếng Việt hiện tại đôi khi tạo ra âm thanh không tự nhiên. Việc tạo ra giọng nói gần gũi với giọng người thật là một thách thức lớn. Cần nghiên cứu các phương pháp để cải thiện chất lượng âm thanh và tính tự nhiên của giọng nói.

2.2. Thiếu sự linh hoạt và khả năng tùy biến của giọng nói

Hệ thống hiện tại thiếu linh hoạt trong việc điều chỉnh giọng nói cho các ngữ cảnh khác nhau. Cần phát triển các phương pháp để tùy biến giọng nói cho phù hợp với từng ứng dụng cụ thể. Điều này bao gồm cả việc điều chỉnh ngữ điệu, tốc độ và âm lượng của giọng nói.

2.3. Khó khăn trong việc tạo ngữ điệu và biểu cảm tự nhiên

Ngữ điệu và biểu cảm là yếu tố quan trọng của giọng nói. Các hệ thống TTS Tiếng Việt hiện tại gặp khó khăn trong việc tạo ra ngữ điệu tự nhiên. Cần nghiên cứu các phương pháp để mô phỏng ngữ điệu và biểu cảm của giọng người thật.

III. Phương Pháp Học Sâu Cho Hệ Thống Tổng Hợp Tiếng Nói Tiếng Việt

Phương pháp học sâu (Deep Learning) đang trở thành một giải pháp hiệu quả cho TTS Tiếng Việt. Mạng nơ-ron sâu (DNN) có khả năng học các mối quan hệ phức tạp giữa văn bản và âm thanh. Các mô hình học sâu cho TTS Tiếng Việt có thể tạo ra giọng nói tự nhiên hơn so với các phương pháp truyền thống. Việc sử dụng mô hình học sâu cho TTS Tiếng Việt giúp hệ thống tự động học các đặc trưng quan trọng của ngôn ngữ. Điều này giúp giảm bớt công sức của các chuyên gia trong việc thiết kế các quy tắc và thuật toán thủ công. Do đó, việc ứng dụng học sâu mang lại nhiều tiềm năng cho việc cải thiện chất lượng và tính tự nhiên của giọng nói tổng hợp.

3.1. Ứng dụng mạng nơ ron sâu DNN trong tổng hợp tiếng nói

Mạng nơ-ron sâu (DNN) có khả năng học các mối quan hệ phức tạp giữa văn bản và âm thanh. DNN có thể được sử dụng để dự đoán các tham số âm học từ văn bản. Các mô hình DNN có thể tạo ra giọng nói tự nhiên hơn so với các phương pháp truyền thống.

3.2. Lợi ích của học sâu so với các phương pháp truyền thống

Học sâu giúp hệ thống tự động học các đặc trưng quan trọng của ngôn ngữ. Điều này giúp giảm bớt công sức của các chuyên gia. Các mô hình học sâu có thể tạo ra giọng nói tự nhiên và biểu cảm hơn. Bảng so sánh giữa HMM và DNN có thể được tìm thấy trong tài liệu gốc (Bảng 1).

3.3. Các mô hình học sâu phổ biến cho TTS Tiếng Việt

Có nhiều mô hình học sâu khác nhau có thể được sử dụng cho TTS Tiếng Việt, bao gồm mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi quy (RNN) và mạng biến áp (Transformer). Mỗi mô hình có những ưu điểm và nhược điểm riêng. Việc lựa chọn mô hình phù hợp phụ thuộc vào yêu cầu cụ thể của ứng dụng.

IV. Xây Dựng Hệ Thống Tổng Hợp Tiếng Nói Tiếng Việt Với Học Sâu

Xây dựng một hệ thống tổng hợp âm thanh Tiếng Việt bằng công nghệ học sâu đòi hỏi nhiều bước. Đầu tiên, cần chuẩn hóa văn bản đầu vào. Tiếp theo, trích chọn các đặc trưng ngôn ngữ quan trọng. Sau đó, sử dụng mạng nơ-ron sâu để tạo ra các tham số âm học. Cuối cùng, sử dụng bộ mã hóa âm thanh (vocoder) để tạo ra tín hiệu giọng nói nhân tạo Tiếng Việt từ các tham số âm học. Việc huấn luyện hệ thống đòi hỏi một lượng lớn dữ liệu âm thanh và văn bản được gán nhãn chính xác. Quá trình huấn luyện cần được thực hiện cẩn thận để đảm bảo hệ thống hoạt động tốt.

4.1. Quy trình chuẩn hóa văn bản đầu vào cho TTS

Chuẩn hóa văn bản là bước quan trọng để đảm bảo hệ thống hoạt động chính xác. Quá trình này bao gồm việc chuyển đổi số, viết tắt và các ký tự đặc biệt thành dạng văn bản đầy đủ. Việc chuẩn hóa văn bản giúp hệ thống hiểu được nội dung của văn bản và tạo ra giọng nói phù hợp.

4.2. Trích chọn đặc trưng ngôn ngữ và âm học

Việc trích chọn các đặc trưng ngôn ngữ và âm học quan trọng giúp hệ thống hiểu rõ hơn về cấu trúc và ngữ nghĩa của văn bản. Các đặc trưng ngôn ngữ bao gồm thông tin về từ loại, cú pháp và ngữ pháp. Các đặc trưng âm học bao gồm thông tin về tần số, biên độ và thời lượng của âm thanh.

4.3. Sử dụng vocoder để tạo tín hiệu âm thanh

Bộ mã hóa âm thanh (vocoder) được sử dụng để tạo ra tín hiệu âm thanh từ các tham số âm học. Vocoder là một thành phần quan trọng của hệ thống TTS Tiếng Việt và có ảnh hưởng lớn đến chất lượng âm thanh của giọng nói tổng hợp.

V. Đánh Giá Cải Tiến Hệ Thống Tổng Hợp Tiếng Nói Tiếng Việt

Việc đánh giá chất lượng của hệ thống TTS Tiếng Việt là rất quan trọng. Các phương pháp đánh giá bao gồm đánh giá chủ quan (MOS) và đánh giá khách quan. Đánh giá chủ quan dựa trên ý kiến của người nghe. Đánh giá khách quan sử dụng các chỉ số đo lường chất lượng âm thanh. Kết quả đánh giá giúp xác định các vấn đề cần cải thiện trong hệ thống. Các phương pháp cải tiến bao gồm việc sử dụng dữ liệu huấn luyện chất lượng cao hơn, điều chỉnh các tham số của mô hình học sâu và áp dụng các kỹ thuật xử lý tín hiệu tiên tiến. Hiệu năng của hệ thống cũng cần được đánh giá và tối ưu.

5.1. Phương pháp đánh giá chủ quan MOS và khách quan

Đánh giá chủ quan (MOS) dựa trên ý kiến của người nghe về chất lượng âm thanh, tính tự nhiên và dễ hiểu. Đánh giá khách quan sử dụng các chỉ số đo lường như độ méo, độ nhiễu và độ chính xác của âm thanh.

5.2. Các chỉ số đánh giá chất lượng hệ thống TTS Tiếng Việt

Các chỉ số đánh giá chất lượng bao gồm MOS (Mean Opinion Score), WER (Word Error Rate) và PER (Phoneme Error Rate). MOS đánh giá tính tự nhiên và dễ nghe. WER và PER đánh giá độ chính xác của hệ thống trong việc chuyển văn bản thành âm thanh.

5.3. Các phương pháp cải tiến chất lượng âm thanh tổng hợp

Việc cải thiện chất lượng âm thanh có thể được thực hiện bằng cách sử dụng dữ liệu huấn luyện chất lượng cao hơn, điều chỉnh các tham số của mô hình học sâu và áp dụng các kỹ thuật xử lý tín hiệu tiên tiến. Các kỹ thuật này bao gồm giảm nhiễu, cân bằng âm lượng và cải thiện ngữ điệu.

VI. Tương Lai Ứng Dụng Của Tổng Hợp Tiếng Nói Tiếng Việt

Tương lai của TTS Tiếng Việt rất hứa hẹn. Với sự phát triển của AI tạo giọng nói Tiếng Việt, voice cloning Tiếng Việt và custom voice Tiếng Việt, hệ thống tổng hợp sẽ ngày càng tự nhiên và biểu cảm. Ứng dụng của tổng hợp âm thanh Tiếng Việt sẽ mở rộng sang nhiều lĩnh vực, bao gồm trợ lý ảo, sách nói, giáo dục và giải trí. Việc phát triển các hệ thống TTS Tiếng Việt hiệu quả sẽ mang lại nhiều lợi ích cho xã hội.

6.1. Tiềm năng phát triển của công nghệ TTS Tiếng Việt

Công nghệ TTS Tiếng Việt có tiềm năng phát triển rất lớn. Với sự tiến bộ của AI và học sâu, các hệ thống TTS sẽ ngày càng tự nhiên và biểu cảm hơn. Các ứng dụng của TTS Tiếng Việt sẽ ngày càng đa dạng và phong phú.

6.2. Ứng dụng trong trợ lý ảo giáo dục và giải trí

TTS Tiếng Việt có thể được sử dụng trong trợ lý ảo để cung cấp thông tin và hỗ trợ người dùng. Trong giáo dục, TTS có thể giúp học sinh và sinh viên học tập hiệu quả hơn. Trong giải trí, TTS có thể được sử dụng để tạo ra các nhân vật ảo và giọng đọc cho sách nói.

6.3. Nghiên cứu cơ sở dữ liệu giọng nói Tiếng Việt chất lượng cao

Việc xây dựng cơ sở dữ liệu giọng nói Tiếng Việt chất lượng cao là rất quan trọng để phát triển các hệ thống TTS hiệu quả. Cơ sở dữ liệu này cần bao gồm nhiều giọng nói khác nhau, với nhiều phong cách và biểu cảm khác nhau.

Tổng quan nghiên cứu

Tổng hợp tiếng nói là lĩnh vực nghiên cứu và phát triển công nghệ nhằm tạo ra tiếng nói nhân tạo từ văn bản, phục vụ nhiều ứng dụng như trợ lý ảo, tổng đài tự động, và các hệ thống giao tiếp người-máy. Tại Việt Nam, tổng hợp tiếng nói tiếng Việt đã có nhiều bước tiến đáng kể với các hệ thống như VietVoice, VnSpeech, Vais, FPT TTS, và Hoa Súng. Tuy nhiên, các phương pháp truyền thống như tổng hợp ghép nối và tổng hợp dựa trên mô hình Markov ẩn (HMM) vẫn còn tồn tại hạn chế về chất lượng âm thanh và độ tự nhiên của giọng nói.

Luận văn tập trung nghiên cứu phát triển hệ thống tổng hợp tiếng nói tiếng Việt sử dụng công nghệ học sâu (Deep Neural Network - DNN), nhằm nâng cao chất lượng giọng tổng hợp, gần gũi với giọng nói tự nhiên hơn. Nghiên cứu được thực hiện trong môi trường làm việc tại Trung tâm Không gian mạng Viettel và Viện Nghiên cứu Quốc tế MICA, với bộ dữ liệu huấn luyện gồm khoảng 3500 câu văn và 6,5 giờ ghi âm. Mục tiêu chính là xây dựng hệ thống tổng hợp tiếng nói có độ chính xác cao, cải thiện đáng kể về độ tự nhiên và độ hiểu so với các hệ thống hiện có, đồng thời đề xuất các giải pháp xử lý dữ liệu nhằm nâng cao chất lượng đầu ra.

Nghiên cứu có ý nghĩa quan trọng trong việc phát triển các ứng dụng trí tuệ nhân tạo tại Việt Nam, góp phần thúc đẩy công nghệ xử lý ngôn ngữ tự nhiên và tổng hợp tiếng nói, đồng thời hỗ trợ các dịch vụ chăm sóc khách hàng tự động và các sản phẩm công nghệ thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính sau:

• Mô hình Markov ẩn (Hidden Markov Model - HMM): Là mô hình thống kê phổ biến trong tổng hợp tiếng nói truyền thống, mô phỏng chuỗi âm vị dựa trên xác suất chuyển trạng thái và phân phối tham số âm học. HMM được sử dụng để huấn luyện và tổng hợp tham số âm học từ dữ liệu.

• Mạng nơ ron học sâu (Deep Neural Network - DNN): Mạng nơ ron nhiều lớp với khả năng mô hình hóa các quan hệ phi tuyến phức tạp giữa đặc trưng ngôn ngữ và đặc trưng âm học. DNN được áp dụng để thay thế mô hình HMM, giúp cải thiện chất lượng tổng hợp tiếng nói.

• Các khái niệm chính:

  • Đặc trưng ngôn ngữ học (Linguistic Features): Bao gồm thông tin về âm vị, vị trí âm trong từ, từ trong câu, thanh điệu, và các đặc trưng ngữ cảnh.
  • Đặc trưng âm học (Acoustic Features): Bao gồm tần số cơ bản (F0), phổ quang phổ (spectral envelope), và các thành phần không tuần hoàn (aperiodicity).
  • Vocoder: Bộ phân tích và tổng hợp tín hiệu âm thanh, trong nghiên cứu sử dụng WORLD vocoder để chuyển đổi đặc trưng âm học thành tín hiệu âm thanh.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Bộ dữ liệu gồm 3504 câu văn tiếng Việt, tương ứng khoảng 6,5 giờ ghi âm, thu thập từ các nguồn phát thanh trực tuyến và internet, được xử lý và chuẩn hóa kỹ lưỡng nhằm đảm bảo chất lượng.

• Phương pháp phân tích:

  • Xử lý ngôn ngữ tự nhiên để trích chọn đặc trưng ngôn ngữ học từ văn bản đầu vào, bao gồm phân đoạn từ, gán nhãn từ loại, phân tích cụm từ và chuyển đổi sang chuỗi âm vị.
  • Huấn luyện mô hình DNN với 6 lớp ẩn, mỗi lớp 1024 nơ ron, sử dụng hàm kích hoạt tanh và thuật toán tối ưu Stochastic Gradient Descent (SGD).
  • Sử dụng mô hình Duration Model để dự đoán thời gian xuất hiện của từng âm vị.
  • Áp dụng WORLD vocoder để tổng hợp tín hiệu âm thanh từ đặc trưng âm học do DNN sinh ra.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong khoảng thời gian từ năm 2017 đến 2018, trong môi trường làm việc tại Trung tâm Không gian mạng Viettel và Viện Nghiên cứu Quốc tế MICA.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Chất lượng tổng hợp tiếng nói sử dụng DNN vượt trội so với HMM: Qua đánh giá bằng phương pháp MOS với 6 người tham gia, hệ thống DNN đạt điểm trung bình 4.23 trên thang 5, cao hơn đáng kể so với 3.96 của hệ thống HMM, cho thấy DNN cải thiện rõ rệt độ tự nhiên và độ hiểu của giọng tổng hợp.

2. Xử lý dữ liệu huấn luyện nâng cao chất lượng đầu ra: Việc áp dụng các bước tiền xử lý dữ liệu như cân bằng âm lượng, lọc nhiễu, cắt câu và loại bỏ các đoạn không mong muốn giúp hệ thống DNN đạt điểm MOS 4.61, cao hơn 4.11 của hệ thống chưa xử lý dữ liệu, chứng tỏ tầm quan trọng của dữ liệu chất lượng trong huấn luyện mô hình.

3. So sánh với các hệ thống tổng hợp tiếng Việt hiện có: Hệ thống Viettel TTS đạt điểm MOS 4.66 trong cuộc thi VLSP Workshop, vượt trội so với các hệ thống khác, đồng thời đạt độ tự nhiên và độ hiểu trên 90%, gần với giọng nói tự nhiên.

4. Hiệu năng hệ thống: Thời gian phản hồi trung bình khoảng 1,5 giây cho mỗi câu, phù hợp với các ứng dụng thực tế. Bộ nhớ chiếm dụng và tài nguyên hệ thống được tối ưu để vận hành hiệu quả trên máy chủ cấu hình cao.

Thảo luận kết quả

Kết quả cho thấy việc ứng dụng mạng nơ ron học sâu trong tổng hợp tiếng nói tiếng Việt mang lại bước tiến vượt bậc về chất lượng giọng nói tổng hợp. So với mô hình HMM truyền thống, DNN có khả năng mô hình hóa các quan hệ phi tuyến phức tạp giữa đặc trưng ngôn ngữ và âm học, từ đó tạo ra giọng nói tự nhiên hơn, mượt mà hơn.

Việc xử lý dữ liệu đầu vào kỹ càng giúp giảm thiểu các yếu tố gây méo tiếng, nhiễu và sai lệch đặc trưng âm học, từ đó nâng cao hiệu quả huấn luyện và chất lượng đầu ra. So sánh với các hệ thống tổng hợp tiếng Việt hiện có, hệ thống nghiên cứu đạt kết quả cạnh tranh, khẳng định tính khả thi và hiệu quả của phương pháp học sâu.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh điểm MOS giữa các hệ thống, bảng thống kê số lượng câu và thời gian ghi âm, cũng như biểu đồ thời gian phản hồi hệ thống theo độ dài câu.

Đề xuất và khuyến nghị

1. Mở rộng và đa dạng hóa bộ dữ liệu huấn luyện: Thu thập thêm dữ liệu ghi âm với nhiều giọng nói, vùng miền và ngữ cảnh khác nhau nhằm tăng tính đa dạng và khả năng tổng quát của mô hình. Mục tiêu tăng số lượng câu lên khoảng 10.000 câu trong vòng 12 tháng, do Trung tâm Không gian mạng Viettel phối hợp thực hiện.

2. Cải tiến mô hình học sâu: Nghiên cứu áp dụng các kiến trúc mạng nơ ron tiên tiến như mạng hồi tiếp (RNN), mạng biến đổi (Transformer) để nâng cao khả năng mô hình hóa ngữ điệu và ngữ cảnh. Thời gian thử nghiệm và đánh giá trong 6 tháng, do nhóm nghiên cứu khoa học công nghệ đảm nhiệm.

3. Tối ưu hóa vocoder: Phát triển và tích hợp vocoder thế hệ mới có khả năng tổng hợp âm thanh chất lượng cao hơn, giảm méo tiếng và tăng độ tự nhiên. Dự kiến hoàn thành trong 9 tháng, phối hợp với các chuyên gia âm thanh.

4. Xây dựng hệ thống đánh giá tự động: Phát triển công cụ đánh giá chất lượng giọng nói tổng hợp tự động dựa trên các chỉ số kỹ thuật và phản hồi người dùng, giúp rút ngắn thời gian đánh giá và cải tiến hệ thống liên tục. Thời gian triển khai 6 tháng, do phòng nghiên cứu phát triển sản phẩm thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển công nghệ xử lý tiếng nói: Luận văn cung cấp cơ sở lý thuyết, phương pháp và kết quả thực nghiệm về ứng dụng học sâu trong tổng hợp tiếng nói tiếng Việt, hỗ trợ nghiên cứu và phát triển các hệ thống tương tự.

2. Các doanh nghiệp công nghệ và viễn thông: Đặc biệt là các đơn vị phát triển trợ lý ảo, tổng đài tự động, chatbot có nhu cầu tích hợp tổng hợp tiếng nói chất lượng cao cho tiếng Việt.

3. Sinh viên và học viên cao học chuyên ngành khoa học máy tính, xử lý ngôn ngữ tự nhiên: Tài liệu chi tiết về kiến trúc mạng nơ ron, xử lý dữ liệu và xây dựng hệ thống tổng hợp tiếng nói, giúp nâng cao kiến thức và kỹ năng thực hành.

4. Chuyên gia âm thanh và kỹ sư phát triển vocoder: Tham khảo các kỹ thuật trích chọn đặc trưng âm học, mô hình hóa và tổng hợp tín hiệu âm thanh trong môi trường học sâu.

Câu hỏi thường gặp

1. Tổng hợp tiếng nói là gì và tại sao cần ứng dụng học sâu?
Tổng hợp tiếng nói là quá trình chuyển đổi văn bản thành tín hiệu âm thanh có giọng nói tự nhiên. Học sâu giúp mô hình hóa các quan hệ phức tạp giữa ngôn ngữ và âm học, nâng cao chất lượng giọng nói tổng hợp so với các phương pháp truyền thống như HMM.

2. Dữ liệu huấn luyện ảnh hưởng thế nào đến chất lượng tổng hợp?
Dữ liệu chất lượng cao, đa dạng và được xử lý kỹ lưỡng giúp mô hình học sâu học được đặc trưng chính xác, giảm nhiễu và méo tiếng, từ đó cải thiện độ tự nhiên và độ hiểu của giọng tổng hợp.

3. Vocoder là gì và vai trò của nó trong hệ thống?
Vocoder là bộ phân tích và tổng hợp tín hiệu âm thanh, chuyển đổi đặc trưng âm học thành tín hiệu âm thanh thực tế. WORLD vocoder được sử dụng trong nghiên cứu này nhờ khả năng tổng hợp âm thanh chất lượng cao và hiệu quả tính toán.

4. Làm thế nào để đánh giá chất lượng giọng nói tổng hợp?
Phương pháp phổ biến là đánh giá bằng điểm MOS (Mean Opinion Score) dựa trên phản hồi của người nghe về độ tự nhiên và độ hiểu của giọng nói tổng hợp. Ngoài ra còn có các chỉ số kỹ thuật như độ chính xác, độ méo tiếng.

5. Hệ thống tổng hợp tiếng nói này có thể ứng dụng ở đâu?
Hệ thống phù hợp cho các ứng dụng trợ lý ảo, tổng đài tự động, dịch vụ chăm sóc khách hàng, giáo dục trực tuyến, và các sản phẩm công nghệ cần giọng nói tiếng Việt tự nhiên, mượt mà.

Kết luận

• Nghiên cứu đã xây dựng thành công hệ thống tổng hợp tiếng nói tiếng Việt sử dụng mạng nơ ron học sâu, cải thiện đáng kể chất lượng so với mô hình HMM truyền thống.
• Bộ dữ liệu huấn luyện được xử lý kỹ lưỡng giúp nâng cao độ tự nhiên và độ hiểu của giọng tổng hợp.
• Hệ thống Viettel TTS đạt điểm MOS 4.66, vượt trội trong các cuộc thi tổng hợp tiếng nói tiếng Việt.
• Hiệu năng hệ thống đáp ứng yêu cầu ứng dụng thực tế với thời gian phản hồi trung bình khoảng 1,5 giây.
• Đề xuất mở rộng dữ liệu, cải tiến mô hình và vocoder, cùng xây dựng hệ thống đánh giá tự động để phát triển hệ thống trong tương lai.

Hành động tiếp theo: Khuyến khích các nhà nghiên cứu và doanh nghiệp ứng dụng công nghệ học sâu trong tổng hợp tiếng nói, đồng thời tiếp tục đầu tư phát triển dữ liệu và mô hình để nâng cao chất lượng và đa dạng hóa ứng dụng.