Đồ án: Lựa chọn đơn vị âm không đồng nhất trong tổng hợp tiếng nói tiếng Việt - ĐH Bách Khoa HN

Tổng hợp tiếng nói tiếng Việt: Tìm hiểu các đơn vị âm tối ưu cho việc xử lý tiếng nói. Bài viết phân tích chi tiết và so sánh các lựa chọn.

• Tác giả: Đỗ Văn Thảo
• Người hướng dẫn: Ts. Trần Đỗ Đạt
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Lựa Chọn Đơn Vị Âm Không Đồng Nhất Trong Tổng Hợp Tiếng Nói Tiếng Việt
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Mục lục chi tiết

• TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP
• LỜI CẢM ƠN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• ĐẶT VẤN ĐỀ
• 1. Chương 1: Tổng hợp tiếng nói
• 1.1. Tổng quan về bài toán tổng hợp tiếng nói
• 1.2. Các vấn đề trong tổng hợp tiếng nói bằng phương pháp ghép nối
• 1.2.1. Lựa chọn loại đơn vị âm
• 1.2.2. Xây dựng kho đơn vị âm
• 1.2.3. Tìm kiếm đơn vị âm tối ưu
• 1.2.4. Phương pháp ghép nối đơn vị âm
• 2. Lựa chọn và tìm kiếm đơn vị âm trong tổng hợp ghép nối
• 2.1. Lựa chọn loại đơn vị âm
• 2.2. Âm vị kép
• 2.3. Âm đầu và vần
• 2.4. Tìm kiếm đơn vị âm tối ưu
• 2.4.1. Tiền lựa chọn
• 2.4.2. Chọn lựa cuối cùng
• 3. Đề xuất cách áp dụng phương pháp lựa chọn đơn vị âm không đồng nhất cho tổng hợp tiếng nói tiếng Việt
• 3.1. Tìm kiếm đơn vị âm không đồng nhất
• 3.1.1. Tổng kết các nghiên cứu liên quan
• 3.2. Mô hình thuật toán
• 3.3. Mô hình tổng thể hệ thống
• 4. Phát triển hệ thống tổng hợp tiếng nói tiếng Việt theo phương pháp lựa chọn đơn vị âm không đồng nhất
• 4.1. Giới thiệu chương trình tổng hợp Hoa Súng
• 4.2. Tổ chức cơ sở dữ liệu
• 4.2.1. Cơ sở dữ liệu âm thanh
• 4.2.2. Cơ sở dữ liệu văn bản
• 4.2.3. Cơ sở dữ liệu bán âm tiết
• 4.3. Thiết kế lớp
• 4.4. Thiết kế chi tiết lớp
• 4.5. Kết quả và đánh giá
• 4.5.1. Bài đánh giá cảm thụ
• 4.6. Kết luận chương
• Kết luận và hướng phát triển
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan về Tổng hợp tiếng nói tiếng Việt TTS

Bài toán tổng hợp tiếng nói tiếng Việt (TTS) là một lĩnh vực nghiên cứu đầy tiềm năng trong lĩnh vực tương tác người-máy. Mục tiêu chính là chuyển đổi văn bản thành giọng nói tự nhiên và dễ hiểu. Ứng dụng của TTS rất đa dạng, từ hỗ trợ người khuyết tật đọc văn bản đến các hệ thống trả lời tự động, hướng dẫn đường đi và nhiều hơn nữa. Có nhiều phương pháp tổng hợp tiếng nói, bao gồm tổng hợp cấu âm, tổng hợp formant và tổng hợp ghép nối. Trong đó, tổng hợp ghép nối là phương pháp phổ biến nhất hiện nay vì nó cho chất lượng âm thanh tốt nhất. Một hệ thống TTS điển hình bao gồm hai giai đoạn: tổng hợp mức cao và tổng hợp mức thấp. Giai đoạn tổng hợp mức cao xử lý văn bản đầu vào, thực hiện chuẩn hóa, phân tích cú pháp và tạo ra thông tin ngữ âm, ngữ điệu. Giai đoạn tổng hợp mức thấp, dựa vào thông tin này, lựa chọn các đơn vị âm phù hợp, ghép nối chúng lại với nhau và tạo ra tín hiệu âm thanh. Chất lượng của giọng nói tổng hợp phụ thuộc rất nhiều vào cả hai giai đoạn, nhưng đặc biệt là vào cách chọn đơn vị âm tối ưu. Theo TS. Trần Đỗ Đạt, '...các đoạn tiếng nói bị ảnh hưởng lớn bởi hiện tượng đồng cấu âm, nên nếu ta ghép nối hai đoạn tín hiệu tiếng nói không liền nhau có thể xảy ra hiện tượng không liên tục về phổ hoặc ngữ điệu...'. Sự không liên tục này ảnh hưởng đến chất lượng TTS.

1.1. Lịch sử và ứng dụng của TTS tiếng Việt

Nghiên cứu và phát triển TTS tiếng Việt đã diễn ra trong nhiều năm, với nhiều bộ tổng hợp tiếng nói đã được phát triển như "Sao Mai", "Hoa Súng" và "Tiếng nói phương Nam". Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết để cải thiện chất lượng và tính tự nhiên của giọng nói tổng hợp. Các ứng dụng của TTS ngày càng trở nên phổ biến trong nhiều lĩnh vực, bao gồm giáo dục, giải trí, và trợ lý ảo. Một trong những mục tiêu quan trọng là tạo ra một hệ thống TTS có chất lượng cao, kích thước nhỏ gọn và có thể chạy trên nhiều nền tảng khác nhau. Cần cải thiện về chất lượng tiếng nói hoặc về kích thước CSDL.

1.2. Các phương pháp tổng hợp tiếng nói phổ biến

Tổng hợp cấu âm, tổng hợp formant và tổng hợp ghép nối là ba phương pháp chính. Tổng hợp cấu âm hứa hẹn cho kết quả tốt nhất, nhưng phức tạp. Tổng hợp formant tạo ra số lượng câu vô hạn, nhưng chất lượng chưa tự nhiên. Tổng hợp ghép nối được sử dụng rộng rãi vì cho kết quả tốt nhất hiện nay. Một hệ thống tổng hợp ghép nối tốt cần giải quyết các vấn đề như chọn loại đơn vị âm, xây dựng kho đơn vị âm, tìm kiếm đơn vị âm tối ưu và ghép nối đơn vị âm. Việc lựa chọn đúng đắn các phương pháp sẽ giúp tăng tính tự nhiên của giọng nói tổng hợp.

II. Thách thức trong chọn đơn vị âm tối ưu cho TTS tiếng Việt

Việc chọn đơn vị âm tối ưu là một trong những thách thức lớn nhất trong tổng hợp tiếng nói tiếng Việt. Tiếng Việt là ngôn ngữ đơn âm tiết, có thanh điệu, điều này làm cho việc lựa chọn trở nên phức tạp hơn. Cấu trúc âm tiết đầy đủ gồm âm đầu, âm đệm, âm chính, âm cuối và thanh điệu. Các loại đơn vị âm có thể sử dụng trong TTS bao gồm: âm vị, âm vị kép, bán âm tiết, âm đầu/vần và âm tiết. Mỗi loại đơn vị âm có những ưu và nhược điểm riêng, ảnh hưởng đến chất lượng và hiệu quả của quá trình tổng hợp. Theo Đỗ Văn Thảo, tác giả của đồ án tốt nghiệp, đồ án tập trung vào phần tổng hợp mức thấp trong tổng hợp tiếng nói, cụ thể là quá trình tìm kiếm và lựa chọn đơn vị âm. Số lượng của các loại đơn vị âm này là khác nhau, và việc lựa chọn loại nào sẽ ảnh hưởng đến kích thước cơ sở dữ liệu, cũng như chất lượng của giọng nói.

2.1. Số lượng và đặc điểm của các loại đơn vị âm

Số lượng các loại đơn vị âm trong tiếng Việt rất đa dạng. Âm vị có số lượng ít nhất, nhưng việc ghép nối chúng lại với nhau có thể tạo ra nhiều điểm không liên tục. Âm tiết là đơn vị lớn nhất, nhưng số lượng âm tiết trong tiếng Việt rất lớn, gây khó khăn cho việc xây dựng cơ sở dữ liệu đầy đủ. Âm vị kép và bán âm tiết là những lựa chọn trung gian, có thể cân bằng giữa kích thước cơ sở dữ liệu và chất lượng giọng nói. Theo Bảng 1.1, số lượng âm vị có thanh điệu là 130, âm vị kép có thanh điệu là 2976, bán âm tiết có thanh điệu là 2809, âm đầu/vần có thanh điệu là 661, âm tiết có thanh điệu là 7088. Chính vì vậy việc lựa chọn đúng loại đơn vị âm rất quan trọng.

2.2. Ảnh hưởng của thanh điệu đến việc chọn đơn vị âm

Thanh điệu là một yếu tố quan trọng trong tiếng Việt, ảnh hưởng trực tiếp đến ý nghĩa của từ. Do đó, việc chọn đơn vị âm phải đảm bảo giữ được đặc tính thanh điệu. Các phương pháp TTS cần phải xử lý thanh điệu một cách chính xác để đảm bảo tính dễ hiểu của giọng nói. Việc mô hình hóa thanh điệu và tích hợp nó vào quá trình lựa chọn đơn vị âm là một thách thức lớn. Các nghiên cứu đã chỉ ra rằng, việc sử dụng các tham số như hướng và độ phức tạp của thanh điệu có thể giúp cải thiện chất lượng TTS. Cụ thể, Tham số về hướng thể hiện hướng đường cong F0 của thanh điệu. Tham số về độ phức tạp được thể hiện bằng độ phức tạp của thanh điệu.

III. Phương pháp chọn đơn vị âm không đồng nhất cho TTS Việt

Để giải quyết các thách thức trên, phương pháp chọn đơn vị âm không đồng nhất đã được đề xuất. Phương pháp này kết hợp nhiều loại đơn vị âm khác nhau (ví dụ: âm tiết, bán âm tiết, cụm từ) để tận dụng ưu điểm của từng loại. Mục tiêu là giảm thiểu số điểm ghép nối, tăng tính tự nhiên của giọng nói tổng hợp và giảm kích thước cơ sở dữ liệu. Trong phương pháp này, các đơn vị âm dài (ví dụ: cụm từ, âm tiết) sẽ được ưu tiên sử dụng, nhưng khi không tìm thấy, các đơn vị âm ngắn hơn (ví dụ: bán âm tiết) sẽ được sử dụng để đảm bảo khả năng tổng hợp đầy đủ các âm tiết. Theo Đỗ Văn Thảo, Việc sử dụng kết hợp các loại đơn vị âm bao gồm bán âm tiết, âm tiết, cụm từ được đề xuất, gọi là lựa chọn đơn vị không đồng nhất.

3.1. Ưu điểm của việc kết hợp nhiều loại đơn vị âm

Việc kết hợp nhiều loại đơn vị âm giúp cân bằng giữa chất lượng giọng nói, kích thước cơ sở dữ liệu và khả năng tổng hợp. Các đơn vị âm dài giúp giảm số điểm ghép nối, tăng tính tự nhiên. Các đơn vị âm ngắn giúp đảm bảo khả năng tổng hợp đầy đủ các âm tiết. Việc lựa chọn đơn vị âm phù hợp cho từng ngữ cảnh cụ thể có thể cải thiện đáng kể chất lượng TTS. Ví dụ, có thể sử dụng cụm từ cho các cụm từ phổ biến, âm tiết cho các âm tiết đơn lẻ, và bán âm tiết cho các trường hợp còn lại.

3.2. Quá trình tìm kiếm và lựa chọn đơn vị âm không đồng nhất

Quá trình tìm kiếm và lựa chọn đơn vị âm thường bao gồm hai giai đoạn: tiền lựa chọn và lựa chọn cuối cùng. Giai đoạn tiền lựa chọn tìm kiếm các đơn vị âm phù hợp trong cơ sở dữ liệu. Giai đoạn lựa chọn cuối cùng sử dụng các hàm chi phí để đánh giá và chọn ra chuỗi đơn vị âm tối ưu. Các hàm chi phí thường bao gồm chi phí đích (đo sự khác biệt giữa đơn vị âm được chọn và đơn vị âm mục tiêu) và chi phí ghép nối (đo sự không liên tục giữa các đơn vị âm). Thuật toán Viterbi thường được sử dụng để tìm kiếm chuỗi đơn vị âm có chi phí thấp nhất. Việc sử dụng Cây phân tích cú pháp cũng làm tăng xác xuất tìm thấy của những cụm từ có độ dài lớn hơn một âm tiết hơn là việc chọn ngẫu nhiên cụm từ theo một độ dài xác định nào đó để tìm kiếm.

IV. Áp dụng mô hình HMM và DNN để tối ưu TTS tiếng Việt

Để tăng tính tự nhiên cho TTS, các mô hình học sâu như HMM (Hidden Markov Model) và DNN (Deep Neural Network) được sử dụng để nâng cao khả năng tạo giọng nói tự nhiên và cải thiện các thông số ngữ điệu. Các mô hình này học được cách mô hình hóa sự thay đổi của âm thanh theo thời gian và tạo ra âm thanh mới dựa trên các mẫu đã học. Việc sử dụng HMM và DNN trong TTS giúp giảm sự phụ thuộc vào các quy tắc ngữ âm thủ công và cho phép hệ thống học các đặc trưng âm thanh phức tạp một cách tự động. Các mô hình như Tacotron, FastSpeech và Transformer cho TTS cũng đang được nghiên cứu và phát triển để đạt được chất lượng giọng nói tốt hơn.

4.1. Sử dụng HMM trong TTS để tạo ra giọng nói tự nhiên

HMM có thể được sử dụng để mô hình hóa chuỗi âm thanh và tạo ra các tham số phù hợp. Bằng cách huấn luyện HMM trên dữ liệu âm thanh lớn, hệ thống có thể học được cách tạo ra các chuỗi âm thanh mới với đặc tính tương tự. HMM cũng có thể được sử dụng để mô hình hóa sự thay đổi của ngữ điệu và tạo ra các câu nói có ngữ điệu tự nhiên.

4.2. Ứng dụng DNN cho TTS để cải thiện chất lượng giọng nói

DNN có khả năng học các đặc trưng phức tạp của âm thanh và tạo ra giọng nói tự nhiên hơn. Các mô hình DNN như Tacotron, FastSpeech và Transformer đã đạt được những kết quả ấn tượng trong lĩnh vực TTS. Bằng cách sử dụng DNN, hệ thống có thể tạo ra giọng nói với độ chính xác cao và ít bị méo tiếng. Các mô hình DNN cũng có thể được sử dụng để điều chỉnh các tham số ngữ điệu và tạo ra các câu nói có ngữ điệu biểu cảm.

4.3 Các kiến trúc Transformer cho TTS Tacotron FastSpeech

Tacotron là một kiến trúc end-to-end cho TTS, sử dụng một mạng nơ-ron để chuyển đổi văn bản thành phổ đồ, sau đó một mạng nơ-ron khác (vocoder) chuyển đổi phổ đồ thành âm thanh. FastSpeech giải quyết vấn đề tốc độ của Tacotron bằng cách sử dụng một kiến trúc song song, cho phép tạo ra âm thanh nhanh hơn mà vẫn giữ được chất lượng cao. Cả hai kiến trúc đều sử dụng Transformer để học các biểu diễn văn bản và âm thanh, cho phép tạo ra giọng nói tự nhiên và biểu cảm.

V. Đánh giá chất lượng và tối ưu hóa giọng nói tổng hợp tiếng Việt

Đánh giá chất lượng của giọng nói tổng hợp là một bước quan trọng để cải thiện hiệu quả của hệ thống TTS. Các phương pháp đánh giá thường bao gồm đánh giá chủ quan (ví dụ: yêu cầu người nghe đánh giá tính tự nhiên, tính dễ hiểu) và đánh giá khách quan (ví dụ: sử dụng các chỉ số đo lường chất lượng âm thanh). Việc tối ưu hóa giọng nói tổng hợp có thể bao gồm điều chỉnh các tham số của hệ thống, sử dụng các kỹ thuật xử lý tín hiệu tiên tiến và thu thập thêm dữ liệu huấn luyện. Việc tối ưu hóa liên tục là cần thiết để đạt được chất lượng giọng nói tốt nhất.

5.1. Các phương pháp đánh giá chất lượng TTS phổ biến

Các phương pháp đánh giá chủ quan thường được sử dụng để đo lường cảm nhận của người nghe về chất lượng giọng nói. Các phương pháp đánh giá khách quan sử dụng các chỉ số như độ rõ ràng, độ tự nhiên và độ chính xác để đo lường chất lượng âm thanh. Việc kết hợp cả hai phương pháp đánh giá giúp có được cái nhìn toàn diện về chất lượng TTS. Theo Bảng 4.1 và 4.2, kết quả về độ rõ ràng và độ tự nhiên là các tiêu chí quan trọng để đánh giá một hệ thống TTS.

5.2. Các kỹ thuật tối ưu hóa giọng nói tổng hợp hiệu quả

Các kỹ thuật tối ưu hóa có thể bao gồm điều chỉnh các trọng số trong hàm chi phí, sử dụng các thuật toán làm trơn tín hiệu và cải thiện chất lượng dữ liệu huấn luyện. Việc sử dụng các kỹ thuật học máy tiên tiến có thể giúp hệ thống tự động tối ưu hóa các tham số và đạt được chất lượng giọng nói tốt hơn. Bên cạnh đó, cần tập trung vào tính tự nhiên của giọng nói tổng hợp và tính dễ hiểu của giọng nói tổng hợp.

VI. Ứng dụng và tương lai của tổng hợp tiếng nói tiếng Việt

TTS có tiềm năng ứng dụng rất lớn trong nhiều lĩnh vực, từ trợ lý ảo, hệ thống thông báo công cộng, đến các ứng dụng giáo dục và hỗ trợ người khuyết tật. Sự phát triển của trí tuệ nhân tạo và học sâu sẽ tiếp tục thúc đẩy sự tiến bộ của TTS, tạo ra những hệ thống có khả năng tạo ra giọng nói tự nhiên, biểu cảm và phù hợp với nhiều ngữ cảnh khác nhau. Nghiên cứu và phát triển TTS vẫn là một lĩnh vực đầy hứa hẹn, với nhiều cơ hội để khám phá và cải thiện. Đặc biệt cần chú trọng đến điều khiển giọng nói và các ứng dụng tổng hợp tiếng nói mới.

6.1. Tiềm năng ứng dụng của TTS trong cuộc sống hàng ngày

TTS có thể được sử dụng trong nhiều ứng dụng, từ đọc sách điện tử, hướng dẫn đường đi, đến các hệ thống tự động trả lời điện thoại. Việc tích hợp TTS vào các thiết bị di động và các hệ thống nhà thông minh sẽ mang lại nhiều tiện ích cho người dùng. TTS cũng có thể được sử dụng để tạo ra các nhân vật ảo có khả năng giao tiếp tự nhiên và biểu cảm.

6.2. Hướng phát triển của TTS tiếng Việt trong tương lai

Trong tương lai, TTS sẽ tiếp tục phát triển theo hướng tạo ra giọng nói tự nhiên, biểu cảm và phù hợp với nhiều ngữ cảnh khác nhau. Các nghiên cứu sẽ tập trung vào việc cải thiện chất lượng giọng nói, giảm thiểu sự phụ thuộc vào dữ liệu huấn luyện và phát triển các mô hình học sâu tiên tiến. TTS cũng sẽ được tích hợp vào nhiều ứng dụng mới, mang lại nhiều tiện ích cho người dùng. Cần tập trung vào ứng dụng các công nghệ như Transformer cho TTS, FastSpeech để cải thiện chất lượng TTS.

Trích đoạn nội dung tài liệu

ĐẶT VẤN ĐỀ Máy vi tính là một trong những phát minh ảnh hưởng nhiều nhất tới đời sống con người trong thế kỉ vừa qua. Với máy vi tính, con người có thể làm được nhiều việc mà trước đó người ta không nghĩ tới. Lĩnh vực tương tác người máy ra đời giúp con người dễ dàng tương tác hơn với máy tính. Trước đây, con người có thể tương tác với máy tính bằng mắt, bằng tay thông qua các thiết bị như bàn phím, chuột, màn hình.

Càng ngày yêu cầu về tính tiện dụng trong tương tác của con người ngày càng cao. Các hình thức tương tác mới ra đời như tương tác bằng cử chỉ, giọng nói… Tổng hợp tiếng nói là một lĩnh vực quan trọng trong giao tiếp người máy và được nghiên cứu, phát triển từ khá sớm trên thế giới. Tại Việt Nam đã có nhiều bộ tổng hợp tiếng nói được phát triển như bộ tổng hợp “Sao Mai” của trung tâm Sao Mai, “Hoa Súng” của trung tâm nghiên cứu Mica – ĐH BKHN, “Tiếng nói phương Nam” của ĐHQG-TPHCM. Tuy nhiên, các bộ tổng hợp trên vẫn còn cần cải thiện hoặc về chất lượng tiếng nói, hoặc về kích thước CSDL.

Với mong muốn xây dựng một bộ tổng hợp tiếng nói có chất lượng tốt, kích thước CSDL không quá lớn, đồ án này quyết định chọn phương pháp lựa chọn đơn vị không đồng nhất để tìm hiểu và áp dụng vào chương trình tổng hợp tiếng nói. Đồ án được thực hiện tại trung tâm nghiên cứu quốc tế MICA Trong quá trình thực hiện đồ án, tác giả đã được tiếp cận những kiến thức bổ ích từ các cán bộ nghiên cứu của trung tâm phục vụ cho quá trình làm đồ án. Trong các bộ tổng hợp, tiếng nói được tổng hợp bằng cách ghép nối các đơn vị âm lại với nhau,các đơn vị âm này là cùng một loại duy nhất, ví dụ cùng là âm vị kép, cùng là bán âm tiết … Đây là cách tiếp cận lựa chọn đơn vị đồng nhất – tức là chỉ dùng một loại đơn vị âm. Và kích thước CSDL dùng trong các bộ tổng hợp này thường bị giới hạn.

Trong vài năm trở lại đây, sự phát triển của khoa học công nghệ đã nâng cao khả năng lưu trữ và xử lý của máy tính. Kích thước CSDL của bộ tổng hợp tiếng nói có thể được tăng lên để cải thiện chất lượng tiếng nói tổng hợp. Phương pháp lựa chọn đơn vị không đồng nhất được thử nghiệm. Nhiều loại đơn vị âm được sử dụng với tư tưởng sử dụng đơn vị âm càng dài thì chất lượng càng cao.

Với mỗi ngôn ngữ khác nhau, phương pháp này được áp dụng theo các cách thức khác nhau và đồ án này tập trung áp dụng phương pháp này cho ngôn ngữ tiếng Viêt. Đồ án này bao gồm bốn chương:  Chương một: giới thiệu về tổng hợp tiếng nói và những vấn đề trong tổng hợp tiếng nói.  Chương hai: trình bày chi tiết về bài toán lựa chọn đơn vị trong tổng hợp ghép nối.  Chương ba: mô tả chi tiết hệ thống tổng hợp tiếng Việt theo thuật toán lựa chọn đơn vị không đồng nhất.

 Chương bốn: đánh giá kết quả đạt được và chưa được, đồng thời đưa ra hướng phát triển tiếp theo. Tổng hợp tiếng nói Trong chương này, luận văn sẽ giới thiệu:  Tổng quan về bài toán tổng hợp tiếng nói.  Các vấn đề cần giải quyết trong tổng hợp ghép nối.  Vấn đề cụ thể đồ án tập trung tìm hiểu và giải quyết.1 Tổng quan về bài toán tổng hợp tiếng nói Tổng hợp tiếng nói là quá trình tạo ra tiếng nói nhân tạo của người từ văn bản đầu vào.

Đây là lĩnh vực nghiên cứu có tính ứng dụng thực tiễn cao nên được quan tâm trên thế giới và Việt Nam. Ứng dụng của tổng hợp tiếng nói có thể dễ dàng thấy trong nhiều hệ thống, như hệ thống hỗ trợ đọc văn bản cho người khuyết tật, hệ thống trả lời tự động tại các tổng đài hay robot, hệ thống chỉ đường trong các phương tiện vận tải. Có thể phân chia các hệ thống tổng hợp tiếng nói theo phương pháp tiếng nói được tổng hợp gồm ba loại chính [9] :  Tổng hợp cấu âm.  Tổng hợp formant.

 Tổng hợp theo phương pháp ghép nối (tổng hợp ghép nối). Phương pháp tổng hợp cấu âm hứa hẹn mang lại kết quả tốt nhất nhưng do quá phức tạp nên khó thực hiện nhất. Phương pháp tổng hợp formant có thể tạo ra được tiếng nói với số lượng câu vô hạn nhưng chất lượng tiếng nói chưa được tự nhiên. Phương pháp tổng hợp được dùng rộng rãi nhất và cho kết quả tốt nhất hiện nay là tổng hợp ghép nối [7].

Một hệ thống tổng hợp tiếng nói (THTN) gồm hai phần chính: tổng hợp mức cao và tổng hợp mức thấp (Hình 1.1 Mô hình hệ thống THTN.Nhiệm vụ phần tổng hợp mức cao là chuẩn hóa văn bản, phát sinh thông tin về ngữ âm, ngữ điệu. Phần tổng hợp mức thấp (trong phương pháp ghép nối) dựa vào các thông tin phía trên sẽ tiến hành tìm kiếm và lựa chọn đơn vị âm, thực hiện ghép nối và làm trơn tín hiệu, cho ra tiếng nói cần tổng hợp. Đầu vào của bộ THTN là văn bản và nhiệm vụ của bộ THTN là phải đọc một cách chính xác văn bản này. Văn bản thực tế được viết theo nhiều cách khác nhau, không theo một tiêu chuẩn cụ thể nào và nội dung cũng rất phong phú, đa dạng, bao gồm các chữ số, ngày tháng, từ viết tắt, từ phiên âm nước ngoài … Tất cả đều phải được qua bước chuẩn hóa văn bản, cho đầu ra là các âm tiết đúng theo quy tắc tiếng Việt.

Các từ viết tắt phải được thay thế bởi dạng đầy đủ, các con số phải được chuyển về chữ cái phù hợp, sự nhập nhằng trong các trường hợp phát âm phải được xử lý. Kết quả của bước chuẩn hóa văn bản này ảnh hưởng trực tiếp tới việc đọc đúng hay không đúng văn bản cần tổng hợp. Comment [TDD1]: Cần có mũi tên kết nối giữa các thành phần cấu thành Hệ thống tổng hợp tiếng nói Tổng hợp mức cao Tổng hợp mức thấp Phân tích văn bản P Phân tích ngữ Phân điệu Lựa Ghép  Phân tích cấu trúc  Tần số cơ bản chọn nối đơn tích  Chuẩn hóa văn bản  Trường độ đơn vị vị âm  Phân tích ngôn ngữ ngữ  Cường độ âm âm Hình 1.1 Mô hình hệ thống THTN [9]. Văn bản được chuẩn hóa sẽ là đầu vào cho bộ phân tích cú pháp tiếp theo.

Phân tích cú pháp chuẩn xác sẽ đưa ra cho hệ thống một cái nhìn toàn cảnh về cấu trúc của văn bản, các cụm từ trong văn bản từ phức tạp cho đến đơn giản nhất, đồng thời các vị trí âm tiết trong cụm từ cũng được đưa ra. Việc này tạo điều kiện thuận lợi cho việc mô hình hóa trường độ, cao độ của câu cần tổng hợp, đồng thời, độ chính xác của câu được phân tích cũng ảnh hưởng tới quá trình lựa chọn đơn vị tiếp theo. Tiếp theo là quá trình mô hình hóa trường độ, cao độ và cường độ của câu cần tổng hợp. Việc này sẽ phát sinh ngữ điệu cho câu, ảnh hưởng trực tiếp tới mức độ dễ nghe của tiếng nói tổng hợp.

Trường độ và cao độ cũng là các tham số trong hàm chi phí dùng trong quá trình lựa chọn đơn vị. Sau khi văn bản đầu vào được phân tích cú pháp và phát sinh ngữ điệu, văn bản sẽ được tổng hợp bởi quá trình lựa chọn và ghép nối đơn vị âm. Trong quá trình này, tập các đơn vị âm trong cơ sở dữ liệu khớp với đơn vị âm đích nhất sẽ được lựa chọn và ghép nối. Tiếng nói từ văn bản sẽ được sinh ra trong quá trình này.

Do từng đoạn tiếng nói vốn hoàn toàn tự nhiên nên ta có thể hy vọng tiếng nói tổng hợp được cũng có tính tự nhiên cao. Tuy nhiên, theo [11] , các đoạn tiếng nói bị ảnh hưởng lớn bởi hiện tượng đồng cấu âm, nên nếu ta ghép nối hai đoạn tín hiệu tiếng nói không liền nhau có thể xảy ra hiện tượng không liên tục về phổ hoặc ngữ điệu. Do sự không liên tục này mà chất lượng tiếng nói tổng hợp có thể giảm đáng kể mặc dù các đoạn được ghép là hoàn toàn tự nhiên.2 Các vấn đề trong tổng hợp tiếng nói bằng phương pháp ghép nối Trong tổng hợp ghép nối, theo [9] , các vấn đề cần giải quyết để đạt được tiếng nói tổng hợp chất lượng tốt bao gồm: o Lựa chọn loại đơn vị âm. o Xây dựng kho đơn vị âm.

o Tìm kiếm đơn vị âm tối ưu. o Ghép nối đơn vị âm.1 Lựa chọn loại đơn vị âm Tiếng Việt là ngôn ngữ đơn âm tiết có thanh điệu, Cấu trúc đầy đủ của một âm tiết gồm 5 thành phần như sau: Âm tiết = [Âm đầu][Âm đệm]<Âm chính>[Âm cuối][Thanh điệu] Trong đó những thành phần nằm trong cặp dấu <> là bắt buộc phải có, những thành phần nằm trong cặp dấu [ ] thì có thể có hoặc không. Trong tổng hợp tiếng nói tiếng Việt, các loại đơn vị âm được phân tích từ âm tiết có thể dùng trong tổng hợp bao gồm: âm vị, âm vị kép, bán âm tiết, âm đầu/vần, âm tiết [9]. Số lượng các loại đơn vị âm trong tiếng Việt được tổng hợp theo bảng sau [9] : Bảng 1.1 Số lượng các loại đơn vị âm trong tiếng Việt Loại đơn vị âm Số lượng Không có thanh điệu Có thanh điệu Âm vị 40 130 Âm vị kép 620 2976 Bán âm tiết 590 2809 Âm đầu/vần 22/161 22/661 Âm tiết 2466 7088 Trên đây là các loại đơn vị âm có thể dùng trong THTN tiếng Việt, việc lựa chọn loại đơn vị âm nào sẽ được trình bày chi tiết hơn trong mục 2.2 Xây dựng kho đơn vị âm Trong thời kì đầu phát triển tổng hợp tiếng nói ghép nối, kích thước của kho dữ liệu không lớn, và mỗi đơn vị âm chỉ có một mẫu.

Cho tới những năm 1990, các hệ thống tổng hợp ghép nối dựa trên kho đơn vị âm kích thước lớn mới được phát triển, và số lượng mẫu của một đơn vị âm cũng tăng lên. Để xây dựng kho đơn vị âm, các việc cơ bản cần làm là ghi âm các đoạn tiếng nói từ một người thu âm duy nhất và gán nhãn các đoạn tiếng nói với văn bản tương ứng. Theo [11] , do việc ghi âm thường diễn ra trong nhiều phiên nên một điều quan trọng là duy trì điều kiện thu âm không thay đổi trong suốt quá trình. Việc này có mục đích là tránh sự không liên tục về phổ và biên độ gây ra bởi điều kiện thu âm thay đổi.