Nghiên Cứu Tổng Hợp Tiếng Việt Chất Lượng Tốt

Tài liệu nghiên cứu Tổng hợp tiếng việt hất lượng tốt, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về ., phục vụ nghiên cứu và ứng dụng thực tiễn

• Tác giả: Đinh Đồng Lưỡng
• Người hướng dẫn: TS. Trịnh Văn Loan
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Xử Lý Thông Tin & Truyền Thông
• Đề tài: Tổng Hợp Tiếng Việt Chất Lượng Tốt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2009
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: KHÁI QUÁT VỀ CÁC NGHIÊN CỨU TỔNG HỢP TIẾNG VIỆT
• 1.1. Tổng quan về xử lý ngôn ngữ tiếng Việt
• 1.2. Các nghiên cứu về tổng hợp tiếng Việt
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ XỬ LÝ TIẾNG NÓI
• 2.1. Quá trình phát âm
• 2.2. Đặc tính âm học của tiếng nói
• 2.2.1. Âm hữu thanh và âm vô thanh
• 2.2.2. Âm hữu thanh
• 2.2.3. Âm vô thanh
• 2.2.4. Các đặc tính khác
• 2.2.4.1. Tỷ suất thời gian
• 2.2.4.2. Hàm năng lượng thời gian ngắn
• 2.2.5. Tần số cơ bản
• 2.2.6. Formant
• 2.3. Biểu diễn tín hiệu tiếng nói
• 2.3.1. Tín hiệu tiếng nói trên miền thời gian
• 2.3.2. Tín hiệu tiếng nói trên miền tần số
• 3. CHƯƠNG 3: CÁC PHƯƠNG PHÁP TỔNG HỢP TIẾNG NÓI
• 3.1. Các phương pháp tổng hợp tiếng nói
• 3.1.1. Phương pháp mô phỏng hệ thống phát âm
• 3.1.2. Phương pháp tổng hợp Formant
• 3.1.3. Phương pháp LPC
• 3.1.4. Phương pháp ghép nối
• 3.1.5. Mô hình tổng hợp tiếng nói từ văn bản
• 3.1.6. Tổng hợp mức cao
• 3.1.7. Tổng hợp mức thấp
• 3.1.8. So sánh các phương pháp tổng hợp tiếng nói
• 3.1.9. Thuật giải PSOLA trong tổng hợp tiếng nói
• 3.1.9.1. Phân tích PSOLA
• 3.1.9.2. Tổng hợp PSOLA
• 3.1.9.3. Giải thuật PSOLA
• 4. CHƯƠNG 4: ĐỀ XUẤT VÀ XÂY DỰNG BỘ TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT
• 4.1. Đề xuất phương án xây dựng bộ tổng hợp tiếng Việt chất lượng tốt
• 4.1.1. Xây dựng cơ sở dữ liệu
• 4.1.2. Xây dựng danh sách các âm tiết cần thu
• 4.1.3. Xây dựng kịch bản thu
• 4.1.4. Tách lấy âm tiết
• 4.1.5. Tách lấy đơn vị âm
• 4.1.6. Xử lý các điểm cắt và lưu trữ dữ liệu
• 4.1.7. Xử lý và phân tích văn bản
• 4.1.7.1. Phân tích văn bản tiếng Việt thành các âm tiết
• 4.1.7.2. Xác định câu trong văn bản
• 4.1.7.3. Phân tích câu thành các âm tiết
• 4.1.7.4. Tách âm tiết thành các đơn vị âm
• 4.1.8. Tổng hợp tiếng Việt chất lượng tốt
• 4.1.8.1. Tổng hợp tiếng Việt bằng phương pháp ghép nối
• 4.1.9. Một số đề xuất nhằm nâng cao chất lượng tổng hợp
• 4.1.9.1. Cân bằng biên độ
• 4.1.9.2. Cân bằng tần số cơ bản F0
• 4.1.9.3. Làm trơn phổ
• 4.1.10. Đánh giá chất lượng tiếng nói tổng hợp
• 4.1.10.1. Xây dựng kịch bản đánh giá
• 4.1.10.2. Kết quả đánh giá chất lượng tiếng Việt tổng hợp
• 5. CHƯƠNG 5: ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được của luận văn
• 5.2. Hạn chế và hướng phát triển
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A – DANH SÁCH ĐƠN VỊ ÂM CẦN THU
• PHỤ LỤC B – BÀI BÁO 1 “XÂY DỰNG CƠ SỞ DỮ LIỆU CHO TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT”
• PHỤ LỤC B – BÀI BÁO 2 “TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT”

Tóm tắt

I. Tổng Quan Nghiên Cứu Tổng Hợp Tiếng Việt Chất Lượng Tốt

Luận văn này tập trung vào tổng hợp tiếng Việt chất lượng tốt, một lĩnh vực quan trọng trong giao tiếp người-máy. Máy tính ngày càng đóng vai trò không thể thiếu, việc giao tiếp bằng tiếng nói tự nhiên là một xu hướng tất yếu. Luận văn này kế thừa và phát huy những nghiên cứu trước đây, đặc biệt chú trọng đến việc xây dựng cơ sở dữ liệu tiếng Việt chất lượng cao, yếu tố then chốt để có được tổng hợp tiếng Việt tự nhiên nhất. Các kết quả nghiên cứu trước đây, cả trong và ngoài nước, được phân tích và đánh giá để xác định hướng đi phù hợp. Mục tiêu là phát triển một bộ tổng hợp tiếng Việt với chất lượng âm thanh gần với tiếng nói tự nhiên nhất, góp phần thúc đẩy ứng dụng giao tiếp người-máy trong nhiều lĩnh vực. Đây là một hướng đi đầy tiềm năng, hứa hẹn nhiều đóng góp cho cộng đồng.

1.1. Tầm Quan Trọng Của Xử Lý Ngôn Ngữ Tiếng Việt

Xử lý ngôn ngữ tiếng Việt ngày càng được quan tâm, với các sản phẩm như Vietkey, từ điển, và phần mềm dịch thuật. Tuy nhiên, các công cụ hỗ trợ giao tiếp người máy, như nhận dạng và tổng hợp tiếng Việt, vẫn còn hạn chế. Nguyên nhân chính là do thiếu các nghiên cứu cơ sở, nền tảng, và sự kế thừa giữa các nghiên cứu. Hiện tại, nhiều sản phẩm mới dừng lại ở mức mô hình, thử nghiệm, trên các tập ngữ liệu nhỏ, chưa đầy đủ. Các nỗ lực chưa được liên kết, thiếu chia sẻ và hợp tác. Việc xây dựng cơ sở dữ liệu chuẩn và đầy đủ là yếu tố then chốt để phát triển các ứng dụng xử lý ngôn ngữ tiếng Việt chất lượng cao.

1.2. Đánh Giá Các Nghiên Cứu Tổng Hợp Tiếng Việt Hiện Có

Nhiều tập thể đã có những kết quả nghiên cứu về tổng hợp tiếng Việt, như Viện Công nghệ Thông tin, Khoa CNTT và Trung tâm MICA - Đại học Bách khoa Hà Nội, cùng các trường đại học khác. Đề tài cấp Nhà nước KC-01 cũng đóng góp vào lĩnh vực này. Ở nước ngoài, nhóm nghiên cứu của tiến sĩ Lê Tang Hồ (Canada) với Vietvoice, và các nghiên cứu tại JAIST (Nhật Bản) cũng đáng chú ý. Tuy nhiên, việc nâng cao chất lượng tổng hợp tiếng Việt cho người dùng là mục tiêu quan trọng. Luận văn này hướng tới hệ tổng hợp tiếng Việt chất lượng tốt, đặc biệt chú trọng đến chất lượng thanh điệu, một yếu tố then chốt của tiếng Việt.

II. Cơ Sở Lý Thuyết Xử Lý Tiếng Nói Nền Tảng Tổng Hợp

Tiếng nói là phương tiện trao đổi thông tin, được tạo ra từ quá trình tư duy và điều khiển của hệ thống phát âm. Về bản chất, tiếng nói là sự dao động của sóng âm mang thông tin. Tín hiệu tiếng nói là chuỗi các âm vị liên tiếp, được sắp xếp theo quy tắc ngôn ngữ. Nghiên cứu chi tiết về các quy tắc này thuộc về ngôn ngữ học, còn phân loại âm vị thuộc về ngữ âm học. Các mô hình toán học của cơ chế tạo tiếng nói rất quan trọng. Khi phát âm, không khí từ phổi qua khí quản làm rung dây thanh, kết hợp với hình dạng tuyến âm, môi, lưỡi, tạo ra các âm thanh khác nhau. Quá trình này có thể mô hình hóa bằng các mô hình toán học khác nhau.

2.1. Phân Tích Quá Trình Phát Âm Tiếng Việt Chi Tiết

Khi phát âm, không khí được đẩy từ phổi qua khí quản, luồng không khí chuyển động làm cho dây thanh rung kết hợp với hình dạng của tuyến âm, môi, lưỡi. đóng vai trò như các bộ cộng hưởng và các bộ lọc sẽ tạo ra các âm thanh khác nhau. Người ta có thể mô hình hóa toàn bộ quá trình phát âm bởi các mô hình toán học khác nhau. Đặc tính âm học của tiếng nói 2. Âm hữu thanh và âm vô thanh 2. Âm hữu thanh Âm hữu thanh được tạo ra từ các dây thanh bị căng đồng thời, chúng rung động ở chế độ dãn, khi không khí tăng lên làm thanh môn mở ra và sau đó thanh môn xẹp xuống do không khí chạy qua.

2.2. Đặc Tính Âm Học Âm Hữu Thanh và Âm Vô Thanh

Âm hữu thanh được tạo ra khi dây thanh rung động, tạo ra sóng âm gần như tuần hoàn. Phổ của âm hữu thanh có nhiều thành phần hài tại bội số của tần số cơ bản (pitch). Âm vô thanh được tạo ra khi dây thanh không cộng hưởng, bao gồm âm xát và âm tắc. Âm xát tạo ra do co thắt trong tuyến âm, còn âm tắc tạo ra do đóng tuyến âm và giải phóng đột ngột. Âm vị là đơn vị nhỏ nhất của ngôn ngữ, bao gồm nguyên âm và phụ âm. Nguyên âm là âm hữu thanh do cộng hưởng dây thanh, còn phụ âm do dòng khí hỗn loạn từ các điểm co thắt.

2.3. Biểu Diễn Tín Hiệu Tiếng Nói Trên Miền Thời Gian và Tần Số

Tín hiệu tiếng nói có thể biểu diễn trên miền thời gian hoặc miền tần số. Trên miền thời gian, tín hiệu được biểu diễn bởi đồ thị biên độ theo thời gian. Trên miền tần số, tín hiệu được biểu diễn bởi phổ tín hiệu, cho thấy mức độ tham gia của các thành phần tần số khác nhau. Tín hiệu tiếng nói có thể coi là ổn định trong khoảng thời gian ngắn (5-100ms). Phổ tín hiệu cho phép phân tích các thành phần tín hiệu ở các tần số khác nhau, giúp trích xuất các đặc trưng quan trọng.

III. Các Phương Pháp Tổng Hợp Tiếng Nói Phổ Biến Hiện Nay

Có nhiều phương pháp tổng hợp tiếng nói, bao gồm phương pháp mô phỏng hệ thống phát âm, phương pháp tổng hợp Formant, phương pháp LPC, và phương pháp ghép nối. Mỗi phương pháp có ưu và nhược điểm riêng. Phương pháp ghép nối, sử dụng các đơn vị âm thanh đã được thu âm trước, thường cho chất lượng tốt hơn nhưng đòi hỏi cơ sở dữ liệu lớn. Phương pháp mô phỏng hệ thống phát âm cố gắng tái tạo quá trình phát âm, nhưng phức tạp và khó đạt được độ tự nhiên cao. Các phương pháp khác tập trung vào việc mô hình hóa các đặc trưng âm học của tiếng nói.

3.1. Phương Pháp Mô Phỏng Hệ Thống Phát Âm Tiếng Việt

Phương pháp này cố gắng mô phỏng quá trình phát âm của con người bằng cách sử dụng các mô hình toán học của các bộ phận của hệ thống phát âm, như dây thanh, lưỡi, môi. Phương pháp này có ưu điểm là có thể tạo ra các âm thanh mới mà không cần phải thu âm trước, nhưng lại rất phức tạp và khó đạt được độ tự nhiên cao. Cần phải có kiến thức sâu rộng về ngữ âm học và sinh lý học để xây dựng các mô hình chính xác.

3.2. Phương Pháp Ghép Nối Âm Vị Ưu Điểm và Hạn Chế

Phương pháp ghép nối sử dụng các đơn vị âm thanh đã được thu âm trước (ví dụ: âm vị, âm tiết, từ) và ghép chúng lại với nhau để tạo thành tiếng nói. Phương pháp này có ưu điểm là cho chất lượng khá tốt nếu cơ sở dữ liệu đủ lớn và được thu âm cẩn thận. Tuy nhiên, nó đòi hỏi một cơ sở dữ liệu lớn và phức tạp để quản lý và xử lý. Vấn đề quan trọng là xử lý các điểm nối giữa các đơn vị âm thanh để đảm bảo sự liền mạch và tự nhiên.

3.3. Thuật Giải PSOLA Trong Tổng Hợp Tiếng Việt

PSOLA (Pitch Synchronous Overlap and Add) là một thuật giải phổ biến trong tổng hợp tiếng nói, được sử dụng để điều chỉnh cao độ và thời lượng của các đơn vị âm thanh. PSOLA có thể được sử dụng để cải thiện chất lượng của tổng hợp tiếng Việt bằng cách làm cho âm thanh tự nhiên hơn và biểu cảm hơn. Thuật giải này dựa trên việc phân tích tín hiệu thành các khung và sau đó tổng hợp lại, cho phép điều chỉnh các đặc trưng âm học một cách linh hoạt.

IV. Xây Dựng Bộ Tổng Hợp Tiếng Việt Chất Lượng Tốt Đề Xuất

Để xây dựng bộ tổng hợp tiếng Việt chất lượng tốt, cần chú trọng đến việc xây dựng cơ sở dữ liệu chất lượng cao, bao gồm danh sách các âm tiết và đơn vị âm cần thu, kịch bản thu âm, và quy trình tách lấy âm tiết và đơn vị âm. Việc xử lý và phân tích văn bản cũng rất quan trọng, bao gồm phân tích văn bản thành âm tiết, xác định câu, và tách âm tiết thành đơn vị âm. Phương pháp tổng hợp tiếng Việt bằng ghép nối được đề xuất, kết hợp với các kỹ thuật nâng cao chất lượng như cân bằng biên độ, cân bằng tần số cơ bản (F0), và làm trơn phổ.

4.1. Xây Dựng Cơ Sở Dữ Liệu Âm Thanh Chất Lượng Cao

Việc xây dựng cơ sở dữ liệu âm thanh chất lượng cao là yếu tố then chốt để đạt được tổng hợp tiếng Việt chất lượng tốt. Cần xác định danh sách các âm tiết và đơn vị âm cần thu, đảm bảo tính đầy đủ và đại diện cho tiếng Việt. Kịch bản thu âm cần được thiết kế cẩn thận để đảm bảo chất lượng âm thanh, bao gồm môi trường thu âm, thiết bị thu âm, và người thu âm. Quy trình tách lấy âm tiết và đơn vị âm cần chính xác và nhất quán.

4.2. Phân Tích Văn Bản Tiếng Việt Thành Âm Tiết

Việc phân tích văn bản tiếng Việt thành âm tiết là bước quan trọng trong quá trình tổng hợp tiếng Việt. Cần xây dựng các quy tắc và thuật toán để phân tích văn bản thành các âm tiết, xác định câu, và tách âm tiết thành các đơn vị âm. Việc này đòi hỏi kiến thức về ngữ pháp và ngữ âm học tiếng Việt. Kết quả phân tích sẽ được sử dụng để ghép nối các đơn vị âm thanh và tạo ra tiếng nói.

4.3. Kỹ Thuật Nâng Cao Chất Lượng Tiếng Nói Tổng Hợp

Để nâng cao chất lượng tiếng nói tổng hợp tiếng Việt, cần áp dụng các kỹ thuật như cân bằng biên độ, cân bằng tần số cơ bản (F0), và làm trơn phổ. Cân bằng biên độ giúp đảm bảo âm lượng của các âm tiết đồng đều. Cân bằng F0 giúp tạo ra giọng nói tự nhiên hơn. Làm trơn phổ giúp giảm thiểu các hiện tượng méo tiếng và tạo ra âm thanh mượt mà hơn. Việc đánh giá chất lượng tiếng nói tổng hợp cũng rất quan trọng để xác định hiệu quả của các kỹ thuật này.

V. Đánh Giá Kết Quả Nghiên Cứu và Hướng Phát Triển Tương Lai

Luận văn này đã đạt được một số kết quả đáng khích lệ trong việc xây dựng bộ tổng hợp tiếng Việt chất lượng tốt. Tuy nhiên, vẫn còn nhiều hạn chế và hướng phát triển cần được tiếp tục nghiên cứu. Việc cải thiện chất lượng cơ sở dữ liệu, phát triển các thuật toán phân tích văn bản chính xác hơn, và nghiên cứu các kỹ thuật nâng cao chất lượng tiếng nói tiên tiến hơn là những hướng đi tiềm năng. Việc ứng dụng các công nghệ học sâu (Deep Learning) cũng có thể mang lại những đột phá trong lĩnh vực tổng hợp tiếng Việt.

5.1. Tóm Tắt Kết Quả Đạt Được Trong Luận Văn

Luận văn đã đề xuất phương án xây dựng bộ tổng hợp tiếng Việt chất lượng tốt, bao gồm cả việc xây dựng cơ sở dữ liệu tiếng Việt đảm bảo chất lượng. Các phương pháp phân tích văn bản và xử lý âm thanh cũng được nghiên cứu và đề xuất. Đánh giá chất lượng tiếng nói tổng hợp được thực hiện để kiểm chứng hiệu quả của các phương pháp. Các kết quả đạt được là tiền đề quan trọng cho các nghiên cứu tiếp theo.

5.2. Những Hạn Chế Cần Khắc Phục và Hướng Phát Triển

Cần tiếp tục cải thiện chất lượng cơ sở dữ liệu âm thanh, đảm bảo tính đầy đủ và đại diện cho tiếng Việt. Phát triển các thuật toán phân tích văn bản chính xác hơn, xử lý tốt các trường hợp đặc biệt của tiếng Việt. Nghiên cứu các kỹ thuật nâng cao chất lượng tiếng nói tiên tiến hơn, như sử dụng các mô hình học sâu. Ứng dụng các công nghệ mới nhất để đạt được tổng hợp tiếng Việt tự nhiên và biểu cảm hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ thông tin, máy tính đã trở thành công cụ không thể thiếu trong nhiều lĩnh vực như cơ khí, kinh tế, điện tử và giao thông liên lạc. Việc giao tiếp giữa con người và máy tính ngày càng đa dạng, trong đó giao tiếp bằng tiếng nói được đánh giá là phương thức tự nhiên và thuận tiện nhất. Tổng hợp tiếng nói (Text-to-Speech - TTS) là một lĩnh vực quan trọng nhằm tạo ra tiếng nói nhân tạo từ văn bản, góp phần nâng cao trải nghiệm người dùng trong các ứng dụng như trợ lý ảo, hệ thống thông tin tự động và giáo dục.

Tại Việt Nam, mặc dù các nghiên cứu về xử lý ngôn ngữ tiếng Việt đã được quan tâm, nhưng tổng hợp tiếng nói vẫn còn nhiều hạn chế do thiếu các bộ cơ sở dữ liệu chuẩn và đầy đủ. Mục tiêu của luận văn là xây dựng bộ tổng hợp tiếng Việt chất lượng tốt, tập trung vào việc phát triển cơ sở dữ liệu âm thanh chuẩn và áp dụng phương pháp tổng hợp ghép nối nhằm tạo ra tiếng nói tổng hợp gần với tiếng nói tự nhiên nhất. Nghiên cứu được thực hiện trong giai đoạn 2007-2009 tại Hà Nội, với phạm vi tập trung vào tiếng Việt chuẩn và các đơn vị âm tiết cơ bản.

Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao chất lượng tổng hợp tiếng Việt, góp phần phát triển các ứng dụng giao tiếp người-máy bằng tiếng nói, đồng thời tạo nền tảng cho các nghiên cứu tiếp theo trong lĩnh vực xử lý tiếng nói và ngôn ngữ tự nhiên.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình cơ bản trong xử lý tiếng nói và tổng hợp tiếng nói, bao gồm:

• Mô hình nguồn-lọc (source-filter model): Mô hình này phân tách quá trình tạo tiếng nói thành nguồn âm (dây thanh rung hoặc nhiễu trắng) và hệ thống lọc (tuyến âm, môi, mũi) tạo ra các đặc trưng âm học như formant và tần số cơ bản. Đây là cơ sở để mô phỏng và tổng hợp tiếng nói.

• Phân tích tín hiệu tiếng nói trên miền thời gian và tần số: Sử dụng các biểu diễn tín hiệu như phổ tần số, hàm năng lượng thời gian ngắn và phân tích formant để trích xuất đặc trưng âm học quan trọng.

• Phương pháp tổng hợp ghép nối (concatenative synthesis): Tổng hợp tiếng nói bằng cách ghép nối các đơn vị âm đã được ghi âm sẵn, ưu điểm là chất lượng tiếng nói tự nhiên cao, nhược điểm là yêu cầu bộ nhớ lớn và xử lý phức tạp.

• Thuật toán PSOLA (Pitch Synchronous Overlap Add): Phương pháp xử lý tín hiệu trên miền thời gian giúp điều chỉnh tần số cơ bản và thời gian của tín hiệu tổng hợp, giữ nguyên đặc trưng phổ và giảm méo tiếng.

Các khái niệm chính bao gồm âm vị, âm tiết, tần số cơ bản (F0), formant, thanh điệu tiếng Việt, và các đơn vị âm đầu, âm cuối trong cấu trúc âm tiết.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp xây dựng cơ sở dữ liệu và phát triển thuật toán tổng hợp tiếng nói:

• Nguồn dữ liệu: Thu thập 976 âm tiết tiếng Việt chuẩn, được ghi âm trong phòng thu cách ly tiếng ồn, sử dụng thiết bị CSL Model 4500 với tần số lấy mẫu 16 kHz và độ sâu 16 bit. Tổng dung lượng dữ liệu khoảng 10MB cho mỗi giọng, tỷ số tín hiệu trên nhiễu trung bình đạt 21dB.

• Phương pháp phân tích: Tiền xử lý dữ liệu bằng phần mềm MATLAB, thực hiện tách âm tiết và đơn vị âm bằng chương trình tự động với kiểm tra và hiệu chỉnh thủ công để đảm bảo độ chính xác.

• Phương pháp tổng hợp: Áp dụng phương pháp ghép nối kết hợp thuật toán TD-PSOLA để điều chỉnh tần số cơ bản và thời gian, nhằm nâng cao chất lượng tiếng nói tổng hợp, đặc biệt chú trọng đến việc tái tạo thanh điệu tự nhiên của tiếng Việt.

• Timeline nghiên cứu: Quá trình thu thập và xử lý dữ liệu kéo dài khoảng 20 phút cho mỗi bộ âm tiết, tổng thời gian nghiên cứu từ 2007 đến 2009, bao gồm các giai đoạn xây dựng cơ sở dữ liệu, phát triển thuật toán và đánh giá chất lượng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Xây dựng cơ sở dữ liệu âm thanh chuẩn: Danh sách 1015 tổ hợp âm tiết được xây dựng dựa trên tổ hợp các đơn vị âm đầu và âm cuối, trong đó 976 âm tiết được thu âm thực tế. Cơ sở dữ liệu đảm bảo đầy đủ các thanh điệu và âm vị tiếng Việt, với tỷ số tín hiệu trên nhiễu trung bình 21dB, đáp ứng yêu cầu chất lượng cho tổng hợp tiếng nói.

2. Hiệu quả của phương pháp tổng hợp ghép nối kết hợp TD-PSOLA: Phương pháp này cho phép điều chỉnh tần số cơ bản và thời gian của tín hiệu tổng hợp mà không làm mất đặc trưng phổ, giúp tiếng nói tổng hợp giữ được tính tự nhiên và rõ ràng. So với các phương pháp mô phỏng bộ máy phát âm và tổng hợp formant, phương pháp ghép nối có chất lượng tiếng nói cao hơn và chi phí tính toán hợp lý.

3. Chất lượng thanh điệu được cải thiện rõ rệt: Việc tách âm tiết thành đơn vị âm đầu (chỉ thanh ngang) và đơn vị âm cuối (đầy đủ 6 thanh điệu) giúp tái tạo chính xác thanh điệu tiếng Việt trong tiếng nói tổng hợp, nâng cao trải nghiệm người nghe.

4. Khó khăn trong tách âm tiết và đơn vị âm: Quá trình tách âm tiết từ các tập tin ghi âm đòi hỏi kiểm tra thủ công và điều chỉnh tham số để đảm bảo độ chính xác, đặc biệt với các âm tiết có âm vô thanh và hữu thanh xen kẽ. Việc này ảnh hưởng đến hiệu quả tự động hóa và cần được cải tiến trong các nghiên cứu tiếp theo.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc xây dựng cơ sở dữ liệu âm thanh chuẩn là nền tảng quan trọng để nâng cao chất lượng tổng hợp tiếng Việt. So với các nghiên cứu trước đây trong nước và quốc tế, luận văn đã phát triển một bộ dữ liệu đầy đủ hơn và áp dụng thuật toán PSOLA hiệu quả hơn trong việc xử lý tín hiệu.

Việc tập trung vào chất lượng thanh điệu là điểm mới và quan trọng, bởi thanh điệu là đặc trưng ngữ âm quyết định tính tự nhiên và dễ hiểu của tiếng Việt. Kết quả đánh giá chất lượng tiếng nói tổng hợp cho thấy sự cải thiện rõ rệt về độ tự nhiên và khả năng nhận biết thanh điệu so với các sản phẩm trước đó.

Tuy nhiên, việc tách âm tiết và đơn vị âm vẫn còn nhiều thách thức do đặc điểm phức tạp của tiếng Việt và sự đa dạng trong phát âm. Các biểu đồ so sánh tỷ lệ chính xác tách âm tiết và chất lượng tín hiệu trước và sau xử lý có thể minh họa rõ nét hiệu quả của phương pháp đề xuất.

Đề xuất và khuyến nghị

1. Tăng cường tự động hóa trong tách âm tiết và đơn vị âm: Phát triển các thuật toán nhận dạng và phân đoạn tín hiệu tiếng nói chính xác hơn, giảm thiểu sự can thiệp thủ công, nhằm nâng cao hiệu quả và độ chính xác của quá trình xử lý dữ liệu.

2. Mở rộng cơ sở dữ liệu với đa dạng giọng nói: Thu thập thêm dữ liệu từ nhiều giọng nói khác nhau về giới tính, độ tuổi và vùng miền để tăng tính đa dạng và khả năng ứng dụng rộng rãi của bộ tổng hợp tiếng Việt.

3. Ứng dụng kỹ thuật nén dữ liệu hiệu quả: Áp dụng các phương pháp nén dữ liệu thích hợp để giảm dung lượng lưu trữ mà không làm giảm chất lượng tiếng nói tổng hợp, giúp tiết kiệm bộ nhớ và tăng tốc độ xử lý.

4. Phát triển giao diện và công cụ đánh giá chất lượng: Xây dựng hệ thống đánh giá tự động chất lượng tiếng nói tổng hợp dựa trên các tiêu chí như độ tự nhiên, khả năng nhận biết thanh điệu và độ rõ ràng, hỗ trợ quá trình cải tiến và tối ưu hóa bộ tổng hợp.

5. Hợp tác nghiên cứu và chia sẻ dữ liệu: Khuyến khích các tổ chức, trường đại học và doanh nghiệp trong nước hợp tác xây dựng và chia sẻ cơ sở dữ liệu, công nghệ tổng hợp tiếng nói nhằm thúc đẩy sự phát triển chung của lĩnh vực xử lý tiếng nói tiếng Việt.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành xử lý tiếng nói và ngôn ngữ tự nhiên: Luận văn cung cấp cơ sở lý thuyết, phương pháp và dữ liệu thực nghiệm quý giá để phát triển các đề tài nghiên cứu liên quan đến tổng hợp tiếng nói tiếng Việt.

2. Các công ty phát triển phần mềm và ứng dụng giao tiếp người-máy: Thông tin về xây dựng cơ sở dữ liệu và thuật toán tổng hợp giúp cải thiện chất lượng sản phẩm như trợ lý ảo, hệ thống đọc văn bản tự động, ứng dụng giáo dục.

3. Chuyên gia trong lĩnh vực công nghệ giáo dục và truyền thông: Nghiên cứu hỗ trợ phát triển các công cụ học tập tiếng Việt, truyền thông đa phương tiện với tiếng nói tổng hợp tự nhiên, dễ tiếp cận.

4. Cơ quan quản lý và hoạch định chính sách về công nghệ thông tin: Cung cấp dữ liệu và giải pháp để xây dựng các tiêu chuẩn, chính sách phát triển công nghệ xử lý tiếng nói trong nước, thúc đẩy ứng dụng rộng rãi trong xã hội.

Câu hỏi thường gặp

1. Tại sao cần xây dựng cơ sở dữ liệu âm thanh riêng cho tiếng Việt?
   Tiếng Việt có đặc trưng ngữ âm riêng biệt như thanh điệu và cấu trúc âm tiết phức tạp. Cơ sở dữ liệu chuẩn giúp tái tạo chính xác các đặc trưng này, nâng cao chất lượng tổng hợp tiếng nói so với việc sử dụng dữ liệu chung hoặc dữ liệu từ ngôn ngữ khác.

2. Phương pháp tổng hợp ghép nối có ưu điểm gì so với các phương pháp khác?
   Phương pháp ghép nối cho chất lượng tiếng nói tự nhiên cao do sử dụng tín hiệu ghi âm thực tế. Nó cũng có chi phí tính toán thấp hơn so với mô phỏng bộ máy phát âm và tổng hợp formant, phù hợp với các ứng dụng thực tế.

3. Thuật toán PSOLA giúp cải thiện chất lượng tổng hợp như thế nào?
   PSOLA cho phép điều chỉnh tần số cơ bản và thời gian của tín hiệu mà không làm mất đặc trưng phổ, giữ nguyên tính tự nhiên và giảm méo tiếng. Điều này đặc biệt quan trọng trong việc tái tạo thanh điệu và ngữ điệu tiếng Việt.

4. Làm thế nào để xử lý các âm tiết có âm vô thanh và hữu thanh xen kẽ trong tách âm?
   Cần thiết lập các tham số dò tìm điểm cắt phù hợp và kiểm tra thủ công để điều chỉnh chính xác. Việc này giúp tránh sai sót trong phân đoạn, đảm bảo chất lượng dữ liệu đầu vào cho tổng hợp.

5. Có thể áp dụng kết quả nghiên cứu này cho các ngôn ngữ khác không?
   Mặc dù phương pháp tổng hợp ghép nối và thuật toán PSOLA có thể áp dụng cho nhiều ngôn ngữ, nhưng việc xây dựng cơ sở dữ liệu và xử lý đặc trưng ngữ âm cần được tùy chỉnh phù hợp với từng ngôn ngữ cụ thể, đặc biệt là các ngôn ngữ có thanh điệu như tiếng Việt.

Kết luận

• Đã xây dựng thành công cơ sở dữ liệu âm thanh chuẩn gồm 976 âm tiết tiếng Việt với chất lượng tín hiệu đạt tỷ số tín hiệu trên nhiễu trung bình 21dB.
• Áp dụng phương pháp tổng hợp ghép nối kết hợp thuật toán TD-PSOLA giúp nâng cao chất lượng tiếng nói tổng hợp, đặc biệt trong việc tái tạo thanh điệu tự nhiên.
• Nghiên cứu giải quyết được các khó khăn trong tách âm tiết và đơn vị âm, đảm bảo độ chính xác cao cho dữ liệu đầu vào.
• Đề xuất các giải pháp nâng cao tự động hóa, mở rộng cơ sở dữ liệu và phát triển công cụ đánh giá chất lượng tiếng nói tổng hợp.
• Khuyến nghị hợp tác nghiên cứu và chia sẻ dữ liệu để thúc đẩy phát triển công nghệ tổng hợp tiếng nói tiếng Việt trong tương lai.

Triển khai mở rộng cơ sở dữ liệu đa giọng, phát triển thuật toán tự động tách âm tiết và đơn vị âm, đồng thời xây dựng hệ thống đánh giá chất lượng tự động. Các nhà nghiên cứu và doanh nghiệp được khuyến khích áp dụng và phát triển dựa trên kết quả này để nâng cao ứng dụng tổng hợp tiếng nói trong thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: KHÁI QUÁT VỀ CÁC NGHIÊN CỨU TỔNG HỢP TIẾNG VIỆT 1.1 Tổng quan về xử lý ngôn ngữ tiếng Việt Gần đây, vấn đề xử lý ngôn ngữ và xử lý tiếng Việt được các nhà khoa học hàng đầu trong lĩnh vực công nghệ thông tin ở trong nước quan tâm. Các sản phẩm tiêu biểu về xử lý tiếng Việt như: bộ gõ tiếng việt Vietkey, từ điển Anh- Việt, Việt-Anh, hay phần mềm dịch song ngữ EVTRAN, phần mềm nhận dạng chữ Việt vnDOC,… là những sản phẩm đã được người sử dụng biết đến. Tuy nhiên, các công cụ hỗ trợ trong lĩnh vực giao tiếp người máy như nhận dạng và tổng hợp tiếng Việt với các kết quả còn hạn chế. Có rất nhiều lý do, nhưng lý do cơ bản là có quá ít các nghiên cứu cơ sở, nền tảng và nếu có thì thường là những nghiên cứu ngắn hạn, đơn lẻ dưới dạng các đề tài tốt nghiệp, thạc sĩ trong các trường đại học, thiếu sự kế thừa và thiếu trang thiết bị.

Kết quả, cho tới nay chúng ta vẫn chưa có những bộ cơ sở dữ liệu nào là chuẩn và đầy đủ cho các vấn đề liên quan đến xử lý ngôn ngữ tiếng Việt, mà những vấn đề này ở nước ngoài đã được phát triển từ rất lâu và đã được cộng đồng quốc tế xác định là không thể thiếu trong xử lý ngôn ngữ. Hiện tại, một số sản phẩm được thực hiện mới dừng lại ở mức mô hình, thử nghiệm và tiến hành trên những tập ngữ liệu nhỏ, chưa đầy đủ. Hơn nữa, các nỗ lực của chúng ta chưa được liên kết với nhau, thiếu tính chia sẻ kế thừa, hợp tác theo một lộ trình có kế hoạch. Nếu hình dung các công đoạn của vấn đề xử lý ngôn ngữ được đánh số từ A đến Z, thì hầu hết các sản phẩm làm ra cho người dùng cuối đều ở khoảng từ R, S,… trở đi, mà muốn có kết quả tốt trong giai đoạn này thì nhất thiết phải cần tới kết quả của tất cả các bước từ A đến P, Q.

Như vậy, hiện tại nếu chúng ta muốn có một sản phẩm thì phải làm tất cả các công đoạn từ A đến P, Q đến Z như thế không ai có thể khẳng định chắc chắn sản phẩm R, S,…, Z làm được là đủ tốt. Đinh Đồng Lưỡng – Lớp Cao học XLTT&TT 2007 TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT Trang 4 1.2 Các nghiên cứu về tổng hợp tiếng Việt Ở trong nước, có thể kể đến những tập thể đã có những kết quả nghiên cứu về tổng hợp tiếng Việt như Viện Công nghệ Thông tin, Khoa Công nghệ Thông tin và Trung tâm nghiên cứu quốc tế Thông tin đa phương tiện, truyền thông và ứng dụng (MICA) - Đại học Bách khoa Hà Nội và kết quả của một số trường Đại học là những đề tài tốt nghiệp, thạc sĩ hay tiến sĩ mang tính chất nghiên cứu và tìm hiểu. Nghiên cứu về xử lý ngôn ngữ đã được theo đuổi từ khá lâu bởi một số tập thể như Đại học Bách khoa Hà Nội, Đại học Khoa học Tự nhiên thành phố Hồ Chí Minh, Đại học Bách khoa Đà Nẵng, Trường Đại học Công nghệ, Viện Ứng dụng Công nghệ, Viện Công nghệ Thông tin, Công ty Lạc Việt,… và Đề tài cấp Nhà nước “Nghiên cứu phát triển công nghệ nhận dạng, tổng hợp và xử lý ngôn ngữ tiếng Việt” giai đoạn 2001-2004 trong chương trình quốc gia KC-01. Ở nước ngoài, có thể kể tới nhóm nghiên cứu tại Canada của tiến sĩ Lê Tang Hồ với phần mềm tổng hợp tiếng Việt có tên Vietvoice, và một số nghiên cứu của các cán bộ và nghiên cứu sinh Việt Nam tại Viện Khoa học và Công nghệ Tiên tiến Nhật bản (JAIST).

Xử lý ngôn ngữ tiếng Việt nói chung và tổng hợp tiếng nói tiếng Việt nói riêng là những vấn đề chỉ có thể làm tốt được bởi chính người Việt chúng ta. Hiện nay, đã có một số sản phẩm tổng hợp tiếng Việt như VietVoice, vnVoice, VieTTS hay VnSpeech do người Việt và một số người Việt Nam ở nước ngoài làm ra và đã có những kết quả bước đầu. Tuy nhiên, vấn đề nâng cao chất lượng tổng hợp của các sản phẩm cho người dùng là cái đích cuối cùng mà ta cần hướng tới. Qua nhiều năm nghiên cứu, tìm hiểu về tổng hợp, đồng thời mong muốn góp một phần xây dựng hệ tổng hợp tiếng Việt, chúng tôi muốn hướng tới hệ tổng hợp tiếng Việt chất lượng tốt trong đó vấn đề chất lượng thanh điệu được đưa lên hàng đầu.

Đinh Đồng Lưỡng – Lớp Cao học XLTT&TT 2007 TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT Trang 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ XỬ LÝ TIẾNG NÓI 2. Quá trình phát âm Tiếng nói là một phương tiện trao đổi thông tin của con người. Tiếng nói được tạo ra từ quá trình tư duy của con người và trung khu thần kinh điều khiển hệ thống phát âm làm việc tạo ra âm thanh. Tiếng nói được phân biệt với các âm thanh khác bởi các đặc tính âm học có nguồn gốc từ cơ chế tạo tiếng nói.

Về bản chất, tiếng nói là sự dao động của sóng âm có mang theo thông tin. Các dao động này tạo thành những áp lực đến hệ thống thích giác, được hệ thống thích giác phát hiện, phân tích và chuyển kết quả đến trung khu thần kinh. Lúc này tại trung khu thần kinh, thông tin được tái tạo lại dưới dạng tư duy logic mà con người có thể hiểu được. Tín hiệu tiếng nói được tạo thành bởi chuỗi các âm vị liên tiếp.

Sự sắp xếp của các âm vị được chi phối bởi các quy tắc của ngôn ngữ. Việc nghiên cứu một cách chi tiết về những quy tắc này cũng như những khía cạnh khác bên trong tiếng nói thuộc về chuyên ngành ngôn ngữ. Việc phân loại các âm vị của tiếng nói thuộc về chuyên ngành ngữ âm học. Khi nghiên cứu các mô hình toán học của cơ chế tạo tiếng nói, việc nghiên cứu về các âm vị là rất cần thiết.

Nắp đóng của thanh quản 11. Dây thanh giả 12. Khí quản Hình 2.1 – Cơ quan phát âm Đinh Đồng Lưỡng – Lớp Cao học XLTT&TT 2007 TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT Trang 6 Khi phát âm, không khí được đẩy từ phổi qua khí quản, luồng không khí chuyển động làm cho dây thanh rung kết hợp với hình dạng của tuyến âm, môi, lưỡi. đóng vai trò như các bộ cộng hưởng và các bộ lọc sẽ tạo ra các âm thanh khác nhau.

Người ta có thể mô hình hóa toàn bộ quá trình phát âm bởi các mô hình toán học khác nhau. Đặc tính âm học của tiếng nói 2. Âm hữu thanh và âm vô thanh 2. Âm hữu thanh Âm hữu thanh được tạo ra từ các dây thanh bị căng đồng thời, chúng rung động ở chế độ dãn, khi không khí tăng lên làm thanh môn mở ra và sau đó thanh môn xẹp xuống do không khí chạy qua.

Do sự cộng hưởng của dây thanh, sóng âm tạo ra có dạng tuần hoàn hoặc gần như tuần hoàn. Phổ của âm hữu thanh có nhiều thành phần hài tại giá trị bội số của tần số cộng hưởng, còn gọi là tần số cơ bản (pitch). Âm vô thanh Khi tạo ra âm vô thanh dây thanh không cộng hưởng. Âm vô thanh có hai loại cơ bản là âm xát và âm tắc.

Âm xát (ví dụ như âm s) được tạo ra khi có sự co thắt tại vài điểm trong tuyến âm. Không khí khi đi qua điểm co thắt sẽ chuyển thành chuyển động hỗn loạn tạo nên kích thích giống như nhiễu ngẫu nhiên. Thông thường điểm co thắt xảy ra gần miệng nên sự cộng hưởng của tuyến âm ảnh hưởng rất ít đến đặc tính của âm xát được tạo ra. Âm tắc (ví dụ như âm p) được tạo ra khi tuyến âm đóng tại một số điểm làm cho áp suất không khí tăng lên và sau đó được giải phóng đột ngột.

Sự giải phóng đột ngột này tạo ra kích thích nhất thời của tuyến âm. Sự kích thích này có Đinh Đồng Lưỡng – Lớp Cao học XLTT&TT 2007 TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT Trang 7 thể xảy ra với sự cộng hưởng hoặc không cộng hưởng của dây thanh tương ứng với âm tắc hữu thanh hoặc vô thanh. Âm vị Tín hiệu tiếng nói là tín hiệu tương tự biểu diễn cho thông tin về mặt ngôn ngữ và được mô tả bởi các âm vị khác nhau. Như vậy, âm vị là đơn vị nhỏ nhất của ngôn ngữ.

Tuỳ theo từng ngôn ngữ cụ thể mà số lượng các âm vị nhiều hay ít (thông thường số lượng các âm vị vào khoảng dưới 50). Các âm vị được chia thành hai loại: nguyên âm và phụ âm. Nguyên âm Nguyên âm là âm hữu thanh được tạo ra bằng sự cộng hưởng của dây thanh khi dòng khí được thanh môn đẩy lên. Khoang miệng được tạo lập thành nhiều hình dạng nhất định tạo thành các nguyên âm khác nhau.

Số lượng các nguyên âm phụ thuộc vào từng ngôn ngữ nhất định. Phụ âm Phụ âm được tạo ra bởi các dòng khí hỗn loạn được phát ra gần những điểm co thắt của đường dẫn âm thanh do cách phát âm tạo thành. Phụ âm có đặc tính hữu thanh hay vô thanh tuỳ thuộc vào việc dây thanh có dao động để tạo nên cộng hưởng hay không. Dòng không khí tại chỗ đóng của vòm miệng tạo ra phụ âm tắc.

Phụ âm xát được phát ra từ chỗ co thắt lớn nhất. Các đặc tính khác 2. Tỷ suất thời gian Trong khi nói chuyện, khoảng thời gian nói và khoảng thời gian nghỉ xen kẽ nhau. Tỷ lệ % thời gian nói trên tổng số thời gian nói và nghỉ được gọi là tỷ suất thời gian.

Giá trị này biến đổi tuỳ thuộc vào tốc độ nói và từ đó ta có thể phân loại thành nói nhanh, nói chậm hay nói bình thường. Đinh Đồng Lưỡng – Lớp Cao học XLTT&TT 2007 TỔNG HỢP TIẾNG VIỆT CHẤT LƯỢNG TỐT Trang 8 2. Hàm năng lượng thời gian ngắn Hàm năng lượng thời gian ngắn của tiếng nói được tính bằng cách chia tín hiệu tiếng nói thành nhiều khung, mỗi khung chứa N mẫu. Các khung này được đưa qua một cửa sổ có dạng hàm như sau: W(n ) Với 0 ≤ n ≤ N W (n ) =  0 Với n ≥ N Hàm năng lượng ngắn tại mẫu thứ m được tính theo công thức sau: N −1 Em = ∑ { x( n + m) ∗ W (n )} 2 n= 0 Thông thường có ba dạng cửa sổ được sử dụng đó là cửa sổ Hamming, cửa sổ Hanning và cửa sổ chữ nhật.

Hàm năng lượng thời gian ngắn của âm hữu thanh thường lớn hơn so với âm vô thanh.