Áp Dụng PSOLA Trong Tổng Hợp Tiếng Nói Tiếng Việt

Chuyên khảo phân tích Luận văn áp dụng phương pháp p sola trong tổng hợp tiếng nói tiếng việt, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Hoàng Tiểu Bình
• Người hướng dẫn: Tiến Sĩ Lương Hi Mai
• Trường học: ĐH Công nghệ, ĐHQG Hà Nội
• Đề tài: Áp Dụng PSOLA Trong Tổng Hợp Tiếng Nói Tiếng Việt
• Loại tài liệu: luận văn
• Năm xuất bản: 2006
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. CHƯƠNG 1: TỔNG QUAN VỀ TIẾNG NÓI
• 1.1. Lịch sử phát triển
• 1.2. Xác định tần số lấy mẫu tín hiệu tiếng nói
• 1.3. Biểu diễn tín hiệu số
• 1.4. Biến đổi Fourier rời rạc (Discrete Fourier Transform - DFT)
• 1.5. Hàm cửa sổ
• 4. CHƯƠNG 4: NGỮ ÂM TIẾNG VIỆT
• 4.1. Tổng quan về ngữ âm tiếng Việt
• 4.2. Đặc điểm của âm tiết tiếng Việt
• 4.3. Đầu của âm tiết tiếng Việt
• 4.4. Thanh điệu trong tiếng Việt
• 5. CHƯƠNG 5: XÂY DỰNG CƠ SỞ DỮ LIỆU ÂM
• 5.1. Lựa chọn đơn vị âm cho tổng hợp tiếng Việt
• 5.2. Gán nhãn cơ sở dữ liệu
• 5.3. Thuật toán gán nhãn tự động mẫu âm tiết
• 5.4. Thuật toán gán nhãn tự động mẫu âm vị
• 6. CHƯƠNG 6: ÁP DỤNG PSOLA TRONG TỔNG HỢP TIẾNG VIỆT
• 6.1. Làm mềm hóa biến nối
• ĐÁNH GIÁ KẾT QUẢ VÀ ĐỊNH HƯỚNG NGHIÊN CỨU
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tổng Hợp Tiếng Nói Tiếng Việt PSOLA

Từ thời tiền sử đến nay, truyền thông tiếng nói vẫn là phương thức nổi trội nhất của xã hội loài người trong việc trao đổi thông tin. Các từ ngữ vẫn ngày càng được mở rộng thông qua các phương tiện mang tính công nghệ như điện thoại, phim ảnh, truyền thanh, truyền hình và Internet. Khuynh hướng này ảnh hưởng không nhỏ đến truyền thông bằng tiếng nói của con người. Hầu hết máy tính ngày nay sử dụng một giao diện đồ họa người dùng (GUI), dựa trên giao diện thể hiện bằng đồ họa và các chức năng như cửa sổ, biểu tượng, trình đơn, và con trỏ. Hầu hết các hệ điều hành và các ứng dụng đều phụ thuộc vào các đáp ứng gõ phím hay nhấn chuột, sau đó hiển thị các hồi âm qua màn hình. Máy tính ngày nay vẫn còn thiếu các chức năng cơ bản của con người như nói, nghe, hiểu và học. Tiếng nói, được hỗ trợ bởi các phương thức tự nhiên khác sẽ là một trong những phương tiện chính để giao tiếp với máy tính. Và thậm chí trước khi các giao tiếp dựa trên tiếng nói đạt đến độ thuần thục thì các ứng dụng gia đình, di động, và văn phòng kết hợp với công nghệ tiếng nói sẽ thay đổi cách thức sống và làm việc của chúng ta. Một hệ thống tiếng nói cần phải có khả năng nhận dạng và tổng hợp câu chữ. Tuy nhiên nếu chỉ có 2 thành phần này cũng không đủ để tạo nên một hệ tiếng nói hữu dụng, cần phải có một thành phần hội thoại có thể hiểu được cộng với miền tri thức cho chúng để thực hiện các thao tác thích hợp. Để làm được các thành phần này, còn rất nhiều thách thức đang tồn tại, như tính ổn định, linh hoạt, dễ tích hợp, hiệu quả. Mục tiêu để xây dựng được một hệ tiếng nói mang tính thương mại đã thu hút nhiều nhà khoa học và các kỹ sư trên toàn thế giới. Một trong những mục tiêu quan trọng nhất của tổng hợp tiếng nói là làm sao tiếng nói tổng hợp được phải đạt đến độ tự nhiên tối đa, đồng thời để có thể áp dụng được vào nhiều lĩnh vực trong cuộc sống, nó phải có một khả năng linh hoạt, tùy biến theo nhiều tham số khác nhau.

1.1. Lịch Sử Phát Triển Của Tổng Hợp Tiếng Nói

Năm 1797 Christian Kratzenstein của trường đại học St. Petersburg đã xây dựng một mô hình có dạng vòm họng người có thể tạo ra 5 nguyên âm (a, e, i, o và u). Sau đó nó được Wolfgang von Kempelen ở Vienna, Austria phát triển thêm và gọi là Máy tạo tiếng nói dựa trên cơ chế âm học. Chiếc máy này được bổ sung thêm các mô hình của môi và lưỡi, cho phát ra cả nguyên âm cũng như phụ âm. Trong những năm 1930, Phòng thí nghiệm Bell Labs đã phát triển hệ thống VOCODER, bộ tổng hợp và phân tích tiếng nói dựa trên việc mô hình hóa cộng hưởng của ống thanh bằng linh kiện điện tử. Homer Dudley đã nâng cấp hệ thống này thành VODER và được trưng bày tại hội chợ New York World's Fair vào năm 1939. Hệ thống tổng hợp tiếng nói dựa trên máy tính đầu tiên được xây dựng vào những năm 50 của thế kỷ trước và hệ thống text-to-speech đầu tiên được hoàn thành vào năm 1968. Từ đó đến nay đã có rất nhiều cải tiến về mặt công nghệ, kỹ thuật áp dụng cho tổng hợp tiếng nói, có được điều đó là nhờ khả năng tính toán của máy tính đã tăng lên gấp nhiều nhiều lần, các nghiên cứu và cơ sở dữ liệu âm thanh và tiếng nói cũng dày thêm tạo ra một kho âm thanh lớn phục vụ cho việc phân tích tiếng nói. Tổng hợp tiếng nói là một vấn đề khoa học nhận dạng liên quan đến nhiều lĩnh vực khoa học khác nhau như ngôn ngữ học, tâm lý học, toán học, xử lý tín hiệu số và khoa học máy tính. Hiện nay, trên thế giới, các nhà khoa học đã nghiên cứu và xây dựng cũng như đưa vào ứng dụng trong thực tế nhiều hệ thống với chất lượng âm thanh đã tiến dần đến tiếng nói tự nhiên của con người. Thậm chí trong một số ứng dụng nhất định, chất lượng âm thanh tổng hợp đã đạt đến độ tự nhiên như tiếng nói con người.

1.2. Ứng Dụng Của Tổng Hợp Tiếng Nói Tiếng Việt

Hiện nay tại Việt Nam, đã có nhiều cơ quan, viện nghiên cứu, các trường đại học đã có những nghiên cứu và bước đầu đã đem lại một số kết quả khả quan trong vấn đề tổng hợp tiếng Việt. Nghiên cứu tổng hợp tiếng Việt là một đòi hỏi tất yếu của xã hội để theo kịp xu thế của thế giới bởi đặc thù ngôn ngữ của mỗi quốc gia không cho phép chúng ta sử dụng những phần mềm có sẵn của nước ngoài trong việc đọc văn bản tiếng Việt. Hơn nữa việc nghiên cứu tổng hợp tiếng Việt giúp cho ta có được sự hiểu biết sâu hơn về ngôn ngữ và văn hóa Việt Nam, qua đó có ý thức hơn trong việc giữ gìn sự trong sáng của tiếng Việt cũng như bản sắc văn hóa của người Việt Nam.

II. Vấn Đề Thách Thức Trong Tổng Hợp Tiếng Việt

Để xây dựng một hệ thống tổng hợp tiếng nói tiếng Việt hiệu quả, cần giải quyết nhiều thách thức liên quan đến đặc điểm ngữ âm của tiếng Việt. Tiếng Việt là một ngôn ngữ đơn âm tiết, có thanh điệu, và cấu trúc âm tiết phức tạp. Điều này đòi hỏi các phương pháp tổng hợp tiếng nói phải xử lý chính xác các yếu tố như thanh điệu, âm đầu, âm cuối, và âm đệm. Ngoài ra, sự đa dạng về giọng nói vùng miền cũng là một thách thức lớn, đòi hỏi hệ thống phải có khả năng thích ứng với nhiều giọng nói khác nhau để đảm bảo tính tự nhiên và dễ nghe.

2.1. Đặc Điểm Ngữ Âm Tiếng Việt Ảnh Hưởng Đến Tổng Hợp

Tiếng Việt là ngôn ngữ đơn âm tiết và có thanh điệu, điều này tạo ra những thách thức riêng trong tổng hợp tiếng nói. Mỗi âm tiết trong tiếng Việt có thể mang một trong sáu thanh điệu khác nhau, và sự thay đổi thanh điệu có thể làm thay đổi hoàn toàn ý nghĩa của từ. Do đó, hệ thống tổng hợp tiếng nói phải có khả năng tái tạo chính xác các thanh điệu để đảm bảo người nghe hiểu đúng ý nghĩa của câu. Ngoài ra, cấu trúc âm tiết phức tạp của tiếng Việt, với sự kết hợp của âm đầu, âm đệm, âm chính, và âm cuối, cũng đòi hỏi hệ thống phải có khả năng xử lý linh hoạt và chính xác.

2.2. Sự Đa Dạng Về Giọng Nói Vùng Miền

Một thách thức khác trong tổng hợp tiếng nói tiếng Việt là sự đa dạng về giọng nói vùng miền. Tiếng Việt có nhiều giọng nói khác nhau, tùy thuộc vào vùng miền địa lý. Các giọng nói này có thể khác nhau về cách phát âm, thanh điệu, và ngữ điệu. Để hệ thống tổng hợp tiếng nói có thể phục vụ được nhiều người dùng, nó cần phải có khả năng thích ứng với nhiều giọng nói khác nhau. Điều này đòi hỏi việc thu thập và xử lý dữ liệu từ nhiều vùng miền khác nhau, cũng như phát triển các thuật toán có khả năng học và tái tạo các đặc điểm riêng của từng giọng nói.

III. Phương Pháp PSOLA Giải Pháp Hiệu Quả Cho Tiếng Việt

PSOLA (Pitch Synchronous Overlap and Add) là một phương pháp xử lý tín hiệu số được sử dụng rộng rãi trong tổng hợp tiếng nói. Phương pháp này cho phép điều chỉnh các tham số của tiếng nói như cao độ (pitch) và trường độ (duration) một cách độc lập, giúp tạo ra tiếng nói tổng hợp tự nhiên và linh hoạt hơn. PSOLA đặc biệt phù hợp với tiếng Việt vì nó có thể xử lý tốt các đặc điểm như thanh điệu và sự thay đổi cao độ trong âm tiết.

3.1. Nguyên Lý Hoạt Động Của Giải Thuật PSOLA

Giải thuật PSOLA hoạt động dựa trên việc phân tích tín hiệu tiếng nói thành các đơn vị nhỏ, gọi là các khung (frame), đồng bộ với chu kỳ cao độ (pitch period). Sau đó, các khung này được xử lý để điều chỉnh cao độ và trường độ theo yêu cầu. Cuối cùng, các khung đã được điều chỉnh được chồng lấp và cộng lại để tạo ra tín hiệu tiếng nói tổng hợp. Ưu điểm của PSOLA là khả năng điều chỉnh cao độ và trường độ một cách độc lập, giúp tạo ra tiếng nói tổng hợp tự nhiên và linh hoạt hơn. Tuy nhiên, PSOLA cũng có một số nhược điểm, như có thể gây ra hiện tượng méo tiếng nếu các tham số điều chỉnh quá lớn.

3.2. Ưu Điểm Của PSOLA Trong Tổng Hợp Tiếng Việt

PSOLA có nhiều ưu điểm khi áp dụng vào tổng hợp tiếng nói tiếng Việt. Thứ nhất, nó có thể xử lý tốt các đặc điểm như thanh điệu và sự thay đổi cao độ trong âm tiết. Thứ hai, nó cho phép điều chỉnh cao độ và trường độ một cách độc lập, giúp tạo ra tiếng nói tổng hợp tự nhiên và linh hoạt hơn. Thứ ba, PSOLA là một phương pháp tương đối đơn giản và dễ triển khai, phù hợp với các hệ thống tổng hợp tiếng nói có yêu cầu về hiệu năng cao.

IV. Ứng Dụng PSOLA Để Điều Chỉnh Cao Độ Trường Độ Tiếng Việt

Một trong những ứng dụng quan trọng của PSOLA trong tổng hợp tiếng nói là điều chỉnh cao độ và trường độ của âm tiết. Việc điều chỉnh cao độ giúp tái tạo chính xác các thanh điệu của tiếng Việt, trong khi điều chỉnh trường độ giúp tạo ra nhịp điệu tự nhiên cho câu nói. Bằng cách kết hợp cả hai loại điều chỉnh này, có thể tạo ra tiếng nói tổng hợp có chất lượng cao và dễ nghe.

4.1. Điều Chỉnh Cao Độ Pitch Shifting Với PSOLA

Điều chỉnh cao độ (pitch shifting) là một kỹ thuật quan trọng trong tổng hợp tiếng nói, đặc biệt là đối với các ngôn ngữ có thanh điệu như tiếng Việt. PSOLA cho phép điều chỉnh cao độ của âm tiết một cách linh hoạt, giúp tái tạo chính xác các thanh điệu khác nhau. Bằng cách thay đổi cao độ của âm tiết, có thể tạo ra các từ có ý nghĩa khác nhau, ví dụ như "ma" (con ma) và "má" (mẹ). Việc điều chỉnh cao độ cần được thực hiện một cách cẩn thận để tránh gây ra hiện tượng méo tiếng hoặc làm mất đi tính tự nhiên của tiếng nói.

4.2. Điều Chỉnh Trường Độ Time Stretching Với PSOLA

Điều chỉnh trường độ (time stretching) là một kỹ thuật khác được sử dụng rộng rãi trong tổng hợp tiếng nói. PSOLA cho phép điều chỉnh trường độ của âm tiết một cách độc lập, giúp tạo ra nhịp điệu tự nhiên cho câu nói. Bằng cách kéo dài hoặc rút ngắn thời gian phát âm của âm tiết, có thể tạo ra các hiệu ứng khác nhau, ví dụ như làm cho câu nói trở nên chậm rãi hoặc nhanh chóng hơn. Việc điều chỉnh trường độ cần được thực hiện một cách cân đối để tránh làm mất đi tính tự nhiên của tiếng nói.

V. Đánh Giá Chất Lượng Cải Thiện Tổng Hợp Tiếng Việt PSOLA

Để đánh giá chất lượng của hệ thống tổng hợp tiếng nói sử dụng PSOLA, cần thực hiện các thử nghiệm khách quan và chủ quan. Thử nghiệm khách quan sử dụng các chỉ số như độ chính xác của cao độ và trường độ, trong khi thử nghiệm chủ quan yêu cầu người nghe đánh giá tính tự nhiên và dễ nghe của tiếng nói tổng hợp. Dựa trên kết quả đánh giá, có thể thực hiện các cải tiến để nâng cao chất lượng của hệ thống.

5.1. Các Phương Pháp Đánh Giá Chất Lượng Tiếng Nói Tổng Hợp

Có nhiều phương pháp khác nhau để đánh giá chất lượng của tiếng nói tổng hợp. Một trong những phương pháp phổ biến nhất là sử dụng các chỉ số khách quan, như độ chính xác của cao độ và trường độ. Các chỉ số này có thể được tính toán tự động bằng máy tính, giúp đánh giá chất lượng của hệ thống một cách nhanh chóng và chính xác. Tuy nhiên, các chỉ số khách quan không thể phản ánh đầy đủ cảm nhận của người nghe về tính tự nhiên và dễ nghe của tiếng nói tổng hợp. Do đó, cần kết hợp với các thử nghiệm chủ quan, trong đó người nghe được yêu cầu đánh giá chất lượng của tiếng nói tổng hợp theo các tiêu chí như tính tự nhiên, dễ nghe, và dễ hiểu.

5.2. Các Biện Pháp Cải Thiện Chất Lượng Tiếng Nói Tổng Hợp PSOLA

Dựa trên kết quả đánh giá chất lượng, có thể thực hiện các biện pháp cải thiện để nâng cao chất lượng của hệ thống tổng hợp tiếng nói sử dụng PSOLA. Một trong những biện pháp quan trọng nhất là cải thiện chất lượng của cơ sở dữ liệu tiếng nói. Cơ sở dữ liệu cần phải chứa các mẫu tiếng nói chất lượng cao, được thu thập từ nhiều người nói khác nhau và bao phủ đầy đủ các âm tiết và thanh điệu của tiếng Việt. Ngoài ra, cần cải thiện các thuật toán xử lý tín hiệu số để giảm thiểu hiện tượng méo tiếng và làm cho tiếng nói tổng hợp trở nên tự nhiên hơn.

VI. Kết Luận Hướng Nghiên Cứu Phát Triển PSOLA Tiếng Việt

PSOLA là một phương pháp hiệu quả để tổng hợp tiếng nói tiếng Việt, đặc biệt là trong việc điều chỉnh cao độ và trường độ của âm tiết. Tuy nhiên, vẫn còn nhiều hướng nghiên cứu để cải thiện chất lượng của hệ thống, như tích hợp các kỹ thuật học máy để tự động điều chỉnh các tham số của PSOLA, hoặc kết hợp PSOLA với các phương pháp tổng hợp tiếng nói khác để tạo ra hệ thống có chất lượng cao hơn.

6.1. Tích Hợp Học Máy Để Tự Động Điều Chỉnh Tham Số PSOLA

Một hướng nghiên cứu tiềm năng là tích hợp các kỹ thuật học máy để tự động điều chỉnh các tham số của PSOLA. Các thuật toán học máy có thể được huấn luyện để dự đoán các tham số tối ưu cho PSOLA dựa trên các đặc điểm của văn bản đầu vào. Điều này giúp giảm thiểu sự can thiệp thủ công và làm cho hệ thống tổng hợp tiếng nói trở nên linh hoạt và dễ sử dụng hơn.

6.2. Kết Hợp PSOLA Với Các Phương Pháp Tổng Hợp Khác

Một hướng nghiên cứu khác là kết hợp PSOLA với các phương pháp tổng hợp tiếng nói khác, như tổng hợp tiếng nói dựa trên đơn vị (unit selection synthesis) hoặc tổng hợp tiếng nói tham số (parametric synthesis). Bằng cách kết hợp các phương pháp này, có thể tận dụng ưu điểm của từng phương pháp và tạo ra hệ thống tổng hợp tiếng nói có chất lượng cao hơn.

Nội dung chính

Tổng quan nghiên cứu

Lịch sử phát triển công nghệ tổng hợp tiếng nói đã trải qua chặng đường dài từ năm 1797 khi mô hình vòm họng cơ học tạo 5 nguyên âm cơ bản được chế tạo, tiếp nối bằng hệ thống VODER ra mắt tại Hội chợ Thế giới New York năm 1939 và hệ thống chuyển đổi văn bản thành giọng nói (Text-To-Speech - TTS) hoàn chỉnh trên máy tính năm 1968. Trong kỷ nguyên số hóa, giao tiếp giữa con người và máy tính đang dần chuyển đổi từ giao diện đồ họa truyền thống sang tương tác giọng nói tự nhiên, đòi hỏi độ trễ xử lý phải đạt dưới 200 ms để đáp ứng thời gian thực. Đối với tiếng Việt, việc xây dựng hệ sinh thái nhận dạng và tổng hợp giọng nói giữ vai trò chiến lược trong bảo tồn ngôn ngữ cũng như phát triển các giải pháp hỗ trợ cộng đồng.

Vấn đề cốt lõi mà đề tài tập trung giải quyết là khắc phục hiện tượng méo âm, gián đoạn tại biên nối âm đoạn và duy trì sự ổn định của 6 thanh điệu đặc thù trong âm tiết tiếng Việt. Mục tiêu nghiên cứu cụ thể là ứng dụng kỹ thuật đồng bộ bước bước sóng chồng chập và cộng (Pitch Synchronous Overlap and Add - PSOLA) vào quy trình tổng hợp xích chuỗi đơn vị âm thanh, đảm bảo khả năng tùy biến cao độ, trường độ mà không làm suy giảm chất lượng âm phổ. Nghiên cứu được thực hiện tại Trường Đại học Công nghệ phối hợp cùng Viện Công nghệ Thông tin, mang lại giá trị thực tiễn cao khi giảm dung lượng cơ sở dữ liệu lưu trữ xuống dưới 70 MB và nâng cao độ tự nhiên của giọng đọc mẫu lên trên 85% so với giọng người thật.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Cơ sở lý thuyết của nghiên cứu được xây dựng trên nền tảng âm học thực nghiệm và xử lý tín hiệu số hiện đại. Mô hình nguồn - bộ lọc (Source-Filter Model) đóng vai trò nền tảng, mô phỏng quá trình tạo âm thanh qua hai thành phần: nguồn kích thích từ dao động của dây thanh âm tại thanh môn và bộ lọc cộng hưởng sinh ra từ hình học ống thanh quản cùng khoang miệng, khoang mũi thông qua ma trận chuỗi ABCD. Về mặt ngữ âm học tiếng Việt, âm tiết được phân tích toàn diện theo mô hình cấu trúc 5 thành phần đồng thời bao gồm: âm đầu (phụ âm mở đầu), âm đệm (nguyên âm làm trầm hóa âm sắc), âm chính (hạt nhân nguyên âm quyết định âm sắc chính), âm cuối (phụ âm hoặc bán nguyên âm khép âm tiết) và thanh điệu chi phối toàn bộ cao độ âm tiết qua 6 biến thể (ngang, huyền, sắc, hỏi, ngã, nặng).

Về mặt toán học, định lý lấy mẫu Shannon xác lập điều kiện tần số lấy mẫu Fs phải lớn hơn 2 lần tần số cực đại Fmax nhằm khôi phục chính xác tín hiệu tương tự từ chuỗi số rời rạc. Tín hiệu tiếng nói được phân tích phổ thông qua biến đổi Fourier rời rạc (DFT) và thuật toán biến đổi Fourier nhanh (FFT) cơ số 2, kết hợp kỹ thuật phân khung tín hiệu bằng hàm cửa sổ Hamming với hệ số alpha bằng 0.46 hoặc cửa sổ Hanning nhằm triệt tiêu hiện tượng rò rỉ phổ tại các vùng tần số biên. Các tham số formant từ F1 đến F5 cùng băng thông tương ứng từ W1 đến W5 được trích xuất nhằm kiểm soát chính xác đặc trưng âm học trong quá trình ghép nối.

Phương pháp nghiên cứu

Dữ liệu nghiên cứu được xây dựng từ tập ngữ liệu giọng đọc tiếng Việt chuẩn gồm 6.500 âm đoạn và bán âm tiết (diphone/syllable) được thu âm trực tiếp trong môi trường phòng thu cách âm với tần số lấy mẫu chuẩn 16.000 Hz, định dạng 16-bit PCM đơn kênh. Phương pháp chọn mẫu phân tầng ngữ âm được áp dụng nhằm bao phủ toàn bộ các kết hợp âm vị Phụ âm - Nguyên âm (C-V) và Phụ âm - Nguyên âm - Phụ âm (C-V-C) trong hệ thống từ vựng tiếng Việt.

Lý do lựa chọn phương pháp xích chuỗi kết hợp thuật toán PSOLA xuất phát từ ưu thế vượt trội về độ tự nhiên so với phương pháp tổng hợp cấu âm thuần lý thuyết và phương pháp formant theo luật vốn tạo ra âm thanh mang tính máy móc. Quy trình phân tích dữ liệu ứng dụng mã dự báo tuyến tính (Linear Predictive Coding - LPC) để tự động định vị các điểm đánh dấu chu kỳ bước sóng (pitch-marks) trên trục thời gian, sau đó áp dụng phép nội suy tham số tuyến tính trên tập M vector tại các vùng chuyển tiếp biên nối nhằm làm mềm hóa sự chênh lệch năng lượng và phổ tần số.

+---------------------+      +---------------------+      +-----------------------+
|  Văn bản đầu vào    | ---> | Phân tích ngữ âm &  | ---> |   Tra cứu CSDL âm     |
| (Chuẩn hóa ký tự)   |      |  gán nhãn thanh điệu|      | (6.500 mẫu diphone)   |
+---------------------+      +---------------------+      +-----------------------+
                                                                      |
                                                                      v
+---------------------+      +---------------------+      +-----------------------+
| Tiếng nói tổng hợp  | <--- |  Nội suy làm mịn    | <--- | Xử lý biến đổi PSOLA  |
| (Độ trễ < 180 ms)   |      |    biên ghép nối    |      | (Chỉnh F0 & trường độ)|
+---------------------+      +---------------------+      +-----------------------+

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và đo lường thực nghiệm ghi nhận những bước tiến kỹ thuật rõ nét trong việc xử lý tín hiệu âm thanh tiếng Việt. Thứ nhất, thuật toán PSOLA cho phép co giãn trường độ thời gian từ 0.6 lần đến 1.8 lần và điều chỉnh tần số cơ bản F0 dịch chuyển trong dải từ âm 35% đến dương 40% mà không làm méo dạng sóng âm học gốc. Thứ hai, giải thuật làm mịn biên nối tuyến tính giữa hai âm đoạn liên tiếp đã triệt tiêu hoàn toàn hiện tượng vỡ tiếng (glitch) tại điểm tiếp giáp, giảm độ lệch mức áp suất âm thanh tức thời SPL xuống dưới 1.5 dB so với mức chênh lệch tự nhiên ban đầu là 6.8 dB.

Thứ ba, độ trễ phát sinh trong toàn bộ quy trình từ khâu chuẩn hóa văn bản, tra cứu cơ sở dữ liệu âm đoạn đến xuất tín hiệu âm thanh đạt trung bình 165 ms trên phần cứng tiêu chuẩn, thấp hơn đáng kể so với ngưỡng trễ giới hạn tương tác 200 ms. Thứ tư, các bài kiểm tra thính giác theo thang đo chuẩn ghi nhận tỷ lệ nhận dạng từ đúng đạt 91.2% đối với các câu văn thông thường và 87.6% đối với các đoạn văn bản có mật độ thanh điệu biến thiên phức tạp (như thanh ngã và thanh hỏi liền kề).

Tiêu chí đánh giá	Tổng hợp Formant theo luật	Ghép nối không biến đổi	Ghép nối xích chuỗi PSOLA
Độ tự nhiên âm thanh	58.5%	72.0%	88.5%
Tỷ lệ nhận dạng từ đúng	76.0%	83.5%	91.2%
Độ trễ xử lý trung bình	95 ms	140 ms	165 ms
Dung lượng lưu trữ CSDL	< 5 MB	> 100 MB	45 MB - 68 MB
Khả năng uốn nắn thanh điệu	Cao (dạng luật)	Không thể tùy biến	Rất linh hoạt qua Pitch-mark

Thảo luận kết quả

Khi phân tích dữ liệu qua biểu đồ phổ thời gian (spectrogram), sự biến thiên của 3 dải tần số formant đầu tiên (F1, F2, F3) tại khu vực tiếp giáp giữa âm đoạn kết thúc và âm đoạn bắt đầu cho thấy các đường bao năng lượng chuyển tiếp liên tục mà không xuất hiện các khe gián đoạn phổ. So sánh với các nghiên cứu trước đây trong nước vốn sử dụng ghép nối trực tiếp không qua biến đổi sóng, phương pháp ứng dụng PSOLA đã khắc phục được sự khô cứng về ngữ điệu, giải quyết triệt để vấn đề "giọng kim loại" thường thấy ở các hệ thống nhúng.

Nguyên nhân tạo nên sự thành công này là do thuật toán đã bóc tách độc lập được thông tin bước sóng cơ bản tại từng chu kỳ dao động của dây thanh âm, sau đó áp dụng phép nhân chập với cửa sổ Hanning để tái định vị vị trí các xung kích thích. Ý nghĩa học thuật của phát hiện này khẳng định tính khả thi của việc tích hợp mô hình ngữ âm học tiếng Việt vào giải thuật xử lý tín hiệu số thời gian thực, mở đường cho các mô hình chuyển đổi văn bản sang tiếng nói có kích thước nhẹ, tối ưu hóa bộ nhớ nhưng vẫn giữ được bản sắc phát âm chuẩn bản địa.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, bốn nhóm giải pháp kỹ thuật và định hướng triển khai được khuyến nghị như sau:

• Mở rộng và chuẩn hóa cơ sở dữ liệu ngữ âm đa phương ngữ: Thu thập bổ sung 15.000 đơn vị âm đoạn bao gồm cả giọng đọc chuẩn miền Bắc, miền Trung và miền Nam; phân đoạn tự động bằng thuật toán nhận dạng mức âm vị để nâng cao độ bao phủ phương ngữ trong vòng 6 tháng tới dưới sự chủ trì của các phòng thí nghiệm xử lý ngôn ngữ tự nhiên.
• Tối ưu hóa giải thuật nội suy biên nối: Cải tiến công thức làm mịn tham số dựa trên khoảng cách khoảng phổ phi tuyến tính thay cho phép nội suy đều bậc một, đặt mục tiêu giảm tỷ lệ sai lệch năng lượng biên xuống dưới 3% trong thời gian 3 tháng do các kỹ sư xử lý tín hiệu thực hiện.
• Tích hợp mô hình dự báo ngữ điệu câu nâng cao: Xây dựng hệ thống luật biến thiên cao độ F0 theo ngữ nghĩa ngữ pháp của câu hoàn chỉnh, hướng tới nâng điểm chất lượng âm thanh trung bình (MOS) từ mức 3.8 lên trên 4.3 điểm theo thang chuẩn quốc tế trong vòng 9 tháng bởi nhóm chuyên gia ngữ âm và học máy.
• Đóng gói module nhúng cho các nền tảng hỗ trợ: Phát triển bộ thư viện liên kết động tối ưu hóa bộ nhớ với mức chiếm dụng RAM dưới 30 MB và độ trễ dưới 100 ms, sẵn sàng tích hợp vào thiết bị trợ thị cho người khiếm thị và các ứng dụng đọc báo tự động trên thiết bị cầm tay trong thời hạn 12 tháng do các doanh nghiệp công nghệ phối hợp triển khai.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị học thuật và ứng dụng chuyên sâu cho 4 nhóm đối tượng chính:

• Học viên cao học và nhà nghiên cứu ngành Công nghệ Thông tin & Điện tử Viễn thông: Khai thác các mô hình toán học về biến đổi Fourier, định lý Shannon, mô hình bộ lọc nguồn ống thanh quản ABCD và thuật toán xử lý âm học số làm tài liệu tham khảo cho các đề tài nghiên cứu tiếp theo.
• Kỹ sư phần mềm và chuyên gia phát triển giải pháp Trí tuệ Nhân tạo (AI Voice): Ứng dụng trực tiếp cấu trúc thuật toán PSOLA, kỹ thuật làm mịn biên nối và kiến trúc hệ thống TTS để xây dựng các công cụ tổng hợp giọng nói tiếng Việt gọn nhẹ, chạy trực tiếp trên máy trạm hoặc hệ thống nhúng.
• Các tổ chức xã hội, giáo dục và doanh nghiệp phát triển giải pháp hỗ trợ người yếu thế: Tận dụng công nghệ đọc văn bản tiếng Việt tự nhiên để tích hợp vào các phần mềm trợ thính, gậy thông minh, ứng dụng đọc sách báo cho người mù và người khiếm thị nhằm nâng cao khả năng hòa nhập xã hội.
• Nhà nghiên cứu Ngôn ngữ học và Việt ngữ học thực nghiệm: Sử dụng các số liệu phân tích định lượng về 5 thành phần âm tiết, 6 thanh điệu cùng các thông số formant F1-F5 để củng cố các lý thuyết ngữ âm học hiện đại của tiếng Việt.

Câu hỏi thường gặp

Thuật toán PSOLA đóng vai trò cốt lõi như thế nào trong tổng hợp tiếng nói tiếng Việt?

Thuật toán PSOLA cho phép phân rã tín hiệu âm thanh thành các khung ngắn đồng bộ với chu kỳ dao động của dây thanh âm thông qua các pitch-mark. Nhờ đó, hệ thống có thể thay đổi cao độ và trường độ âm tiết tiếng Việt trong dải từ âm 35% đến dương 40% mà không làm biến dạng đặc tính phổ formant của nguyên âm gốc.

Tại sao tần số lấy mẫu 16.000 Hz lại được ưu tiên lựa chọn trong nghiên cứu?

Mặc dù tần số lấy mẫu 8.000 Hz đáp ứng tiêu chuẩn thoại 3.400 Hz và tần số 48.000 Hz dành cho âm nhạc chất lượng cao, tần số 16.000 Hz là điểm cân bằng tối ưu. Mức tần số này bảo toàn đầy đủ các formant cao lên tới 8.000 Hz của tiếng Việt mà vẫn tiết kiệm 66% dung lượng bộ nhớ so với mức 48.000 Hz.

Cơ chế làm mịn biên nối giữa hai âm đoạn hoạt động ra sao?

Khi ghép hai đoạn âm L và R, sự chênh lệch tham số năng lượng được xử lý bằng thuật toán phân bố đều khoảng cách tham số qua chuỗi M vector chuyển tiếp. Công thức nội suy tuyến tính giúp đường bao năng lượng và pha sóng hòa nhập êm ái, kéo giảm mức chênh lệch áp suất âm thanh tức thời xuống dưới 1.5 dB.

Tiếng Việt có đặc trưng ngữ âm nào gây thách thức lớn nhất cho hệ thống TTS?

Thách thức lớn nhất nằm ở hệ thống 6 thanh điệu (ngang, huyền, sắc, hỏi, ngã, nặng) gắn liền với từng âm tiết có cấu trúc 5 thành phần. Khác với các ngôn ngữ không dấu như tiếng Anh, việc ghép chuỗi tiếng Việt bắt buộc phải uốn nắn đường cong cao độ F0 chuẩn xác để tránh hiện tượng biến dạng ngữ nghĩa từ vựng.

Hệ thống tổng hợp tiếng nói theo phương pháp này đòi hỏi tài nguyên phần cứng ra sao?

Hệ thống được tối ưu hóa cao với cơ sở dữ liệu âm thanh tinh giản chỉ chiếm từ 45 MB đến 68 MB và yêu cầu bộ nhớ RAM hoạt động dưới 30 MB. Nhờ thuật toán FFT cơ số 2 và cấu trúc xích chuỗi tối ưu, độ trễ phát âm đạt dưới 180 ms, hoàn toàn tương thích với các máy tính cá nhân cấu hình phổ thông.

Kết luận

• Nghiên cứu đã hoàn thiện việc phân tích toàn diện đặc trưng ngữ âm học tiếng Việt với cấu trúc âm tiết 5 thành phần và hệ thống 6 thanh điệu gắn liền với các tham số âm học formant F1-F5.
• Ứng dụng thành công thuật toán PSOLA và cơ chế nội suy làm mịn biên nối tuyến tính, giải quyết triệt để hiện tượng gián đoạn âm thanh khi ghép nối xích chuỗi đơn vị âm.
• Xây dựng cơ sở dữ liệu âm đoạn chuẩn hóa với 6.500 mẫu, đạt hiệu năng xử lý thời gian thực với độ trễ trung bình 165 ms và dung lượng lưu trữ tối ưu dưới 70 MB.
• Cung cấp bức tranh so sánh khoa học giữa ba phương pháp tổng hợp tiếng nói chính (cấu âm, formant theo luật, xích chuỗi), khẳng định tính ưu việt của phương pháp xích chuỗi đối với tiếng Việt.
• Kế hoạch giai đoạn tiếp theo tập trung vào việc mở rộng tập dữ liệu đa phương ngữ 3 miền và tích hợp mạng nơ-ron học sâu để dự báo đường cong ngữ điệu câu hoàn chỉnh trong vòng 12 tháng tới.

Các đơn vị nghiên cứu, tổ chức phát triển công nghệ và doanh nghiệp quan tâm có thể khai thác trực tiếp mô hình xử lý tín hiệu và giải thuật ghép nối này để triển khai các ứng dụng chuyển đổi văn bản thành giọng nói tiếng Việt chất lượng cao trong thực tiễn.