Nghiên cứu mô hình ngắt nghỉ trong tổng hợp tiếng nói tiếng Việt tại Đại học Bách Khoa Hà Nội

Luận văn nghiên cứu mô hình ngắt nghỉ trong tổng hợp tiếng nói tiếng Việt. Tìm hiểu các yếu tố ảnh hưởng và ứng dụng để cải thiện chất lượng âm thanh.

• Tác giả: Nguyễn Hoàng Kỷ
• Người hướng dẫn: TS. Nguyễn Thị Thu Trang
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Mô hình ngắt nghỉ trong tổng hợp tiếng nói tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Mô Hình Ngắt Nghỉ Trong TTS Tiếng Việt

Tổng hợp tiếng nói (TTS) tiếng Việt ngày càng trở nên quan trọng trong kỷ nguyên số. Các hệ thống TTS hiện đại không chỉ đơn thuần chuyển văn bản thành âm thanh mà còn hướng đến tạo ra giọng nói tự nhiên, truyền cảm, và dễ nghe. Yếu tố quan trọng để đạt được điều này là mô hình hóa chính xác các ngắt nghỉ tự nhiên trong tiếng Việt. Việc dự đoán chính xác vị trí và độ dài của các pause insertion này giúp cải thiện đáng kể chất lượng giọng nói tổng hợp. Các hệ thống TTS hiện nay có thể chia thành 3 loại chính: Dựa trên mô hình Markov ẩn (HMM-based TTS), dựa trên mạng nơ-ron sâu (DNN-based TTS), và hệ thống đầu cuối (End-to-end TTS). Trong đó hệ thống End-to-end TTS có khả năng học trực tiếp từ dữ liệu văn bản và âm thanh, nhưng vẫn cần các mô hình hỗ trợ để cải thiện độ tự nhiên. Nghiên cứu về mô hình ngắt nghỉ tiếng Việt còn hạn chế, đòi hỏi sự đầu tư và phát triển hơn nữa. Một hệ thống TTS chất lượng cao xuất hiện ở giữa những năm 80, là kết quả của sự phát triển của những nghiên cứu quan trọng trong xứ lý tiếng nót và các kỹ thuật xử lý ngôn ngữ tự nhiên, phân lớn nhờ vào sự xuất hiện của những công nghệ mới. Trong những năm gẵn đầy, chính sự cải thiện vượt bậc về mặt chất lượng đã giúp các hệ thông TT8 được ứng dụng nhiều hơn vào nhiều Tính vục trong đời sông, Một trong những hệ thống TT8 dẫu tiên dược sử dụng trong cuộc sóng là nhằm hỗ trợ những người khiếm thị đọc văn bản từ sách và chuyển đổi thành tiếng nói. Ngày nay, có rất nhiều rữrgr hệ thống tổng hợp tiếng nói hỗ trợ người khiếm thị tương tác với máy vi tính. Một trong những ứng dụng quan trọng và lâu đời nhất phải kẻ tới là ứng dụng đọc tên các thành phản trên màn hình máy lính, người dùng được hệ thống TTS tích hợp trong may tinh hé tro di chuyến con chuột và điêu khiển máy tính. Theo [3], một trong những ứng dụng quan trọng và lâu đời nhất phải kẻ tới là ứng dụng đọc tên các thành phản trên màn hình máy lính, người dùng được hệ thống TTS tích hợp trong may tinh hé tro di chuyến con chuột và điêu khiển máy tính.

1.1. Tầm Quan Trọng của Ngắt Nghỉ Tự Nhiên Trong TTS Tiếng Việt

Ngắt nghỉ tự nhiên là một phần không thể thiếu của prosody tiếng Việt. Chúng giúp người nghe dễ dàng tiếp thu thông tin, phân biệt các cụm từ, và hiểu rõ ý nghĩa của câu. Thiếu ngắt nghỉ phù hợp, giọng nói tổng hợp trở nên đơn điệu, khó nghe, và gây mệt mỏi cho người nghe. Nghiên cứu cho thấy độ dài âm tiết tiếng Việt và vị trí ngắt nghỉ có ảnh hưởng lớn đến khả năng truyền đạt thông tin. Các thuật toán ngắt nghỉ cần phải xem xét cả yếu tố âm vị học tiếng Việt lẫn ngữ cảnh của câu. Theo [4], hiện nay, có rất nhiều sách nói và đồ chơi sử đụng công nghệ tổng hợp tiếng nói. Các công nghệ tổng hợp tiếng nói chất lượng cao được tích hợp vào những hệ thống giao dục, giúp người học học những ngôn ngữ mới. TT8 còn được ứng dụng MUCTUC trong những trỏ chơi, công nụ đọc lin nhấn, đọc c-uail, bán đổ chỉ đường. Một số những dmg dụng tường táo bằng giọng nói (trợ lý áo) nổi tiéng sit dyng TTS đa ngôn ngũ có thể tới lá Google Now, Apple Siri |5], Samsung, S-Voice

1.2. Các Yếu Tố Ảnh Hưởng Đến Vị Trí Ngắt Nghỉ Trong Tiếng Việt

Vị trí ngắt nghỉ trong tiếng Việt phụ thuộc vào nhiều yếu tố, bao gồm cấu trúc cú pháp, ngữ nghĩa, và ngữ cảnh giao tiếp. Phân tích cú pháp tiếng Việt là bước quan trọng để xác định các cụm từ và mệnh đề. Loại từ cũng đóng vai trò quan trọng, ví dụ, thường có ngắt nghỉ sau giới từ hoặc liên từ. Bên cạnh đó, yếu tố ngữ nghĩa cũng cần được xem xét, ví dụ, để phân biệt các ý nghĩa khác nhau của câu. Một số nghiên cứu đã sử dụng acoustic features và linguistic features để dự đoán ngắt nghỉ. Trong cuộc cách mạng 4.0, một trang những ứng đụng quan trọng nhất của TTS là trong các tổng đài tự động, trả lý ão, voice-bot. Những hệ thẳng này giúp tự động hoá các trưng (âm chăm sóc khách hàng, giúp doanh nghiệp tăng doanh thu, gidin chi phí vận hành.

II. Thách Thức Trong Mô Hình Hóa Ngắt Nghỉ Tiếng Việt

Mô hình hóa ngắt nghỉ trong tiếng Việt đối mặt với nhiều thách thức. Thứ nhất, tiếng Việt là ngôn ngữ đơn lập, có cấu trúc cú pháp linh hoạt, gây khó khăn cho việc phân tích cú pháp tự động. Thứ hai, dữ liệu huấn luyện cho corpus-based TTS còn hạn chế, đặc biệt là dữ liệu có gán nhãn chính xác vị trí ngắt nghỉ. Thứ ba, việc đánh giá chất lượng ngắt nghỉ là chủ quan và phụ thuộc vào người nghe. Cuối cùng, việc tích hợp mô hình dự đoán ngắt nghỉ vào các hệ thống TTS hiện có đòi hỏi sự điều chỉnh và tối ưu hóa để đảm bảo hiệu quả. Các nghiên cứu gần đây đều nỗ lực xây đựng các thuật toán và mô hình mới nhằm cải thiện chất lượng giọng nói cho các hệ thông này, mong muốn tạora những hệ thông tổng hợp tiếng nởi đạt độ tự nhiên tương ty nly con news. Tuy vậy, không phải bộ đữ liệu nào 2 CHUONG 1. BAT TOAN DU DOAN NGAT NGHI TRONG TONG HOP THENG NOI THENG VIET tê có cái nhin téng quát về bài toán dự đoán ngất nghỉ trong tống hợp tiếng nói tiếng Việt, Chương 1 sẽ trinh bày về khái niệm, vai trỏ và ứng dụng thực tiễn của tổng hợp tiếng nói.

2.1. Khó Khăn Trong Phân Tích Cú Pháp Tiếng Việt Tự Động

Cấu trúc cú pháp linh hoạt của tiếng Việt gây khó khăn cho các thuật toán phân tích cú pháp. Các phương pháp dựa trên quy tắc thường gặp khó khăn trong việc xử lý các câu phức tạp và các cấu trúc không chuẩn. Các phương pháp dựa trên machine learning đòi hỏi lượng lớn dữ liệu huấn luyện có gán nhãn chính xác, điều mà hiện nay còn thiếu. Do đó các nhà nghiên cứu đã sử dụng deep learning cho tổng hợp tiếng nói. Để xây dựng và huấn luyện một mô hình phân tích cú pháp thành phần tiếng Việt đòi hỏi lượng dữ liệu lớn, được gán nhãn chi tiết và chính xác. Thiếu hụt dữ liệu chất lượng cao sẽ ảnh hưởng trực tiếp đến độ chính xác của mô hình.

2.2. Hạn Chế Về Dữ Liệu Huấn Luyện Cho TTS Tiếng Việt

Số lượng cơ sở dữ liệu tiếng nói tiếng Việt có gán nhãn vị trí ngắt nghỉ còn hạn chế so với các ngôn ngữ khác. Việc thu thập và gán nhãn dữ liệu tốn kém và đòi hỏi chuyên môn cao. Các bộ dữ liệu hiện có thường nhỏ và không đa dạng về giọng đọc, phong cách, và chủ đề. Điều này ảnh hưởng đến khả năng khái quát hóa của mô hình ngắt nghỉ.

III. Phương Pháp Dự Đoán Ngắt Nghỉ Dựa Trên Cú Pháp Tiếng Việt

Một trong những phương pháp hiệu quả để dự đoán ngắt nghỉ là dựa trên thông tin cú pháp. Phương pháp này sử dụng cây cú pháp tiếng Việt để xác định các cụm từ và mệnh đề, từ đó suy ra vị trí ngắt nghỉ phù hợp. Các đặc trưng cú pháp như độ sâu của cây, loại cụm từ, và khoảng cách giữa các từ có thể được sử dụng để huấn luyện thuật toán ngắt nghỉ. Các mô hình phân loại học tập và đựa trên cây quyết dịnh, ThuậttoánC45 , Thuật toán Rừng ngẫu nhiên (RandamForest) , Thuật toán AdaboosL, Thuat toan XGBoost va thuat ton LightGBM, các đặc trưng khối cú pháp, đặc trưng liêu kết cú pháp. Các yếu tố ngắt nghỉ giá lập cách lấy hơi và cách đọc cña người phát thanh viên thật dựa theo ngữ cảnh cầu nỏi trong thực tế. Các yêu tổ nảy giúp người nghe có thể nhận ra sự khác biệt và phân biệt dược giọng ng ười thật vả g1Ọñg IHáy THÓỎC. Các nghiên cứu hiện nay đang nỗ lực cải thiện chất lượng cũ í thành phân (rong hệ thông tổng hẹp tiếng nói, trong đó thành phản phân đoạn tiếng nói cũng đã được nghiên cứu vả tiếp cận đười nhiều góc dé và phương pháp khác nhau.

3.1. Sử Dụng Cây Cú Pháp Thành Phần Để Dự Đoán Ngắt Nghỉ

Cây cú pháp thành phần cung cấp thông tin chi tiết về cấu trúc của câu, cho phép xác định các cụm từ, mệnh đề, và quan hệ giữa chúng. Vị trí ngắt nghỉ thường trùng với ranh giới của các cụm từ hoặc mệnh đề. Các thuật toán pause prediction có thể sử dụng thông tin này để dự đoán vị trí ngắt nghỉ. Theo [31] Bộ dữ liệu Vietireebank, Tập dữ liệu gán nhãn từ loại tiếng Việt, Thông số của các phiên bản mồ hình ngôn ngữ PhoBER, là nguồn tài nguyên hữu ích trong dự đoán ngắt nghỉ

3.2. Kết Hợp Đặc Trưng Cú Pháp Và Từ Loại Để Tăng Độ Chính Xác

Kết hợp thông tin cú pháp với từ loại có thể tăng độ chính xác của prosodic boundary prediction. Ví dụ, ngắt nghỉ thường xảy ra sau giới từ, liên từ, hoặc trạng từ. Sử dụng mô hình machine learning để kết hợp các đặc trưng này cho phép dự đoán ngắt nghỉ một cách chính xác hơn. Các mô hình học máy phổ biến bao gồm SVM, Random Forest, và Deep Neural Networks

3.3. Ứng dụng mô hình PhoBERt cải tiến dự đoán ngắt nghỉ

Mô hình PhoBERt đã chứng minh tính hiệu quả trong các bài toán NLP. Phiên bản đã qua tinh chỉnh của nó có thể áp dụng để cải thiện độ chính xác khi dự đoán ngắt nghỉ.

IV. Phương Pháp Dự Đoán Ngắt Nghỉ Dựa Trên Deep Learning

Với sự phát triển của deep learning, các mô hình mạng nơ-ron sâu đang được sử dụng rộng rãi trong bài toán dự đoán ngắt nghỉ. Các mô hình này có khả năng học các đặc trưng phức tạp từ dữ liệu và đạt được độ chính xác cao hơn so với các phương pháp truyền thống. Các kiến trúc mạng nơ-ron phổ biến bao gồm Recurrent Neural Networks (RNNs), Convolutional Neural Networks (CNNs), và Transformers. Tacotron va Vocoder WaveGlow, mô hình phân tích cây cú pháp, Dộ đo mô hình phân tích cây củ pháp, độ dài âm tiết tiếng Việt, intonation tiếng Việt

4.1. Sử Dụng RNNs Để Mô Hình Hóa Chuỗi Văn Bản

RNNs, đặc biệt là LSTMs và GRUs, phù hợp để mô hình hóa chuỗi văn bản do khả năng ghi nhớ thông tin từ quá khứ. Các mô hình RNN có thể được huấn luyện để dự đoán ngắt nghỉ dựa trên ngữ cảnh của câu. Để xuấtmõ hình phân tích cây cú pháp, Dộ đo mô hình phân tích cây củ pháp - 30 3.5 Thực nghiệm vả đảnhgiả

4.2. Sử Dụng CNNs Để Trích Xuất Đặc Trưng Từ Văn Bản

CNNs có khả năng trích xuất các đặc trưng quan trọng từ văn bản. Các mô hình CNN có thể được sử dụng để dự đoán ngắt nghỉ dựa trên các đặc trưng cục bộ của câu. Các mô hình học máy phổ biến bao gồm SVM, Random Forest, và Deep Neural Networks

V. Ứng Dụng Mô Hình Ngắt Nghỉ Trong Hệ Thống TTS Tiếng Việt

Mô hình ngắt nghỉ có thể được tích hợp vào các hệ thống TTS tiếng Việt để cải thiện độ tự nhiên của giọng nói tổng hợp. Mô hình có thể được sử dụng để chèn các khoảng dừng vào văn bản trước khi chuyển đổi thành âm thanh. Ngoài ra, mô hình có thể được sử dụng để điều chỉnh nhịp điệu tiếng Việt và intonation tiếng Việt của giọng nói tổng hợp. Các đặc trưng cú pháp như độ sâu của cây, loại cụm từ, và khoảng cách giữa các từ có thể được sử dụng để huấn luyện thuật toán ngắt nghỉ. Các mô hình phân loại học tập và đựa trên cây quyết dịnh, ThuậttoánC45 , Thuật toán Rừng ngẫu nhiên (RandamForest) , Thuật toán AdaboosL, Thuat toan XGBoost va thuat ton LightGBM.

5.1. Tích Hợp Mô Hình Ngắt Nghỉ Vào Hệ Thống HMM Based TTS

Mô hình ngắt nghỉ có thể được sử dụng để xác định vị trí chèn khoảng dừng trong hệ thống HMM-based TTS. Các khoảng dừng này giúp tạo ra giọng nói tự nhiên hơn. Chương 5. TONG HOP TIENG NOI TIENG VIET HOC SAU CO UNG DUNG M6 HINH NGAT NGHI VA THUC NGHIEM. Để xuấtgiải pháp tích hợp mô hình đự đoán ngắt nghỉ

5.2. Tích Hợp Mô Hình Ngắt Nghỉ Vào Hệ Thống DNN Based TTS

Mô hình ngắt nghỉ có thể được sử dụng để điều chỉnh các tham số của mạng nơ-ron trong hệ thống DNN-based TTS, giúp tạo ra giọng nói biểu cảm hơn. Hệ thống tầng hợp tiếng nói tiếng Việt đựa trên DNN, Xây dựng mô hình tổng hợp tiếng nỏi Bnd-to-end

VI. Kết Luận Hướng Phát Triển Mô Hình Ngắt Nghỉ TTS VN

Mô hình ngắt nghỉ đóng vai trò quan trọng trong việc cải thiện chất lượng giọng nói tổng hợp tiếng Việt. Các phương pháp dựa trên cú pháp và deep learning đã cho thấy tiềm năng trong việc dự đoán ngắt nghỉ một cách chính xác. Trong tương lai, cần tập trung vào việc thu thập thêm dữ liệu huấn luyện, phát triển các mô hình phức tạp hơn, và đánh giá chất lượng ngắt nghỉ một cách khách quan. Nghiên cứu có thể được phân tích mở rậng sang nhiêu các giọng tiếng Việt kháo, đa dang về giới tinh lấn vừng miễn, Chúng tôi cũng dự định mở rộng nghiên cứu này sang các ngôn ngũ khác dễ phân tích sự tương đồng, dịnh nghĩa ra những định dạng chung cho nhiều ngôn ngữ, thướng tới xây đựng một mồ hình phân đoạn tiếng nói đa ngôn ngữ. Cần tích hợp một cách hệ thống những phân tích âm vị học mới nhất vào việc thiết kế mô hình.

6.1. Tóm Tắt Kết Quả Đóng Góp Của Nghiên Cứu

Nghiên cứu này đã đề xuất và đánh giá các phương pháp dự đoán ngắt nghỉ dựa trên cú pháp và deep learning. Kết quả cho thấy các phương pháp này có thể cải thiện đáng kể độ tự nhiên của giọng nói tổng hợp. Bài kiểm tra MOS - - 47, Kếthận, Hướng pháttriển

6.2. Hướng Nghiên Cứu Mở Rộng Trong Tương Lai

Hướng nghiên cứu trong tương lai bao gồm thu thập thêm dữ liệu, phát triển các mô hình phức tạp hơn, và đánh giá chất lượng ngắt nghỉ một cách khách quan. Ngoài ra, cần nghiên cứu các phương pháp tích hợp mô hình ngắt nghỉ vào các hệ thống TTS hiện có một cách hiệu quả. Cần tập trung vào việc thu thập thêm dữ liệu huấn luyện, phát triển các mô hình phức tạp hơn, và đánh giá chất lượng ngắt nghỉ một cách khách quan.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh trí tuệ nhân tạo và công nghệ tiếng nói ngày càng phát triển, hệ thống tổng hợp tiếng nói (Text-To-Speech - TTS) đóng vai trò quan trọng trong nhiều ứng dụng thực tiễn. Tuy nhiên, giọng nói tổng hợp thiếu tự nhiên và cảm xúc có thể gây nhàm chán cho người nghe. Luận văn này tập trung nghiên cứu và xây dựng mô hình dự đoán ngắt nghỉ cho hệ thống tổng hợp tiếng nói tiếng Việt, nhằm cải thiện độ tự nhiên của giọng nói. Mục tiêu chính là chỉ ra các vị trí ngắt nghỉ phù hợp trong văn bản đầu vào, từ đó giúp giọng nói tổng hợp gần gũi hơn với giọng người thật. Nghiên cứu sử dụng dữ liệu tiếng nói của các phát thanh viên miền Bắc và miền Nam để thực hiện các thử nghiệm, đánh giá độ chính xác của mô hình dự đoán ngắt nghỉ. Kết quả cho thấy, việc tích hợp mô hình ngắt nghỉ giúp tăng độ tự nhiên của giọng nói từ 6% đến 10% so với giọng nói không sử dụng mô hình ngắt nghỉ. Luận văn có ý nghĩa quan trọng trong việc nâng cao chất lượng hệ thống TTS tiếng Việt, đóng góp vào sự phát triển của các ứng dụng tương tác bằng giọng nói.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn này dựa trên lý thuyết xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) và công nghệ tiếng nói (Speech Technology). Các khái niệm chính được sử dụng bao gồm:

1. Tổng hợp tiếng nói (Text-To-Speech - TTS): Quá trình chuyển đổi văn bản thành giọng nói.
2. Mô hình ngắt nghỉ: Mô hình dự đoán vị trí cần ngắt nghỉ trong câu để tạo sự tự nhiên cho giọng nói.
3. Phân tích cú pháp: Phân tích cấu trúc ngữ pháp của câu để xác định các thành phần như khối cú pháp và liên kết cú pháp.
4. Mạng nơ-ron sâu (Deep Neural Network - DNN): Một loại mạng nơ-ron nhân tạo được sử dụng để xây dựng mô hình dự đoán ngắt nghỉ.
5. Các thuật toán boosting: Các thuật toán học máy được sử dụng để cải thiện độ chính xác của mô hình dự đoán, bao gồm LightGBM, XGBoost và AdaBoost.

Phương pháp nghiên cứu

Nghiên cứu sử dụng các phương pháp sau:

1. Nguồn dữ liệu: Sử dụng bộ dữ liệu tiếng nói của các phát thanh viên miền Bắc và miền Nam.
2. Phương pháp phân tích:
   • Phân tích cú pháp thành phần tiếng Việt để trích xuất các đặc trưng cú pháp.
   • Sử dụng các thuật toán học máy như cây quyết định và thuật toán boosting để xây dựng mô hình dự đoán ngắt nghỉ.
   • Đánh giá mô hình bằng các độ đo như Precision, Recall và F-score.
   • Thực hiện kiểm thử chéo k-fold (k-Fold Cross Validation) để đảm bảo tính ổn định của mô hình.
3. Cỡ mẫu và chọn mẫu: Cỡ mẫu bao gồm các câu và đoạn văn bản từ bộ dữ liệu tiếng nói của phát thanh viên. Phương pháp chọn mẫu là ngẫu nhiên, nhằm đảm bảo tính đại diện của dữ liệu.
4. Timeline nghiên cứu: Nghiên cứu được thực hiện trong khoảng 12 tháng, bao gồm các giai đoạn: thu thập dữ liệu, xây dựng mô hình, thử nghiệm và đánh giá.
5. Lý do lựa chọn phương pháp phân tích: Phân tích cú pháp được chọn vì nó cung cấp thông tin về cấu trúc ngữ pháp của câu, giúp xác định vị trí ngắt nghỉ phù hợp. Các thuật toán học máy được chọn vì khả năng học từ dữ liệu và dự đoán chính xác.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Mô hình LightGBM đạt kết quả tốt nhất: Mô hình LightGBM cho kết quả F-score cao nhất là 87.0% trên tập dữ liệu kiểm thử, vượt trội so với các mô hình khác như cây quyết định và các thuật toán boosting khác.
2. Đặc trưng cú pháp quan trọng: Việc sử dụng các đặc trưng cú pháp như khối cú pháp và liên kết cú pháp giúp cải thiện đáng kể độ chính xác của mô hình dự đoán ngắt nghỉ.
3. Tích hợp mô hình ngắt nghỉ cải thiện độ tự nhiên: Kết quả thí nghiệm cảm thụ cho thấy độ tự nhiên của giọng nói tăng từ 6% đến 10% khi sử dụng mô hình ngắt nghỉ so với giọng nói không sử dụng. Điểm số MOS (Mean Opinion Score) cũng tăng đáng kể khi tích hợp mô hình ngắt nghỉ.
4. Ví dụ về kết quả: Sau khi áp dụng mô hình ngắt nghỉ, một câu như "Tôi là sinh viên trường Đại học Bách Khoa Hà Nội" có thể được phân đoạn thành "Tôi là sinh viên / trường Đại học Bách Khoa Hà Nội", giúp giọng nói tự nhiên hơn.

Dữ liệu có thể được trình bày qua bảng so sánh độ chính xác của các mô hình học máy khác nhau, hoặc biểu đồ thể hiện sự cải thiện điểm số MOS khi tích hợp mô hình ngắt nghỉ.

Thảo luận kết quả

Kết quả cho thấy tầm quan trọng của việc sử dụng mô hình ngắt nghỉ trong hệ thống tổng hợp tiếng nói tiếng Việt. Việc mô hình LightGBM đạt kết quả tốt nhất có thể là do khả năng xử lý dữ liệu lớn và phức tạp một cách hiệu quả. So với các nghiên cứu khác, kết quả này khẳng định rằng đặc trưng cú pháp đóng vai trò quan trọng trong việc dự đoán ngắt nghỉ. Một nghiên cứu gần đây cũng chỉ ra rằng việc sử dụng thông tin cú pháp giúp cải thiện độ tự nhiên của giọng nói tổng hợp. Việc tích hợp mô hình ngắt nghỉ vào các hệ thống TTS khác nhau (HMM, DNN, End-to-end) cho thấy tính linh hoạt và khả năng ứng dụng rộng rãi của mô hình.

Đề xuất và khuyến nghị

1. Mở rộng bộ dữ liệu: Thu thập và gán nhãn thêm dữ liệu tiếng nói từ nhiều vùng miền và giới tính khác nhau để tăng tính tổng quát của mô hình.
2. Nghiên cứu các đặc trưng khác: Nghiên cứu và tích hợp thêm các đặc trưng ngữ nghĩa và ngữ cảnh để cải thiện độ chính xác của mô hình dự đoán ngắt nghỉ.
3. Phát triển mô hình đa ngôn ngữ: Mở rộng nghiên cứu sang các ngôn ngữ khác để xây dựng một mô hình phân đoạn tiếng nói đa ngôn ngữ.
4. Tối ưu hóa mô hình: Sử dụng các kỹ thuật tối ưu hóa mô hình như pruning và quantization để giảm kích thước mô hình và tăng tốc độ xử lý.
5. Triển khai trên các thiết bị di động: Phát triển ứng dụng di động sử dụng mô hình dự đoán ngắt nghỉ để cải thiện trải nghiệm người dùng trên các thiết bị di động.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nhà nghiên cứu trong lĩnh vực xử lý ngôn ngữ tự nhiên và công nghệ tiếng nói: Luận văn cung cấp kiến thức cơ bản về mô hình ngắt nghỉ và các phương pháp xây dựng mô hình dự đoán ngắt nghỉ.
2. Các nhà phát triển hệ thống tổng hợp tiếng nói: Luận văn cung cấp giải pháp cụ thể để cải thiện độ tự nhiên của giọng nói tổng hợp.
3. Các doanh nghiệp phát triển ứng dụng tương tác bằng giọng nói: Luận văn cung cấp kiến thức để xây dựng các ứng dụng có giọng nói tự nhiên và thân thiện hơn.
4. Người dùng các ứng dụng tổng hợp tiếng nói: Luận văn giúp hiểu rõ hơn về các yếu tố ảnh hưởng đến chất lượng giọng nói và kỳ vọng vào sự phát triển của công nghệ này.

Câu hỏi thường gặp

1. Mô hình ngắt nghỉ là gì và tại sao nó quan trọng trong tổng hợp tiếng nói? Mô hình ngắt nghỉ là một thành phần trong hệ thống tổng hợp tiếng nói, có nhiệm vụ dự đoán vị trí cần ngắt nghỉ trong câu để tạo sự tự nhiên cho giọng nói. Nó quan trọng vì giúp giọng nói tổng hợp không bị đều đều và máy móc, gần gũi hơn với giọng người thật.

2. Các đặc trưng cú pháp nào được sử dụng trong mô hình dự đoán ngắt nghỉ? Luận văn sử dụng hai đặc trưng cú pháp chính: khối cú pháp và liên kết cú pháp. Khối cú pháp là các đoạn cú pháp có độ dài giới hạn, còn liên kết cú pháp là mối quan hệ về độ cao thấp trên cây cú pháp của từ đó với từ kế tiếp.

3. Thuật toán LightGBM hoạt động như thế nào và tại sao nó lại hiệu quả trong bài toán này? LightGBM là một thuật toán boosting dựa trên cây quyết định. Nó hiệu quả vì có khả năng xử lý dữ liệu lớn và phức tạp, đồng thời cung cấp độ chính xác cao và tốc độ xử lý nhanh.

4. Kết quả thí nghiệm cảm thụ cho thấy sự cải thiện như thế nào khi sử dụng mô hình ngắt nghỉ? Kết quả thí nghiệm cảm thụ cho thấy độ tự nhiên của giọng nói tăng từ 6% đến 10% khi sử dụng mô hình ngắt nghỉ so với giọng nói không sử dụng. Điểm số MOS (Mean Opinion Score) cũng tăng đáng kể.

5. Những hướng phát triển nào có thể được thực hiện để cải thiện mô hình dự đoán ngắt nghỉ trong tương lai? Một số hướng phát triển tiềm năng bao gồm: mở rộng bộ dữ liệu, nghiên cứu các đặc trưng ngữ nghĩa và ngữ cảnh, phát triển mô hình đa ngôn ngữ, tối ưu hóa mô hình và triển khai trên các thiết bị di động.

Kết luận

• Luận văn đã xây dựng thành công mô hình dự đoán ngắt nghỉ cho hệ thống tổng hợp tiếng nói tiếng Việt.
• Mô hình sử dụng các đặc trưng cú pháp như khối cú pháp và liên kết cú pháp để dự đoán vị trí ngắt nghỉ.
• Kết quả thí nghiệm cho thấy việc tích hợp mô hình ngắt nghỉ giúp cải thiện đáng kể độ tự nhiên của giọng nói tổng hợp.
• Trong tương lai, nghiên cứu có thể được mở rộng sang nhiều ngôn ngữ khác và tích hợp thêm các đặc trưng ngữ nghĩa.
• Hy vọng luận văn này sẽ đóng góp vào sự phát triển của các ứng dụng tương tác bằng giọng nói tự nhiên và thân thiện hơn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. BÀI TOÁN DỰ ĐOÁN NGẮT NGHĨ TRONG TÔNG HỢP TIẾNG NOT TIENG VIET 1 1.1 _ Tổng hợp tiếng nói. 1 12 Mô hình ngắt nghĩ rong tổng hợp tiếng nổi "—.3 Mụuetiêuvả phạm vị dẻ tải.- 23 1⁄4 Đmhhưởng giải phép. CO SO LY THU 6 2.1 Téng hop tiéng nối é 21.1 Tổng quan 6 312 Phan loai 8 22 Phương pháp đánhgi.

TH HH HH. 22g giec 13 23 Cây cúpháp tiếng Việt.1 Lý thuyết ngữ pháp.3 Kithuat phan ch có pho su 18 2-4. Mö hình phân loại họ tập hợp và đựa trên cây quyết dịnh. 3⁄41 ThuậttoánC45 19 3-42 Thuật toán Rừng ngẫu nhiên (RandamForest).

20 243 Thuật toán AdaboosL 20 244 Thuat toan XGBoost va thuat ton LightGBM 20 CHUONG 3. DAC TRUNG CU PHAP VA PHAN TICH Cl PHAP THANH PHAN TIENG VIET VOLHOC SAU. HH re ca.2 Đặc trưng khối cú pháp 23 3.21 Mối liên hệ giữa cây củ pháp thành phẩn và ngất nghi 23 3⁄22 Đặc trung khối cú pháp.3 Đặc trưng liêu kết cú pháp. Mö hình phân tích cú pháp thành phân cho mö hình ngắt nghỉ.1 Để xuấtmõ hình phân tích cây cú pháp.

Dộ đo mô hình phân tích cây củ pháp - 30 3.5 Thực nghiệm vả đảnhgiả. SO trong những trỏ chơi, công nụ đọc lin nhấn, đọc c-uail, bán đổ chỉ đường,. Trong cuộc cách mạng 4.0, một trang những ứng đụng quan trọng nhất của TTS là trong các tổng đài tự động, trả lý ão, voice-bot. Những hệ thẳng này giúp tự động hoá các trưng (âm chăm sóc khách hàng, giúp doanh nghiệp tăng doanh thu, gidin chi phí vận hành.

Trên điện thoại đi đông, một số những dmg dụng tường táo bằng giọng nói (trợ lý áo) nổi tiéng sit dyng TTS đa ngôn ngũ có thể tới lá Google Now, Apple Siri |5], Samsung, S-Voice,. Một hệ thông tổng hợp tiếng nói về cơ bản bao gồm hai thành phan lớn chính. Thành phần đầu tiên là thành phân tổng hợp ruức cao, hay còn gọi là hành phần xử lý ngôn ngữ tự nhiên. Nhiệm vụ của thành phản này là xử lý văn bản đầu vào và tạo ra các đặc trưng ẻ âm học.

Thành phần thứ hai là thànhpi ông hợp mức thấp hay thành phần xử lý uéng nói số. Thành phân này xứ lý và chuyên dội các dạng đặc trưng về âm học thành tệp tiếng nói tương ứng. Các thành phần này của hệ thắng tổng hợp tiếng nói được mô tả chỉ tiết hơn ở phần 2.1 TIiện nay, các hệ thêng tổng hợp tiếng nói có thể chia thành 3 loại chính theo công nghệ mả chúng sử dụng, bao gồm: () Hệ thống dựa trên mô hình Markoy ấn (Hidden Markov Model - HMNQ, (ii) Hệ thống dựa trên mạng nơ-on sâu (Decp Neural Nelwork - DNN) và (ñ) Hệ thống đầu cudi (end-lo-end). Những loại hệ thống tổng hợp tiếng nói nảy sẽ được trình bảy một cách chỉ tiết hơn ở phân 2.2 Mô hình ngắt nghỉ trang ting hợp liễng nói Tuy có rất nhiêu ímg đụng trong thực tiễn, nhưng nêu một hệ thông tổng hơm tiếng nói nhân tạo tổng hợp ra những giợng nói máy móc, không có cảm xúc, không tự nhiên như giọng người thật có thê khiến việc sử dụng chủng phán tác dụng, aay nham chan hofie ao nhidu phan cd cho người nghe.

Trong tình hình đó, cá nghiên cứu gần đây đều nỗ lực xây đựng các thuật toán và mô hình mới nhằm cải thiện chất lượng giọng nói cho các hệ thông này, mong muốn tạora những hệ thông tổng hợp tiếng nởi đạt độ tự nhiên tương ty nly con news. Trong một hệ thống tổng hợp tiếng nói, mô hình ngắt nghỉ đóng một vải trỏ quan. trọng trong nhiệm vụ nâng cao độ lự nhiên và tỉnh để hiển của đoạn tiếng nói lỗng hop. Cac yếu tổ ngắt nghỉ giá lập cách lấy hơi và cách đọc cña người phát thanh viên thật dựa theo ngữ cảnh cầu nỏi trong thực tế.

Các yêu tổ nảy giúp người nghe có thể nhận ra sự khác biệt và phân biệt dược giọng ng ười thật vả g1Ọñg IHáy THÓỎC. Các nghiên cứu hiện nay đang nỗ lực cải thiện chất lượng cũ í thành phân (rong hệ thông tổng hẹp tiếng nói, trong đó thành phản phân đoạn tiếng nói cũng đã được nghiên cứu vả tiếp cận đười nhiều góc dé và phương pháp khác nhau. Các bệ thông tổng hợp tiếng nói dựa trên LIMM [6], [71 va DNN [8], [9] không thể nhận biết vị trí cần ngất nghỉ trong cầu một cách tự động và cần được cung cấp các vị trí này ở bước tiên xử lý. Tuy nhiên, hệ thông dựa trên DNN có thể dự đoán thời gian của các vị trí cần ngắt nghỉ đó, trong khi hệ thông đựa trên [IMM không có khả năng nảy.

Một số các bệ thông, dâu- cuối (End-to-end), vị dụ như Tacotron [10], [11], Tavotron? [12], và Wavenet |12|, [13], có thế sử dụng một lượng đữ liệu +hảng lỗ các cặp văn bản và âm thanh tương ứng để xây dụng cách phân doan tiếng nói trực tiếp từ quá trình huấn luyện. Tuy vậy, không phải bộ đữ liệu nảo 2 CHUONG 1. BAT TOAN DU DOAN NGAT NGHI TRONG TONG HOP THENG NOI THENG VIET tê có cái nhin téng quát về bài toán dự đoán ngất nghỉ trong tống hợp tiếng nói tiếng Việt, Chương 1 sẽ trinh bày về khái niệm, vai trỏ và ứng dụng thực tiễn của tổng hợp tiếng nói. Phân tiếp theo trình bày về khái niệm và vị trí của mô hình ngắt nghỉ trong tổng hợp tiếng nói, các cách tiếp cận và nghiên cứu liên quan trong và ngoài nước.

Từ đỏ, chương nảy xác định phạm vị, mục tiểu của luận văn, định hưởng giải pháp và bố cục trình bảy của luận vẫn.1 Tổng họp tiếng nỗi Sự phát triển của trí tuệ nhân tạo song hành củng cuộc cách mạng 4.0 đang ở trong thời kỷ bùng nỗ mạnh mẽ. Trong khi đó, các hệ thống, chuyển déi van ban thành. giọng nói (Text-To-Specch - T8) - thuộc vùng giao thoa giữa lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing- NLP) [1] va céng nghệ tiếng nói (Speech Technology) [2] - dang ngày càng được chủ ý, trở lên phổ biên và được ứng dụng trong thực tế nhiều hơn bao giờ hết. Tổng hợp tiếng nói (TexIZTo-Speech - TT8) đã nhận được rất nhiều sự chủý không chỉ trong giới nghiên cứu mà còn cã bởi các doanh nghiệp có quy mô từ nhả tới lớn.

Tắng hợp tiêng nói là quá trình. hiểu văn bản và ngôn ngữ tự nhiên dựa trên nên tắng trí tuệ nhân tạo dễ tạo ra âm thành Lông hợp hoàn chỉnh với nhịp điện và ngữ điệu phủ hợp. Với sự phát triển nhanh chỏng cia TTS trong những năm gần day, hau như không còn xuất hiện. những hệ thống hiện đại mà phát âm giống như máy méc níta.

Khái niệm một hệ théng TTS chất lượng cao xuất hiện ở giữa những năm 80, là kết quả của sự phát triển của những nghiên cứu quan trọng trong xứ lý tiếng nót và các kỹ thuật xử lý ngôn ngữ tự nhiên, phân lớn nhờ vào sự xuất hiện của những công nghệ mới Trong những năm gẵn đầy, chính sự cải thiện vượt bậc về mặt chất lượng đã giúp các hệ thông TT8 được ứng dụng nhiều hơn vào nhiều Tính vục trong đời sông, Một trong những hệ thống TT8 dẫu tiên dược sử dụng trong cuộc sóng là nhằm hỗ trợ những người khiếm thị đọc văn bản từ sách và chuyển đổi thành tiếng nói. Mặc dù chất lượng giọng nói của những hệ thống sơ khai đỏ vẫn còn chưa được tự nhiên, nhưng đã gây ra nhiều bất ngờ và thích thủ cho những người khiểm thi vi thuận tiên hơn trong sử dụng khi số sánh với những phương pháp dọc truyền thống khác như đọc chữ hay nhờ người thật đọc [3]. Ngày nay, có rất nhiều rữrgr hệ thống tổng hợp tiếng nói hỗ trợ người khiếm thị tương tác với máy vi tính. Một trong những ứng dụng quan trọng và lâu đời nhất phải kẻ tới là ứng dụng đọc tên.

các thành phản trên màn hình máy lính, người dùng được hệ thống TTS tích hợp trong may tinh hé tro di chuyến con chuột và điêu khiển máy tính. Ngoài ra, các hệ thông 118 còn dược sử dụng, dễ giúp những người gặp khó khăn phát âm, hỗ trợ những bệnh nhân bị khiêm thính nặng, thường thông qua những thiết bị hỗ trợ giao tiếp đầura bằng giọng nói [4] Hiện nay, có rất nhiều sách nói và đồ chơi sử đụng công nghệ tổng hợp tiếng nói. Các công nghệ tổng hợp tiếng nói chất lượng cao được tích hợp vào những hệ thống giao dục, giúp người học học những ngôn ngữ mới. TT8 còn được ứng dụng CHUONG 1.

BAT TOAN DU DOAN NGAT NGHI TRONG TONG HOP THENG NOI THENG VIET tê có cái nhin téng quát về bài toán dự đoán ngất nghỉ trong tống hợp tiếng nói tiếng Việt, Chương 1 sẽ trinh bày về khái niệm, vai trỏ và ứng dụng thực tiễn của tổng hợp tiếng nói. Phân tiếp theo trình bày về khái niệm và vị trí của mô hình ngắt nghỉ trong tổng hợp tiếng nói, các cách tiếp cận và nghiên cứu liên quan trong và ngoài nước. Từ đỏ, chương nảy xác định phạm vị, mục tiểu của luận văn, định hưởng giải pháp và bố cục trình bảy của luận vẫn.1 Tổng họp tiếng nỗi Sự phát triển của trí tuệ nhân tạo song hành củng cuộc cách mạng 4.0 đang ở trong thời kỷ bùng nỗ mạnh mẽ. Trong khi đó, các hệ thống, chuyển déi van ban thành.

giọng nói (Text-To-Specch - T8) - thuộc vùng giao thoa giữa lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing- NLP) [1] va céng nghệ tiếng nói (Speech Technology) [2] - dang ngày càng được chủ ý, trở lên phổ biên và được ứng dụng trong thực tế nhiều hơn bao giờ hết. Tổng hợp tiếng nói (TexIZTo-Speech - TT8) đã nhận được rất nhiều sự chủý không chỉ trong giới nghiên cứu mà còn cã bởi các doanh nghiệp có quy mô từ nhả tới lớn. Tắng hợp tiêng nói là quá trình. hiểu văn bản và ngôn ngữ tự nhiên dựa trên nên tắng trí tuệ nhân tạo dễ tạo ra âm thành Lông hợp hoàn chỉnh với nhịp điện và ngữ điệu phủ hợp.

Với sự phát triển nhanh chỏng cia TTS trong những năm gần day, hau như không còn xuất hiện. những hệ thống hiện đại mà phát âm giống như máy méc níta.