Đồ án tốt nghiệp: Xây dựng corpus tiếng Việt cho hệ thống chuyển văn bản thành giọng nói

• Tác giả: Huynh Nguyen Tin
• Người hướng dẫn: PGS. Hoàng Văn Dũng
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Data Engineering
• Đề tài: A Vietnamese Speech Corpus For Text To Speech
• Loại tài liệu: Graduation thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. Objectives of the Thesis
• 1.2. Related Works
• 2. CHƯƠNG 2: LITERATURE REVIEW
• 2.1. Existing Vietnamese Speech Corpora
• 2.2. Export and Publish
• 2.3. Vietnamese Text Normalization
• 2.4. Part-of-speech Tagging
• 2.5. RDRsegmenter for word segmentation
• 3. CHƯƠNG 3: METHODOLOGY
• 3.1. Addressing Non-Standard Words
• 3.2. Detection and Normalization of Non-Standard Words
• 3.3. Addressing Out-of-Vocabulary Words
• 3.4. Bridging the Gap
• 3.5. Post processing
• 4. CHƯƠNG 4: CORPUS ANALYSIS
• 4.1. Fine-tuning a Text-to-Speech Model
• CONCLUSION
• REFERENCES

Tóm tắt

I. Giới thiệu về Corpus tiếng Việt cho chuyển văn bản thành giọng nói

Corpus tiếng Việt đóng vai trò quan trọng trong việc phát triển các hệ thống chuyển văn bản thành giọng nói (TTS). Với sự phát triển của công nghệ AI và học máy trong ngôn ngữ, nhu cầu về một corpus chất lượng cao ngày càng tăng. Tuy nhiên, tiếng Việt là một ngôn ngữ có nguồn tài nguyên hạn chế, đặc biệt là trong lĩnh vực xử lý ngôn ngữ tự nhiên. Nghiên cứu này tập trung vào việc xây dựng một corpus tiếng Việt từ các nguồn dữ liệu công khai trên YouTube, nhằm giảm thiểu chi phí và thời gian so với các phương pháp truyền thống.

1.1. Mục tiêu của nghiên cứu

Mục tiêu chính của nghiên cứu là tạo ra một corpus tiếng Việt chất lượng cao, phục vụ cho các nhiệm vụ TTS. Cụ thể, nghiên cứu tập trung vào việc thu thập dữ liệu từ các video có phụ đề trên YouTube, xây dựng pipeline xử lý dữ liệu tự động, và phát triển các công cụ chuẩn hóa văn bản phù hợp với đặc thù của tiếng Việt. Ngoài ra, nghiên cứu cũng đề xuất các phương pháp phân tích ngữ nghĩa và phát âm tiếng Việt để tối ưu hóa chất lượng của corpus.

1.2. Các nghiên cứu liên quan

Các nghiên cứu trước đây về corpus tiếng Việt như VIVOS, MICA VNSpeechCorpus, và VAIS-1000 đã đặt nền móng quan trọng. Tuy nhiên, các corpus này thường yêu cầu nguồn lực lớn về tài chính và nhân lực. Nghiên cứu này kế thừa các phương pháp từ các công trình trước, đồng thời đề xuất các cải tiến để giảm thiểu chi phí và tăng tính khả thi cho các nhà nghiên cứu độc lập.

II. Phương pháp xây dựng Corpus tiếng Việt

Nghiên cứu đề xuất một pipeline xử lý dữ liệu tự động, bao gồm các bước thu thập dữ liệu, chuẩn hóa văn bản, và xử lý âm thanh. Pipeline này được thiết kế để tối ưu hóa quy trình xây dựng corpus, đồng thời đảm bảo chất lượng dữ liệu đầu ra.

2.1. Thu thập dữ liệu

Dữ liệu được thu thập từ các video có phụ đề trên YouTube, đặc biệt là các video tin tức tiếng Việt. Phương pháp này giúp giảm thiểu chi phí và thời gian so với việc thu âm thủ công. Các video được lựa chọn dựa trên tiêu chí về chất lượng âm thanh và độ chính xác của phụ đề.

2.2. Chuẩn hóa văn bản

Quá trình chuẩn hóa văn bản bao gồm việc xử lý các từ không chuẩn, chuyển đổi số thành chữ, và xử lý các từ viết tắt. Nghiên cứu đề xuất một phương pháp chuẩn hóa văn bản kết hợp giữa quy tắc và mô hình NLP, nhằm đảm bảo tính chính xác và nhất quán của dữ liệu.

2.3. Xử lý âm thanh

Âm thanh được xử lý để loại bỏ nhiễu, đồng bộ hóa với phụ đề, và chia nhỏ thành các đoạn ngắn. Nghiên cứu sử dụng các công cụ forced alignment để đảm bảo sự đồng bộ giữa âm thanh và văn bản, đồng thời tối ưu hóa chất lượng âm thanh đầu ra.

III. Ứng dụng và đánh giá Corpus tiếng Việt

Corpus tiếng Việt được xây dựng trong nghiên cứu này có tiềm năng ứng dụng rộng rãi trong các hệ thống TTS, nhận diện giọng nói, và các ứng dụng liên quan đến xử lý ngôn ngữ tự nhiên. Nghiên cứu cũng đề xuất các phương pháp đánh giá chất lượng corpus thông qua việc huấn luyện mô hình TTS như SpeechT5.

3.1. Ứng dụng trong công nghệ TTS

Corpus này có thể được sử dụng để huấn luyện các mô hình TTS tiếng Việt, giúp cải thiện chất lượng và độ tự nhiên của giọng nói nhân tạo. Nghiên cứu cũng đề xuất các phương pháp tinh chỉnh mô hình để phù hợp với đặc thù của tiếng Việt.

3.2. Đánh giá chất lượng Corpus

Chất lượng của corpus được đánh giá thông qua các chỉ số như độ chính xác của forced alignment, chất lượng âm thanh, và sự đa dạng của dữ liệu. Nghiên cứu cũng so sánh corpus này với các corpus tiếng Việt hiện có để đánh giá tính cạnh tranh và hiệu quả.