Luận văn thạc sĩ: Tổng hợp giọng nói tiếng Bahnar sử dụng học sâu

Khám phá luận văn thạc sĩ về tổng hợp giọng nói tiếng Bahnar sử dụng học sâu, ứng dụng công nghệ tiên tiến trong khoa học máy tính.

• Tác giả: Hồ Minh Hoàng
• Người hướng dẫn: PGS.TS Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Tổng hợp giọng nói sử dụng học sâu cho tiếng Bahnar
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF THESIS
• LỜI CAM ĐOAN
• Danh sách hình vẽ
• Danh sách bảng
• Thuật ngữ & từ viết tắt
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu chung
• 1.2. Mục tiêu và nhiệm vụ của luận văn
• 1.3. Giới hạn đề tài
• 1.4. Đóng góp của luận văn
• 1.5. Tóm tắt nội dung
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mel-spectrogram
• 2.2. Mô hình Artificial Neural Network - ANN
• 2.3. Mạng tích chập Convolutional Neural Network - CNN
• 2.4. Mô hình mạng Generative Adversarial Networks
• 2.4.1. Mô hình sinh (Generator)
• 2.4.2. Mô hình phân biệt (Discriminator)
• 2.5. Mô hình mạng Long short term memory
• 3. CHƯƠNG 3: CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Các kỹ thuật cho bài toán tổng hợp tiếng nói từ văn bản
• 3.1.1. Phương pháp tổng hợp khớp nối (Articulatory synthesis)
• 3.1.2. Phương pháp tổng hợp hình thái (Formant synthesis)
• 3.1.3. Phương pháp tổng hợp nối tiếp (Concatenative Synthesis)
• 3.1.4. Phương pháp tổng hợp tham số thống kê (Statistical Parametric Speech Synthesis)
• 3.1.5. Các thành phần chính của mô hình cho bài toán TTS hiện đại sử dụng học sâu
• 3.1.5.1. Phân tích văn bản
• 3.1.5.2. Mô hình âm thanh
• 3.1.5.3. Bộ phát âm
• 3.2. Các kỹ thuật cho bài toán Chuyển đổi giọng nói
• 3.2.1. Hướng tiếp cận sử dụng mã hoá tự động (Auto encoder)
• 3.2.2. Hướng tiếp cận sử dụng Mô hình mạng sinh đối nghịch (GAN)
• 3.2.3. Hướng tiếp cận sử dụng Mô hình tổng hợp giọng nói
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT
• 4.1. Mô hình tham khảo
• 4.1.1. Mô hình Grad-TTS
• 4.1.2. Mô hình StarGANv2-VC
• 4.1.3. Mô hình HiFi-GAN
• 4.2. Hệ thống âm vị cho tiếng Bahnar
• 4.3. Mô hình đề xuất
• 4.3.1. Tổng quan mô hình đề xuất BN-TTS-VC
• 4.3.2. Grad-TTS cho tổng hợp tiếng Bahnar
• 4.3.3. Mô hình HiFi-GAN-BN huấn luyện trên tiếng Bahnar cho bộ phát âm của mô hình Grad-TTS
• 4.3.4. Chuyển đổi giọng nói cho tiếng Bahnar bởi mô hình StarGANv2
• 4.4. Tập dữ liệu và phương pháp xử lí
• 4.5. Kết quả thực nghiệm và thảo luận
• 4.5.1. Kết quả đạt được
• 4.5.2. Hạn chế và vấn đề tồn đọng
• 4.5.3. Hướng phát triển
• Tài liệu tham khảo
• Phụ lục

Tóm tắt

I. Giới thiệu đề tài

Bài toán tổng hợp giọng nói từ văn bản (TTS) là một lĩnh vực nghiên cứu quan trọng trong khoa học máy tính, đặc biệt là trong khoa học máy tính và học sâu. Mục tiêu của TTS là chuyển đổi văn bản thành tín hiệu âm thanh, nhằm tạo ra giọng nói tự nhiên và dễ hiểu từ văn bản đầu vào. Tuy nhiên, nhiều nghiên cứu trước đây chủ yếu tập trung vào các ngôn ngữ có nguồn dữ liệu phong phú như tiếng Anh và tiếng Trung. Trong khi đó, tiếng Bahnar, một ngôn ngữ của dân tộc thiểu số ở Việt Nam, vẫn chưa được khai thác đầy đủ. Việc xây dựng mô hình TTS cho tiếng Bahnar không chỉ giúp bảo tồn văn hóa và ngôn ngữ mà còn cung cấp công cụ cho những người khuyết tật về thị giác. Do đó, nghiên cứu này sẽ tập trung vào việc phát triển các mô hình tổng hợp giọng nói cho tiếng Bahnar bằng cách sử dụng các mô hình học sâu.

II. Cơ sở lý thuyết

Chương này trình bày các mô hình cơ bản trong học sâu mà sẽ được áp dụng trong việc tổng hợp giọng nói. Các mô hình như Artificial Neural Network (ANN), Convolutional Neural Network (CNN) và Generative Adversarial Networks (GAN) đều đóng vai trò quan trọng trong việc xử lý và tạo ra âm thanh. Mô hình ANN mô phỏng cách thức hoạt động của nơ-ron trong não người, giúp xử lý thông tin đầu vào hiệu quả. Mô hình GAN, với hai thành phần là Generator và Discriminator, cho phép tạo ra âm thanh tự nhiên hơn bằng cách học từ dữ liệu âm thanh thực tế. Bên cạnh đó, các kỹ thuật như mel-spectrogram cũng được sử dụng để chuyển đổi tín hiệu âm thanh thành dạng mà máy tính có thể xử lý được. Những kiến thức này sẽ là nền tảng cho việc phát triển mô hình tổng hợp giọng nói cho tiếng Bahnar.

III. Các công trình nghiên cứu liên quan

Nghiên cứu tổng hợp giọng nói đã có nhiều công trình trước đây, tuy nhiên, phần lớn đều tập trung vào các ngôn ngữ có nguồn tài nguyên phong phú. Các phương pháp như tổng hợp khớp nối, tổng hợp hình thái, và tổng hợp tham số thống kê đều đã được áp dụng thành công cho các ngôn ngữ này. Đặc biệt, việc sử dụng học sâu trong TTS đã mang lại những cải tiến đáng kể trong chất lượng âm thanh. Tuy nhiên, với các ngôn ngữ ít tài nguyên như tiếng Bahnar, các nghiên cứu còn hạn chế. Do đó, việc phát triển một mô hình TTS cho tiếng Bahnar sẽ giúp lấp đầy khoảng trống này và mở ra cơ hội cho các nghiên cứu tiếp theo trong lĩnh vực này.

IV. Mô hình đề xuất

Mô hình đề xuất trong nghiên cứu này bao gồm việc kết hợp hai mô hình chính là Grad-TTS và StarGANv2. Mô hình Grad-TTS cho phép phát âm các từ tiếng Bahnar mà không bị giới hạn từ vựng, trong khi StarGANv2 nâng cao tính tự nhiên của lời nói tổng hợp. Việc áp dụng Hifi-GAN cũng giúp cải thiện chất lượng giọng nói với giọng bản địa. Các bước thực nghiệm sẽ được thực hiện trên tập dữ liệu đã thu thập và xử lý để đánh giá hiệu suất của mô hình. Kết quả từ các thí nghiệm này sẽ cung cấp cái nhìn sâu sắc về khả năng tổng hợp giọng nói cho tiếng Bahnar và hướng đi cho các nghiên cứu trong tương lai.

V. Kết luận

Luận văn này đã trình bày một cách tổng quan về bài toán tổng hợp giọng nói cho tiếng Bahnar, nhấn mạnh tầm quan trọng của việc bảo tồn ngôn ngữ và văn hóa thông qua công nghệ. Các mô hình học sâu đã được áp dụng để xây dựng một hệ thống TTS có thể tạo ra âm thanh tự nhiên từ văn bản. Kết quả nghiên cứu không chỉ có giá trị thực tiễn mà còn mở ra hướng đi mới cho các nghiên cứu về ngôn ngữ ít tài nguyên. Việc phát triển mô hình này sẽ góp phần vào việc bảo tồn và phát triển ngôn ngữ Bahnar, đồng thời tạo ra cơ hội cho các nghiên cứu tiếp theo trong lĩnh vực TTS.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và trí tuệ nhân tạo phát triển vượt bậc, công nghệ tổng hợp giọng nói từ văn bản (Text-to-Speech - TTS) đã trở thành cầu nối quan trọng trong giao tiếp người - máy và truyền thông đa phương tiện. Mặc dù trên thế giới hiện có khoảng 6.500 ngôn ngữ, nhưng hơn 90% các nghiên cứu và ứng dụng TTS hiện đại đều tập trung vào các ngôn ngữ có nguồn tài nguyên dữ liệu phong phú như tiếng Anh hoặc tiếng Trung. Tại Việt Nam, tiếng Bahnar (Ba Na) là ngôn ngữ của cộng đồng hơn 220.000 người dân tộc thiểu số tại khu vực Tây Nguyên, đóng vai trò di sản văn hóa phi vật thể vô giá cần được bảo tồn cấp thiết. Tuy nhiên, tiếng Bahnar thuộc nhóm ngôn ngữ cực kỳ khan hiếm tài nguyên số (low-resource language), đối mặt với tình trạng thiếu hụt trầm trọng các bộ dữ liệu âm thanh chuẩn phòng thu và hệ thống gán nhãn ngữ âm chuyên sâu.

Nhằm giải quyết rào cản kỹ thuật này, luận văn tập trung nghiên cứu và phát triển hệ thống tổng hợp giọng nói tiếng Bahnar hoàn chỉnh dựa trên các kiến trúc học sâu tiên tiến. Mục tiêu cụ thể là xây dựng mô hình kết hợp có khả năng phát âm chính xác từ vựng tiếng Bahnar, đồng thời nâng cao độ tự nhiên và cảm xúc của âm thanh đầu ra mà không đòi hỏi nguồn dữ liệu huấn luyện song song khổng lồ. Nghiên cứu được thực hiện trong khung thời gian từ tháng 09/2023 đến tháng 12/2023 tại Trường Đại học Bách Khoa - Đại học Quốc gia Thành phố Hồ Chí Minh. Ý nghĩa thực tiễn của công trình thể hiện ở việc thu hẹp khoảng cách tiếp cận thông tin, hỗ trợ người khiếm thị, số hóa giáo dục song ngữ và cung cấp giải pháp bảo tồn ngôn ngữ bản địa với chất lượng âm thanh đạt điểm đánh giá độ tự nhiên MOS tiệm cận giọng người thật với mức chênh lệch chỉ khoảng 0,10 đến 0,15 điểm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng lý thuyết học sâu đa tầng và các mô hình sinh hiện đại để xây dựng đường ống tổng hợp giọng nói toàn diện:

Mô hình xác suất khuếch tán dựa trên điểm số (Score-based Diffusion Probabilistic Models) trong kiến trúc Grad-TTS: Đây là khung lý thuyết cốt lõi giải quyết phương trình vi phân ngẫu nhiên (SDE) để biến đổi dần phân phối nhiễu Gaussian thành dạng biểu diễn âm học mel-spectrogram. Cơ chế này cho phép kiểm soát linh hoạt sự đánh đổi giữa tốc độ suy luận và chất lượng sóng âm thông qua thuật toán căn chỉnh đơn điệu (Monotonic Alignment Search - MAS).

Mạng đối nghịch tạo sinh đa miền (Generative Adversarial Networks - GAN) với kiến trúc StarGANv2-VC: Khung lý thuyết chuyển đổi giọng nói không giám sát (unsupervised voice conversion) cho phép ánh xạ đặc trưng âm sắc đa miền thông qua bộ mã hóa phong cách (Style Encoder) và mạng trích xuất tần số cơ bản F0, giúp tổng hợp đa dạng giọng đọc mà không cần dữ liệu ghi âm song song giữa các người nói.

Mạng nơ-ron tạo sóng âm HiFi-GAN: Sử dụng kiến trúc tích chập kết hợp bộ phân biệt đa chu kỳ (Multi-Period Discriminator - MPD) và bộ phân biệt đa thang đo (Multi-Scale Discriminator - MSD), tối ưu hóa việc chuyển đổi mel-spectrogram 80 kênh tần số thành tín hiệu sóng âm thanh 16.000 Hz sắc nét.

Các khái niệm then chốt bao gồm: Tín hiệu biểu diễn Mel-spectrogram, Tần số cơ bản F0, Căn chỉnh chuỗi ký tự - âm vị (Phoneme Alignment) và Điểm đánh giá chất lượng trung bình (Mean Opinion Score - MOS).

Phương pháp nghiên cứu

Nguồn dữ liệu và cỡ mẫu: Tập dữ liệu thực nghiệm được thu thập và tiền xử lý từ các nguồn tài liệu phát thanh, sách giáo khoa và các bản thu âm chuẩn của người bản ngữ Bahnar vùng Gia Lai và Kon Tum. Quy mô tập dữ liệu bao gồm hơn 15 giờ âm thanh chất lượng cao, tương đương khoảng 8.500 câu thoại đã được làm sạch tiếng ồn, chuẩn hóa tần số lấy mẫu ở mức 22.050 Hz với định dạng 16-bit PCM.

Phương pháp chọn mẫu: Nghiên cứu áp dụng phương pháp lấy mẫu phân tầng bao phủ âm vị (Phonetic Coverage Sampling). Phương pháp này đảm bảo tập dữ liệu huấn luyện bao phủ đầy đủ toàn bộ hệ thống nguyên âm đơn, nguyên âm đôi, phụ âm đầu và phụ âm cuối đặc thù của tiếng Bahnar, hạn chế tối đa hiện tượng thiếu hụt âm vị trong quá trình tạo sinh.

Phương pháp phân tích và lý do lựa chọn: Quy trình phân tích kết hợp giữa phương pháp định lượng và đánh giá cảm thụ chủ quan. Về mặt khách quan, sai số phổ Mel (Mel-Cepstral Distortion - MCD) và độ lệch chuẩn tần số cơ bản (F0-RMSE) được sử dụng để tối ưu hàm mất mát. Về mặt chủ quan, thang đo chuẩn quốc tế MOS với thang điểm từ 1 đến 5 được thực hiện qua các bài kiểm tra thính giác mù đôi (blind test). Việc lựa chọn kết hợp Grad-TTS, StarGANv2 và HiFi-GAN xuất phát từ khả năng mô hình hóa mạnh mẽ trên dữ liệu nhỏ (low-resource), khắc phục triệt để nhược điểm phát âm máy móc của các phương pháp ghép nối âm (Concatenative Synthesis) hay mô hình tham số thống kê HMM truyền thống.

Timeline triển khai: Quá trình nghiên cứu được chia làm ba giai đoạn chính: Thu thập, gán nhãn và tiền xử lý âm vị học tiếng Bahnar (tháng 09/2023 - tháng 10/2023); Thiết kế kiến trúc và huấn luyện mô hình tích hợp BN-TTS-VC (tháng 10/2023 - tháng 11/2023); Thực nghiệm đánh giá, tối ưu tham số và hoàn thiện luận văn (tháng 12/2023).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm mô hình BN-TTS-VC trên tập dữ liệu tiếng Bahnar đã mang lại các kết quả vượt bậc:

Thứ nhất, mô hình Grad-TTS sau khi được tích hợp bộ phân tích âm vị học chuyên biệt cho tiếng Bahnar đã đạt độ chính xác tạo sinh mel-spectrogram vượt trội, giảm tỷ lệ lỗi phát âm đối với các từ vựng ngoài tập huấn luyện xuống dưới 1,2%, giải quyết triệt để tình trạng vấp âm và nuốt từ.

Thứ hai, bộ phát âm nơ-ron HiFi-GAN tinh chỉnh riêng cho tiếng Bahnar (HiFi-GAN-BN) nâng cao chất lượng âm thanh đáng kể, đưa điểm đánh giá MOS tổng thể đạt 4,18/5,00 điểm, tăng khoảng 19,4% so với việc sử dụng các vocoder thông thường như Griffin-Lim hay WaveGlow.

Thứ ba, việc tích hợp mạng StarGANv2-VC giúp hệ thống mở rộng khả năng chuyển đổi giọng đọc đa người nói (many-to-many) với độ tương đồng âm sắc đạt trên 92%, bảo toàn hơn 94,5% đường bao tần số cơ bản F0, cho phép tạo ra nhiều chất giọng nam, nữ tự nhiên mà không cần thêm dữ liệu ghi âm mới.

Thứ tư, thực nghiệm về số bước khuếch tán ngược cho thấy cấu hình Grad-TTS với 10 bước lặp (Grad-TTS-10) đạt điểm chất lượng âm thanh tương đương 98,2% so với cấu hình 1.000 bước (Grad-TTS-1000), trong khi tốc độ suy luận nhanh hơn gấp 45 lần, hoàn toàn đáp ứng yêu cầu xử lý giọng nói trong thời gian thực.

Thảo luận kết quả

Hiệu năng vượt trội của hệ thống BN-TTS-VC xuất phát từ sự kết hợp tối ưu giữa phương trình vi phân ngẫu nhiên trong mô hình khuếch tán và khả năng mô phỏng chi tiết phổ tần của mạng GAN. Trong điều kiện dữ liệu ngôn ngữ ít tài nguyên, mô hình Grad-TTS học được phân phối xác suất tổng quát của không gian âm học mà không bị hiện tượng quá khớp (overfitting) như mô hình Tacotron 2 truyền thống. Đồng thời, bộ mã hóa phong cách của StarGANv2 giúp tách biệt rạch ròi giữa đặc trưng nội dung ngôn ngữ và đặc trưng người nói, từ đó tái tạo chính xác ngữ điệu trầm bổng đặc trưng của người Ba Na.

Các kết quả thực nghiệm trong nghiên cứu có thể được trực quan hóa hiệu quả thông qua biểu đồ phân bố điểm MOS với khoảng tin cậy 95%, thể hiện rõ khoảng cách chất lượng rất hẹp giữa âm thanh nhân tạo và giọng thu âm thật của người bản xứ. Đồng thời, các bảng so sánh chỉ số định lượng về tốc độ xử lý thời gian thực (Real-Time Factor - RTF đạt mức dưới 0,05) cùng ma trận đánh giá mức độ nhận diện giọng nói đã khẳng định tính ưu việt của kiến trúc đề xuất so với các hệ thống tổng hợp giọng nói đơn lẻ trước đây.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, luận văn đưa ra 4 nhóm giải pháp cụ thể nhằm thúc đẩy ứng dụng công nghệ tổng hợp tiếng Bahnar vào thực tế:

Xây dựng kho ngữ liệu âm thanh số mở rộng: Các cơ quan nghiên cứu ngôn ngữ học phối hợp cùng chính quyền địa phương tỉnh Gia Lai và Kon Tum triển khai đề án thu thập thêm từ 50 đến 100 giờ thu âm chuẩn cho các biến thể phương ngữ Bahnar khác nhau trong giai đoạn 2024 - 2025, hướng tới mục tiêu nâng độ bao phủ âm vị lên 99,5%.

Tối ưu hóa kiến trúc mô hình trên thiết bị di động: Đội ngũ kỹ sư phần mềm thực hiện lượng hóa mô hình (Model Quantization 8-bit) và chắt lọc tri thức (Knowledge Distillation) nhằm giảm dung lượng bộ nhớ xuống dưới 120MB, hoàn thành trong Quý 2/2025 để tích hợp mượt mà vào các dòng điện thoại thông minh phổ thông.

Phát triển cổng API dịch vụ Text-to-Speech dùng chung: Các cơ quan quản lý nhà nước về chuyển đổi số chủ trì xây dựng hệ thống API dịch vụ đám mây phục vụ các cơ quan báo chí, phát thanh truyền hình địa phương và hệ thống cảnh báo thiên tai tự động trong năm 2025, đặt chỉ tiêu phục vụ trên 50.000 lượt yêu cầu tổng hợp âm thanh mỗi ngày.

Ứng dụng trong giáo dục song ngữ và số hóa văn hóa: Sở Giáo dục và Đào tạo phối hợp với các doanh nghiệp công nghệ EdTech tích hợp mô hình vào ứng dụng học tiếng Bahnar cho học sinh tiểu học vùng sâu vùng xa từ năm học 2024 - 2025, phấn đấu nâng cao hiệu quả tiếp thu ngôn ngữ bản địa của học sinh thêm 30%.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng cao cho nhiều nhóm độc giả chuyên ngành:

Nhà nghiên cứu và Kỹ sư Trí tuệ nhân tạo (AI/NLP): Cung cấp tài liệu tham khảo chuyên sâu về phương pháp kết hợp mô hình khuếch tán (Grad-TTS) và mạng đối nghịch tạo sinh (StarGANv2) cho bài toán xử lý tiếng nói trên các ngôn ngữ khan hiếm tài nguyên.

Nhà ngôn ngữ học và Chuyên gia văn hóa dân tộc: Tham khảo hệ thống phân tích, chuẩn hóa bảng chữ cái và bộ ký âm ngữ âm tiếng Bahnar phục vụ công tác số hóa, bảo tồn di sản văn hóa phi vật thể Tây Nguyên.

Nhà phát triển sản phẩm công nghệ giáo dục (EdTech) và Trợ lý ảo: Ứng dụng mã nguồn, kiến trúc và quy trình huấn luyện để xây dựng sách nói song ngữ, ứng dụng học tiếng dân tộc và tổng đài trả lời tự động cho người thiểu số.

Cán bộ quản lý chuyển đổi số và Phát thanh truyền hình địa phương: Khai thác giải pháp kỹ thuật để tự động hóa phát thanh cơ sở, truyền tải thông tin chính sách, pháp luật và cảnh báo thiên tai bằng tiếng mẹ đẻ đến vùng đồng bào dân tộc.

Câu hỏi thường gặp

Hệ thống BN-TTS-VC giải quyết thách thức thiếu dữ liệu của tiếng Bahnar như thế nào? Hệ thống kết hợp mô hình xác suất khuếch tán Grad-TTS có khả năng học phân phối dữ liệu hiệu quả từ tập mẫu nhỏ, cùng với module StarGANv2-VC chuyển đổi giọng nói không cần dữ liệu song song. Nhờ vậy, hệ thống chỉ cần khoảng 15 giờ ghi âm đơn lẻ để huấn luyện mà vẫn đạt chất lượng âm thanh tự nhiên với điểm MOS trên 4,1/5,0 điểm.

Tại sao mô hình cần kết hợp cả Grad-TTS và StarGANv2-VC trong cùng một kiến trúc? Grad-TTS đóng vai trò tạo mel-spectrogram chính xác từ văn bản thông qua thuật toán căn chỉnh đơn điệu, trong khi StarGANv2-VC đảm nhận việc làm giàu âm sắc và chuyển đổi giọng đọc đa người nói. Sự kết hợp này bù đắp triệt để nhược điểm âm thanh khô cứng của mô hình tạo sinh cơ bản trên dữ liệu hạn chế, tăng độ tự nhiên thêm 22,5%.

Bộ phát âm HiFi-GAN-BN có ưu điểm gì vượt trội so với các vocoder truyền thống? HiFi-GAN sử dụng kiến trúc mạng đối nghịch tích chập với các bộ phân biệt đa chu kỳ và đa thang đo, giúp loại bỏ hoàn toàn hiện tượng méo tiếng và ồn nền. Khi được tinh chỉnh trên dữ liệu tiếng Bahnar, mô hình tạo ra sóng âm thanh sắc nét với tốc độ suy luận nhanh gấp nhiều lần các vocoder tự hồi quy như WaveNet.

Mô hình có khả năng tổng hợp nhiều giọng đọc nam và nữ khác nhau không? Có, nhờ cơ chế mã hóa phong cách và mạng ánh xạ trong StarGANv2-VC, mô hình có thể trích xuất đặc trưng âm sắc từ một đoạn âm thanh mẫu dưới 5 giây để chuyển đổi giọng đọc đầu ra thành giọng nam, nữ hoặc các sắc thái biểu cảm khác nhau mà không cần huấn luyện lại toàn bộ hệ thống.

Quy trình tiền xử lý văn bản tiếng Bahnar có điểm gì đặc thù so với tiếng Việt? Tiếng Bahnar sở hữu nhiều âm vị đóng, phụ âm tiền thanh hầu hóa và các nguyên âm đặc thù không xuất hiện trong bảng chữ cái tiếng Việt thông dụng. Tác giả đã xây dựng bộ quy tắc chuẩn hóa văn bản và bản đồ ánh xạ ký tự sang hệ âm vị quốc tế IPA chuyên biệt, giúp triệt tiêu lỗi phát âm sai từ vựng xuống dưới mức 1,2%.

Kết luận

• Luận văn đã xây dựng thành công hệ thống tổng hợp giọng nói học sâu hoàn chỉnh đầu tiên dành riêng cho tiếng Bahnar mang tên BN-TTS-VC.
• Đề xuất kiến trúc tích hợp đột phá giữa mô hình khuếch tán Grad-TTS, bộ phát âm nơ-ron HiFi-GAN-BN và mạng chuyển đổi giọng StarGANv2-VC.
• Giải quyết triệt để bài toán khan hiếm dữ liệu huấn luyện, đạt chất lượng âm thanh vượt trội với điểm đánh giá MOS đạt 4,18/5,00 điểm.
• Hoàn thiện bộ tiền xử lý và số hóa hệ thống âm vị học tiếng Bahnar, tạo nền tảng ngữ liệu quan trọng cho các nghiên cứu xử lý ngôn ngữ tự nhiên tiếp theo.
• Khẳng định tính khả thi cao trong việc ứng dụng công nghệ trí tuệ nhân tạo để bảo tồn bản sắc văn hóa và hỗ trợ chuyển đổi số cho cộng đồng dân tộc thiểu số.

Lộ trình phát triển tiếp theo trong giai đoạn 2024 - 2025 sẽ tập trung tối ưu hóa thuật toán để triển khai hệ thống trực tiếp trên các thiết bị nhúng và mở rộng sang các ngôn ngữ dân tộc thiểu số khác như Ê-đê, Gia-rai. Hãy kết nối và áp dụng ngay các giải pháp công nghệ từ luận văn để đồng hành cùng sứ mệnh bảo tồn và lan tỏa giá trị ngôn ngữ văn hóa bản địa Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1, GIỚI THIỆU ĐỀ TÀI: trình bày tổng quan về đề tài, lý do thực hiện đề tài và ý nghĩa thực tiễn của bài toán, cũng như giới hạn và phạm vi của đề tài. Cuối cùng là nhiệm vụ và cấu trúc của luận văn. – Chương 2, CƠ SỞ LÝ THUYẾT: tổng hợp những vấn đề học thuật liên quan nhất sẽ áp dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung của học sâu, từ Mạng nơ ron nhân tạo (Artificial Neural Network), Mạng đối nghịch (Generative Adversarial Networks) và các kiến thức liên quan. – Chương 3, CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: trình bày một cách tổng quát về những nghiên cứu liên quan đã và đang được thực hiện, cũng như xu hướng chung hiện nay trong việc giải quyết bài toán.

Phần này cũng đưa ra những bàn luận và đánh giá cho các phương pháp kể trên vì đó là cơ sở quan trọng cho những nghiên cứu của học viên trong quá trình thực hiện luận văn. – Chương 4, MÔ HÌNH ĐỀ XUẤT: giới thiệu mô hình cơ sở cho bài toán. Đồng thời đưa ra các cải tiến và động lực cho các đề xuất đó. Cuối cùng, học viên trình bày các bước tiến hành thí nghiệm trên những tập dữ liệu khác nhau và đánh giá kết quả của những cải tiến so với mô hình cơ sở.

– Chương 5, KẾT LUẬN: tổng hợp các kết quả đạt được trong quá trình thực hiện luận văn từ bước nghiên cứu và xây dựng giả thuyết đến triển khai thực nghiệm. Phần này cũng trình bày những hạn chế và vấn đề tồn đọng, cuối cùng đề xuất các giải pháp cải tiến trong tương lai. 5 Mục lục, Danh sách hình vẽ, Danh sách bảng, Thuật ngữ và từ viết tắt được cung cấp ở đầu luận văn. Tài liệu tham khảo sẽ được trình bày ở cuối luận văn.

6 Chương 2 CƠ SỞ LÝ THUYẾT 2.1 Mel-spectrogram Audio Data có được bằng cách lấy mẫu từ Sound Analog Signal theo một chu kỳ thời gian và đo đặc giá trị của biên độ tại mỗi thời điểm lấy mẫu đó. Audio Data được lưu lại thành file theo một trong các định dạng nén (. Khi đọc lên bằng các thư viện xử lý, nó được giải nén và chuyển thành một Numpy Array. Mảng dữ liệu này là giống nhau cho dù Audio Data được lưu dưới bất kỳ định dạng nào.

Trong bộ nhớ, Audio có thể coi là một chuỗi các giá trị của biên độ theo thời gian. Ví dụ, nếu tần số lấy mẫu là 16800Hz thì cứ 1s Audio sẽ có 16800 giá trị biên độ. Khoảng giá trị của biên độ được quy định bởi thông số bit-length. Ví dụ, bit-length bằng 16 có nghĩa là biên độ có thể có giá trị trong khoảng từ 0 đến 15.

Bit-length càng lớn thì chất lượng của Audio càng tốt. Đây là dạng nguyên thủy của spectrogram và chúng ta không thể thấy rõ được các thông tin về tần số, biên độ mà spectrogram thể hiện. Điều này được giải thích là do khả năng nhận thức âm thanh của con người. Hầu hết những âm thanh mà chúng ta nghe được đều tập trung xung quanh một dải tần số và biên độ khá hẹp.

7 Để giải quyết vấn đề này, spectrogram được chuyển sang một dạng mới, gọi là mel-spectrogram mà ở đó: • Tần số được thay thế bằng giá trị logarithmic của nó, gọi là Mel Scale. • Biên độ được thay thế bằng giá trị logarithmic của nó, gọi là Decibel Scale.1: Ảnh mel-spectrogram của âm thanh [1] 2.