Phương pháp nâng cao chất lượng tiếng nói có nhiễu sử dụng học máy và mô hình pha trộn Gaussian

Chuyên khảo phân tích Luận văn phương pháp nâng cao chất lượng tiếng nói có nhiễu dùng học máy thống kê bằng mô hình pha, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên

• Tác giả: Trịnh Thị Thủy
• Người hướng dẫn: TS. Phùng Trung Nghĩa
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nâng cao chất lượng tiếng nói có nhiễu bằng mô hình pha trộn Gaussian
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TIẾNG NÓI VÀ VẤN ĐỀ XỬ LÝ NHIỄU TRONG TIẾNG NÓI
• 1.1. Tổng quan về tiếng nói
• 1.2. Thông tin tiếng nói. Tín hiệu và tín hiệu tiếng nói
• 1.2.1. Tín hiệu tiếng nói
• 1.3. Quá trình tạo tiếng nói
• 1.3.1. Bộ phận cung cấp làn hơi
• 1.3.2. Bộ phận phát thanh (dây thanh âm)
• 1.3.3. Bộ phận dẫn âm
• 1.3.4. Bộ phận phát âm
• 1.3.5. Biểu diễn bộ phận phát âm
• 1.4. Cơ quan thính giác
• 1.5. Nhiễu trong tiếng nói
• 1.5.1. Nguồn nhiễu
• 2. CHƯƠNG 2: PHƯƠNG PHÁP NÂNG CAO CHẤT LƯỢNG TIẾNG NÓI CÓ NHIỄU PHỨC HỢP BẰNG HỌC MÁY DÙNG MÔ HÌNH PHA TRỘN GAUSSIAN
• 2.1. Phương pháp nâng cao chất lượng tiếng nói có nhiễu kinh điển dùng kỹ thuật trừ phổ
• 2.2. Thuật toán trừ phổ đối với phổ biên độ
• 2.3. Thuật toán trừ phổ đối với phổ công suất
• 2.4. Ưu nhược điểm của phương pháp
• 2.5. Phương pháp nâng cao chất lượng tiếng nói có nhiễu dùng học máy GMM
• 2.5.1. Phân bố Gauss
• 2.5.2. Mô hình Gaussian hỗn hợp
• 2.5.3. Mô hình dự đoán tuyến tính (LP) trong kĩ thuật nâng cao chất lượng tiếng nói có nhiễu
• 2.5.4. Phổ đường cảm thụ (PLSF)
• 2.5.5. Biến đổi phổ sử dụng mô hình GMM
• 3. CHƯƠNG 3: ĐÁNH GIÁ THỰC NGHIỆM CÁC PHƯƠNG PHÁP NÂNG CAO CHẤT LƯỢNG TIẾNG NÓI
• 3.1. Ngữ âm tiếng Việt
• 3.2. Cơ sở dữ liệu tiếng nói tiếng Việt
• 3.3. Lựa chọn cơ sở dữ liệu
• 3.4. Cài đặt các phương pháp
• 3.5. Phương pháp trừ phổ
• 3.6. Phương pháp biến đổi sử dụng học máy thống kê GMM
• 3.7. Đánh giá kết quả thực nghiệm
• 3.7.1. Tiêu chí đánh giá chủ quan
• 3.7.2. Tiêu chí đánh giá khách quan
• 3.8. Kết quả đánh giá thực nghiệm
• 3.9. Nhận xét chung về kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tiếng Nói Có Nhiễu Và Bài Toán Xử Lý Nhiễu

Tiếng nói là phương tiện giao tiếp quan trọng, nhưng thường xuyên bị ảnh hưởng bởi nhiễu. Xử lý nhiễu là một bài toán quan trọng trong nhiều ứng dụng, từ cuộc gọi điện thoại đến nhận dạng giọng nói. Các loại nhiễu phổ biến bao gồm nhiễu nền, nhiễu kênh và nhiễu phức hợp. Việc loại bỏ nhiễu giúp cải thiện chất lượng tiếng nói và độ chính xác của các hệ thống xử lý âm thanh. Luận văn của Trịnh Thị Thủy tập trung vào cách tiếp cận sử dụng học máy thống kê để giải quyết bài toán này, cụ thể là sử dụng Mô hình pha trộn Gaussian (GMM). Cách tiếp cận này hứa hẹn mang lại hiệu quả cao trong môi trường nhiễu phức tạp. Nghiên cứu này có ý nghĩa khoa học và ứng dụng thực tiễn, đặc biệt trong bối cảnh các hệ thống xử lý tiếng nói ngày càng phát triển.

1.1. Các Loại Nhiễu Tiếng Nói Phổ Biến Trong Thực Tế

Nhiễu trong tiếng nói có thể đến từ nhiều nguồn khác nhau. Nhiễu nền là tiếng ồn xung quanh môi trường, ví dụ như tiếng xe cộ, tiếng người nói chuyện. Nhiễu kênh là nhiễu do kênh truyền dẫn gây ra, ví dụ như nhiễu điện từ, nhiễu đa đường. Nhiễu phức hợp là sự kết hợp của nhiều loại nhiễu khác nhau, làm cho việc xử lý trở nên khó khăn hơn. Các loại nhiễu này ảnh hưởng đến SNR (Signal-to-Noise Ratio), làm giảm chất lượng tiếng nói và gây khó khăn cho người nghe hoặc các hệ thống tự động. Việc nhận biết và phân loại nhiễu là bước quan trọng để lựa chọn phương pháp lọc nhiễu phù hợp.

1.2. Tầm Quan Trọng Của Nâng Cao Chất Lượng Tiếng Nói Có Nhiễu

Nâng cao chất lượng tiếng nói có nhiễu có vai trò quan trọng trong nhiều lĩnh vực. Trong viễn thông, nó giúp cải thiện chất lượng cuộc gọi và giảm thiểu tình trạng mất thông tin. Trong nhận dạng giọng nói, nó giúp tăng độ chính xác và giảm thiểu lỗi do nhiễu gây ra. Trong các ứng dụng trợ lý ảo, nó giúp trợ lý ảo hiểu rõ yêu cầu của người dùng trong môi trường ồn ào. Ngoài ra, việc lọc nhiễu tiếng nói còn có ứng dụng trong y tế, giúp những người bị khiếm thính nghe rõ hơn. Theo tài liệu nghiên cứu, "nghiên cứu về xử lý nhiễu trong tiếng nói có vai trò quan trọng trong các hệ thống xử lý thông tin và truyền thông hiện đại". Do vậy, đây là một lĩnh vực nghiên cứu đầy tiềm năng.

II. Thách Thức Trong Lọc Nhiễu Tiếng Nói Hiệu Quả Hiện Nay

Mặc dù có nhiều phương pháp lọc nhiễu tiếng nói đã được phát triển, nhưng vẫn còn nhiều thách thức cần giải quyết. Một trong những thách thức lớn nhất là xử lý nhiễu phi tuyến tính và nhiễu thay đổi theo thời gian. Các phương pháp truyền thống thường dựa trên giả định nhiễu cộng tính và dừng, nên không hiệu quả trong môi trường nhiễu phức tạp. Một thách thức khác là cân bằng giữa việc giảm nhiễu và bảo toàn chất lượng tiếng nói gốc. Việc loại bỏ quá nhiều nhiễu có thể làm méo tiếng nói, gây khó khăn cho việc nghe hiểu. Cần có các phương pháp lọc nhiễu thông minh, có khả năng thích nghi với các loại nhiễu khác nhau và bảo toàn thông tin quan trọng trong tiếng nói.

2.1. Giới Hạn Của Các Phương Pháp Lọc Nhiễu Tiếng Nói Truyền Thống

Các phương pháp lọc nhiễu tiếng nói truyền thống, như trừ phổ, thường dựa trên các giả định đơn giản về nhiễu. Chúng hoạt động tốt trong môi trường nhiễu ổn định, nhưng kém hiệu quả khi nhiễu thay đổi nhanh chóng hoặc có tính phi tuyến tính. Thuật toán trừ phổ có thể gây ra hiện tượng "musical noise", làm ảnh hưởng đến chất lượng tiếng nói. Ngoài ra, các phương pháp này thường yêu cầu ước lượng nhiễu một cách chính xác, điều này rất khó thực hiện trong môi trường nhiễu nặng. "Hầu hết các nghiên cứu về triệt nhiễu nâng cao chất lượng tiếng nói hiện nay sử dụng phương pháp ước lượng nguồn nhiễu với giải thiết nguồn nhiễu là cộng tính và biến đổi chậm", theo tài liệu tham khảo, điều này cho thấy sự cần thiết của các phương pháp mới.

2.2. Sự Cần Thiết Của Các Phương Pháp Lọc Nhiễu Thích Nghi

Để vượt qua những hạn chế của các phương pháp truyền thống, cần có các phương pháp lọc nhiễu thích nghi, có khả năng tự động điều chỉnh tham số để phù hợp với môi trường nhiễu thay đổi. Các phương pháp này sử dụng các thuật toán học máy để ước lượng đặc tính của nhiễu và tiếng nói, từ đó đưa ra các quyết định lọc nhiễu tối ưu. Adaptive filtering và Kalman filtering cho tiếng nói là những ví dụ về các phương pháp lọc nhiễu thích nghi đã được nghiên cứu. Tuy nhiên, việc thiết kế các thuật toán lọc nhiễu thích nghi hiệu quả vẫn là một thách thức, đòi hỏi sự hiểu biết sâu sắc về đặc tính của tiếng nói và nhiễu.

III. Mô Hình Pha Trộn Gaussian GMM Giải Pháp Lọc Nhiễu

Mô hình pha trộn Gaussian (GMM) là một công cụ mạnh mẽ trong học máy thống kê, được sử dụng rộng rãi trong nhiều bài toán, bao gồm cả xử lý âm thanh. GMM cho phép mô hình hóa các phân bố phức tạp bằng cách kết hợp nhiều phân bố Gaussian đơn giản. Trong bài toán lọc nhiễu tiếng nói, GMM có thể được sử dụng để mô hình hóa phân bố của phổ tiếng nói sạch và phổ tiếng nói có nhiễu. Dựa trên các mô hình này, có thể ước lượng phổ tiếng nói sạch từ phổ tiếng nói có nhiễu, từ đó loại bỏ nhiễu. Cách tiếp cận này không yêu cầu ước lượng trực tiếp nguồn nhiễu, mà ước lượng luật biến đổi giữa tiếng nói sạch và tiếng nói có nhiễu.

3.1. Ứng Dụng GMM trong Mô Hình Hóa Tiếng Nói

GMM có khả năng mô hình hóa phổ tiếng nói một cách linh hoạt. Mỗi thành phần Gaussian trong GMM đại diện cho một trạng thái âm thanh khác nhau. Bằng cách kết hợp các thành phần này, GMM có thể mô tả được sự đa dạng của tiếng nói. GMM cho nhận dạng giọng nói (Speech Recognition) đã được sử dụng rộng rãi trong nhiều năm. Trong bài toán lọc nhiễu, GMM có thể được sử dụng để mô hình hóa cả tiếng nói sạch và nhiễu, từ đó đưa ra các quyết định lọc nhiễu chính xác.

3.2. Quy Trình Lọc Nhiễu Tiếng Nói Bằng GMM

Quy trình lọc nhiễu tiếng nói bằng GMM bao gồm các bước sau: (1) Huấn luyện GMM cho tiếng nói sạch và tiếng nói có nhiễu. (2) Ước lượng các tham số của GMM cho tiếng nói có nhiễu. (3) Sử dụng GMM để ước lượng phổ tiếng nói sạch từ phổ tiếng nói có nhiễu. (4) Tổng hợp lại tiếng nói từ phổ đã được làm sạch. Quá trình này thường sử dụng thuật toán Expectation Maximization (EM) để huấn luyện GMM và ước lượng các tham số.

IV. Thực Nghiệm Và Đánh Giá Hiệu Quả Lọc Nhiễu GMM Thực Tế

Để đánh giá hiệu quả của phương pháp lọc nhiễu GMM, cần thực hiện các thí nghiệm trên dữ liệu tiếng nói thực tế. Các thí nghiệm này thường sử dụng các tiêu chí đánh giá khách quan, như SNR (Signal-to-Noise Ratio) cải thiện, PESQ (Perceptual Evaluation of Speech Quality) và STOI (Short-Time Objective Intelligibility), cũng như các tiêu chí đánh giá chủ quan, như đánh giá của người nghe. Kết quả thí nghiệm cho thấy GMM có thể cải thiện đáng kể chất lượng tiếng nói trong môi trường nhiễu phức tạp, đặc biệt là khi so sánh với các phương pháp truyền thống như trừ phổ. Tuy nhiên, hiệu quả của GMM phụ thuộc vào nhiều yếu tố, như chất lượng dữ liệu huấn luyện, lựa chọn tham số và cấu trúc GMM.

4.1. Các Tiêu Chí Đánh Giá Khách Quan Chất Lượng Tiếng Nói

SNR cải thiện đo lường mức độ tăng lên của tỷ số tín hiệu trên nhiễu sau khi lọc nhiễu. PESQ đánh giá chất lượng tiếng nói cảm nhận được bởi người nghe. STOI đánh giá khả năng nghe hiểu tiếng nói. Các tiêu chí này cung cấp thông tin khách quan về hiệu quả của phương pháp lọc nhiễu. Các công thức tính toán cho các chỉ số này được chuẩn hóa và sử dụng rộng rãi trong cộng đồng nghiên cứu.

4.2. Các Tiêu Chí Đánh Giá Chủ Quan Chất Lượng Tiếng Nói

Đánh giá chủ quan chất lượng tiếng nói được thực hiện bằng cách cho người nghe đánh giá tiếng nói đã được lọc nhiễu. Người nghe có thể đánh giá các thuộc tính khác nhau của tiếng nói, như độ rõ ràng, độ tự nhiên và mức độ dễ chịu khi nghe. Các kết quả đánh giá chủ quan cung cấp thông tin quan trọng về trải nghiệm của người dùng và giúp đánh giá hiệu quả của phương pháp lọc nhiễu một cách toàn diện. Phương pháp đánh giá chủ quan thường tốn nhiều thời gian và công sức hơn, nhưng nó cung cấp cái nhìn sâu sắc hơn về chất lượng tiếng nói.

V. Kết Luận và Hướng Phát Triển Nâng Cao Chất Lượng Tiếng Nói

Nghiên cứu về lọc nhiễu tiếng nói bằng Mô hình pha trộn Gaussian (GMM) đã cho thấy tiềm năng to lớn trong việc cải thiện chất lượng tiếng nói trong môi trường nhiễu phức tạp. Tuy nhiên, vẫn còn nhiều hướng phát triển để nâng cao hiệu quả của phương pháp này. Một hướng đi tiềm năng là kết hợp GMM với các kỹ thuật deep learning, để tận dụng khả năng học đặc trưng mạnh mẽ của mạng nơ-ron sâu. Một hướng đi khác là phát triển các thuật toán thích nghi tốt hơn, có khả năng tự động điều chỉnh tham số GMM để phù hợp với các loại nhiễu khác nhau.

5.1. So Sánh GMM với Deep Learning trong Lọc Nhiễu Tiếng Nói

Deep learning cho lọc nhiễu tiếng nói đã đạt được nhiều thành công đáng kể trong những năm gần đây. Các mạng nơ-ron sâu có khả năng học các đặc trưng phức tạp của tiếng nói và nhiễu, từ đó đưa ra các quyết định lọc nhiễu chính xác. Tuy nhiên, deep learning đòi hỏi lượng dữ liệu huấn luyện lớn và có thể khó giải thích. GMM, mặt khác, có thể hoạt động tốt với lượng dữ liệu huấn luyện nhỏ hơn và dễ giải thích hơn. Việc so sánh và kết hợp GMM với deep learning là một hướng nghiên cứu đầy hứa hẹn.

5.2. Ứng Dụng Thực Tiễn của Nâng Cao Chất Lượng Tiếng Nói

Ứng dụng của nâng cao chất lượng tiếng nói rất đa dạng. Trong các cuộc gọi, nó giúp cải thiện độ rõ ràng của tiếng nói và giảm thiểu tình trạng mất thông tin. Trong các hệ thống trợ lý ảo, nó giúp trợ lý ảo hiểu rõ yêu cầu của người dùng trong môi trường ồn ào. Trong các thiết bị hỗ trợ thính giác, nó giúp những người bị khiếm thính nghe rõ hơn. Ngoài ra, nâng cao chất lượng tiếng nói còn có ứng dụng trong các hệ thống ghi âm và phân tích tiếng nói.

Nội dung chính

Tổng quan nghiên cứu

Tiếng nói là phương tiện giao tiếp tự nhiên và phổ biến nhất của con người, đóng vai trò quan trọng trong các hệ thống viễn thông hiện đại. Tuy nhiên, chất lượng tiếng nói thường bị suy giảm do các loại nhiễu khác nhau, bao gồm nhiễu cộng (additive noise) và nhiễu nhân (convolutive noise). Theo ước tính, mức độ nhiễu trong các môi trường thực tế như phòng học, nhà hàng, tàu điện ngầm có thể dao động từ 50 đến 75 dB SPL, gây ảnh hưởng nghiêm trọng đến độ rõ và khả năng nghe hiểu của tiếng nói. Các phương pháp truyền thống như thuật toán trừ phổ (Spectral Subtraction) thường chỉ hiệu quả với nhiễu cộng và gặp khó khăn khi xử lý nhiễu phức hợp kết hợp cả nhiễu cộng và nhiễu nhân.

Mục tiêu của luận văn là nghiên cứu và phát triển phương pháp nâng cao chất lượng tiếng nói có nhiễu phức hợp bằng cách ứng dụng học máy thống kê, cụ thể là mô hình pha trộn Gaussian (Gaussian Mixture Model - GMM). Phạm vi nghiên cứu tập trung vào tín hiệu tiếng nói tiếng Việt, sử dụng bộ dữ liệu tiếng Việt có nhiễu được tổng hợp từ dữ liệu sạch và dữ liệu nhiễu NOISEX-92, với các dạng nhiễu trắng, nhiễu hồng và nhiễu nhà máy. Nghiên cứu có ý nghĩa khoa học và thực tiễn lớn trong việc cải thiện chất lượng tiếng nói trong các hệ thống truyền thông và nhận dạng giọng nói, đặc biệt trong môi trường nhiễu phức tạp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: lý thuyết xử lý tín hiệu tiếng nói và học máy thống kê.

1. Lý thuyết xử lý tín hiệu tiếng nói: Tín hiệu tiếng nói được mô hình hóa qua các tham số dự đoán tuyến tính (Linear Predictive Coding - LPC) và phổ đường cảm thụ (Perceptual Linear Predictive - PLP). LPC giúp biểu diễn tín hiệu tiếng nói dưới dạng các hệ số dự đoán tuyến tính, trong khi PLP mô phỏng đặc tính thính giác của con người để cải thiện khả năng nhận dạng và nâng cao chất lượng tiếng nói trong môi trường nhiễu.

2. Mô hình pha trộn Gaussian (GMM): GMM là mô hình thống kê mô tả phân phối xác suất của dữ liệu dưới dạng tổng hợp của nhiều phân phối Gaussian. GMM được huấn luyện bằng thuật toán lặp cực đại kỳ vọng (Expectation Maximization - EM) để ước lượng các tham số mô hình. Trong nghiên cứu, GMM được sử dụng để xây dựng hàm biến đổi từ đặc trưng phổ của tiếng nói có nhiễu sang tiếng nói sạch, giúp triệt nhiễu hiệu quả trong môi trường nhiễu phức hợp.

Các khái niệm chính bao gồm: tín hiệu tiếng nói, nhiễu cộng và nhiễu nhân, mô hình LPC, PLP, GMM, thuật toán EM, và hàm biến đổi phổ.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ cơ sở dữ liệu tiếng Việt sạch kết hợp với dữ liệu nhiễu NOISEX-92 gồm nhiễu trắng, nhiễu hồng và nhiễu nhà máy. Dữ liệu được tổng hợp với mức tỷ số tín hiệu trên nhiễu (SNR) đa dạng, trong đó tập trung đánh giá ở mức SNR -10 dB cho nhiễu trắng.

Phương pháp phân tích bao gồm:

• Tiền xử lý tín hiệu tiếng nói bằng kỹ thuật dự đoán tuyến tính (LP) và chuyển đổi sang tham số phổ LSF (Line Spectral Frequency).
• Huấn luyện mô hình GMM trên các vector phổ liên hợp của tiếng nói sạch và tiếng nói có nhiễu.
• Áp dụng hàm biến đổi GMM để chuyển đổi đặc trưng tiếng nói có nhiễu sang tiếng nói sạch.
• So sánh với phương pháp truyền thống trừ phổ (Spectral Subtraction) về hiệu quả nâng cao chất lượng tiếng nói.

Quá trình nghiên cứu được thực hiện trong khoảng thời gian năm 2015-2016 tại Trường Đại học Công nghệ Thông tin và Truyền thông, Đại học Thái Nguyên. Cỡ mẫu dữ liệu tiếng Việt đủ lớn để đảm bảo tính đại diện và độ tin cậy của kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả nâng cao chất lượng tiếng nói bằng GMM vượt trội so với trừ phổ: Kết quả đánh giá khách quan và chủ quan cho thấy phương pháp GMM cải thiện đáng kể chỉ số MOS (Mean Opinion Score) với mức tăng khoảng 20% so với phương pháp trừ phổ truyền thống ở môi trường nhiễu trắng SNR -10 dB.

2. Khả năng xử lý nhiễu phức hợp: Phương pháp GMM cho phép xử lý hiệu quả cả nhiễu cộng và nhiễu nhân, trong khi phương pháp trừ phổ chỉ phù hợp với nhiễu cộng và không thể ước lượng chính xác nhiễu nhân.

3. Ảnh hưởng của dữ liệu huấn luyện: Việc sử dụng bộ dữ liệu huấn luyện lớn và đa dạng giúp mô hình GMM thích nghi tốt với các dạng nhiễu khác nhau, nâng cao độ chính xác trong việc biến đổi phổ tiếng nói.

4. Giới hạn về thích nghi theo người nói: Mặc dù GMM có khả năng xử lý nhiễu tốt, nhưng nhược điểm là chưa thích nghi tốt với đặc điểm cá nhân của người nói, dẫn đến một số trường hợp tiếng nói sau xử lý có thể bị biến dạng nhẹ.

Thảo luận kết quả

Nguyên nhân chính của sự vượt trội của phương pháp GMM là do khả năng mô hình hóa phân phối xác suất phức tạp của tín hiệu tiếng nói có nhiễu, từ đó xây dựng hàm biến đổi hiệu quả để khôi phục tiếng nói sạch. So với các nghiên cứu trước đây trên tiếng Anh, kết quả trên tiếng Việt cũng tương tự, khẳng định tính ứng dụng rộng rãi của GMM trong xử lý tiếng nói đa ngôn ngữ.

Dữ liệu có thể được trình bày qua biểu đồ so sánh điểm MOS giữa các phương pháp và bảng thống kê tỷ lệ cải thiện SNR sau xử lý. Kết quả cũng cho thấy sự cần thiết của việc mở rộng bộ dữ liệu huấn luyện và phát triển các kỹ thuật thích nghi theo người nói để nâng cao hơn nữa chất lượng tiếng nói.

Đề xuất và khuyến nghị

1. Mở rộng bộ dữ liệu huấn luyện đa dạng hơn: Thu thập thêm dữ liệu tiếng Việt với nhiều dạng nhiễu và người nói khác nhau để tăng khả năng thích nghi của mô hình GMM. Thời gian thực hiện dự kiến 12-18 tháng, do phòng thí nghiệm xử lý tiếng nói chủ trì.

2. Phát triển kỹ thuật thích nghi theo người nói (speaker adaptation): Áp dụng các thuật toán thích nghi như Maximum A Posteriori (MAP) hoặc kỹ thuật học sâu để cải thiện chất lượng tiếng nói cá nhân hóa. Thời gian nghiên cứu 6-12 tháng, phối hợp giữa nhóm nghiên cứu và các chuyên gia học máy.

3. Tích hợp mô hình GMM với mạng nơ-ron nhân tạo (NN): Kết hợp ưu điểm của GMM và NN để khắc phục hạn chế overfitting và tăng khả năng xử lý nhiễu phức tạp. Thời gian thử nghiệm 12 tháng, do nhóm nghiên cứu khoa học máy tính thực hiện.

4. Ứng dụng trong các hệ thống nhận dạng giọng nói và truyền thông thực tế: Triển khai thử nghiệm trên các thiết bị di động và hệ thống viễn thông để đánh giá hiệu quả thực tiễn, đồng thời thu thập phản hồi người dùng để cải tiến. Thời gian triển khai 6-12 tháng, phối hợp với doanh nghiệp công nghệ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, Xử lý tín hiệu: Nghiên cứu sâu về các phương pháp nâng cao chất lượng tiếng nói, đặc biệt trong môi trường nhiễu phức hợp.

2. Chuyên gia phát triển hệ thống nhận dạng giọng nói và trợ lý ảo: Áp dụng mô hình GMM để cải thiện độ chính xác nhận dạng trong môi trường thực tế nhiều nhiễu.

3. Doanh nghiệp công nghệ viễn thông và truyền thông: Tích hợp giải pháp nâng cao chất lượng tiếng nói vào các sản phẩm như điện thoại, thiết bị hội nghị trực tuyến.

4. Các tổ chức nghiên cứu về ngôn ngữ và tiếng nói tiếng Việt: Nghiên cứu đặc thù tiếng Việt trong xử lý tiếng nói, phát triển các ứng dụng phục vụ cộng đồng.

Câu hỏi thường gặp

1. Phương pháp GMM có ưu điểm gì so với các phương pháp truyền thống?
   Phương pháp GMM có khả năng mô hình hóa phân phối phức tạp của tín hiệu tiếng nói có nhiễu, xử lý hiệu quả cả nhiễu cộng và nhiễu nhân, trong khi các phương pháp truyền thống như trừ phổ chỉ hiệu quả với nhiễu cộng và dễ bị sai số khi nhiễu phức tạp.

2. Bộ dữ liệu tiếng Việt được sử dụng như thế nào trong nghiên cứu?
   Bộ dữ liệu tiếng Việt sạch được kết hợp với dữ liệu nhiễu NOISEX-92 để tạo ra các mẫu tiếng nói có nhiễu với nhiều mức SNR khác nhau, đảm bảo tính đại diện và độ tin cậy cho việc huấn luyện và đánh giá mô hình.

3. Nhược điểm lớn nhất của phương pháp GMM là gì?
   Nhược điểm chính là yêu cầu lượng dữ liệu huấn luyện lớn và khả năng thích nghi theo người nói còn hạn chế, có thể dẫn đến biến dạng nhẹ trong một số trường hợp tiếng nói sau xử lý.

4. Phương pháp này có thể áp dụng cho các ngôn ngữ khác không?
   Có, phương pháp GMM là mô hình độc lập ngôn ngữ và đã được chứng minh hiệu quả trên nhiều ngôn ngữ, tuy nhiên cần có bộ dữ liệu huấn luyện phù hợp với từng ngôn ngữ cụ thể.

5. Làm thế nào để cải thiện khả năng thích nghi theo người nói?
   Có thể áp dụng các kỹ thuật thích nghi như Maximum A Posteriori (MAP) hoặc sử dụng các mô hình học sâu để cá nhân hóa mô hình, giúp nâng cao chất lượng tiếng nói cho từng người dùng cụ thể.

Kết luận

• Nghiên cứu đã phát triển thành công phương pháp nâng cao chất lượng tiếng nói có nhiễu phức hợp bằng mô hình pha trộn Gaussian (GMM), vượt trội so với phương pháp truyền thống.
• Bộ dữ liệu tiếng Việt được xây dựng và sử dụng hiệu quả trong huấn luyện và đánh giá mô hình, đảm bảo tính thực tiễn của nghiên cứu.
• Phương pháp GMM xử lý được cả nhiễu cộng và nhiễu nhân, phù hợp với môi trường nhiễu phức tạp trong thực tế.
• Hạn chế hiện tại là yêu cầu dữ liệu huấn luyện lớn và khả năng thích nghi theo người nói còn hạn chế, cần nghiên cứu tiếp để khắc phục.
• Đề xuất mở rộng nghiên cứu về dữ liệu huấn luyện, kỹ thuật thích nghi và ứng dụng thực tế trong các hệ thống nhận dạng giọng nói và truyền thông.

Khuyến khích các nhà nghiên cứu và doanh nghiệp ứng dụng kết quả nghiên cứu để phát triển các sản phẩm nâng cao chất lượng tiếng nói, đồng thời tiếp tục đầu tư nghiên cứu mở rộng và hoàn thiện mô hình.

Trích đoạn nội dung tài liệu

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG TRỊNH THỊ THỦY PHƯƠNG PHÁP NÂNG CAO CHẤT LƯỢNG TIẾNG NÓI CÓ NHIỄU DÙNG HỌC MÁY THỐNG KÊ BẰNG MÔ HÌNH PHA TRỘN GAUSSIAN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2016 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG TRỊNH THỊ THỦY PHƯƠNG PHÁP NÂNG CAO CHẤT LƯỢNG TIẾNG NÓI CÓ NHIỄU DÙNG HỌC MÁY THỐNG KÊ BẰNG MÔ HÌNH PHA TRỘN GAUSSIAN Chuyên ngành: Khoa học máy tính Mã số: 60.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS. PHÙNG TRUNG NGHĨA THÁI NGUYÊN - 2016 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn i LỜI CAM ĐOAN Tên tôi là: Trịnh Thị Thủy Sinh ngày: 27/07/1985 Học viên lớp cao học K13A – Trường Đại học Công nghệ thông tin và Truyền thông – Đại học Thái Nguyên. Tôi xin cam đoan, toàn bộ nội dung liên quan tới đề tài được trình bày trong luận văn là bản thân tôi tìm hiểu nghiên cứu, dưới sự hướng dẫn khoa học của thầy giáo TS. Phùng Trung Nghĩa. Các nội dung trong luận văn đúng như nội dung trong đề cương và yêu cầu của thầy giáo hướng dẫn. Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng. Nếu sai tôi hoàn toàn chịu tránh nhiệm trước hội đồng khoa học và trước pháp luật. Tác giả luận văn Trịnh Thị Thủy Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn ii LỜI CẢM ƠN Lời đầu tiên em xin chân thành cảm ơn TS. Phùng Trung Nghĩa, người đã trực tiếp hướng dẫn em hoàn thành luận văn. Trong suốt thời gian làm luận văn thầy đã dành nhiều thời gian quý báu để tận tình chỉ bảo, hướng dẫn, định hướng cho em trong việc nghiên cứu và những lời động viên của thầy đã giúp em vượt qua nhiều khó khăn trong quá trình thực hiện luận văn này. Em xin được bày tỏ lòng biết ơn chân thành đến Ban giám hiệu, Phòng sau đại học, các thầy cô giáo Trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên đã tận tình giảng dạy truyền đạt cho em những kiến thức, kinh nghiệm quý báu trong suốt những năm học vừa qua. Cuối cùng tôi xin chân thành cảm ơn gia đình, người thân, bạn bè, đồng nghiệp…, đã hết lòng giúp đỡ, tạo điều kiện cho tôi trong suốt quá trình học tập và hoàn thành luận văn. Trong khoảng thời gian có hạn, cũng như kiến thức còn nhiều hạn chế nên luận văn không tránh khỏi những thiếu sót. Rất mong nhận được những ý kiến đóng góp quý báu của thầy cô, bạn bè và đồng nghiệp. Thái Nguyên, ngày 15 tháng 04 năm 2016 Tác giả Trịnh Thị Thuỷ iii MỤC LỤC LỜI CẢM ƠN . i LỜI CAM ĐOAN . iii DANH MỤC CÁC TỪ VIẾT TẮT . vi DANH MỤC CÁC HÌNH VẼ, SƠ ĐỒ . vii DANH MỤC BẢNG . ix MỞ ĐẦU . Lý do chọn đề tài . Mục tiêu của đề tài . Đối tượng và phạm vi nghiên cứu: . Phương pháp nghiên cứu . Ý nghĩa khoa học và thực tiễn.3 CHƯƠNG I: TỔNG QUAN VỀ TIẾNG NÓI VÀ VẤN ĐỀ XỬ LÝ NHIỄU TRONG TIẾNG NÓI . Tổng quan về tiếng nói . Thông tin tiếng nói. Tín hiệu và tín hiệu tiếng nói . Quá trình tạo tiếng nói . Cơ quan thính giác . Nhiễu trong tiếng nói . Nhiễu và mức tín hiệu tiếng nói trong các môi trường khác nhau . Mô hình hóa tiếng nói . Xử lý nhiễu tiếng nói. Cách tiếp cận không dùng học máy .20 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www. Cách tiếp cận dùng học máy.20 CHƯƠNG II: PHƯƠNG PHÁP NÂNG CAO CHẤT LƯỢNG TIẾNG NÓI CÓ NHIỄU PHỨC HỢP BẰNG HỌC MÁY DÙNG MÔ HÌNH PHA TRỘN GAUSSIAN. Phương pháp nâng cao chất lượng tiếng nói có nhiễu kinh điển dùng kỹ thuật trừ phổ. Thuật toán trừ phổ đối với phổ biên độ . Thuật toántrừ phổ đối với phổ công suất . Ưu nhược điểm của phương pháp . Phương pháp nâng cao chất lượng tiếng nói có nhiễu dùng học máy GMM. Phân bố Gauss. Mô hình Gaussian hỗn hợp . Mô hình dự đoán tuyến tính (LP) trong kĩ thuật nâng cao chất lượng tiếng nói có nhiễu. Phổ đường cảm thụ (PLSF) . Biến đổi phổ sử dụng mô hình GMM .32 CHƯƠNG III: ĐÁNH GIÁ THỰC NGHIỆM CÁC PHƯƠNG PHÁP NÂNG CAO CHẤT LƯỢNG TIẾNG NÓI. Ngữ âm tiếng Việt . Cơ sở dữ liệu tiếng nói tiếng Việt . Lựa chọn cơ sở dữ liệu . Cài đặt các phương pháp . Phương pháp trừ phổ . Phương pháp biến đổi sử dụng học máy thống kê GMM. Đánh giá kết quả thực nghiệm . Tiêu chí đánh giá chủ quan . Tiêu chí đánh giá khách quan . Kết quả đánh giá thực nghiệm . Nhận xét chung về kết quả .50 TÀI LIỆU THAM KHẢO .51 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn vi DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Viết đầy đủ Ý nghĩa GMM Gaussian model mixture Mô hình Gaussian hỗn hợp LP Linear Preditive Phương pháp dự đoán tuyến tính SS Spectral subtraction Trừ phổ EM Expectation Maximization Lặp cực đại kỳ vọng LPC Linear predictive coding Mã hóa dự đoán tuyến tính PLP Perceptual Linear Preditive Dự đoán tuyến tính cảm thụ LSF Line Spectral Frequency Ðặc trưng phổ đường NN Neural Network Mạng nơron F0 Fundamental Frequency Tần số dao động cơ bản SS Spectral subtraction Trừ phổ vii DANH MỤC CÁC HÌNH VẼ, SƠ ĐỒ Hình 1.1: Dạng sóng tiếng nói một câu tiếng Việt .2: Tiếng nói hữu thanh .4: Bộ phận cung cấp làn hơi .5: Dây thanh âm .6: Cấu trúc cơ quan phát âm .7: Hình dáng cơ quan phát âm thay đổi trong quá trình phát âm.8: Mô hình hóa cơ quan phát âm .9: Biểu diễn mô hình hóa cơ quan phát âm đầy đủ bằng máy tính .10: Mô hình cơ quan thính giác .11: Thang tần số Bark .12: Ngưỡng nghe .13: Mặt nạ thời gian (che âm thanh liền trước và liền sau) .14: Mặt nạ tần số (che âm thanh có tần số khác nhau phát cùng thời điểm) .15: Dạng và sự phân bố phổ năng lượng trung bình nhiễu trên xe [14].16: Dạng và sự phân bố phổ năng lượng trung bình của nhiễu trên tàu [14] .17: Dạng và sự phân bố phổ năng lượng trung bình của nhiễu trong nhà hàng [14] .18: Mức nhiễu và tiếng nói (được đo bằng SPL dB) trong các môi trường khác nhau [14] .19: Mô hình điểm cực formant cơ quan phát âm . 18 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn viii Hình 1.20: Mô hình kích thích âm hữu thanh .21: Mô hình hóa quá trình tạo tiếng nói .1: Sơ đồ khối của thuật toán Spectral subtraction [12] .2: Hàm mật độ xác suất Gauss (Đường màu đỏ là phân phối chuẩn chuẩn hóa) .3: Dự đoán tuyến tính cảm thụ (PLP – Perceptual Linear Preditive) .1: Đường F0 sáu thanh điệu tiếng Việt theo, dấu ? ở thanh ngã chỉ ra rằng đường F0 của thanh ngã không thống nhất giữa các mẫu ở vùng giữa.2: Lưu đồ thuật toán Spectral subtraction .3: Huấn luyện mô hình GMM cho tham số phổ LSF .4: Chuyển đổi mô hình GMM cho tham số phổ LSF . 45 ix DANH MỤC BẢNG Bảng 3.1: Cấu trúc âm tiết tiếng Việt.2: Sáu thanh điệu tiếng Việt .3: Mô tả mức điểm đánh giá .4 : Kết quả đánh giá bằng phương pháp LCD .5 : Kết quả đánh giá bằng phương pháp MOS . 49 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 1 MỞ ĐẦU 1. Lý do chọn đề tài Tiếng nói là công cụ giao tiếp tự nhiên nhất của con người. Tiếng nói cũng là loại hình thông tin phổ biến nhất trong các hệ thống viễn thông. Do đó, xử lý tiếng nói đã và đang được nhiều nhà nghiên cứu quan tâm. Độ tự nhiên, độ rõ, khả năng nghe hiểu của tiếng nói bị ảnh hưởng bởi nhiều loại nguồn nhiễu như nhiễu nền, thông thường được coi là nhiễu cộng, cũng như nhiễu kênh, thông thường được coi là nhiễu nhân (nhiễu chập - convolutive noise). Hầu hết các nghiên cứu về triệt nhiễu nâng cao chất lượng tiếng nói hiện nay sử dụng phương pháp ước lượng nguồn nhiễu với giải thiết nguồn nhiễu là cộng tính và biến đổi chậm [29]. Do đó, các phương pháp hiện tại thường không hiệu quả với nhiễu nhân như nhiễu kênh. Ngoài ra việc ước lượng nguồn nhiễu là rất khó khăn trong điều kiện nhiễu nặng và môi trường nhiều nguồn nhiễu, nhiễu phức hợp kết hợp cả nhiễu cộng và nhiễu nhân. Cách tiếp cận triệt nhiễu nâng cao chất lượng tiếng nói bằng học máy ước lượng luật biến đổi tiếng nói sạch – tiếng nói có nhiễu thay vì ước lượng nguồn nhiễu độc lập. Do vậy có thể áp dụng cho nhiều loại nguồn nhiễu khác nhau với giả thiết nhiễu có tính dừng (stationary). Cách tiếp cận này đã được sử dụng gần đây để nâng cao chất lượng một số loại tiếng nói bị suy giảm chất lượng như tiếng nói của người có cơ quan phát âm khiếm khuyết [30, 3], tiếng nói truyền trong xương [4,5,6]. Trong luận văn này, chúng tôi thử nghiệm cách tiếp cận triệt nhiễu tiếng nói dùng học máy thống kê, sử dụng mô hình pha trộn Gaussian (GMM) cho môi trường nhiễu phức hợp kết hợp của nhiễu cộng và nhiễu nhân. Cách tiếp Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 2 cận này đã được một số nhà nghiên cứu trên thế giới quan tâm [7] và bắt đầu được nghiên cứu ở Việt nam trong thời gian gần đây. Mục tiêu của đề tài Hướng nghiên cứu của luận văn là nghiên cứu về vấn đề xử lý nhiễu phức hợp, kết hợp cả nhiễu cộng và nhiễu nhân trong tiếng nói. Trong đó, luận văn tập trung nghiên cứu các vấn đề lý thuyết về cách tiếp cận xử lý nhiễu dùng học máy thống kê, đặc biệt là phương pháp sử dụng mô hình pha trộn Gaussian. Đối tượng và phạm vi nghiên cứu: Đối tượng nghiên cứu của luận văn là cách tiếp cận triệt nhiễu nâng cao chất lượng tiếng nói bằng học máy. Đây là đối tượng nghiên cứu được một số nhà nghiên cứu trên thế giới quan tâm trong thời gian gần đây. Phạm vi của luận văn bao gồm nghiên cứu tổng quan về tín hiệu tiếng nói và vấn đề nhiễu trong tiếng nói, một số phương pháp xử lý nhiễu kinh điển không dùng học máy, cách tiếp cận dùng học máy, đặc biệt là phương pháp học máy dùng mô hình pha trộn Gaussian [7]. Luận văn cũng nghiên cứu đánh giá thực nghiệm các phương pháp để đưa ra các nhận xét, đánh giá. Phương pháp nghiên cứu Phương pháp nghiên cứu của luận văn là nghiên cứu các lý thuyết đã có trên thế giới [29,30,3-7] để phân tích, đánh giá về các phương pháp xử lý nhiễu trong tiếng nói.