Chương 1 cũng tổng hợp các nghiên cứu liên quan nêu bật những mặt còn tồn tại, những vấn đề cần giải quyết đối với việc xử lý và thu thập tiếng nói từ đó tìm hướng tiếp cận giải quyết bài toán xây dựng hệ thống thu thập dữ liệu tiếng nói. Xử lý tiếng nói và các ứng dụng 1. Ứng dụng tổng hợp tiếng nói Tổng hợp tiếng nói là một bộ môn khoa học nhằm nghiên cứu và xây dựng các công nghệ để tạo ra âm thanh tiếng nói từ máy giống như tiếng nói của con người.Trong những năm gần đây tiếng nói tổng hợp đã trải qua chặng đường khá dài, việc ứng dụng tổng hợp tiếng nói vào thực tiễn đã trở nên phổ biến. Tuy nhiên, chất lượng âm thanh và độ tự nhiên của tiếng nói tổng hợp cho đến nay vẫn còn là những vấn đề mở.
Hệ thống TTS tổng quát. Nói chung quá trình Tổng hợp tiếng nói bao gồm các giai đoạn chính: - Chuẩn hóa văn bản và phân tích câu - xử lý ngôn ngữ tự nhiên. 6 - Chuyển văn bản sang đơn vị tiếng nói. - Dự báo ngôn điệu.
- Sinh tín hiệu tiếng nói. Ứng dụng nhận dạng tiếng nói Tương tự ứng dụng tổng hợp tiếng nối, ứng dụng nhận dạng tiếng nói rất phổ biến trong thời gian gần đây, cho phép giao tiếp giữa người và máy. Từ các tín hiệu âm thanh người nói, thông qua bộ phận ghi âm và hệ thống nhận dạng, máy tính sẽ hiểu và phân biệt được các ý nghĩa của câu nói. Độ phức tạp của hệ thống nhận dạng tiếng nói thường phụ thuộc vào các yếu tố cơ bản sau: - Môi trường thu nhận tín hiệu.
- Tập từ vựng được sử dụng. - Sự phụ thuộc vào người nói. - Kiểu phát âm (rời rạc, kết nối, liên tục). - Tài nguyên hệ thống.
Liệt kê các kiểu hệ thống nhận dạng tiếng nói. o Môi trường Độ chính xác nhận dạng trong các môi trường như: nhà ở-văn phòng; trong ô tô; trong môi trường công nghiệp; nguồn âm có khoảng cách với mic là rất khác nhau, nguyên nhân do tín hiệu nhiễu, tiếng vang gây ra. o Tập từ vựng Căn cứ vào số lượng từ nhận dạng mà người ta chia các hệ thống sử dụng công nghệ nhận dạng tiếng nói làm ba loại: số lượng từ vựng nhỏ (30-100), số lượng từ vựng trung bình (100-500), và số lượng từ vựng lớn (> 500). o Sự phụ thuộc người nói Trong hệ thống nhận dạng phụ thuộc người nói, chủ thể tương tác với hệ thống phải là người có dữ liệu tiếng nói trong tập dữ liệu huấn luyện ban đầu của hệ thống.
7 Đối với hệ thống nhận dạng độc lập người nói, người tương tác với hệ thống có thể là bất kỳ. Hệ thống này đòi hỏi phải có một nguồn dữ liệu tiếng nói kích thước lớn của nhiều người nói. Khả năng nhận dạng chính xác của hệ thống độc lập người nói thấp hơn hệ thống phụ thuộc người nói. o Tài nguyên hệ thống Tài nguyên hệ thống chủ yếu gồm năng lực tính toán và dung lượng bộ nhớ.
Các chip thường chỉ đủ đáp ứng yêu cầu tính toán chấm tĩnh, như vậy hệ thống nhận dạng nếu không được thiết kế tốt thì độ chính xác sẽ bị suy giảm hoặc không đáp ứng được yếu tố thời gian thực. Như vậy, cả hai ứng dụng chính của xử lý tiếng nói đều phụ thuộc vào dữ liệu âm thanh và dữ liệu ngữ nghĩa đặc điểm của tín hiệu âm thanh đó. Khi xử lý tín hiệu âm thanh cần số lượng càng lớn càng tốt dữ liệu thu thập. Từ đó nhiệm vụ chính của luận văn là nghiên cứu và xây dựng hệ thống thu thập dữ liệu âm thanh, đây là bước đầu trong việc xử lý tiếng nói.
Khái niệm về tín hiệu tiếng nói Con người có năm giác quan để cảm nhận và nhận thức thế giới xung quanh. Trong quá trình phát triển của xã hội loài người, con người dùng năm giác quan này để nhận thức, thu thập kiến thức và tác động trở lại tự nhiên qua đó nâng cao đời sống của con người. Một trong những giác quan quan trọng trong sự phát triển của xã hội con người đó là thính giác. Nhờ có thính giác mà con người có thể nghe được âm thanh, con người có thể giao tiếp được với nhau qua âm thanh.
Về bản chất, âm thanh từ lời nói, âm thanh trong thế giới tự nhiên đều là những sóng âm lan truyền trong môi trường. Khi chúng ta nói dây thanh trong hầu bị chấn động, tạo nên những sóng âm, sóng truyền trong không khí đến màng nhĩ – một màng mỏng rất nhạy cảm của tai ta – làm cho màng nhĩ cũng dao động, các dây thần kinh của màng nhĩ sẽ nhận được cảm giác âm khi tần số dao động của sóng đạt đến một độ lớn nhất định. Tai con người chỉ cảm thụ được những dao động có tần số từ khoảng 16 Hz đến khoảng 20000 Hz. Những dao động trong miền tần số này gọi là dao động âm hay âm thanh và các sóng tương ứng gọi là sóng âm.
Những sóng có tần số nhỏ hơn 16 Hz gọi là sóng hạ âm, những sóng có tần số lớn hơn 20000 Hz gọi là sóng siêu âm, con người 8 không cảm nhận được (ví dụ loài dơi có thể nghe được tiếng siêu âm) [1]. Tất cả các sóng âm đều được lan truyền trong môi tường, từ môi trường không khí, môi trường rắn, môi trường lỏng. Trong xử lý tín hiệu tiếng nói, tín hiệu tiếng nói có hai cách để biểu diễn: biểu diễn tín hiệu trên miền thời gian và biểu diễn tín hiệu trên miền tần số. Biểu diễn trên miền thời gian Hình 1.
Dạng sóng theo thời gian Âm thanh dưới dạng sóng được lưu trữ theo định dạng thông dụng trong máy tính là file .wav với các tần số lấy mẫu thường gặp là: 8000 Hz, 10000 Hz, 11025 Hz, 16000 Hz, 22050 Hz, 32000 Hz, 44100 Hz, …; độ phân giải hay còn gọi là số bít/mẫu là 8 hoặc 16 bít và số kênh là 1 (Mono) hoặc 2 (Stereo). Tín hiệu của cùng một âm do một ngƣời nói thu ở hai thời điểm khác nhau Tuỳ theo thiết bị, thời điểm, người phát âm thì dữ liệu âm thanh được số hoá, biểu diễn lại trong máy tính sẽ khác nhau. Biển diễn trên miền tần số Một trong những đại lượng đặc trưng để biểu diễn tín hiệu tiếng nói trên miền tần số đó là phổ. Phổ trong tín hiệu tiếng nói là biểu diễn của sự phụ thuộc của biên độ vào thời gian và tần số, là hình ảnh biểu diễn của tín hiệu tiếng nói theo trục của tần số.
Biến đổi Fourier Biến đổi Fourier trong xử lý tín hiệu tiếng nói là phép biến đổi tín hiệu tiếng nói theo miền thời gian sang miền tần số. Biến đổi Fourier có nhiều dạng : - Biến đổi Fourier liên tục là một toán tử tuyến tính chuyển một hàm tích phân này sang một hàm tích phân khác. Trong xử lý tín hiệu, biến đổi Fourier liên tục được áp dụng trên phổ và theo các thành phần trong phổ. - Biến đổi Fourier rời rạc là phép biến đổi cho các tín hiệu thời gian rời rạc.
Biến đổi này thường được áp dụng trong việc phân tích phổ, lọc tín hiệu. Phổ hai chiều Phổ hai chiều là phổ trong đó chứa thông tin tín hiệu tiếng nói và được biểu diễn trên hai đại lượng là tần số và biên độ phổ. Phổ hai chiều 1. Phổ ba chiều Phổ ba chiều là phổ trong đó tín hiệu tiếng nói được biểu diễn trên ba đại lượng: thời gian, tần số và biên độ phổ.
Phổ ba chiều Nếu màu của tín hiệu càng đậm thì biên độ phổ (hay năng lượng của tín hiệu) càng cao. Các đặc tính cơ bản của tín hiệu tiếng nói Tiếng nói được tạo ra từ độ rung của dây thanh âm trong thanh quản thông qua khí quản và hoạt động của tuyến âm. Như vậy, tiếng nói chính là âm thanh. Tiếng nói có chu kỳ dao động, có tần số âm thanh.
Âm sắc Âm sắc là một trong bốn đặc tính cơ bản của âm thanh cũng như tín hiệu tiếng nói. Âm sắc giúp ta phân biệt được tiếng nói của từng âm và của mỗi người được cảm nhận khác nhau như thế nào. Âm sắc liên quan mật thiết đến phổ của tín hiệu. 11 Hình dưới đây minh hoạ âm sắc (dưới dạng phổ 3 chiều) ứng với nữ giới và nam giới khi phát cùng một âm.
Âm sắc của một ngƣời nữ khi phát nguyên âm /a/ Hình 1. Âm sắc của một ngƣời nam khi phát nguyên âm /a/ 1. Cƣờng độ Cường độ là độ to hay nhỏ của âm thanh nói ra. Cường độ càng lớn thì âm thanh truyền càng xa trong môi trường truyền.
Cường độ âm là số năng lượng mà sóng âm truyền đi trong một thời gian nhất định trên đơn vị diện tích cố định và vuông góc với phương truyền âm. Trong tiếng nói, cường độ của nguyên âm thường lớn hơn cường độ của phụ âm. Trên đồ thị biểu diễn sóng tín hiệu (waveform), cường độ âm thanh tỉ lệ thuận với giá trị tuyệt đối của biên độ tín hiệu. Đồ thị biểu diễn sóng tín hiệu của nguyên âm /a/ của một ngƣời nói 12 Hình 1.
Đồ thị biểu diễn sóng tín hiệu của phụ âm /h/ của một ngƣời nói 1. Trƣờng độ Trường độ hay còn được biết là độ dài của âm phát ra phụ thuộc vào sự chấn động lâu hay nhanh của phần tử môi trường truyền đi. Trường độ của mỗi người khác nhau và mỗi thời điểm cũng khác nhau. Nguyên âm /a/ đƣợc thu ở hai thời điểm khác nhau của cùng một ngƣời nói 13 Hình 1.
Âm /a/ của một ngƣời nữ Hình 1. Âm /a/ của một ngƣời nam 1. Âm hữu thanh Âm hữu thanh (voiced speech) là âm phát ra có thanh, ví dụ như các nguyên âm /a/, /e/, /i/, /o/, /u/ hoặc các phụ âm như /m/, /n/, /l/. Thực ra âm hữu thanh được tạo ra là do việc không khí qua thanh môn (thanh môn tạo ra sự khép mở của dây thanh dưới sự điều khiển của hai sụn chóp) với một độ căng của dây thanh sao cho chúng tạo nên dao động.
Trong xử lý tín hiệu tiếng nói, âm hữu thanh gồm các khung tín hiệu tuần hoàn nên có thể tính được tần số cơ bản F0. Âm vô thanh Âm vô thanh (voiced speech) là âm khi tạo ra tiếng thì dây thanh không rung hoặc rung đôi chút tạo ra giọng như giọng thở, ví dụ như /t/, /p/ hay /k/. Trong xử lý tín hiệu tiếng nói, âm vô thanh không có ích khi tính tần số cơ bản. Vì âm vô thanh không có khung tín hiệu tuần hoàn.
Tần số cơ bản ở âm vô thanh là không xác định.