Luận văn thạc sĩ về phương pháp biến đổi thông tin người nói trong tiếng nói

Luận văn thạc sĩ kỹ thuật phân tích nghiên cứu phương pháp biến đổi thông tin người nói trong tiếng nói dùng kỹ thuật phân rã theo thời, đánh giá thực trạng, chỉ ra hạn chế, đề

• Tác giả: Thân Thế Huyến
• Người hướng dẫn: TS. Phùng Trung Nghĩa
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Phương Pháp Biến Đổi Thông Tin Người Nói Trong Tiếng Nói
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan về nghiên cứu biến đổi thông tin người nói trong tiếng nói

Nghiên cứu về biến đổi thông tin người nói trong tiếng nói là một lĩnh vực quan trọng trong công nghệ xử lý tiếng nói. Tiếng nói không chỉ là phương tiện giao tiếp mà còn chứa đựng nhiều thông tin về người nói như giới tính, độ tuổi và cảm xúc. Việc hiểu rõ về thông tin này giúp cải thiện chất lượng các hệ thống nhận dạng và tổng hợp tiếng nói. Nghiên cứu này không chỉ có ý nghĩa lý thuyết mà còn có ứng dụng thực tiễn trong nhiều lĩnh vực như truyền thông đa phương tiện và giải trí.

1.1. Định nghĩa và vai trò của thông tin người nói

Thông tin người nói trong tiếng nói bao gồm các yếu tố như giới tính, độ tuổi và cảm xúc. Những yếu tố này ảnh hưởng đến cách mà người nghe tiếp nhận và hiểu thông điệp. Việc nhận diện chính xác thông tin này là rất quan trọng trong các ứng dụng như nhận dạng giọng nói và tổng hợp tiếng nói.

1.2. Tầm quan trọng của nghiên cứu trong lĩnh vực tiếng nói

Nghiên cứu về biến đổi thông tin người nói giúp cải thiện khả năng giao tiếp của máy tính với con người. Điều này không chỉ nâng cao trải nghiệm người dùng mà còn mở ra nhiều cơ hội mới trong các ứng dụng công nghệ như trợ lý ảo và hệ thống tổng hợp tiếng nói.

II. Những thách thức trong việc biến đổi thông tin người nói

Mặc dù có nhiều tiến bộ trong công nghệ, việc biến đổi thông tin người nói vẫn gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là sự đa dạng trong cách phát âm và giọng nói của từng cá nhân. Điều này làm cho việc xây dựng các mô hình chính xác trở nên khó khăn. Ngoài ra, việc duy trì tính tự nhiên của tiếng nói sau khi biến đổi cũng là một thách thức lớn.

2.1. Đặc điểm đa dạng của giọng nói

Mỗi người có một giọng nói riêng biệt, điều này tạo ra sự khó khăn trong việc nhận diện và biến đổi thông tin. Các yếu tố như ngữ điệu, âm sắc và tốc độ nói đều ảnh hưởng đến cách mà thông tin được truyền tải.

2.2. Tính tự nhiên trong tiếng nói sau biến đổi

Một trong những mục tiêu chính của nghiên cứu là đảm bảo rằng tiếng nói sau khi biến đổi vẫn giữ được tính tự nhiên. Điều này đòi hỏi các phương pháp biến đổi phải được thiết kế sao cho không làm mất đi các đặc điểm tự nhiên của giọng nói.

III. Phương pháp biến đổi thông tin người nói hiệu quả

Có nhiều phương pháp khác nhau để biến đổi thông tin người nói trong tiếng nói. Một số phương pháp phổ biến bao gồm kỹ thuật phân rã theo thời gian và các mô hình học máy. Những phương pháp này giúp cải thiện độ chính xác và tính tự nhiên của tiếng nói sau khi biến đổi.

3.1. Kỹ thuật phân rã theo thời gian

Kỹ thuật phân rã theo thời gian là một phương pháp hiệu quả trong việc xử lý tín hiệu tiếng nói. Phương pháp này cho phép tách biệt các thành phần của tín hiệu tiếng nói, từ đó dễ dàng biến đổi thông tin người nói mà không làm mất đi tính tự nhiên.

3.2. Mô hình học máy trong biến đổi tiếng nói

Mô hình học máy, đặc biệt là mô hình Gaussian hỗn hợp (GMM), đã được sử dụng rộng rãi trong việc nhận diện và tổng hợp tiếng nói. Những mô hình này giúp cải thiện khả năng nhận diện thông tin người nói và tạo ra tiếng nói tự nhiên hơn.

IV. Ứng dụng thực tiễn của biến đổi thông tin người nói

Việc biến đổi thông tin người nói có nhiều ứng dụng thực tiễn trong các lĩnh vực như giải trí, truyền thông và giáo dục. Các ứng dụng này không chỉ giúp nâng cao trải nghiệm người dùng mà còn mở ra nhiều cơ hội mới trong việc phát triển công nghệ.

4.1. Ứng dụng trong ngành giải trí

Trong ngành giải trí, việc biến đổi giọng nói giúp tạo ra các nhân vật hoạt hình hoặc diễn viên lồng ghép giọng nói phù hợp với nhân vật. Điều này tạo ra trải nghiệm phong phú hơn cho khán giả.

4.2. Ứng dụng trong giáo dục

Trong giáo dục, công nghệ biến đổi thông tin người nói có thể được sử dụng để tạo ra các bài giảng tương tác, giúp học sinh dễ dàng tiếp thu kiến thức hơn thông qua các giọng nói khác nhau.

V. Kết luận và tương lai của nghiên cứu biến đổi thông tin người nói

Nghiên cứu về biến đổi thông tin người nói trong tiếng nói đang ngày càng trở nên quan trọng trong bối cảnh công nghệ phát triển nhanh chóng. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều tiến bộ trong việc cải thiện khả năng giao tiếp giữa con người và máy tính.

5.1. Xu hướng nghiên cứu trong tương lai

Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và tính tự nhiên của tiếng nói sau khi biến đổi. Điều này sẽ giúp nâng cao trải nghiệm người dùng trong các ứng dụng công nghệ.

5.2. Tác động của công nghệ mới

Sự phát triển của công nghệ mới như trí tuệ nhân tạo và học sâu sẽ mở ra nhiều cơ hội mới trong việc nghiên cứu và ứng dụng biến đổi thông tin người nói. Những công nghệ này hứa hẹn sẽ mang lại những bước tiến lớn trong lĩnh vực này.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ TIẾNG NÓI VÀ VẤN ĐỀ BIẾN ĐỔI THÔNG TIN NGƯỜI NÓI TRONG TIẾNG NÓI 1. Thông tin tiếng nói Tiếng nói là dạng thông tin tự nhiên và phổ biến nhất đối với con người. Từ khi lịch sử con người hình thành, con người đã biết sử dụng tiếng nói làm phương tiện giao tiếp chính, trải qua hàng triệu năm trong quá trình tiến hóa và phát triển của loài người, tiếng nói vẫn luôn giữ vai trò là phương tiện giao tiếp cơ bản nhất. Do tiếng nói là phương tiện giao tiếp cơ bản của con người, nó cũng là loại hình thông tin cơ bản và phổ biến nhất trong các hệ thống viễn thông từ trước đến nay.

Kể từ khi máy tính và các ứng dụng của máy tính được nghiên cứu và ứng dụng rộng rãi, người ta cố gắng để máy tính không chỉ có thể xử lý nhanh, nhiều mà quan trọng hơn nó đủ thông minh để thay thế con người. Một trong các tiêu chí quan trọng để đánh giá độ thông minh của máy tính chính là khả năng hiểu được ngôn ngữ tự nhiên của con người trong đó có tiếng nói. Tuy nhiên, tiếng nói mang nhiều thông tin, ngoài thông tin ngôn ngữ còn cả các thông tin phi ngôn ngữ như thông tin về người nói, thông tin về sắc thái tình cảm khi nói… 1. Tín hiệu tiếng nói Âm thanh là các dao động cơ học lan truyền trong vật chất như các sóng.

Âm thanh, giống như nhiều sóng, được đặc trưng bởi tần số, bước sóng, chu kỳ, biên độ và vận tốc lan truyền (tốc độ âm thanh). Đối với thính giác của người, âm thanh thường là sự dao động, trong dải tần số từ khoảng 20 Hz - 20 kHz, của các phân tử không khí, và lan truyền trong không khí, va đập vào màng nhĩ, làm rung màng nhĩ và kích thích bộ não. 5 Tiếng nói là loại âm thanh phổ biến nhất trong truyền thông. Dải tần tiếng nói trong khoảng 300 Hz - 3400 Hz.

Tiếng nói bao gồm hai dạng hữu thanh và vô thanh. Âm hữu thanh có đặc tính tuần hoàn còn âm vô thanh tương tự nhiễu.1: Dạng sóng tiếng nói một câu tiếng Việt Hình 1.2: Tiếng nói hữu thanh 6 1. Quá trình tạo tiếng nói a. Bộ phận cung cấp làn hơi: Bao gồm hai lá phổi, được sự tác động của các cơ ngực, sườn, cơ hoành cách mô, cơ bụng.

Làn hơi đưa lên quyết định cường độ của âm thanh.3: Bộ phận cung cấp làn hơi Bộ phận phát thanh vocal cord là thanh đới (dây thanh âm) nằm trong thanh quản: Do áp lực của làn hơi từ phổi đưa lên, thanh đới - với những độ căng khác nhau và hình dạng khác nhau - mở ra và đóng lại nhanh chậm khác nhau, cắt làn hơi thành những sóng âm có tần số khác nhau, tạo thành những âm thanh có cao độ khác nhau. Thanh đới ở phụ nữ và trẻ em ngắn và mỏng hơn ở đàn ông, nên giọng nữ và trẻ em cao hơn giọng đàn ông.4: Dây thanh âm 7 b. Bộ phận dẫn âm: Gồm chủ yếu là cuống họng (yết hầu) thông với đường miệng hoặc đường mũi. Các chấn động âm thanh do thanh đới tạo ra, được bộ phận dẫn âm gom lại và dẫn ra ngoài theo hai hướng miệng hoặc mũi.

Cuống họng và miệng chủ yếu đóng vai trò truyền âm. Bộ phận phát âm: Là miệng với các hoạt động của môi, răng, lưỡi, hàm dưới, vòm miệng. Chúng ta nhận ra được lời nói, tiếng hát có nghĩa là nhờ vào hoạt động của các cơ năng trên. Khi nói đến khẩu hình là nói đến hình thể, hình dáng, cả bên ngoài lẫn bên trong của miệng do hoạt động phối hợp của môi, lưỡi, hàm dưới, vòm mềm tạo ra khi phát âm.

Mở khẩu hình không đúng cách sẽ ảnh hưởng không chỉ đến chất lượng âm thanh, mà nhất là ảnh hưởng đến việc rõ lời, phát âm đúng. Bộ phận phát âm đóng vai trò như một hộp cộng hưởng âm thanh. Nhờ sự biến đổi của bộ phận phát âm mà âm thanh được cộng hưởng, triệt tiêu ở các tần số khác nhau dẫn tới âm thanh được phát ra nghe khác nhau.5: Cấu trúc cơ quan phát âm 8 Hình 1.6: Hình dáng cơ quan phát âm thay đổi trong quá trình phát âm d. Biễu diễn bộ phận phát âm: Có thể biểu diễn cơ quan phát âm bằng một mô hình gần đúng gồm các hình trụ có độ dài bằng nhau nhưng có đường kính khác nhau.

Trong quá trình phát âm người ta thấy rằng hình dáng cơ quan phát âm thay đổi rất chậm , do đó trong một khoảng thời gian ngắn (trong một âm vị) có thể xem như sự thay đổi là không đáng kể, nhưng chúng sẽ thay đổi rất lớn từ âm vị này sang âm vị khác.7: Mô hình hóa cơ quan phát âm 9 Hình 1.8: Biểu diễn mô hình hóa cơ quan phát âm đầy đủ bằng máy tính 1. Cơ quan thính giác Để cảm thụ được tiếng nói, con người sử dụng cơ quan thính giác. Cơ quan thính giác con người có thể cảm thụ được các tần số âm thanh trong khoảng 15 Hz - 20. Âm thanh với tần số cao hơn được gọi là siêu âm, thấp hơn là hạ âm.9: Mô hình cơ quan thính giác 10 Người nghe có thể phát hiện sự thay đổi độ ồn âm thanh khi tín hiệu bị thay đổi khoảng 1dB (biên độ thay đổi 12%).

Mặc dù dải nghe của con người thông thường từ 20Hz đến 20kHz, độ nhạy âm lớn nhất từ 1kHz đến 4kHz. Khả năng xác định hướng nguồn âm tốt nhưng xác định khoảng cách đến nguồn âm kém. Con người nghe âm thanh theo 24 băng cơ bản, tương ứng với thang tần số Bark như trong hình 1. Trong mỗi băng con, con người không cảm nhận được sự khác biệt.10: Thang tần số Bark Khả năng cảm thụ của cơ quan thính giác được giới hạn bởi ngưỡng nghe (hình 1.11), cũng như không nghe được âm thanh bị che bởi các mặt nạ trên miền thời gian (hình 1.12) và tần số (hình 1.11: Ngưỡng nghe 11 Hình 1.12: Mặt nạ thời gian (che âm thanh liền trước và liền sau) Hình 1.13: Mặt nạ tần số (che âm thanh có tần số khác nhau phát cùng thời điểm) 1.

Xử lý tiếng nói Xử lý tiếng nói hay xử lý tín hiệu tiếng nói được hiểu là các thao tác, kỹ thuật xử lý trên máy tính nhằm mục đích đưa tiếng nói vào máy tính, xử lý theo yêu cầu và phát lại cho con người. Yêu cầu xử lý ở đây phụ thuộc vào từng ứng dụng cụ thể. Chẳng hạn để có thể truyền tiếng nói tin cậy và hiệu quả trên các hệ thống viễn thông truyền với khoảng cách rất xa, người ta cần nghiên cứu và xây dựng các giải thuật mã hóa nén tiếng nói. Để xây dựng các ứng dụng nhận dạng tiếng nói, người ta cần nghiên cứu và xây dựng các giải thuật trích đặc trưng tiếng nói và huấn luyện tiếng nói.

Để biến đổi tiếng nói, người ta cần xác định các đặc trưng tiếng nói theo các tiêu chí cụ thể khác 12 nhau (như người nói, cảm xúc, ngữ điệu khi nói) và biến đổi trực tiếp hoặc gián tiếp các đặc trưng này.14: Một số ứng dụng của xử lý tiếng nói Hình 1.15: Hệ thống nhận dạng người nói – một trong các ứng dụng xử lý thông tin người nói 1. Thông tin người nói trong tiếng nói Hầu hết các hệ thống xử lý tiếng nói truyền thông tập trung vào xử lý các thông tin ngôn ngữ để đảm bảo tiếng nói sau xử lý có thể hiểu được [8]. Tuy nhiên để các ứng dụng xử lý tiếng nói trong máy tính có thể được áp dụng rộng rãi trong thực tế, các đặc trưng phi ngôn ngữ của tiếng nói cũng đã được quan tâm nghiên cứu trong thời gian gần đây [6]. Một trong những vấn 13 đề quan trọng cần đảm bảo là thông tin về người nói, bao gồm cả các thông tin chung về người nói như giới tính, độ tuổi,… đến các thông tin chi tiết như thông tin nhận danh chính xác người nói [4,5,6,9,11].

Có nhiều yếu tố ảnh hưởng đến thông tin người nói trong tiếng nói như hình dạng, cấu trúc cơ quan phát âm (đặc trưng sinh học), thói quen, cách thức phát âm,. Con người có thể phân biệt được thông tin người nói một cách dễ dàng do khả năng của cơ quan thính giác tuy nhiên để máy tính có thể phân biệt thông tin người nói, thông tin người nói cần phải được mô hình hóa và việc phân biệt, định danh, biến đổi cần phải được thực hiện thông qua các tham số vector đặc trưng được tính toán từ tín hiệu tiếng nói.16: Người nói khác nhau có cơ quan phát âm và cách phát âm khác nhau dẫn tới tiếng nói khác nhau Hình 1.1: Đặc trưng phổ formant đặc trưng cho cơ quan phát âm 14 1. Biến đổi thông tin người nói trong tiếng nói và ứng dụng Các hệ thống tổng hợp tiếng nói nhân tạo thường chỉ có thể tổng hợp ra tiếng nói của một số giọng nói đã được thu sẵn và huấn luyện trước cho máy tính. Trong nhiều ứng dụng truyền thông đa phương tiện hiện đại, việc biến đổi thông tin người nói trong tín hiệu tiếng nói có vai trò quan trọng.

Một số ví dụ điển hình như: - Trong các bộ phim lịch sử cần diễn viên nói với giọng giống với giọng của nhân vật lịch sử [6]. - Trong các clips quảng cáo, âm nhạc cần biến đổi giọng nói, giọng hát của diễn viên theo các tiêu chí cụ thể khác nhau như cao hơn, trầm hơn, giống với nhân vật thật hơn,… [6] - Đặc biệt, nếu bỏ qua các thông tin phi ngôn ngữ như thông tin người nói khi mã hóa tiếng nói bằng phương pháp kết hợp sử dụng các hệ thống nhận dạng và tổng hợp tiếng nói ở đầu cuối, tiếng nói có thể được truyền như văn bản với tốc độ bit cực thấp [11]. Khi đó sẽ sử dụng hiệu quả tối đa hạ tầng truyền thông, ngay cả trong điều kiện tài nguyên rất hạn chế. Tuy nhiên để tiếng nói mã hóa theo phương pháp này có thể được sử dụng hiệu quả trong thực tiễn, các thông tin phi ngôn ngữ như thông tin người nói cần phải được bổ sung ở đầu ra.

Nói cách khác, thông tin tiếng nói đã mã hóa cần phải được biến đổi theo người nói cụ thể. Một số phương pháp biến đổi thông tin người nói điển hình được biết đến là phương pháp thay thế khung [7], phương pháp biến đổi tham số (vector) đặc trưng [16], và phương pháp dùng học máy [8]. Một số vector đặc trưng phổ biến nhất là đặc trưng phổ, năng lượng, … 15 Hình 1.18: Tính toán vector đặc trưng Hình 1.