Luận văn thạc sĩ hay nghiên cứu phương pháp biến đổi cảm xúc người nói trong tiếng nói dùng kỹ thuật phân rã ma trận không âm

Luận văn thạc sĩ nghiên cứu hay nghiên cứu phương pháp biến đổi cảm xúc người nói trong tiếng nói dùng kỹ thuật phân rã ma trận, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Tác giả: Trần Ích Đại
• Người hướng dẫn: PGS. Phùng Trung Nghĩa
• Trường học: Trường đại học công nghệ thông tin và truyền thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu phương pháp biến đổi cảm xúc người nói trong tiếng nói dùng kỹ thuật phân rã ma trận không âm
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TIẾNG NÓI VÀ VẤN ĐỀ BIẾN ĐỔI THÔNG TIN CẢM XÚC NGƯỜI NÓI TRONG TIẾNG NÓI
• 1.1. Thông tin tiếng nói
• 1.2. Quá trình tạo tiếng nói
• 1.3. Cơ quan thính giác
• 1.4. Thông tin cảm xúc người nói trong tiếng nói
• 1.5. Biến đổi cảm xúc người nói trong tiếng nói và ứng dụng
• 1.5.1. Phương pháp biến đổi thay đổi tham số trực tiếp
• 1.5.2. Biến đổi cảm xúc người nói dựa vào thay thế khung
• 1.5.3. Biến đổi thông tin người nói bằng TD-GMM
• 1.5.4. Biến đổi thông tin người nói bằng HTD
• 1.6. BIẾN ĐỔI CẢM XÚC NGƯỜI NÓI BẰNG KỸ THUẬT PHÂN RÃ MA TRẬN KHÔNG ÂM NMF
• 1.6.1. Kỹ thuật phân rã ma trận không âm NMF
• 1.6.2. Tính chất phân cụm
• 1.6.3. Các kỹ thuật phân rã ma trận không âm
• 1.6.4. Ứng dụng kỹ thuật phân rã ma trận không âm NMF trong biến đổi tiếng nói
• 1.7. ĐÁNH GIÁ THỰC NGHIỆM CÁC PHƯƠNG PHÁP BIẾN ĐỔI CẢM XÚC NGƯỜI NÓI TRONG TIẾNG NÓI
• 1.7.1. Ngữ âm tiếng Việt
• 1.7.2. Cơ sở dữ liệu tiếng nói tiếng Việt
• 1.7.3. Tổng hợp tiếng nói tiếng Việt
• 1.7.4. Lựa chọn cơ sở dữ liệu
• 1.7.5. Thực nghiệm các phương pháp
• 1.7.6. Đánh giá các phương pháp
• 1.7.7. Tiêu chí và kết quả đánh giá khách quan
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu biến đổi cảm xúc trong tiếng nói

Nghiên cứu về biến đổi cảm xúc trong tiếng nói là một lĩnh vực quan trọng trong công nghệ xử lý tiếng nói. Việc hiểu và phân tích cảm xúc trong tiếng nói không chỉ giúp cải thiện chất lượng giao tiếp mà còn nâng cao trải nghiệm người dùng trong các ứng dụng công nghệ. Kỹ thuật phân rã ma trận không âm (NMF) đã được áp dụng để phân tích và biến đổi cảm xúc trong tiếng nói, mở ra nhiều cơ hội mới cho các hệ thống nhận diện và tổng hợp tiếng nói.

1.1. Định nghĩa và tầm quan trọng của cảm xúc trong tiếng nói

Cảm xúc trong tiếng nói là yếu tố quyết định đến cách thức truyền đạt thông điệp. Việc nhận diện và phân tích cảm xúc giúp cải thiện khả năng giao tiếp và tương tác giữa con người và máy móc.

1.2. Các ứng dụng của nghiên cứu biến đổi cảm xúc

Nghiên cứu này có thể ứng dụng trong nhiều lĩnh vực như tổng hợp giọng nói, nhận diện cảm xúc, và phát triển các hệ thống tương tác người-máy, từ đó nâng cao trải nghiệm người dùng.

II. Vấn đề và thách thức trong nghiên cứu biến đổi cảm xúc

Mặc dù có nhiều tiến bộ trong nghiên cứu biến đổi cảm xúc, vẫn tồn tại nhiều thách thức. Một trong số đó là việc xác định chính xác các đặc trưng cảm xúc từ tín hiệu tiếng nói. Các yếu tố như ngữ điệu, âm sắc và tốc độ nói đều ảnh hưởng đến cảm xúc được truyền đạt. Hơn nữa, việc áp dụng các kỹ thuật như phân tích giọng nói để nhận diện cảm xúc vẫn còn gặp khó khăn trong việc đạt được độ chính xác cao.

2.1. Khó khăn trong việc nhận diện cảm xúc từ tiếng nói

Việc nhận diện cảm xúc từ tiếng nói phụ thuộc vào nhiều yếu tố như ngữ điệu và âm sắc, điều này làm cho việc phân tích trở nên phức tạp.

2.2. Thách thức trong việc áp dụng kỹ thuật NMF

Kỹ thuật NMF mặc dù hiệu quả nhưng vẫn cần cải thiện để có thể xử lý các tín hiệu tiếng nói phức tạp và đa dạng hơn.

III. Phương pháp nghiên cứu biến đổi cảm xúc trong tiếng nói

Nghiên cứu sử dụng nhiều phương pháp khác nhau để biến đổi cảm xúc trong tiếng nói, trong đó có kỹ thuật phân rã ma trận không âm (NMF). Phương pháp này cho phép phân tích và tách biệt các thành phần cảm xúc trong tín hiệu tiếng nói, từ đó tạo ra các giọng nói có cảm xúc tự nhiên hơn. Các phương pháp khác như phân tích ngữ âm và học máy cũng được áp dụng để cải thiện độ chính xác trong việc nhận diện cảm xúc.

3.1. Kỹ thuật phân rã ma trận không âm NMF

NMF là một kỹ thuật mạnh mẽ trong việc phân tích tín hiệu, cho phép tách biệt các thành phần cảm xúc trong tiếng nói một cách hiệu quả.

3.2. Phân tích ngữ âm và ứng dụng trong cảm xúc

Phân tích ngữ âm giúp xác định các đặc trưng âm thanh liên quan đến cảm xúc, từ đó cải thiện khả năng nhận diện cảm xúc trong tiếng nói.

IV. Ứng dụng thực tiễn của nghiên cứu biến đổi cảm xúc

Nghiên cứu về biến đổi cảm xúc trong tiếng nói có nhiều ứng dụng thực tiễn. Các hệ thống tổng hợp giọng nói có thể sử dụng các kỹ thuật này để tạo ra giọng nói tự nhiên hơn, phù hợp với cảm xúc của người nói. Hệ thống nhận diện cảm xúc cũng có thể được cải thiện, giúp các ứng dụng như trợ lý ảo trở nên thông minh hơn trong việc tương tác với người dùng.

4.1. Ứng dụng trong hệ thống tổng hợp giọng nói

Các hệ thống tổng hợp giọng nói có thể sử dụng kỹ thuật NMF để tạo ra giọng nói có cảm xúc tự nhiên, từ đó nâng cao trải nghiệm người dùng.

4.2. Ứng dụng trong nhận diện cảm xúc

Hệ thống nhận diện cảm xúc có thể cải thiện độ chính xác nhờ vào việc áp dụng các phương pháp phân tích tiếng nói hiện đại.

V. Kết luận và tương lai của nghiên cứu biến đổi cảm xúc

Nghiên cứu về biến đổi cảm xúc trong tiếng nói đang mở ra nhiều cơ hội mới cho công nghệ xử lý tiếng nói. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại những cải tiến đáng kể trong việc phát triển các hệ thống giao tiếp tự động. Việc áp dụng các kỹ thuật mới như NMF sẽ giúp nâng cao khả năng nhận diện và tổng hợp cảm xúc trong tiếng nói, từ đó tạo ra những sản phẩm công nghệ tiên tiến hơn.

5.1. Tương lai của nghiên cứu biến đổi cảm xúc

Nghiên cứu sẽ tiếp tục phát triển để cải thiện độ chính xác và khả năng ứng dụng trong thực tiễn.

5.2. Khuyến nghị cho các nghiên cứu tiếp theo

Cần có thêm nhiều nghiên cứu để khám phá sâu hơn về các phương pháp mới và cải tiến kỹ thuật hiện tại trong lĩnh vực này.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ TIẾNG NÓI VÀ VẤN ĐỀ BIẾN ĐỔI THÔNG TIN CẢM XÚC NGƯỜI NÓI TRONG TIẾNG NÓI 1. Thông tin tiếng nói Tiếng nói là dạng thông tin tự nhiên và phổ biến nhất đối với con người. Từ khi lịch sử con người hình thành, con người đã biết sử dụng tiếng nói làm phương tiện giao tiếp chính, trải qua hàng triệu năm trong quá trình tiến hóa và phát triển của loài người, tiếng nói vẫn luôn giữ vai trò là phương tiện giao tiếp cơ bản nhất. Do tiếng nói là phương tiện giao tiếp cơ bản của con người, nó cũng là loại hình thông tin cơ bản và phổ biến nhất trong các hệ thống viễn thông từ trước đến nay.

Kể từ khi máy tính và các ứng dụng của máy tính được nghiên cứu và ứng dụng rộng rãi, người ta cố gắng để máy tính không chỉ có thể xử lý nhanh, nhiều mà quan trọng hơn nó đủ thông minh để thay thế con người. Một trong các tiêu chí quan trọng để đánh giá độ thông minh của máy tính chính là khả năng hiểu được ngôn ngữ tự nhiên của con người trong đó có tiếng nói. Tuy nhiên, tiếng nói mang nhiều thông tin, ngoài thông tin ngôn ngữ còn cả các thông tin phi ngôn ngữ như thông tin về người nói, thông tin về sắc thái tình cảm khi nói… 1. Tín hiệu tiếng nói Âm thanh là các dao động cơ học lan truyền trong vật chất như các sóng.

Âm thanh, giống như nhiều sóng, được đặc trưng bởi tần số, bước sóng, chu kỳ, biên độ và vận tốc lan truyền (tốc độ âm thanh). Đối với thính giác của người, âm thanh thường là sự dao động, trong dải tần số từ khoảng 20 Hz - 20 kHz, của các phân tử không khí, và lan truyền trong không khí, va đập vào màng nhĩ, làm rung màng nhĩ và kích thích bộ não. Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add [e-mail] 6 Tiếng nói là loại âm thanh phổ biến nhất trong truyền thông. Dải tần tiếng nói trong khoảng 300 Hz - 3400 Hz.

Tiếng nói bao gồm hai dạng hữu thanh và vô thanh. Âm hữu thanh có đặc tính tuần hoàn còn âm vô thanh tương tự nhiễu.1: Dạng sóng tiếng nói một câu tiếng Việt Hình 1.2: Tiếng nói hữu thanh Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Quá trình tạo tiếng nói a. Bộ phận cung cấp làn hơi: Bao gồm hai lá phổi, được sự tác động của các cơ ngực, sườn, cơ hoành cách mô, cơ bụng.

Làn hơi đưa lên quyết định cường độ của âm thanh.3: Bộ phận cung cấp làn hơi Bộ phận phát thanh vocal cord là thanh đới (dây thanh âm) nằm trong thanh quản: Do áp lực của làn hơi từ phổi đưa lên, thanh đới - với những độ căng khác nhau và hình dạng khác nhau - mở ra và đóng lại nhanh chậm khác nhau, cắt làn hơi thành những sóng âm có tần số khác nhau, tạo thành những âm thanh có cao độ khác nhau. Thanh đới ở phụ nữ và trẻ em ngắn và mỏng hơn ở đàn ông, nên giọng nữ và trẻ em cao hơn giọng đàn ông.4: Dây thanh âm Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Bộ phận dẫn âm: Gồm chủ yếu là cuống họng (yết hầu) thông với đường miệng hoặc đường mũi. Các chấn động âm thanh do thanh đới tạo ra, được bộ phận dẫn âm gom lại và dẫn ra ngoài theo hai hướng miệng hoặc mũi.

Cuống họng và miệng chủ yếu đóng vai trò truyền âm. Bộ phận phát âm: Là miệng với các hoạt động của môi, răng, lưỡi, hàm dưới, vòm miệng. Chúng ta nhận ra được lời nói, tiếng hát có nghĩa là nhờ vào hoạt động của các cơ năng trên. Khi nói đến khẩu hình là nói đến hình thể, hình dáng, cả bên ngoài lẫn bên trong của miệng do hoạt động phối hợp của môi, lưỡi, hàm dưới, vòm mềm tạo ra khi phát âm.

Mở khẩu hình không đúng cách sẽ ảnh hưởng không chỉ đến chất lượng âm thanh, mà nhất là ảnh hưởng đến việc rõ lời, phát âm đúng. Bộ phận phát âm đóng vai trò như một hộp cộng hưởng âm thanh. Nhờ sự biến đổi của bộ phận phát âm mà âm thanh được cộng hưởng, triệt tiêu ở các tần số khác nhau dẫn tới âm thanh được phát ra nghe khác nhau.5: Cấu trúc cơ quan phát âm Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.6: Hình dáng cơ quan phát âm thay đổi trong quá trình phát âm d. Biễu diễn bộ phận phát âm: Có thể biểu diễn cơ quan phát âm bằng một mô hình gần đúng gồm các hình trụ có độ dài bằng nhau nhưng có đường kính khác nhau.Trong quá trình phát âm người ta thấy rằng hình dáng cơ quan phát âm thay đổi rất chậm , do đó trong một khoảng thời gian ngắn (trong một âm vị) có thể xem như sự thay đổi là không đáng kể, nhưng chúng sẽ thay đổi rất lớn từ âm vị này sang âm vị khác.7: Mô hình hóa cơ quan phát âm Hình 1.8: Biểu diễn mô hình hóa cơ quan phát âm đầy đủ bằng máy tính Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Cơ quan thính giác Để cảm thụ được tiếng nói, con người sử dụng cơ quan thính giác. Cơ quan thính giác con người có thể cảm thụ được các tần số âm thanh trong khoảng 15 Hz - 20. Âm thanh với tần số cao hơn được gọi là siêu âm, thấp hơn là hạ âm.9: Mô hình cơ quan thính giác Người nghe có thể phát hiện sự thay đổi độ ồn âm thanh khi tín hiệu bị thay đổi khoảng 1dB (biên độ thay đổi 12%). Mặc dù dải nghe của con người thông thường từ 20Hz đến 20kHz, độ nhạy âm lớn nhất từ 1kHz đến 4kHz.

Khả năng xác định hướng nguồn âm tốt nhưng xác định khoảng cách đến nguồn âm kém. Con người nghe âm thanh theo 24 băng cơ bản, tương ứng với thang tần số Bark như trong hình 1. Trong mỗi băng con, con người không cảm nhận được sự khác biệt. Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.10: Thang tần số Bark Khả năng cảm thụ của cơ quan thính giác được giới hạn bởi ngưỡng nghe (hình 1.11), cũng như không nghe được âm thanh bị che bởi các mặt nạ trên miền thời gian (hình 1.12) và tần số (hình 1.11: Ngưỡng nghe Hình 1.12: Mặt nạ thời gian (che âm thanh liền trước và liền sau) Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.13: Mặt nạ tần số (che âm thanh có tần số khác nhau phát cùng thời điểm) 1.

Xử lý tiếng nói Xử lý tiếng nói hay xử lý tín hiệu tiếng nói được hiểu là các thao tác, kỹ thuật xử lý trên máy tính nhằm mục đích đưa tiếng nói vào máy tính, xử lý theo yêu cầu và phát lại cho con người. Yêu cầu xử lý ở đây phụ thuộc vào từng ứng dụng cụ thể. Chẳng hạn để có thể truyền tiếng nói tin cậy và hiệu quả trên các hệ thống viễn thông truyền với khoảng cách rất xa, người ta cần nghiên cứu và xây dựng các giải thuật mã hóa nén tiếng nói. Để xây dựng các ứng dụng nhận dạng tiếng nói, người ta cần nghiên cứu và xây dựng các giải thuật trích đặc trưng tiếng nói và huấn luyện tiếng nói.

Để biến đổi tiếng nói, người ta cần xác định các đặc trưng tiếng nói theo các tiêu chí cụ thể khác nhau (như người nói, cảm xúc, ngữ điệu khi nói) và biến đổi trực tiếp hoặc gián tiếp các đặc trưng này. Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.14: Một số ứng dụng của xử lý tiếng nói Hình 1.15: Hệ thống nhận dạng cảm xúc người nói – một trong các ứng dụng xử lý thông tin người nói 1. Thông tin cảm xúc người nói trong tiếng nói Hầu hết các hệ thống xử lý tiếng nói truyền thông tập trung vào xử lý các thông tin ngôn ngữ để đảm bảo tiếng nói sau xử lý có thể hiểu được [6].Tuy nhiên để các ứng dụng xử lý tiếng nói trong máy tính có thể được áp dụng rộng Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add [e-mail] 14 rãi trong thực tế, các đặc trưng phi ngôn ngữ của tiếng nói cũng đã được quan tâm nghiên cứu trong thời gian gần đây [4]. Một trong những vấn đề quan trọng cần đảm bảo là thông tin về cảm xúc người nói [7,9,15,17,22,23].

Có nhiều yếu tố ảnh hưởng đến cảm xúc người nói trong tiếng nói như hình dạng, cấu trúc cơ quan phát âm (đặc trưng sinh học), thói quen, phương ngữ và cách thức phát âm,. Con người có thể phân biệt được thông tin cảm xúc người nói một cách dễ dàng do khả năng của cơ quan thính giác tuy nhiên để máy tính có thể phân biệt thông tin cảm xúc người nói, cảm xúc người nói cần phải được mô hình hóa và việc phân biệt, định danh, biến đổi cần phải được thực hiện thông qua các tham số vector đặc trưng được tính toán từ tín hiệu tiếng nói.16: Người nói khác nhau có cơ quan phát âm và cách phát âm khác nhau dẫn tới tiếng nói khác nhau khi nói với các cảm xúc khác nhau Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.17: Đặc trưng phổ formant đặc trưng cho cơ quan phát âm Cảm xúc người nói tồn tại trong cả thông tin ngôn ngữ và phi ngôn ngữ. Tuy nhiên, các yếu tố phi ngôn ngữ gần với thông tin về cảm xúc người nói hơn. Các yếu tố phi ngôn ngữ bao gồm các đặc tính vật lý của cơ quan phát âm người nói thể hiện bằng các đặc trưng phổ ảnh hưởng mạnh đến cảm xúc người nói.

Tuy nhiên, các đặc trưng như cao độ hay tần số cơ bản F0 cũng ảnh hưởng nhiều tới cảm xúc người nói trong tiếng nói (Lavner et al., 2001; Chappell and Hansen, 1998). Hầu hết các phương pháp biến đổi cảm xúc người nói tập trung vào đặc trưng phổ.