Luận văn: Nghiên cứu về tổng hợp tiếng nói có cảm xúc (Đỗ Thị Loan - ĐHBKHN)

Luận văn thạc sĩ nghiên cứu tổng hợp tiếng nói có cảm xúc. Phân tích tham số F0, năng lượng của cảm xúc vui, buồn, giận trong giọng nói tiếng Việt.

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2015

75
0
0

Phí lưu trữ

30 Point

Tóm tắt

I. Tổng quan về tổng hợp tiếng nói có cảm xúc

Tổng hợp tiếng nói có cảm xúc là một lĩnh vực nghiên cứu quan trọng trong xử lý tín hiệu tiếng nói và trí tuệ nhân tạo. Đây là quá trình tạo ra tiếng nói tự nhiên từ văn bản, nhưng với khả năng thể hiện các cảm xúc khác nhau như vui, buồn, tức giận hay bình thường. Công nghệ này kết hợp giữa công nghệ TTS (Text To Speech) truyền thống với các kỹ thuật phân tích và mô phỏng đặc tính âm học của cảm xúc. Việc phát triển hệ thống tổng hợp tiếng nói cảm xúc giúp nâng cao chất lượng giao tiếp giữa con người và máy tính, mang lại trải nghiệm người dùng tự nhiên và thân thiện hơn. Ứng dụng của công nghệ này rất đa dạng, từ trợ lý ảo, giáo dục, giải trí đến y tế.

1.1. Định nghĩa và ý nghĩa của tổng hợp tiếng nói

Tổng hợp tiếng nói (Speech Synthesis) là quá trình chuyển đổi văn bản thành tiếng nói. TTS là viết tắt của Text To Speech, một công nghệ cho phép máy tính đọc văn bản thành tiếng nói tự nhiên. Ý nghĩa của công nghệ này không chỉ nằm ở khả năng tạo ra tiếng nói mà còn ở việc làm cho tiếng nói đó mang tính biểu cảm và cảm xúc. Điều này giúp máy tính trở nên thân thiện hơn, giúp con người dễ dàng giao tiếp và tiếp nhận thông tin.

1.2. Quá trình phát triển công nghệ TTS thế giới

Công nghệ TTS đã trải qua nhiều giai đoạn phát triển từ những năm 1970. Ban đầu, các hệ thống tổng hợp tiếng nói sử dụng phương pháp ghép nối các đơn vị âm thanh cơ bản. Sau đó, công nghệ phát triển sang phương pháp Formant và các mô hình mô phỏng bộ máy phát âm. Gần đây, trí tuệ nhân tạodeep learning đã mang đến những cải tiến lớn, cho phép tạo ra tiếng nói nghe như con người thực sự, thậm chí có thể thể hiện cảm xúc một cách tự nhiên.

II. Phân tích cảm xúc trong tiếng nói tiếng Việt

Cảm xúc trong tiếng nói đóng vai trò rất quan trọng trong quá trình giao tiếp. Tiếng Việt là một ngôn ngữ tonal (ngôn ngữ tông) với 6 thanh điệu khác nhau, điều này tạo nên những đặc điểm riêng biệt trong cách thể hiện cảm xúc. Ngữ điệu tiếng Việt không chỉ được xác định bởi tần số cơ bản (F0) mà còn bởi nhiều yếu tố khác như năng lượng, thời gian phát âm, và cách biểu lộ các âm thanh. Khi người nói biểu lộ cảm xúc như vui, buồn, hay tức giận, những tham số âm học này thay đổi theo những mô hình cụ thể. Nghiên cứu về cảm xúc trong tiếng Việt giúp chúng ta hiểu rõ hơn về cách con người thể hiện cảm xúc qua tiếng nói.

2.1. Đặc điểm của tiếng Việt và ngữ điệu

Tiếng Việt là ngôn ngữ tonal với 6 thanh điệu: thanh a, thanh huyền, thanh sắc, thanh hỏi, thanh ngã và thanh nặng. Ngữ điệu được tạo nên bởi những thay đổi của tần số cơ bản (F0)năng lượng trong quá trình phát âm. Mỗi thanh điệu có những đặc tính riêng biệt về độ cao, hướng đi của giọng và thời gian kéo dài. Khi thêm vào cảm xúc, những đặc tính này lại thay đổi thêm, tạo nên sự phong phú trong cách thể hiện của tiếng Việt.

2.2. Các thánh tố âm học của cảm xúc

Tham số F0 (tần số cơ bản) là yếu tố quan trọng nhất để xác định cảm xúc. Cảm xúc vui thường có F0 cao hơn và biến động lớn, trong khi cảm xúc buồn có F0 thấp hơn và biến động nhỏ. Năng lượng cũng là một tham số quan trọng: cảm xúc tức giận thường có năng lượng cao, trong khi buồn có năng lượng thấp. Ngoài ra, thời gian phát âm, tốc độ nóicường độ cũng ảnh hưởng đến cách thể hiện cảm xúc.

III. Các phương pháp tổng hợp tiếng nói cảm xúc

Có nhiều phương pháp tổng hợp tiếng nói khác nhau được sử dụng để tạo ra tiếng nói có cảm xúc. Phương pháp Formant là một trong những phương pháp cổ điển, sử dụng các bộ lọc để tạo ra đặc tính tần số của tiếng nói. Phương pháp ghép nối các Diphone là cách tiếp cận phổ biến, trong đó các cặp âm liên tiếp được ghép nối để tạo ra tiếng nói tự nhiên. Phương pháp mô phỏng bộ máy phát âm cố gắng mô phỏng cách con người sản xuất tiếng nói. Gần đây, các mô hình học máy đã mang lại những kết quả đặc biệt tốt, cho phép tạo ra tiếng nói với cảm xúc rất tự nhiên. Mỗi phương pháp có ưu và nhược điểm riêng, và lựa chọn phương pháp phù hợp tùy thuộc vào yêu cầu cụ thể của ứng dụng.

3.1. Phương pháp Formant và ghép nối Diphone

Phương pháp Formant dựa trên việc sử dụng các bộ lọc điện tử để tạo ra tần số cộng hưởng (formant frequencies) của các âm thanh. Phương pháp này cho phép kiểm soát chính xác các tham số F0 và năng lượng để biểu lộ cảm xúc. Phương pháp Diphone ghép nối các cặp âm liên tiếp, giúp tạo ra tiếng nói mượt mà và tự nhiên hơn. Cả hai phương pháp này đều cho phép điều chỉnh cảm xúc bằng cách thay đổi các tham số âm học.

3.2. Mô hình học máy và deep learning

Các mô hình học máy hiện đại như Neural NetworkDeep Learning đã cách mạng hóa lĩnh vực tổng hợp tiếng nói. Những mô hình này có khả năng học được các mẫu cảm xúc từ dữ liệu huấn luyện lớn. TTS dựa trên học máy có thể tạo ra tiếng nói không chỉ tự nhiên mà còn thể hiện cảm xúc một cách tinh tế và thuyết phục. Những mô hình này cũng cho phép tạo ra giọng nói cá nhân hóabiểu cảm hơn so với các phương pháp truyền thống.

IV. Ứng dụng và hướng phát triển tương lai

Tổng hợp tiếng nói cảm xúc có ứng dụng rộng rãi trong nhiều lĩnh vực. Trong giáo dục, công nghệ này giúp tạo ra các bài giảng có tính tương tác cao với học sinh. Trong y tế, nó được sử dụng để hỗ trợ bệnh nhân, nhất là những người có vấn đề về ngôn ngữ. Trong giải trí, công nghệ này được dùng để tạo ra các nhân vật ảo với tính cách và cảm xúc riêng. Các trợ lý ảochatbot cũng ngày càng sử dụng công nghệ này để nâng cao trải nghiệm người dùng. Hướng phát triển tương lai bao gồm việc cải thiện độ tự nhiên của tiếng nói, tăng khả năng nhận biết và thể hiện cảm xúc phức tạp, cũng như mở rộng ứng dụng đa ngôn ngữđa nền tảng.

4.1. Ứng dụng trong các lĩnh vực khác nhau

Trợ lý ảochatbot là những ứng dụng phổ biến nhất hiện nay. Hệ thống TTS cảm xúc giúp những công cụ này trở nên gần gũi và tin cậy hơn. Trong giáo dục trực tuyến, tiếng nói có cảm xúc giúp tạo ra môi trường học tập tích cực và hứng thú. Ứng dụng y tế sử dụng công nghệ này để tạo ra các chương trình phục hồi chức năng cho bệnh nhân. Ngoài ra, công nghiệp giải trí cũng được lợi ích từ công nghệ này khi tạo ra nhân vật hoạt hìnhgame điện tử với tiếng nói sinh động.

4.2. Thách thức và hướng nghiên cứu tương lai

Mặc dù công nghệ đã phát triển nhiều, nhưng tổng hợp tiếng nói cảm xúc vẫn còn những thách thức lớn. Việc tạo ra tiếng nói biểu lộ cảm xúc phức tạptinh tế là một thách thức lớn. Tương thích đa ngôn ngữtương thích với các giọng nói khác nhau cũng là những vấn đề cần giải quyết. Hướng phát triển tương lai bao gồm sử dụng AI tiên tiến hơn, xây dựng cơ sở dữ liệu cảm xúc lớn hơn, và phát triển mô hình học máy được tối ưu hóa cho các ngôn ngữ khác nhau.

28/12/2025

Trích đoạn nội dung tài liệu

MỞ ĐẦU. HH HÀ H HH HH ngu CHƯƠNG l - GIỚI TIIÿU VĂN DẺ VẢ XÁC DỊNINITEM VỤ 1.1 Đặt vẫn dé 1.2 Tính cấp thiết của đẻ tài 1.3 Mục tiêu của để tải CHƯƠNG 2 - TÔNG QUAN VỀ TIẾNG NOI VA TONG HOP TIRNG NOT.1 Giới thiệu vẻ tiếng nói vá tổng hợp tiếng nói.2 Ý nghĩa của TTS (Text To Speech) 2.1 Quá trình phát triển TTS trên thể giới 2.2 ITS 6 Việt Nam .3 Mô hình tổng hợp tiếng nói từ văn hản.1 Tổng hợp mức cao. con hen Hee ude 2.3 Phân tích cách phát âm 2.2 Tổng hợp mức thấp.4 Bộ máy phát âm 3-41 Bộ máy phát âu 2.2 Co ché phát âm.5 Đặc tính âm học của tiếng nói.1 Âm hữu thanh. LH HH” HH He 2.

Âm vô thanh.3 Âm vị HE: Đỗ Thị Loan 1 Lúp: 12HMTTT Nehién cu vé ting hyp tiéng nai cd cam xúc 2. TH th HH kem ¬.4 Các đặc tính khác. Tỷ suất thời gian.ccccccccccctcrttre re cxvee 23 2.2, Ilâm năng lượng ngắn hạn. Tân số cơ bản - - - - 23 2.

HH HH TH HH ghen -24 2.6 Dic điểm của thanh điện tiếng Việt .7 Một số phương phép tổng hợp tiếng nói.1 Phương pháp tổng hợp Formant.1 Phương pháp tổng hợp bằng ghép ni các tiếng, - 29 2.2 Phương pháp Lẳng hợp bằng ghép nổi các Phone.3 Phuong phap tong hợp bằng ghép nói Diphone.3 Phương pháp mô phỏng bộ máy phát âm - - 32 3.4 Phương pháp tổng hợpT.8 Kết luận và so sánh các phương pháp tổng hợp,. 34 CHƯƠNG 3 - NGITIÊN CUU CAM XUC TRONG TING NÓI 35 3.1 Câm xúc trong tiếng nói. con me eereeiaeiirere -.2 Đặc điểm của cảm xúo.1 Cam xúc biểu hiện bê ngoài rat 16 rang.2 Cảm xúc rất đa dạng và phong phú.4 Vai trò pủa cắm xúc 37 3.1 Cảm xúc giúp con người thích ứng với hoàn cảnh.3 Cảm xúc gắn Hiến với nhu cầu và việc thoả miần nhu cầu của chủ thế38 3.3 Cam xúc có thể kích thích hay kìm hãm hảnh dộng. Cảm xúc của tiếng nói trong lĩnh vực xử lý tiếng nói 38 3.1 Ngữ điệu tiếng nói trong các ngôn ngữ nói chưng, - 38 HE: Đỗ Thị Loan 2 Lop: L2BMTIT Nehién cu vé ting hyp tiéng nai cd cam xúc 3.2 Ngữ diễu của tiếng nói trong tiếng Việt nói riêng.1 Một vài đặc điểm của tiếng Việt.2 Các thánh tố của ngĩ điện Việt.3 Kết luận chương.

TH eưên As CHƯƠNG 4 - BƯỚC DẦU THỰC NGIITM PHÁN TÍCH TIẾNG VIỆT NÓI CÓ CÁM XÚC - - - - - 49 4.1 Cơ sở dữ liệu tiếng Việt cỏ cảm xúc.2 Công cụ Praat - - - - - s2 4.3 Kết quả thực nghiệm.1 Phân tích, thông kê tham số F0 và nắng lượng của cảm xúc buốn.1 Trang bình E0 và năng lượng, cảm xúc buên với giọng nam so 4.2 Trung bình E0 và năng lượng cắm xúc buổn với giọng nữt 63 4.2 Phân tích, thông kê tham số FÒ và năng lượng của cảm xúc tức giận. Trung binh F0 và năng lượng của cảm xúc tức giận với giọng nam 67 4.2 Tag bình FO và năng lượng của cảm xúc Lức giận với giọng nữ. Phan tich, théng kê tham số F0 và năng lượng của cảm xúc vui.1 Trung bình E0 và năng Tượng của cảm xúc vưi với giợng nam.2 Trung bình FỘ và năng lượng của cảm xúc Yui với giQng nữ .4 Kết hiận chương. 8 KET LUAN VA HUONG PHAT TRIEN - - - 84 'TÀI LIỆU THAM KHẢO.

88 HE: Đỗ Thị Loan 3 Lop: L2BMTIT Nehién cu vé ting hyp tiéng nai cd cam xúc LOL CAM ON Lời đầu tiên, em xin chân thành cảm ơn trưởng đại học Bách Khoa Hà Nội, viện Công nghệ Lhông tia Truyền thông, chuyên ngành Kỹ thuật Máy tính va Truyền thông và toàn thể các thầy cô đã ân cần dạy dễ, chỉ bảo, định hướng nghiên cửu cho em treng suốt một năm học vừa qua, truyền đạt cho chúng em những kiên thức quý báu Tm xin chân thành cảm ơn Phó giáo sư tiến sỹ Trịnh Lăn Loan đã giành nhiêu tâm huyết, kinh nghiệm của thây đề chỉ dẫn, định hướng nghiên cứu cũng nhụ. luôn luôn góp ý cho em đề hoàn thành dễ tải luận vẫn này, Cuối cùng em cũng xin gửi lời cảm ơn tới gia định, những người đã luôn động, viên và tạo mợi điều kiện tốt cho cm học tập và nghiên cứu Ihậi tối. Và gửi Toi cdi ơn tới những người bạn đã giứp đỡ em trong quả trinh học tập cũng như hoàn thành để tài huận văn. Em xin chân thành cảm ơi | HE: Đỗ Thị Loan 5 Lop: L2BMTIT Nehién cu vé ting hyp tiéng nai cd cam xúc DANH MỤC BẰNG Bảng 4.1: Mã cầu và nội dung câu - - 59 Bảng 4.2: Trung bình của FO của một số cách biểu lộ cám xúc buồn giọng nam.3: Trung bình năng lượng của một số cách biểu lộ cảm xúc buẩn giọng nam.4: So sảnh giá trị trung bình FO và năng lượng của một số cách biểu lộ cảm xúc buồn với căm xúc trung tính giọng nam.5: Mã cầu và nội dung câu - @ Bảng 4.6: Trung bình FÔ với của một số cách biểu lộ cảm xúc buồn giọng nữ.7: Trung bình năng lượng của1nột số cách biểu lộ cảm xúc buồn giọng nữ.8: So sánh giá trị trung bình E0, năng lượng của một số cách biểu lộ cảm xúc buỗn với câm xúc trung tính giọng nứt.9: Mã cầu và nội dung câu.10: Trung bình E0 của một số cách biếu lộ cảm xue tie gidn giong nam .11: Trung bình năng lượng của một số cách biểu lộ cảm xúc tức giận giọng, a) Bang 4.12: 3o sánh giá trị trung bình F0, năng hượng của một sẻ cách biểu 16 cam xúc tức giân với cảm xúc trung tinh giong nam.13: Mã câu và nội dưng câu.14: Trung binh FO cia mét 36 cach biéu 16 cam xue tic gidn giong nit.15: Trung bình năng lượng của một số cách biểu lộ cảm xúc tức giận giọng, Tữ.16: So sánh giá trị trung bình E0, năng hượng của một số cách biếu lộ cảm xúc tức giận với câm xúc trung tỉnh giọng nữ 4 Bang 4.17: Mã cầu và nội dung cau.18: Trung bình FŨ của mội số cách biểu lộ cảm xúc vui giọng nam 74 Đảng 4.19: Trung bình năng lượng của một số cách biểu lộ cảm xúc vui giọng ram.20: So sánh giá trị trung bình E0, năng hượng của mội số cách biếu lộ cam xúc vui với câm xúc trung tinh giong warn.

- - T HE: Đỗ Thị Loan ? Lúp: 12HMTTT Nehién cu vé ting hyp tiéng nai cd cam xúc Bảng 4.21: Mã cầu và nội dụng câu.22: Trung bình “0 của một số cách biểu lộ cám xúc vui giọng nữ.23: Trang bình năng lượng của một số cách biểu lô cảm xúc vui giọng níĩ. : 8o sánh giả trị trung binh KO, ning hiong cia mét sé cách biêu lộ cắm xúc vui vả cảm xúc trưng tính giọng nữ. HE: Đỗ Thị Loan 8 Lúp: 12HMTTT Nehién cu vé ting hyp tiéng nai cd cam xúc DANH MỤC HÌNH ÁNH Tỉnh 2.2: Sự phụ thuộc của ngôn điều vào các yêu tố.3: Bé may phát âm ủa con người.4: Sự thay doi FO của các thanh.6: Mô hình 3 formant nổi tiếp. Hình 28: Điểm pitch trong phone.11: Mô hình tổng hợp tiếng nói bằng phương pháp T.2: Cáo cảm xúc cơ bản trong mỏ hình cảm xúc nguyễn tố, 37 Hình 3.3: Cường độ của giọng nam với cảm xúc lức giận.4: Cao độ của giọng nữ Pashto với trạng thải trung tính, Linh 3.5: l#ormnant của cắm xúc tức giận với giọng nói là nam.1: Giao điện lam việc với Pratt Tình 4.2: Tìn hiệu tiếng nói, biển thiên FO và răng lượng của giựng nữ với 4 xúc (trung tình, buỏn, tức giận vui) a.

trung tinh, b, buồn, ơ.3 Tin hiệu tiêng nói, biến thiên FO và năng lượng của giọng nam với 4 cảm. ø tức giận, đ vui.4: 2 giọng nam nói với cám xúc trung tỉnh.5: 2 giọng nữ nói với cảm xúc trưng tính. 37 Tình 47: Câm xúc buồn được thể liện bằng cach chia cau thanh cac doa.8: Cam xúc tức giận với câu được clúa lạm 2 đoạn, nhẫn mưnnh cuối câu.9: Cảm xúc tức giận với câu chia làm 2 đoạn, nhắn :nanh eã đoạn linh 4.10: Giọng nữ thể hiện cảm xúc vưi bằng cách lên giọng ở cuối cfu.11: Giọng nữ thể hiện căm xúc vui bằng cách nói déu đều 58 Hinh 4.12: Lim dé duit gidi lary hợp Hồng Việt bằng phuong php ghdép nồi 1 82 HE: Đỗ Thị Loan 6 Lop: L2BMTIT Nehién cu vé ting hyp tiéng nai cd cam xúc DANH MỤC HÌNH ÁNH Tỉnh 2.2: Sự phụ thuộc của ngôn điều vào các yêu tố.3: Bé may phát âm ủa con người.4: Sự thay doi FO của các thanh.6: Mô hình 3 formant nổi tiếp. Hình 28: Điểm pitch trong phone.11: Mô hình tổng hợp tiếng nói bằng phương pháp T.2: Cáo cảm xúc cơ bản trong mỏ hình cảm xúc nguyễn tố, 37 Hình 3.3: Cường độ của giọng nam với cảm xúc lức giận.4: Cao độ của giọng nữ Pashto với trạng thải trung tính, Linh 3.5: l#ormnant của cắm xúc tức giận với giọng nói là nam.1: Giao điện lam việc với Pratt Tình 4.2: Tìn hiệu tiếng nói, biển thiên FO và răng lượng của giựng nữ với 4 xúc (trung tình, buỏn, tức giận vui) a.

trung tinh, b, buồn, ơ.3 Tin hiệu tiêng nói, biến thiên FO và năng lượng của giọng nam với 4 cảm. ø tức giận, đ vui.4: 2 giọng nam nói với cám xúc trung tỉnh.5: 2 giọng nữ nói với cảm xúc trưng tính. 37 Tình 47: Câm xúc buồn được thể liện bằng cach chia cau thanh cac doa.8: Cam xúc tức giận với câu được clúa lạm 2 đoạn, nhẫn mưnnh cuối câu.9: Cảm xúc tức giận với câu chia làm 2 đoạn, nhắn :nanh eã đoạn linh 4.10: Giọng nữ thể hiện cảm xúc vưi bằng cách lên giọng ở cuối cfu.11: Giọng nữ thể hiện căm xúc vui bằng cách nói déu đều 58 Hinh 4.12: Lim dé duit gidi lary hợp Hồng Việt bằng phuong php ghdép nồi 1 82 HE: Đỗ Thị Loan 6 Lop: L2BMTIT Nehién cu vé ting hyp tiéng nai cd cam xúc 3.2 Ngữ diễu của tiếng nói trong tiếng Việt nói riêng.1 Một vài đặc điểm của tiếng Việt.2 Các thánh tố của ngĩ điện Việt.3 Kết luận chương. TH eưên As CHƯƠNG 4 - BƯỚC DẦU THỰC NGIITM PHÁN TÍCH TIẾNG VIỆT NÓI CÓ CÁM XÚC - - - - - 49 4.1 Cơ sở dữ liệu tiếng Việt cỏ cảm xúc.2 Công cụ Praat - - - - - s2 4.3 Kết quả thực nghiệm.1 Phân tích, thông kê tham số F0 và nắng lượng của cảm xúc buốn.1 Trang bình E0 và năng lượng, cảm xúc buên với giọng nam so 4.2 Trung bình E0 và năng lượng cắm xúc buổn với giọng nữt 63 4.2 Phân tích, thông kê tham số FÒ và năng lượng của cảm xúc tức giận.

Trung binh F0 và năng lượng của cảm xúc tức giận với giọng nam 67 4.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ