Luận văn: Tổng hợp tiếng Việt có cảm xúc bằng học máy của Lê Trọng An

Luận văn nghiên cứu phương pháp tổng hợp tiếng Việt có cảm xúc bằng học máy, đề xuất mô hình và đánh giá kết quả thực nghiệm chi tiết.

Chuyên ngành

Khoa Học Máy Tính

Người đăng

Ẩn danh

Thể loại

Luận Văn Thạc Sĩ

2021

75
1
0

Phí lưu trữ

30 Point

Tóm tắt

I. Khái niệm về Tổng hợp giọng nói cảm xúc tiếng Việt

Tổng hợp giọng nói cảm xúc là quá trình sử dụng học máy để tạo ra tiếng nói nhân tạo với các cảm xúc khác nhau như vui, buồn, giận dữ hay ngạc nhiên. Đây là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên, giúp nâng cao hiệu quả giao tiếp giữa con người và máy tính. Tiếng nói tổng hợp cảm xúc không chỉ truyền đạt nội dung từ ngữ mà còn thể hiện được cảm xúc, giọng điệu của người nói, tạo nên sự tự nhiên và thân thiết hơn trong tương tác. Việc đưa cảm xúc vào tiếng nói tổng hợp tiếng Việt là một thách thức lớn trong nghiên cứu khoa học dữ liệu hiện đại.

1.1. Định nghĩa tổng hợp giọng nói cảm xúc

Tổng hợp giọng nói cảm xúc là công nghệ tạo ra giọng nói nhân tạo với các biểu cảm khác nhau. Quá trình này sử dụng mô hình học máy để phân tích và học hỏi từ dữ liệu tiếng nói thực, từ đó tái tạo lại tiếng nói với các cảm xúc cụ thể. Công nghệ này có ứng dụng trong trợ lý ảo, giáo dục điện tử và hệ thống giao tiếp người-máy.

1.2. Tầm quan trọng trong giao tiếp người máy

Tiếng nói cảm xúc giúp cải thiện trải nghiệm người dùng khi tương tác với máy móc. Khi giọng nói tổng hợp có thể thể hiện cảm xúc, nó trở nên tự nhiên và dễ tiếp cận hơn. Điều này đặc biệt quan trọng trong các ứng dụng như trợ lý ảo, thiết bị gọi điện thoại tự động và hệ thống học tập.

II. Phương pháp học máy trong tổng hợp giọng nói

Học máy là nền tảng chính của tổng hợp giọng nói cảm xúc tiếng Việt. Các mô hình học sâu như Tacotron, WaveNet và các biến thể khác đã được phát triển để xử lý dữ liệu tiếng nói. Quá trình huấn luyện mô hình liên quan đến việc sử dụng bộ dữ liệu AnSpeech chứa các mẫu tiếng Việt với các cảm xúc khác nhau. Thuật toán học máy phải học cách mã hóa các đặc trưng cảm xúc từ tiếng nói gốc và tái tạo chúng trong tiếng nói tổng hợp. Thách thức chính là đảm bảo rằng tiếng nói tổng hợp vừa tự nhiên vừa chính xác về cảm xúc.

2.1. Các mô hình học sâu sử dụng

Tacotron và các biến thể của nó là những mô hình học máy phổ biến nhất trong tổng hợp giọng nói. Các mô hình này sử dụng kiến trúc encoder-decoder để chuyển đổi từ văn bản sang mã sóng tiếng nói. Học sâu cho phép mô hình học các đặc trưng phức tạp của cảm xúc một cách tự động từ dữ liệu huấn luyện.

2.2. Quá trình huấn luyện và tối ưu hóa

Quá trình huấn luyện mô hình bao gồm việc đưa vào dữ liệu tiếng nói với các nhãn cảm xúc khác nhau. Hàm mất mát được tối ưu hóa để mô hình học cách tạo ra tiếng nói tổng hợp chính xác. Việc sử dụng các kỹ thuật như đánh giá mô hìnhđiều chỉnh siêu tham số giúp cải thiện chất lượng giọng nói tổng hợp cảm xúc.

III. Thử nghiệm và đánh giá kết quả

Việc đánh giá tổng hợp giọng nói cảm xúc bao gồm các thử nghiệm khác nhau từ mô hình M1 đến M4, và thí nghiệm chuyển đổi cảm xúc (M5). Mỗi mô hình học máy được kiểm tra về khả năng tạo ra tiếng nói tổng hợp tự nhiên và chính xác về cảm xúc. Các kết quả đánh giá được thực hiện thông qua các công cụ như MOS (Mean Opinion Score) để đo độ tự nhiên của giọng nói tổng hợp. Ngoài ra, các chỉ số kỹ thuật như PESQ và mel-cepstral distortion cũng được sử dụng để đánh giá chất lượng. Các thí nghiệm này giúp xác định phương pháp tổng hợp hiệu quả nhất cho tiếng Việt cảm xúc.

3.1. Các công cụ đánh giá chất lượng

MOS (Mean Opinion Score) là công cụ chính để đánh giá độ tự nhiên của tiếng nói tổng hợp. Các chỉ số khác như PESQmel-cepstral distortion giúp đo lường sự khác biệt giữa tiếng nói tổng hợp và tiếng nói gốc. Những công cụ này cung cấp những đánh giá định lượng về chất lượng của mô hình tổng hợp giọng nói cảm xúc.

3.2. Kết quả thực nghiệm và phân tích

Các kết quả thực nghiệm cho thấy rằng mô hình học máy có thể tạo ra tiếng nói tổng hợp với cảm xúc rõ rệt. Việc chuyển đổi cảm xúc giữa các giọng nói khác nhau cũng đạt được kết quả tốt. Các phân tích chi tiết về không gian cảm xúcbiểu diễn giúp hiểu rõ hơn về cách mô hình học sâu xử lý và tái tạo cảm xúc trong tiếng Việt.

IV. Hướng phát triển và ứng dụng thực tiễn

Tổng hợp giọng nói cảm xúc tiếng Việt có nhiều ứng dụng thực tiễn trong tương lai. Các hệ thống trợ lý ảo, ứng dụng giáo dục, và công nghệ gọi điện thoại tự động có thể sử dụng công nghệ tổng hợp giọng nói cảm xúc này để cải thiện trải nghiệm người dùng. Tuy nhiên, vẫn tồn tại những thách thức cần giải quyết như khả năng mở rộng sang các cảm xúc và phong cách nói mới, cũng như việc giảm chi phí và công sức chuẩn bị dữ liệu huấn luyện. Nghiên cứu tiếp theo có thể tập trung vào việc phát triển các phương pháp tổng hợp hiệu quả hơn và khám phá các ứng dụng mới của học máy trong lĩnh vực này.

4.1. Ứng dụng trong đời sống thực tế

Tiếng nói tổng hợp cảm xúc có thể được ứng dụng trong trợ lý ảo để tạo trải nghiệm người dùng tự nhiên hơn. Trong giáo dục, tiếng nối tổng hợp có thể giúp học sinh tương tác tốt hơn với nội dung học tập. Các hệ thống giao tiếp người-máy sẽ trở nên thân thiết và hiệu quả hơn khi giọng nói có thể thể hiện cảm xúc.

4.2. Các thách thức và định hướng tương lai

Thách thức chính là mở rộng mô hình sang các cảm xúc và phong cách nói mới mà không tăng chi phí đáng kể. Cần phát triển phương pháp tổng hợp tiết kiệm tài nguyên hơn. Những nghiên cứu tương lai nên tập trung vào cải thiện chất lượng tiếng nói và khám phá những ứng dụng mới của công nghệ tổng hợp giọng nói cảm xúc trong các lĩnh vực khác.

28/12/2025
Luận văn tổng hợp tiếng việt có cảm xúc bằng học máy

Trích đoạn nội dung tài liệu

Chương 1: Co sé ly thuyet và các công trình nghiên cứu « Chương2: Tổng hợp rồng Việt có căm xúc « Chương 3: Dánh giá kết quả tổng hợp + Chương 4: Kết luận và định hướng phái triển Ngày 12 tháng 1 nắm 2022 Giáo viên hướng dẫn Tác giá luận văn CHỦ TỊCH HỘI ĐÔNG ĐẺ TÀI LUẬN V Mã đề tài: 19AKHDL-KH04 Theo QĐÐ số 1536 Hiệu trưởng trường ĐHĐK Hà Nội ký ngày 19 tháng 9 năm 2019 1. Họ và tên học viên Lê Trọng An SHHV: ŒA190038 2. Chuyên ngành: Khoa học máy tính Lớp: 19AKHUL 3. Cám bộ hướng dẫn: T8.

Nguyễn Hồng Quang, 4. Dơn vị: Viện Công nghệ Thông tr vá Truyền thông, Trường Dai hoc Bach Khoa LIà Nội Tên đề tài (tiếng Viel): Tang hợp liễng Việt có cảm xúc bằng học máy. lên dễ tài (ống Anh): Synthesize Vietnamese with emotions by machine learning, La N6i, ngdy O8 thang 12 ndm 2021 Giáo viên hướng din Ky vi ghi rb boten T8. Nguyễn Hồng Quang, BD ố.

Bộ dữ liệu AnSpeech - 19 E n:. Mô lình để xuất —. Huấn luyện mô hình tống hợp tiếng nói ce ee 23 2. Quy trình huấn lưyện.

Biển thể của Tacolron 3 - cac. cọ họ nhang. Biển đổi pheng cách, cảm xúc clia tiéng néi 27 2.1, Sơ đồ quá trình tạo tiếng nói bình thường. Sơ đỗ quá trình tạo tiếng nói cảm xúc.

Quá trinh hoạt động. Huấn luyện mô hình - ¬ 29 27. Thiết kể thủ nghiệm ¬ se. Thí nghiệm O1 — Mồ hình MI - 31 3.

Thí nghiệm 02 — Mô hình M2 - 32 2. Thí nghiệm 03 — Mô hình M3 - 32 2. Thí nghiệm 04— Mô hình M4. Thí nghiêm 05 — Chuyến đối cảm xúc 33 27.

Thínghiệm 06 Đánh giả phần cứng 3. Tổng kết 35 GHƯƠNG 3. DÀNH GIÁ KẾT QUÁ TÔNG HỢP. Công cụ đánh giá.

Tổng hợp kết quá danh giả. sexy LOI NOI DAU Lời nói là một phương tiện giao tiếp bằng ngôn ngữ, là công cụ cơ bản nhất của loài người giúp la có thể giao tiếp, bộc lộ cảm xúc, suy nghĩ, trao đổi kinh nghiệm vả thông tin. Xã hội và công nghệ ngày cảng phát triển, các loại may móc được phát mình để thay thế sức lao động cho con người ngày cảng nhiều khiển cho nhu câu giao tiếp giữa người và máy móc cũng ngay cảng tăng lên, Do đó xử lý tiếng nói trở thành một trong những lĩnh vực quan trọng và được quan tâm Một lời nói dược coi là truyền đạt hiệu quá khi thể hiện dược nội đụng của từ ngữ và cảm xúc của người nói Vì vậy, việc đưa ngữ điệu và căm xúc vào tiếng nói tống hợp sẽ có những đóng gớp quan trọng trong việc nâng cao hiệu quá giao tiếp giữa người và máy. Irong những năm gân đây, các hệ thông tổng tiợp tiếng Việt đã đạt được rất nhiều thành tựu đáng ghi nhận.

Tuy nhiên, việc đưa cảm xúc vào câu nói tổng hợp còn gặp nhiều khó khăn. Sử đụng các cách tiếp cận truyền thống vá thay đổi đữ liệu huấn luyện có hiệu quả trong việc lâm. đữ liên c6 cảm xúc hơn nhưng không mang lại sự tự nhiên trong tiếng nói, thêm vào đó lại vỏ cùng tốn kém vẻ chỉ phí và công súc chuẩn bị. Hon nữa, khả năng mở rộng nếu thêm các cảm xúc, phong cách nói mới cũng gặp nhiều hạn chế.

Nhận thức được vẫn để nảy, tác giả đã tiến hành nghiên cứu để tài “Tổng hợp tiếng Việt có cảm xúc bằng học máy” nhằm tim ra và để xuất một phương pháp có hiện quả hơn trong việc xử lý tiếng Việt tổng hợp. Bài nghiên cứu hướng tới 3 mục tiêu chính: Thứ nhất, hệ thông hóa lại những kiến thức cơ bản về tổng hợp tiếng nói, sơ lược cáo phương pháp và kết quả của các nghiên cũu nội bật củng để tải đã có. Thứ hai, tác giả thông qua nghiên cứu, tìm hiểu, thử nghiệm đề đề xuất ra phương pháp tổng hợp tiếng nỏi cỏ cảm xúc hiệu quả. Cuỏi cùng, từ những kết quả thục nghiệm thu được, tắc giả sé danh giá hiệu quá của mô hình vả đề xuất phương hướng phát triển trong tương lại Dé tai dược thực hiện dựa trên phương pháp nghiên cứu tổng hợp cơ sở lý thuyết của các mô hình tổng hợp tiếng nói nói chung và tiếng Việt nói riêng, kết.

hop với phương pháp thực nghiệm để tr ra mô hình học máy phù hợp, huận: luyện cho bộ tổng hợp dựa trên dữ liệu tiếng Việt có cảm xúc của bộ đữ liệu đã LOI NOI DAU Lời nói là một phương tiện giao tiếp bằng ngôn ngữ, là công cụ cơ bản nhất của loài người giúp la có thể giao tiếp, bộc lộ cảm xúc, suy nghĩ, trao đổi kinh nghiệm vả thông tin. Xã hội và công nghệ ngày cảng phát triển, các loại may móc được phát mình để thay thế sức lao động cho con người ngày cảng nhiều khiển cho nhu câu giao tiếp giữa người và máy móc cũng ngay cảng tăng lên, Do đó xử lý tiếng nói trở thành một trong những lĩnh vực quan trọng và được quan tâm Một lời nói dược coi là truyền đạt hiệu quá khi thể hiện dược nội đụng của từ ngữ và cảm xúc của người nói Vì vậy, việc đưa ngữ điệu và căm xúc vào tiếng nói tống hợp sẽ có những đóng gớp quan trọng trong việc nâng cao hiệu quá giao tiếp giữa người và máy. Irong những năm gân đây, các hệ thông tổng tiợp tiếng Việt đã đạt được rất nhiều thành tựu đáng ghi nhận. Tuy nhiên, việc đưa cảm xúc vào câu nói tổng hợp còn gặp nhiều khó khăn.

Sử đụng các cách tiếp cận truyền thống vá thay đổi đữ liệu huấn luyện có hiệu quả trong việc lâm. đữ liên c6 cảm xúc hơn nhưng không mang lại sự tự nhiên trong tiếng nói, thêm vào đó lại vỏ cùng tốn kém vẻ chỉ phí và công súc chuẩn bị. Hon nữa, khả năng mở rộng nếu thêm các cảm xúc, phong cách nói mới cũng gặp nhiều hạn chế. Nhận thức được vẫn để nảy, tác giả đã tiến hành nghiên cứu để tài “Tổng hợp tiếng Việt có cảm xúc bằng học máy” nhằm tim ra và để xuất một phương pháp có hiện quả hơn trong việc xử lý tiếng Việt tổng hợp.

Bài nghiên cứu hướng tới 3 mục tiêu chính: Thứ nhất, hệ thông hóa lại những kiến thức cơ bản về tổng hợp tiếng nói, sơ lược cáo phương pháp và kết quả của các nghiên cũu nội bật củng để tải đã có. Thứ hai, tác giả thông qua nghiên cứu, tìm hiểu, thử nghiệm đề đề xuất ra phương pháp tổng hợp tiếng nỏi cỏ cảm xúc hiệu quả. Cuỏi cùng, từ những kết quả thục nghiệm thu được, tắc giả sé danh giá hiệu quá của mô hình vả đề xuất phương hướng phát triển trong tương lại Dé tai dược thực hiện dựa trên phương pháp nghiên cứu tổng hợp cơ sở lý thuyết của các mô hình tổng hợp tiếng nói nói chung và tiếng Việt nói riêng, kết. hop với phương pháp thực nghiệm để tr ra mô hình học máy phù hợp, huận: luyện cho bộ tổng hợp dựa trên dữ liệu tiếng Việt có cảm xúc của bộ đữ liệu đã LOI NOI DAU Lời nói là một phương tiện giao tiếp bằng ngôn ngữ, là công cụ cơ bản nhất của loài người giúp la có thể giao tiếp, bộc lộ cảm xúc, suy nghĩ, trao đổi kinh nghiệm vả thông tin.

Xã hội và công nghệ ngày cảng phát triển, các loại may móc được phát mình để thay thế sức lao động cho con người ngày cảng nhiều khiển cho nhu câu giao tiếp giữa người và máy móc cũng ngay cảng tăng lên, Do đó xử lý tiếng nói trở thành một trong những lĩnh vực quan trọng và được quan tâm Một lời nói dược coi là truyền đạt hiệu quá khi thể hiện dược nội đụng của từ ngữ và cảm xúc của người nói Vì vậy, việc đưa ngữ điệu và căm xúc vào tiếng nói tống hợp sẽ có những đóng gớp quan trọng trong việc nâng cao hiệu quá giao tiếp giữa người và máy. Irong những năm gân đây, các hệ thông tổng tiợp tiếng Việt đã đạt được rất nhiều thành tựu đáng ghi nhận. Tuy nhiên, việc đưa cảm xúc vào câu nói tổng hợp còn gặp nhiều khó khăn. Sử đụng các cách tiếp cận truyền thống vá thay đổi đữ liệu huấn luyện có hiệu quả trong việc lâm.

đữ liên c6 cảm xúc hơn nhưng không mang lại sự tự nhiên trong tiếng nói, thêm vào đó lại vỏ cùng tốn kém vẻ chỉ phí và công súc chuẩn bị. Hon nữa, khả năng mở rộng nếu thêm các cảm xúc, phong cách nói mới cũng gặp nhiều hạn chế. Nhận thức được vẫn để nảy, tác giả đã tiến hành nghiên cứu để tài “Tổng hợp tiếng Việt có cảm xúc bằng học máy” nhằm tim ra và để xuất một phương pháp có hiện quả hơn trong việc xử lý tiếng Việt tổng hợp. Bài nghiên cứu hướng tới 3 mục tiêu chính: Thứ nhất, hệ thông hóa lại những kiến thức cơ bản về tổng hợp tiếng nói, sơ lược cáo phương pháp và kết quả của các nghiên cũu nội bật củng để tải đã có.

Thứ hai, tác giả thông qua nghiên cứu, tìm hiểu, thử nghiệm đề đề xuất ra phương pháp tổng hợp tiếng nỏi cỏ cảm xúc hiệu quả. Cuỏi cùng, từ những kết quả thục nghiệm thu được, tắc giả sé danh giá hiệu quá của mô hình vả đề xuất phương hướng phát triển trong tương lại Dé tai dược thực hiện dựa trên phương pháp nghiên cứu tổng hợp cơ sở lý thuyết của các mô hình tổng hợp tiếng nói nói chung và tiếng Việt nói riêng, kết. hop với phương pháp thực nghiệm để tr ra mô hình học máy phù hợp, huận: luyện cho bộ tổng hợp dựa trên dữ liệu tiếng Việt có cảm xúc của bộ đữ liệu đã 3. Thang do Mean Opinion Score (MOS).

Trực quan hỏa đữ Hiệu bằng T-distributed Stochastic Neighbor Timbeddinp. KẾT LUẬN VA ĐỊNH HƯỚNG PHÁT TRIÊN 34 41. cu HH HH He hi ru 54 4. Đinh hướng phát triển ¬_ 55 DANH MỤC TÀI LIỆU THAM KHẢO.

"— am 56 1H LOLCAM DOAN 'Tôi xin cam kết luận văn tốt nghiệp là công trình nghiên cửu của bán thân tôi dười sự hưởng, dẫn của 18. Nguyễn Hồng Quang, Các kết quả nêu trong luận văn tốt nghiệp là trung thực, không phải là sao chép toàn văn của bất kỳ công trình nảo khác Hà Nội, ngày 08 tháng Ï2 năm 2031 Tác giả luận vẫn Lê Trọng An MỤC LỤC MỤC LỤC - i DANI MUC BANG. vi DANH MUC CAC TU VIET TAT VA THUAT NCU vii CHUONG 1. CƠ SỞ LÝ THUYẾT VÀ CÁC CÔNG TRÌNH NGHIÊN CUU 1 1.

Giới thiện chung 1 1. Sơ bệ nghiên cửu về các phương pháp truyền thông. Tổng hợp hếng nói Tre Tre 1 1. Lựa chọn Voeodir.

HH ng te eerree 3 1.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ