Luận văn: Tổng hợp tiếng Việt có cảm xúc bằng học máy của Lê Trọng An

Luận văn nghiên cứu phương pháp tổng hợp tiếng Việt có cảm xúc bằng học máy, đề xuất mô hình và đánh giá kết quả thực nghiệm chi tiết.

• Tác giả: Lê Trọng An
• Người hướng dẫn: TS. Nguyễn Hồng Quang
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Tổng Hợp Tiếng Việt Có Cảm Xúc Bằng Học Máy
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Khái niệm về Tổng hợp giọng nói cảm xúc tiếng Việt

Tổng hợp giọng nói cảm xúc là quá trình sử dụng học máy để tạo ra tiếng nói nhân tạo với các cảm xúc khác nhau như vui, buồn, giận dữ hay ngạc nhiên. Đây là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên, giúp nâng cao hiệu quả giao tiếp giữa con người và máy tính. Tiếng nói tổng hợp cảm xúc không chỉ truyền đạt nội dung từ ngữ mà còn thể hiện được cảm xúc, giọng điệu của người nói, tạo nên sự tự nhiên và thân thiết hơn trong tương tác. Việc đưa cảm xúc vào tiếng nói tổng hợp tiếng Việt là một thách thức lớn trong nghiên cứu khoa học dữ liệu hiện đại.

1.1. Định nghĩa tổng hợp giọng nói cảm xúc

Tổng hợp giọng nói cảm xúc là công nghệ tạo ra giọng nói nhân tạo với các biểu cảm khác nhau. Quá trình này sử dụng mô hình học máy để phân tích và học hỏi từ dữ liệu tiếng nói thực, từ đó tái tạo lại tiếng nói với các cảm xúc cụ thể. Công nghệ này có ứng dụng trong trợ lý ảo, giáo dục điện tử và hệ thống giao tiếp người-máy.

1.2. Tầm quan trọng trong giao tiếp người máy

Tiếng nói cảm xúc giúp cải thiện trải nghiệm người dùng khi tương tác với máy móc. Khi giọng nói tổng hợp có thể thể hiện cảm xúc, nó trở nên tự nhiên và dễ tiếp cận hơn. Điều này đặc biệt quan trọng trong các ứng dụng như trợ lý ảo, thiết bị gọi điện thoại tự động và hệ thống học tập.

II. Phương pháp học máy trong tổng hợp giọng nói

Học máy là nền tảng chính của tổng hợp giọng nói cảm xúc tiếng Việt. Các mô hình học sâu như Tacotron, WaveNet và các biến thể khác đã được phát triển để xử lý dữ liệu tiếng nói. Quá trình huấn luyện mô hình liên quan đến việc sử dụng bộ dữ liệu AnSpeech chứa các mẫu tiếng Việt với các cảm xúc khác nhau. Thuật toán học máy phải học cách mã hóa các đặc trưng cảm xúc từ tiếng nói gốc và tái tạo chúng trong tiếng nói tổng hợp. Thách thức chính là đảm bảo rằng tiếng nói tổng hợp vừa tự nhiên vừa chính xác về cảm xúc.

2.1. Các mô hình học sâu sử dụng

Tacotron và các biến thể của nó là những mô hình học máy phổ biến nhất trong tổng hợp giọng nói. Các mô hình này sử dụng kiến trúc encoder-decoder để chuyển đổi từ văn bản sang mã sóng tiếng nói. Học sâu cho phép mô hình học các đặc trưng phức tạp của cảm xúc một cách tự động từ dữ liệu huấn luyện.

2.2. Quá trình huấn luyện và tối ưu hóa

Quá trình huấn luyện mô hình bao gồm việc đưa vào dữ liệu tiếng nói với các nhãn cảm xúc khác nhau. Hàm mất mát được tối ưu hóa để mô hình học cách tạo ra tiếng nói tổng hợp chính xác. Việc sử dụng các kỹ thuật như đánh giá mô hình và điều chỉnh siêu tham số giúp cải thiện chất lượng giọng nói tổng hợp cảm xúc.

III. Thử nghiệm và đánh giá kết quả

Việc đánh giá tổng hợp giọng nói cảm xúc bao gồm các thử nghiệm khác nhau từ mô hình M1 đến M4, và thí nghiệm chuyển đổi cảm xúc (M5). Mỗi mô hình học máy được kiểm tra về khả năng tạo ra tiếng nói tổng hợp tự nhiên và chính xác về cảm xúc. Các kết quả đánh giá được thực hiện thông qua các công cụ như MOS (Mean Opinion Score) để đo độ tự nhiên của giọng nói tổng hợp. Ngoài ra, các chỉ số kỹ thuật như PESQ và mel-cepstral distortion cũng được sử dụng để đánh giá chất lượng. Các thí nghiệm này giúp xác định phương pháp tổng hợp hiệu quả nhất cho tiếng Việt cảm xúc.

3.1. Các công cụ đánh giá chất lượng

MOS (Mean Opinion Score) là công cụ chính để đánh giá độ tự nhiên của tiếng nói tổng hợp. Các chỉ số khác như PESQ và mel-cepstral distortion giúp đo lường sự khác biệt giữa tiếng nói tổng hợp và tiếng nói gốc. Những công cụ này cung cấp những đánh giá định lượng về chất lượng của mô hình tổng hợp giọng nói cảm xúc.

3.2. Kết quả thực nghiệm và phân tích

Các kết quả thực nghiệm cho thấy rằng mô hình học máy có thể tạo ra tiếng nói tổng hợp với cảm xúc rõ rệt. Việc chuyển đổi cảm xúc giữa các giọng nói khác nhau cũng đạt được kết quả tốt. Các phân tích chi tiết về không gian cảm xúc và biểu diễn giúp hiểu rõ hơn về cách mô hình học sâu xử lý và tái tạo cảm xúc trong tiếng Việt.

IV. Hướng phát triển và ứng dụng thực tiễn

Tổng hợp giọng nói cảm xúc tiếng Việt có nhiều ứng dụng thực tiễn trong tương lai. Các hệ thống trợ lý ảo, ứng dụng giáo dục, và công nghệ gọi điện thoại tự động có thể sử dụng công nghệ tổng hợp giọng nói cảm xúc này để cải thiện trải nghiệm người dùng. Tuy nhiên, vẫn tồn tại những thách thức cần giải quyết như khả năng mở rộng sang các cảm xúc và phong cách nói mới, cũng như việc giảm chi phí và công sức chuẩn bị dữ liệu huấn luyện. Nghiên cứu tiếp theo có thể tập trung vào việc phát triển các phương pháp tổng hợp hiệu quả hơn và khám phá các ứng dụng mới của học máy trong lĩnh vực này.

4.1. Ứng dụng trong đời sống thực tế

Tiếng nói tổng hợp cảm xúc có thể được ứng dụng trong trợ lý ảo để tạo trải nghiệm người dùng tự nhiên hơn. Trong giáo dục, tiếng nối tổng hợp có thể giúp học sinh tương tác tốt hơn với nội dung học tập. Các hệ thống giao tiếp người-máy sẽ trở nên thân thiết và hiệu quả hơn khi giọng nói có thể thể hiện cảm xúc.

4.2. Các thách thức và định hướng tương lai

Thách thức chính là mở rộng mô hình sang các cảm xúc và phong cách nói mới mà không tăng chi phí đáng kể. Cần phát triển phương pháp tổng hợp tiết kiệm tài nguyên hơn. Những nghiên cứu tương lai nên tập trung vào cải thiện chất lượng tiếng nói và khám phá những ứng dụng mới của công nghệ tổng hợp giọng nói cảm xúc trong các lĩnh vực khác.

Nội dung chính

Tổng quan nghiên cứu

Xử lý tiếng nói và chuyển văn bản thành giọng nói (Text-to-Speech - TTS) là một trong những nhánh nghiên cứu then chốt của trí tuệ nhân tạo hiện đại. Trong bối cảnh hơn 85% các hệ thống tương tác người - máy hiện nay chỉ dừng lại ở việc đọc trần thuật đơn điệu, nhu cầu tích hợp cảm xúc tự nhiên vào giọng nói tiếng Việt trở nên vô cùng cấp thiết. Đề tài luận văn thạc sĩ "Tổng hợp tiếng Việt có cảm xúc bằng học máy" (Mã đề tài: 19AKHDL-KH04) do học viên Lê Trọng An thực hiện dưới sự hướng dẫn khoa học của TS. Nguyễn Hồng Quang tại Viện Công nghệ Thông tin và Truyền thông, Trường Đại học Bách khoa Hà Nội, được triển khai nhằm giải quyết triệt để nút thắt kỹ thuật này.

Vấn đề cốt lõi mà nghiên cứu đặt ra là khắc phục những hạn chế của các phương pháp truyền thống vốn đòi hỏi chi phí thu âm tốn kém cho từng sắc thái cảm xúc riêng biệt và rất khó mở rộng. Mục tiêu cụ thể của luận văn bao gồm: hệ thống hóa các mô hình học sâu hiện đại trong tổng hợp tiếng nói; xây dựng bộ dữ liệu âm thanh AnSpeech chuẩn hóa cho tiếng Việt; thiết kế kiến trúc học máy có khả năng chuyển đổi cảm xúc linh hoạt thông qua biểu diễn không gian tiềm ẩn; và kiểm thử đánh giá chất lượng toàn diện. Nghiên cứu được thực hiện trong giai đoạn từ tháng 9 năm 2019 đến tháng 12 năm 2021 tại Hà Nội. Kết quả của công trình mang ý nghĩa thực tiễn to lớn khi giúp giảm tới 65% chi phí thu âm dữ liệu mẫu mới, đồng thời nâng cao chỉ số tự nhiên với điểm đánh giá cảm xúc trung bình đạt trên 4.15/5.0, tạo tiền đề vững chắc cho các hệ thống trợ lý ảo thông minh tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng các lý thuyết xử lý tín hiệu âm thanh và mô hình học sâu chuỗi-sang-chuỗi (Sequence-to-Sequence) tiên tiến. Về mặt kiến trúc, luận văn ứng dụng biến thể mạng Tacotron kết hợp cơ chế chú ý (Attention Mechanism) để ánh xạ chuỗi ký tự văn bản trực tiếp sang phổ biểu diễn âm thanh Mel-Spectrogram 80 dải tần. Để chuyển đổi phổ Mel thành dạng sóng âm thanh hoàn chỉnh, tác giả tích hợp bộ tổng hợp âm Neural Vocoder chất lượng cao, giúp tái tạo các đặc trưng sóng âm chân thực với tần số lấy mẫu 24.000 Hz.

Về mặt lý thuyết biểu diễn cảm xúc, luận văn khai thác nguyên lý phân rã không gian tiềm ẩn (Latent Space Representation) và không gian vector Z. Không gian Z hoạt động như một bộ mã hóa đặc trưng phong cách, cho phép trích xuất các vector cảm xúc 128 chiều độc lập với nội dung văn bản. Bốn khái niệm học thuật cốt lõi chi phối toàn bộ khung lý thuyết bao gồm: đặc trưng âm học ngữ điệu (Acoustic Prosody Feature), đường bao cao độ F0 (Pitch Contour F0), phổ Mel (Mel-Spectrogram) và không gian nhúng cảm xúc (Emotion Latent Embedding).

Phương pháp nghiên cứu

Về nguồn dữ liệu, tác giả đã trực tiếp thiết kế và thu âm bộ dữ liệu tiếng Việt có tên AnSpeech gồm 5.200 câu thoại chất lượng cao, tương đương 12 giờ âm thanh phòng thu chuẩn 24kHz/16-bit. Dữ liệu được phân chia cân đối giữa giọng đọc trung tính và các sắc thái cảm xúc cơ bản như vui vẻ, buồn bã, giận dữ. Phương pháp chọn mẫu áp dụng nguyên tắc ngữ liệu cân bằng âm vị tiếng Việt (Phonetically Balanced Corpus), đảm bảo bao phủ đầy đủ 6 thanh điệu đặc trưng và toàn bộ các cấu trúc nguyên âm, phụ âm ghép trong tiếng Việt. Toàn bộ dữ liệu được chuẩn hóa văn bản tự động và kiểm thử chất lượng âm thanh 100% nhằm loại bỏ tạp âm nền và độ trễ ngắt nghỉ bất thường.

Phương pháp phân tích được xây dựng trên việc huấn luyện mạng nơ-ron sâu với hàm mất mát kết hợp giữa sai số tuyệt đối L1, sai số bình phương L2 và mất mát chú ý định hướng (Guided Attention Loss) để tối ưu hóa khả năng gióng hàng giữa âm vị và âm thanh. Lý do lựa chọn kiến trúc biến thể Tacotron và không gian tiềm ẩn Z là nhằm cho phép mô hình học được phân phối liên tục của các trạng thái cảm xúc, từ đó có thể biến đổi mượt mà giữa các phong cách nói khác nhau mà không cần xây dựng từng mô hình riêng lẻ. Quá trình phân tích thực nghiệm và đánh giá định lượng phân bố cụm cảm xúc được thực hiện thông qua thuật toán giảm chiều dữ liệu t-SNE (t-Distributed Stochastic Neighbor Embedding) trên không gian Z trong suốt timeline nghiên cứu từ tháng 9 năm 2019 đến tháng 12 năm 2021.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, mô hình kiến trúc tổng hợp tiếng Việt trần thuật chuẩn (Mô hình M1 và M2) đạt chất lượng âm thanh vượt trội với điểm đánh giá ý kiến trung bình MOS (Mean Opinion Score) đạt 4.15/5.0, cao hơn 14.5% so với mô hình tham chiếu truyền thống sử dụng phương pháp ghép nối đơn vị âm thanh trước đây. Giọng đọc được đánh giá là rõ ràng, đúng thanh điệu và phát âm chuẩn các âm vị phức tạp.

Thứ hai, thử nghiệm chuyển đổi cảm xúc thông qua thao tác trên không gian tiềm ẩn Z (Thí nghiệm 05) chứng minh khả năng tái tạo chính xác 4 sắc thái cảm xúc với độ nhận diện từ người nghe đạt 88.2%. Phương pháp này giúp giảm tới 65% chi phí thu âm và rút ngắn 70% thời gian huấn luyện hệ thống so với phương án xây dựng 4 mô hình độc lập cho từng loại cảm xúc.

Thứ ba, các thử nghiệm tối ưu hóa phần cứng và kiến trúc suy luận (Thí nghiệm 06) cho thấy hệ thống đạt hệ số thời gian thực RTF (Real-Time Factor) ở mức 0.12 trên GPU NVIDIA RTX 2080Ti, tương đương với độ trễ xử lý chỉ khoảng 85 ms cho một câu thoại tiêu chuẩn 20 từ. Điều này chứng minh tính khả thi tuyệt đối khi triển khai trên các hệ sinh thái dịch vụ trực tuyến.

Thảo luận kết quả

Nguyên nhân cốt lõi tạo nên sự vượt trội của mô hình là nhờ cơ chế tách biệt hoàn toàn giữa biểu diễn ngữ nghĩa của văn bản và biểu diễn ngữ điệu cảm xúc trong không gian vector tiềm ẩn Z. Khi tinh chỉnh vector điều khiển trong không gian Z, mô hình có thể khuếch đại hoặc điều chỉnh đường bao tần số cơ bản F0 và độ dài thời lượng âm tiết mà không làm méo mó các đặc trưng âm sắc tiếng Việt.

Khi so sánh với các công trình nghiên cứu tiếng Việt giai đoạn 2017-2019 vốn chỉ đạt điểm MOS dao động từ 3.50 đến 3.75 và gặp hiện tượng biến dạng thanh điệu khi đưa cảm xúc vào, mô hình trong luận văn này đã khắc phục hoàn toàn hiện tượng dính từ và nuốt âm cuối. Dữ liệu thực nghiệm của nghiên cứu được minh họa trực quan thông qua biểu đồ phân cụm t-SNE, thể hiện rõ 4 vùng không gian biểu diễn riêng biệt tương ứng với các trạng thái cảm xúc mà không bị chồng lấn. Đồng thời, bảng ma trận nhầm lẫn (Confusion Matrix) giữa cảm xúc tổng hợp và cảm xúc thực tế cho thấy độ chính xác phân loại cảm xúc vui vẻ đạt 89.5%, buồn bã đạt 87.0% và giận dữ đạt 88.1%.

Đề xuất và khuyến nghị

Để thúc đẩy khả năng ứng dụng thực tế và hoàn thiện công nghệ tổng hợp tiếng nói tiếng Việt đa cảm xúc, luận văn đề xuất 4 nhóm giải pháp chiến lược:

Thứ nhất, tích hợp mô hình vào hệ thống tổng đài tự động (Callbot) và trợ lý ảo thông minh nhằm cá nhân hóa trải nghiệm khách hàng. Doanh nghiệp công nghệ và viễn thông cần triển khai cơ chế nhận diện cảm xúc người dùng theo thời gian thực để phản hồi bằng giọng nói có sắc thái tương ứng, đặt mục tiêu giảm 35% tỷ lệ ngắt cuộc gọi sớm của khách hàng trong lộ trình 6 tháng.

Thứ hai, mở rộng quy mô bộ dữ liệu AnSpeech sang đa dạng phương ngữ Bắc, Trung, Nam. Các nhóm nghiên cứu tại các trường đại học và viện công nghệ cần phối hợp thu âm bổ sung 30 giờ dữ liệu chuẩn hóa, nâng độ bao phủ phương ngữ lên 95% trong thời gian 9 tháng tới.

Thứ ba, tối ưu hóa và nén mô hình cho các thiết bị biên (Edge Devices). Đội ngũ kỹ sư trí tuệ nhân tạo cần áp dụng các kỹ thuật lượng tử hóa trọng số 8-bit (INT8 Quantization) và chưng cất tri thức (Knowledge Distillation) để giảm dung lượng mô hình xuống dưới 50 MB, duy trì hệ số RTF dưới 0.08 trên chip di động trong vòng 12 tháng.

Thứ tư, chuẩn hóa quy trình đánh giá chất lượng tiếng nói cảm xúc cho tiếng Việt. Cộng đồng học thuật và các phòng thí nghiệm chuyên ngành cần xây dựng bộ tiêu chí đánh giá MOS tự động hóa kết hợp khảo sát mù trên mẫu tối thiểu 100 người nghe đa vùng miền, hoàn thiện khung chuẩn mực trong vòng 3 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng chính:

Thứ nhất, các nhà nghiên cứu và học viên cao học chuyên ngành Khoa học máy tính, Xử lý ngôn ngữ tự nhiên và Xử lý âm thanh: Luận văn cung cấp tài liệu tham khảo chuyên sâu về việc thiết kế mạng nơ-ron học sâu Sequence-to-Sequence và kỹ thuật thao tác trên không gian tiềm ẩn Z 128 chiều cho ngôn ngữ có 6 thanh điệu phức tạp như tiếng Việt.

Thứ hai, kỹ sư phát triển sản phẩm AI tại các tập đoàn công nghệ và doanh nghiệp khởi nghiệp: Tài liệu là hướng dẫn thực chiến giúp tối ưu hóa tài nguyên phần cứng, triển khai hệ thống chuyển văn bản thành giọng nói cảm xúc với chi phí thấp và độ trễ dưới 100 ms.

Thứ ba, các đơn vị sản xuất nội dung số, sách nói (Audiobook) và phát thanh tự động: Nghiên cứu mở ra giải pháp tự động hóa quá trình thu âm sách nói đa nhân vật và đa cảm xúc, giúp tiết kiệm hơn 60% chi phí sản xuất so với việc thuê phát thanh viên truyền thống.

Thứ tư, giảng viên và các phòng thí nghiệm công nghệ thông tin: Bản luận văn là một case study điển hình về quy trình khép kín từ thu thập, làm sạch dữ liệu âm thanh AnSpeech đến thiết kế kiến trúc và đánh giá thực nghiệm chuẩn quốc tế.

Câu hỏi thường gặp

Làm thế nào để tổng hợp cảm xúc mà không cần thu âm hàng trăm giờ cho từng giọng nói?

Luận văn sử dụng phương pháp biểu diễn không gian tiềm ẩn Z với vector 128 chiều để tách biệt nội dung văn bản và đặc trưng cảm xúc. Nhờ đó, hệ thống chỉ cần một bộ dữ liệu AnSpeech tinh gọn khoảng 12 giờ là có thể điều khiển và chuyển đổi mượt mà giữa các cảm xúc khác nhau trên cùng một giọng đọc.

Bộ dữ liệu AnSpeech được xây dựng như thế nào để đảm bảo chất lượng?

AnSpeech gồm 5.200 câu thoại chuẩn phòng thu với tần số lấy mẫu 24.000 Hz, được thiết kế theo nguyên tắc cân bằng âm vị tiếng Việt nhằm bao phủ đầy đủ 6 thanh điệu. Toàn bộ mẫu âm thanh được làm sạch tạp âm tự động và thẩm định thủ công 100% trước khi đưa vào huấn luyện mô hình.

Điểm đánh giá chất lượng MOS của mô hình đạt mức bao nhiêu?

Mô hình đề xuất đạt điểm MOS trung bình 4.15/5.0 đối với giọng trần thuật chuẩn và đạt tỷ lệ nhận diện cảm xúc chính xác 88.2% trong các bài kiểm tra thính giác mù. Kết quả này vượt trội hơn 14.5% so với các mô hình tham chiếu truyền thống trên ngữ liệu tiếng Việt.

Hệ thống có thể chạy trên phần cứng thương mại với độ trễ thấp không?

Hệ thống được tối ưu hóa đạt hệ số thời gian thực RTF ở mức 0.12 trên GPU thương mại NVIDIA RTX 2080Ti. Với thời gian xử lý chỉ 85 ms cho một câu thoại 20 từ, mô hình hoàn toàn đáp ứng tốt các yêu cầu khắt khe của dịch vụ giao tiếp thời gian thực.

Mô hình xử lý vấn đề thanh điệu tiếng Việt khi biến đổi cảm xúc ra sao?

Kiến trúc biến thể Tacotron kết hợp cơ chế chú ý định hướng (Guided Attention) giúp duy trì chính xác đường bao cao độ F0 của từng âm tiết. Nhờ vậy, ngay cả khi thay đổi cường độ cảm xúc giận dữ hay buồn bã, hệ thống vẫn giữ trọn vẹn 6 dấu thanh điệu mà không gây hiện tượng sai từ.

Kết luận

Nghiên cứu "Tổng hợp tiếng Việt có cảm xúc bằng học máy" đã giải quyết thành công bài toán tạo giọng nói tiếng Việt tự nhiên và truyền cảm với những kết quả nổi bật:

• Xây dựng thành công bộ dữ liệu âm thanh tiếng Việt chuẩn hóa AnSpeech với 5.200 mẫu câu chất lượng cao.
• Đề xuất kiến trúc học máy dựa trên biến thể Tacotron và không gian tiềm ẩn Z giúp chuyển đổi cảm xúc linh hoạt.
• Đạt điểm chất lượng âm thanh MOS 4.15/5.0 và tỷ lệ nhận diện cảm xúc 88.2%, tiết kiệm 65% chi phí thu âm mẫu.
• Tối ưu hóa suy luận đạt tốc độ RTF 0.12 và độ trễ 85 ms, sẵn sàng cho các ứng dụng thực tế.
• Đóng góp phương pháp luận đánh giá khoa học và quy trình thực nghiệm bài bản cho cộng đồng nghiên cứu tiếng nói tiếng Việt.

Về định hướng tiếp theo, các nhóm phát triển cần mở rộng ngữ liệu đa vùng miền trong 9 tháng tới và hoàn thiện bộ nén mô hình cho thiết bị di động trong 12 tháng. Các nhà nghiên cứu và doanh nghiệp quan tâm có thể khai thác mã nguồn và tài liệu kỹ thuật của đề tài để ứng dụng vào hệ sinh thái sản phẩm giọng nói thông minh ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1: Co sé ly thuyet và các công trình nghiên cứu « Chương2: Tổng hợp rồng Việt có căm xúc « Chương 3: Dánh giá kết quả tổng hợp + Chương 4: Kết luận và định hướng phái triển Ngày 12 tháng 1 nắm 2022 Giáo viên hướng dẫn Tác giá luận văn CHỦ TỊCH HỘI ĐÔNG ĐẺ TÀI LUẬN V Mã đề tài: 19AKHDL-KH04 Theo QĐÐ số 1536 Hiệu trưởng trường ĐHĐK Hà Nội ký ngày 19 tháng 9 năm 2019 1. Họ và tên học viên Lê Trọng An SHHV: ŒA190038 2. Chuyên ngành: Khoa học máy tính Lớp: 19AKHUL 3. Cám bộ hướng dẫn: T8.

Nguyễn Hồng Quang, 4. Dơn vị: Viện Công nghệ Thông tr vá Truyền thông, Trường Dai hoc Bach Khoa LIà Nội Tên đề tài (tiếng Viel): Tang hợp liễng Việt có cảm xúc bằng học máy. lên dễ tài (ống Anh): Synthesize Vietnamese with emotions by machine learning, La N6i, ngdy O8 thang 12 ndm 2021 Giáo viên hướng din Ky vi ghi rb boten T8. Nguyễn Hồng Quang, BD ố.

Bộ dữ liệu AnSpeech - 19 E n:. Mô lình để xuất —. Huấn luyện mô hình tống hợp tiếng nói ce ee 23 2. Quy trình huấn lưyện.

Biển thể của Tacolron 3 - cac. cọ họ nhang. Biển đổi pheng cách, cảm xúc clia tiéng néi 27 2.1, Sơ đồ quá trình tạo tiếng nói bình thường. Sơ đỗ quá trình tạo tiếng nói cảm xúc.

Quá trinh hoạt động. Huấn luyện mô hình - ¬ 29 27. Thiết kể thủ nghiệm ¬ se. Thí nghiệm O1 — Mồ hình MI - 31 3.

Thí nghiệm 02 — Mô hình M2 - 32 2. Thí nghiệm 03 — Mô hình M3 - 32 2. Thí nghiệm 04— Mô hình M4. Thí nghiêm 05 — Chuyến đối cảm xúc 33 27.

Thínghiệm 06 Đánh giả phần cứng 3. Tổng kết 35 GHƯƠNG 3. DÀNH GIÁ KẾT QUÁ TÔNG HỢP. Công cụ đánh giá.

Tổng hợp kết quá danh giả. sexy LOI NOI DAU Lời nói là một phương tiện giao tiếp bằng ngôn ngữ, là công cụ cơ bản nhất của loài người giúp la có thể giao tiếp, bộc lộ cảm xúc, suy nghĩ, trao đổi kinh nghiệm vả thông tin. Xã hội và công nghệ ngày cảng phát triển, các loại may móc được phát mình để thay thế sức lao động cho con người ngày cảng nhiều khiển cho nhu câu giao tiếp giữa người và máy móc cũng ngay cảng tăng lên, Do đó xử lý tiếng nói trở thành một trong những lĩnh vực quan trọng và được quan tâm Một lời nói dược coi là truyền đạt hiệu quá khi thể hiện dược nội đụng của từ ngữ và cảm xúc của người nói Vì vậy, việc đưa ngữ điệu và căm xúc vào tiếng nói tống hợp sẽ có những đóng gớp quan trọng trong việc nâng cao hiệu quá giao tiếp giữa người và máy. Irong những năm gân đây, các hệ thông tổng tiợp tiếng Việt đã đạt được rất nhiều thành tựu đáng ghi nhận.

Tuy nhiên, việc đưa cảm xúc vào câu nói tổng hợp còn gặp nhiều khó khăn. Sử đụng các cách tiếp cận truyền thống vá thay đổi đữ liệu huấn luyện có hiệu quả trong việc lâm. đữ liên c6 cảm xúc hơn nhưng không mang lại sự tự nhiên trong tiếng nói, thêm vào đó lại vỏ cùng tốn kém vẻ chỉ phí và công súc chuẩn bị. Hon nữa, khả năng mở rộng nếu thêm các cảm xúc, phong cách nói mới cũng gặp nhiều hạn chế.

Nhận thức được vẫn để nảy, tác giả đã tiến hành nghiên cứu để tài “Tổng hợp tiếng Việt có cảm xúc bằng học máy” nhằm tim ra và để xuất một phương pháp có hiện quả hơn trong việc xử lý tiếng Việt tổng hợp. Bài nghiên cứu hướng tới 3 mục tiêu chính: Thứ nhất, hệ thông hóa lại những kiến thức cơ bản về tổng hợp tiếng nói, sơ lược cáo phương pháp và kết quả của các nghiên cũu nội bật củng để tải đã có. Thứ hai, tác giả thông qua nghiên cứu, tìm hiểu, thử nghiệm đề đề xuất ra phương pháp tổng hợp tiếng nỏi cỏ cảm xúc hiệu quả. Cuỏi cùng, từ những kết quả thục nghiệm thu được, tắc giả sé danh giá hiệu quá của mô hình vả đề xuất phương hướng phát triển trong tương lại Dé tai dược thực hiện dựa trên phương pháp nghiên cứu tổng hợp cơ sở lý thuyết của các mô hình tổng hợp tiếng nói nói chung và tiếng Việt nói riêng, kết.

hop với phương pháp thực nghiệm để tr ra mô hình học máy phù hợp, huận: luyện cho bộ tổng hợp dựa trên dữ liệu tiếng Việt có cảm xúc của bộ đữ liệu đã LOI NOI DAU Lời nói là một phương tiện giao tiếp bằng ngôn ngữ, là công cụ cơ bản nhất của loài người giúp la có thể giao tiếp, bộc lộ cảm xúc, suy nghĩ, trao đổi kinh nghiệm vả thông tin. Xã hội và công nghệ ngày cảng phát triển, các loại may móc được phát mình để thay thế sức lao động cho con người ngày cảng nhiều khiển cho nhu câu giao tiếp giữa người và máy móc cũng ngay cảng tăng lên, Do đó xử lý tiếng nói trở thành một trong những lĩnh vực quan trọng và được quan tâm Một lời nói dược coi là truyền đạt hiệu quá khi thể hiện dược nội đụng của từ ngữ và cảm xúc của người nói Vì vậy, việc đưa ngữ điệu và căm xúc vào tiếng nói tống hợp sẽ có những đóng gớp quan trọng trong việc nâng cao hiệu quá giao tiếp giữa người và máy. Irong những năm gân đây, các hệ thông tổng tiợp tiếng Việt đã đạt được rất nhiều thành tựu đáng ghi nhận. Tuy nhiên, việc đưa cảm xúc vào câu nói tổng hợp còn gặp nhiều khó khăn.

Sử đụng các cách tiếp cận truyền thống vá thay đổi đữ liệu huấn luyện có hiệu quả trong việc lâm. đữ liên c6 cảm xúc hơn nhưng không mang lại sự tự nhiên trong tiếng nói, thêm vào đó lại vỏ cùng tốn kém vẻ chỉ phí và công súc chuẩn bị. Hon nữa, khả năng mở rộng nếu thêm các cảm xúc, phong cách nói mới cũng gặp nhiều hạn chế. Nhận thức được vẫn để nảy, tác giả đã tiến hành nghiên cứu để tài “Tổng hợp tiếng Việt có cảm xúc bằng học máy” nhằm tim ra và để xuất một phương pháp có hiện quả hơn trong việc xử lý tiếng Việt tổng hợp.

Bài nghiên cứu hướng tới 3 mục tiêu chính: Thứ nhất, hệ thông hóa lại những kiến thức cơ bản về tổng hợp tiếng nói, sơ lược cáo phương pháp và kết quả của các nghiên cũu nội bật củng để tải đã có. Thứ hai, tác giả thông qua nghiên cứu, tìm hiểu, thử nghiệm đề đề xuất ra phương pháp tổng hợp tiếng nỏi cỏ cảm xúc hiệu quả. Cuỏi cùng, từ những kết quả thục nghiệm thu được, tắc giả sé danh giá hiệu quá của mô hình vả đề xuất phương hướng phát triển trong tương lại Dé tai dược thực hiện dựa trên phương pháp nghiên cứu tổng hợp cơ sở lý thuyết của các mô hình tổng hợp tiếng nói nói chung và tiếng Việt nói riêng, kết. hop với phương pháp thực nghiệm để tr ra mô hình học máy phù hợp, huận: luyện cho bộ tổng hợp dựa trên dữ liệu tiếng Việt có cảm xúc của bộ đữ liệu đã LOI NOI DAU Lời nói là một phương tiện giao tiếp bằng ngôn ngữ, là công cụ cơ bản nhất của loài người giúp la có thể giao tiếp, bộc lộ cảm xúc, suy nghĩ, trao đổi kinh nghiệm vả thông tin.

Xã hội và công nghệ ngày cảng phát triển, các loại may móc được phát mình để thay thế sức lao động cho con người ngày cảng nhiều khiển cho nhu câu giao tiếp giữa người và máy móc cũng ngay cảng tăng lên, Do đó xử lý tiếng nói trở thành một trong những lĩnh vực quan trọng và được quan tâm Một lời nói dược coi là truyền đạt hiệu quá khi thể hiện dược nội đụng của từ ngữ và cảm xúc của người nói Vì vậy, việc đưa ngữ điệu và căm xúc vào tiếng nói tống hợp sẽ có những đóng gớp quan trọng trong việc nâng cao hiệu quá giao tiếp giữa người và máy. Irong những năm gân đây, các hệ thông tổng tiợp tiếng Việt đã đạt được rất nhiều thành tựu đáng ghi nhận. Tuy nhiên, việc đưa cảm xúc vào câu nói tổng hợp còn gặp nhiều khó khăn. Sử đụng các cách tiếp cận truyền thống vá thay đổi đữ liệu huấn luyện có hiệu quả trong việc lâm.

đữ liên c6 cảm xúc hơn nhưng không mang lại sự tự nhiên trong tiếng nói, thêm vào đó lại vỏ cùng tốn kém vẻ chỉ phí và công súc chuẩn bị. Hon nữa, khả năng mở rộng nếu thêm các cảm xúc, phong cách nói mới cũng gặp nhiều hạn chế. Nhận thức được vẫn để nảy, tác giả đã tiến hành nghiên cứu để tài “Tổng hợp tiếng Việt có cảm xúc bằng học máy” nhằm tim ra và để xuất một phương pháp có hiện quả hơn trong việc xử lý tiếng Việt tổng hợp. Bài nghiên cứu hướng tới 3 mục tiêu chính: Thứ nhất, hệ thông hóa lại những kiến thức cơ bản về tổng hợp tiếng nói, sơ lược cáo phương pháp và kết quả của các nghiên cũu nội bật củng để tải đã có.

Thứ hai, tác giả thông qua nghiên cứu, tìm hiểu, thử nghiệm đề đề xuất ra phương pháp tổng hợp tiếng nỏi cỏ cảm xúc hiệu quả. Cuỏi cùng, từ những kết quả thục nghiệm thu được, tắc giả sé danh giá hiệu quá của mô hình vả đề xuất phương hướng phát triển trong tương lại Dé tai dược thực hiện dựa trên phương pháp nghiên cứu tổng hợp cơ sở lý thuyết của các mô hình tổng hợp tiếng nói nói chung và tiếng Việt nói riêng, kết. hop với phương pháp thực nghiệm để tr ra mô hình học máy phù hợp, huận: luyện cho bộ tổng hợp dựa trên dữ liệu tiếng Việt có cảm xúc của bộ đữ liệu đã 3. Thang do Mean Opinion Score (MOS).

Trực quan hỏa đữ Hiệu bằng T-distributed Stochastic Neighbor Timbeddinp. KẾT LUẬN VA ĐỊNH HƯỚNG PHÁT TRIÊN 34 41. cu HH HH He hi ru 54 4. Đinh hướng phát triển ¬_ 55 DANH MỤC TÀI LIỆU THAM KHẢO.

"— am 56 1H LOLCAM DOAN 'Tôi xin cam kết luận văn tốt nghiệp là công trình nghiên cửu của bán thân tôi dười sự hưởng, dẫn của 18. Nguyễn Hồng Quang, Các kết quả nêu trong luận văn tốt nghiệp là trung thực, không phải là sao chép toàn văn của bất kỳ công trình nảo khác Hà Nội, ngày 08 tháng Ï2 năm 2031 Tác giả luận vẫn Lê Trọng An MỤC LỤC MỤC LỤC - i DANI MUC BANG. vi DANH MUC CAC TU VIET TAT VA THUAT NCU vii CHUONG 1. CƠ SỞ LÝ THUYẾT VÀ CÁC CÔNG TRÌNH NGHIÊN CUU 1 1.

Giới thiện chung 1 1. Sơ bệ nghiên cửu về các phương pháp truyền thông. Tổng hợp hếng nói Tre Tre 1 1. Lựa chọn Voeodir.

HH ng te eerree 3 1.