Nghiên Cứu Mô Hình Nhân Vật Ảo Biểu Cảm Trên Khuôn Mặt Ba Chiều Nói Tiếng Việt

Luận án tiến sĩ phân tích nghiên cứu mô hình nhân vật ảo biểu cảm trên khuôn mặt ba chiều nói tiếng việt, xây dựng cơ sở lý luận, kiểm chứng thực nghiệm, đóng góp tri thức mới cho

• Tác giả: Ngô Thị Duyên
• Người hướng dẫn: PGS. Bùi Thế Duy
• Trường học: Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Mô Hình Nhân Vật Ảo Biểu Cảm Trên Khuôn Mặt Ba Chiều Nói Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• TÓM TẮT LUẬN ÁN
• 1. Chương 1: Giới thiệu
• 1.1. Đặt vấn đề
• 1.2. Bài toán và cách giải quyết
• 1.3. Cấu trúc của luận án
• 2. Chương 2: Cảm xúc và thể hiện cảm xúc cho nhân vật ảo
• 2.1. Nghiên cứu tâm lý học về cảm xúc
• 2.2. Mối quan hệ giữa cảm xúc và các kênh biểu cảm
• 2.2.1. Cảm xúc và cử động khuôn mặt
• 2.2.2. Cảm xúc và giọng nói
• 2.3. Cung cấp cảm xúc cho nhân vật ảo
• 2.4. Kết chương
• 3. Chương 3: Mô hình thể hiện cảm xúc trên khuôn mặt
• 3.2. Những nghiên cứu liên quan
• 3.3. Mô hình tạo biểu cảm khuôn mặt thể hiện trạng thái cảm xúc liên tục
• 3.3.1. Mô hình đề xuất thứ nhất
• 3.3.2. Mô hình đề xuất thứ hai
• 3.4. Thực nghiệm và đánh giá
• 3.5. Kết chương
• 4. Chương 4: Mô hình thể hiện cảm xúc trong giọng nói tiếng Việt
• 4.2. Những nghiên cứu liên quan
• 4.2.1. Các phương pháp tổng hợp tiếng nói có cảm xúc
• 4.2.2. Đặc trưng âm liên quan đến tiếng nói có cảm xúc
• 4.3. Trích đặc trưng âm liên quan tới tiếng nói tiếng Việt có cảm xúc
• 4.3.1. Cơ sở dữ liệu
• 4.3.2. Giai đoạn trích đặc trưng âm
• 4.4. Tổng hợp tiếng nói tiếng Việt có cảm xúc
• 4.4.1. Xây dựng luật biến đổi tiếng nói tiếng Việt không cảm xúc thành tiếng nói có cảm xúc
• 4.4.2. Tiến trình tổng hợp tiếng nói có cảm xúc
• 4.5. Thực nghiệm và đánh giá
• 4.6. Kết chương
• 5. Chương 5: Xây dựng khuôn mặt ba chiều nói tiếng Việt cho nhân vật ảo
• 5.2. Những nghiên cứu liên quan
• 5.3. Kiến trúc hệ thống
• 5.3.1. Mô đun Tạo biểu cảm giọng điệu
• 5.3.2. Mô đun Tạo biểu cảm khuôn mặt
• 5.3.3. Mô đun Tổng hợp
• 5.4. Thực nghiệm và đánh giá
• 5.5. Kết chương
• KẾT LUẬN
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC 1
• PHỤ LỤC 2
• PHỤ LỤC 3

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Mô Hình Nhân Vật Ảo 3D Biểu Cảm

Nghiên cứu về mô hình nhân vật ảo ngày càng trở nên quan trọng trong bối cảnh công nghệ phát triển. Các nhân vật ảo không chỉ xuất hiện trong giải trí mà còn trong giáo dục, thương mại điện tử, và nhiều lĩnh vực khác. Để nhân vật ảo trở nên thuyết phục, việc mô phỏng biểu cảm tự nhiên là yếu tố then chốt. Nghiên cứu này tập trung vào biểu cảm khuôn mặt và giọng nói tiếng Việt của nhân vật ảo 3D. Mục tiêu là tạo ra nhân vật ảo có khả năng thể hiện cảm xúc một cách chân thực và phù hợp với văn hóa Việt Nam. Điều này đòi hỏi sự kết hợp của nhiều lĩnh vực như đồ họa máy tính, xử lý ngôn ngữ tự nhiên (NLP), và học máy (Machine Learning). Các kết quả nghiên cứu có thể ứng dụng trong nhiều lĩnh vực, từ game, phim hoạt hình đến các hệ thống tương tác người-máy.

1.1. Tầm quan trọng của Biểu Cảm Khuôn Mặt 3D cho Nhân Vật Ảo

Biểu cảm khuôn mặt là một phần quan trọng trong giao tiếp của con người, và việc tái tạo nó trong nhân vật ảo giúp tăng tính tương tác và thuyết phục. Mô hình hóa 3D khuôn mặt cho phép thể hiện các biểu cảm một cách chi tiết và tự nhiên hơn so với các mô hình 2D truyền thống. Tạo ra sự đồng cảm và kết nối giữa người dùng và nhân vật ảo. Nghiên cứu này tập trung vào tạo ra các biểu cảm chân thực, từ những cảm xúc cơ bản đến những sắc thái tinh tế hơn.

1.2. Ứng dụng của Công Nghệ Biểu Cảm Khuôn Mặt 3D trong Tiếng Việt

Việc tích hợp công nghệ biểu cảm khuôn mặt 3D với tiếng Việt mở ra nhiều tiềm năng ứng dụng. Nhân vật ảo có thể được sử dụng trong các hệ thống học tiếng Việt, trò chơi giáo dục, hoặc trong các ứng dụng tương tác với khách hàng. Điều này đòi hỏi sự hiểu biết sâu sắc về ngữ cảnh văn hóa và cách biểu lộ cảm xúc của người Việt Nam.

II. Thách Thức Trong Nghiên Cứu Biểu Cảm Khuôn Mặt Ảo Nói Tiếng Việt

Một trong những thách thức lớn nhất là tạo ra mô hình biểu cảm khuôn mặt chính xác và tự nhiên. Khuôn mặt người Việt có những đặc điểm riêng biệt, và việc mô hình hóa 3D khuôn mặt phải đảm bảo thể hiện được những đặc điểm này. Bên cạnh đó, việc tích hợp xử lý ngôn ngữ tự nhiên (NLP) để nhân vật ảo có thể phản ứng với lời nói và ngữ cảnh cũng là một bài toán phức tạp. Nghiên cứu cần giải quyết các vấn đề về độ chính xác, tốc độ xử lý và khả năng thích ứng với các tình huống khác nhau. Ngoài ra, việc đánh giá biểu cảm khuôn mặt và giọng nói một cách khách quan cũng là một thách thức không nhỏ.

2.1. Sự Khác Biệt Văn Hóa Trong Biểu Cảm Khuôn Mặt và Tiếng Việt

Biểu cảm khuôn mặt và giọng nói có thể khác nhau giữa các nền văn hóa. Người Việt Nam có thể biểu lộ cảm xúc theo cách khác so với người phương Tây. Việc hiểu và tái tạo những khác biệt này là rất quan trọng để tạo ra nhân vật ảo có tính chân thực cao. Nghiên cứu cần xem xét các yếu tố văn hóa ảnh hưởng đến cách biểu lộ cảm xúc và điều chỉnh mô hình nhân vật ảo cho phù hợp.

2.2. Thu thập và Xử Lý Dữ Liệu Biểu Cảm Khuôn Mặt và Giọng Nói Tiếng Việt

Để xây dựng mô hình biểu cảm khuôn mặt và giọng nói, cần thu thập một lượng lớn dữ liệu từ người Việt Nam. Việc thu thập và xử lý dữ liệu này đòi hỏi các phương pháp và công cụ chuyên dụng. Cần đảm bảo tính đa dạng và đại diện của dữ liệu để mô hình có thể hoạt động tốt trong nhiều tình huống khác nhau.

2.3. Đảm Bảo Tính Tự Nhiên Và Độ Chính Xác Của Biểu Cảm Ảo

Một thách thức lớn khác là đảm bảo tính tự nhiên và độ chính xác của biểu cảm khuôn mặt và giọng nói. Biểu cảm phải phù hợp với ngữ cảnh và cảm xúc mà nhân vật ảo đang trải qua. Độ chính xác biểu cảm phải cao để tránh gây khó chịu hoặc mất lòng tin cho người dùng. Điều này đòi hỏi sự kết hợp giữa các kỹ thuật mô phỏng biểu cảm, học máy (Machine Learning), và mạng nơ-ron (Neural Networks).

III. Phương Pháp Xây Dựng Mô Hình Nhân Vật Ảo 3D Biểu Cảm

Để giải quyết các thách thức trên, nghiên cứu này đề xuất một phương pháp tiếp cận đa chiều. Đầu tiên, sử dụng các kỹ thuật mô hình hóa 3D khuôn mặt tiên tiến để tạo ra khuôn mặt ảo chi tiết. Tiếp theo, áp dụng các thuật toán học máy (Machine Learning) để mô phỏng biểu cảm. Việc sử dụng các mạng nơ-ron (Neural Networks) cho phép điều khiển nhân vật ảo một cách linh hoạt và tự nhiên. Cuối cùng, tích hợp hệ thống tổng hợp tiếng nói để nhân vật ảo có thể nói tiếng Việt với ngữ điệu và biểu cảm phù hợp. Nghiên cứu cũng tập trung vào việc xây dựng một giao diện người máy thân thiện để người dùng có thể dễ dàng tương tác với nhân vật ảo.

3.1. Sử dụng Mạng Nơ ron Neural Networks để Mô Phỏng Biểu Cảm Khuôn Mặt

Mạng nơ-ron (Neural Networks) là một công cụ mạnh mẽ để mô phỏng biểu cảm. Chúng có thể được huấn luyện để học các mối quan hệ phức tạp giữa cảm xúc và biểu cảm khuôn mặt. Nghiên cứu này sử dụng các kiến trúc mạng nơ-ron khác nhau để tìm ra phương pháp tốt nhất để tạo ra biểu cảm chân thực. Phân tích dữ liệu từ cơ sở dữ liệu biểu cảm khuôn mặt để huấn luyện mạng nơ-ron.

3.2. Tích hợp Tổng Hợp Tiếng Nói để Thể Hiện Cảm Xúc trong Giọng Nói

Việc tổng hợp tiếng nói không chỉ đơn thuần là tạo ra lời nói mà còn phải thể hiện được cảm xúc. Nghiên cứu này tập trung vào việc điều chỉnh ngữ điệu, tốc độ nói và âm lượng để tạo ra giọng nói phù hợp với cảm xúc của nhân vật ảo. Áp dụng các kỹ thuật xử lý tín hiệu để cải thiện chất lượng và độ tự nhiên của tiếng nói.

3.3. Ứng dụng các kỹ thuật HỌC SÂU Deep Learning để nâng cao chất lượng biểu cảm

Học sâu (Deep Learning) có thể được sử dụng để cải thiện đáng kể chất lượng và độ chân thực của biểu cảm khuôn mặt ảo. Các mô hình học sâu có khả năng học các đặc trưng phức tạp và mối quan hệ phi tuyến tính giữa cảm xúc và biểu hiện khuôn mặt. Việc sử dụng học sâu trong nghiên cứu này giúp tạo ra các biểu cảm tự nhiên và phong phú hơn.

IV. Ứng Dụng Thực Tế và Đánh Giá Hiệu Quả Của Mô Hình

Mô hình nhân vật ảo 3D biểu cảm này có thể được ứng dụng trong nhiều lĩnh vực. Trong ứng dụng thực tế ảo (VR) và ứng dụng thực tế tăng cường (AR), nhân vật ảo có thể tương tác với người dùng một cách tự nhiên và thú vị. Trong giáo dục, nhân vật ảo có thể làm gia sư hoặc bạn đồng hành học tập. Để đánh giá hiệu quả của mô hình, nghiên cứu này sử dụng các phương pháp đánh giá chủ quan và khách quan. Các thử nghiệm với người dùng được thực hiện để đo lường mức độ chân thực và thuyết phục của nhân vật ảo. Các chỉ số như độ chính xác biểu cảm và hiệu quả biểu cảm được sử dụng để đánh giá hiệu quả của mô hình.

4.1. Ứng Dụng trong Giáo Dục và Đào Tạo với Tương Tác Người Dùng

Nhân vật ảo có thể được sử dụng trong các hệ thống giáo dục và đào tạo để tạo ra môi trường học tập tương tác và thú vị. Nhân vật ảo có thể đóng vai trò là gia sư, hướng dẫn, hoặc bạn đồng hành học tập, giúp người học tiếp thu kiến thức một cách hiệu quả hơn. Hệ thống tương tác người dùng được thiết kế để tạo ra trải nghiệm học tập cá nhân hóa và phù hợp với nhu cầu của từng người học.

4.2. Đánh Giá Chủ Quan và Khách Quan Độ Thuyết Phục Biểu Cảm

Đánh giá chủ quan và khách quan là hai phương pháp quan trọng để đo lường hiệu quả của mô hình. Đánh giá chủ quan dựa trên ý kiến và cảm nhận của người dùng, trong khi đánh giá khách quan sử dụng các chỉ số và số liệu để đánh giá hiệu quả của mô hình. Kết hợp cả hai phương pháp giúp có được cái nhìn toàn diện về hiệu quả của mô hình.

V. Kết Luận và Hướng Phát Triển Nghiên Cứu Nhân Vật Ảo Biểu Cảm

Nghiên cứu này đã đạt được những kết quả đáng khích lệ trong việc xây dựng mô hình nhân vật ảo 3D biểu cảm nói tiếng Việt. Các kỹ thuật mô hình hóa 3D khuôn mặt, học máy (Machine Learning) và tổng hợp tiếng nói đã được tích hợp để tạo ra nhân vật ảo có khả năng thể hiện cảm xúc một cách chân thực và tự nhiên. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng. Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện khả năng thích ứng của nhân vật ảo với các tình huống khác nhau, tích hợp thêm các kênh giao tiếp khác như cử chỉ và ngôn ngữ cơ thể, và phát triển các ứng dụng thực tế trong nhiều lĩnh vực khác nhau.

5.1. Mở Rộng Khả Năng Biểu Cảm và Tương Tác của Nhân Vật Ảo

Trong tương lai, nghiên cứu có thể tập trung vào việc mở rộng khả năng biểu cảm và tương tác của nhân vật ảo. Điều này bao gồm việc tích hợp thêm các kênh giao tiếp khác như cử chỉ, ánh mắt và ngôn ngữ cơ thể, cũng như cải thiện khả năng phản ứng của nhân vật ảo với các tình huống khác nhau. Nâng cao khả năng biểu cảm để phù hợp với nhiều ngữ cảnh hơn.

5.2. Nghiên Cứu Các Phương Pháp Cải Thiện Tốc Độ Xử Lý Biểu Cảm Ảo

Tốc độ xử lý là một yếu tố quan trọng trong các ứng dụng thời gian thực. Nghiên cứu này có thể tập trung vào việc phát triển các thuật toán và phương pháp để cải thiện tốc độ xử lý biểu cảm ảo, giúp nhân vật ảo phản ứng nhanh chóng và mượt mà hơn. Tối ưu hóa thuật toán và phần cứng để cải thiện hiệu suất.

Trích đoạn nội dung tài liệu

Đặt vấn đề Chúng ta thường xuyên xem những bộ phim do con người đóng, tuy nhiên thật khó để có thể tìm được một diễn viên có ngoại hình như nhân vật Shrek trong bộ phim hoạt hình Shrek mà lại có khả năng mang về doanh thu cao lên đến hàng trăm triệu đô la như loạt phim hoạt hình này. Điều gì khiến cho gã chằn tinh xấu xí và đáng sợ như Shrek có thể giành được nhiều tình cảm từ khán giả đến vậy? Có lẽ một trong những yếu tố quan trong nhất chính là chúng ta cảm thấy đồng cảm với Shrek. Nhìn vào Hình 1.1, thật khó để không có cảm tình với anh chàng chằn tinh xấu xí nhưng tốt bụng này. Cùng với sự thành công của một số bộ phim hoạt hình khác như Gia Đình Nhà Siêu Nhân (The Incredibles), Robot biết yêu (Wall-e), lĩnh vực hoạt hình mà trung tâm là việc tạo ra các nhân vật hoạt hình đã và đang nhận được sự quan tâm lớn.1: Hai vợ chồng nhà “chằn tinh” Shrek.viet TIEU LUAN MOI download : [e-mail] Cũng liên quan đến các nhân vật ảo, nhưng không phải nhân vật hoạt hình mà là các nhân vật ảo trong máy tính.

Cùng với sự phát triển nhanh chóng của các lĩnh vực như trí tuệ nhân tạo, đồ họa máy tính, xử lý ngôn ngữ tự nhiên, các nhà nghiên cứu đã dành nhiều công sức hơn nhằm cải tiến tương tác giữa người và máy tính, làm cho nó thích hợp, linh động và “hướng con người” hơn. Một phương thức để thực hiện điều đó là thông qua việc tạo các nhân vật ảo. Vì vậy, xây dựng nhân vật ảo là một trong những bài toán đã và đang được quan tâm nhiều bởi miền ứng dụng rộng lớn của chúng: trong giải trí, giáo dục, thương mại điện tử,. Khả năng về ngôn ngữ, biểu cảm khuôn mặt và cử chỉ của nhân vật ảo khiến cho chúng phù hợp với các ứng dụng này.

Ví dụ, thế giới của các trò chơi nhập vai đang phát triển hơn lúc nào hết khi người chơi bật máy tính lên là có thể giao tiếp với các nhân vật ảo mà cảm giác như đang sống trong thế giới thực (Second Life, The Sims, Fallout 3). Nhân vật ảo cũng có thể được sử dụng trong ứng dụng giải trí với vai trò người kể chuyện ảo [140]. Ngoài ra, nhân vật ảo còn được sử dụng trong các ứng dụng giáo dục. Với ứng dụng mô phỏng phòng học ảo, nhân vật ảo có thể được sử dụng với vai trò người thầy để thực hiện các thao tác minh họa, trả lời các câu hỏi, và điều khiển việc học của các sinh viên [121].

Chúng cũng có thể được dùng trong vai trò bạn học để thực hiện các thao tác yêu cầu nhiều người. Nhân vật ảo còn có thể được dùng trong các ứng dụng thương mại điện tử, dịch vụ du lịch, hệ thống truy vấn dịch vụ. Vì những ứng dụng thực tế của mình, nhân vật ảo nhận được rất nhiều sự quan tâm, nghiên cứu. Nhân vật hoạt hình là nhân vật được lập trình sẵn, những hành động, biểu cảm của chúng được tạo bởi các thao tác bằng tay của con người.

Còn với nhân vật ảo trong máy tính, những hành động, phản ứng, biểu cảm. của chúng là do máy tính sinh ra một cách tự động. Luận án dùng thuật ngữ "nhân vật ảo" để chỉ các nhân vật ảo trong máy tính. Mục tiêu chung khi nghiên cứu về nhân vật ảo là khiến cho chúng trở nên thuyết phục hơn, theo cách làm cho hoạt động và phản ứng của chúng đối với người dùng là giống như trong thế giới thực.

Nhiều kỹ thuật đã và đang được phát triển nhằm tạo cho các nhân vật ảo này này có khả năng hành xử theo lối giống với con người. Để có thể đạt được điều đó, nhân vật ảo được mô phỏng với các kênh giao tiếp như tiếng nói, cử động của đầu và mắt, các thao tác và biểu cảm khuôn mặt [5, 16, 29, 79]. Hơn nữa, ngoài chức năng nhận thức, chúng cũng được mô phỏng với cảm xúc và cá tính 3 (LUAN.viet TIEU LUAN MOI download : skknchat@gmail. Chúng ta đã nói nhiều về nhân vật ảo, vậy nhân vật ảo là gì? Trước tiên, hãy xem qua khái niệm về "tác nhân" (agent) được định nghĩa bởi Wooldridge [153]: "Một tác nhân là một hệ thống máy tính được đặt trong một số môi trường, có khả năng hoạt động tự động trong môi trường đó để đáp ứng những mục tiêu đã được thiết kế." Nhân vật ảo là một loại tác nhân đặc biệt, nó được thể hiện dưới dạng cơ thể người hoặc cơ thể động vật được hoạt hóa, hay đôi khi chỉ là khuôn mặt có khả năng nói.

Để xây dựng một nhân vật ảo, thông thường chúng ta cần xây dựng ba thành phần sau: • Một khuôn mặt có khả năng nói, thể hiện cử động của môi khi nói, thể hiện các biểu cảm và tín hiệu giao tiếp. • Một cơ thể có khả năng thể hiện những cử chỉ. • Một mô hình trí tuệ bao gồm suy nghĩ, cảm xúc, động lực, hành vi, tính cách. của nhân vật.

Với bài toán xây dựng khuôn mặt và cơ thể thì khuôn mặt luôn nhận được nhiều sự quan tâm hơn vì khuôn mặt là nơi giao tiếp, nói chuyện, và bộc lộ cảm xúc. Khi quan sát nhân vật ảo, chúng ta thường quan sát khuôn mặt của những nhân vật đó nhiều hơn là quan sát cơ thể của chúng. Nội dung của luận án nghiên cứu bài toán xây dựng khuôn mặt ba chiều nói tiếng Việt cho nhân vật ảo. Cụ thể, luận án tập trung nghiên cứu một số kỹ thuật thể hiện cảm xúc cho nhân vật ảo nói tiếng Việt.2 Bài toán và cách giải quyết Nhìn chung, mô hình tổng thể để giải quyết bài toán cung cấp cảm xúc cho nhân vật ảo được thể hiện trên Hình 1.

Trong mô hình này, cảm xúc của nhân vật ảo được thể hiện qua hai kênh chính nhất đó là khuôn mặt và tiếng nói. Dựa trên quá trình thẩm định các sự kiện đầu vào, mô đun "Sinh ra cảm 4 (LUAN.viet TIEU LUAN MOI download : skknchat@gmail.2: Mô hình cung cấp cảm xúc cho nhân vật ảo. xúc" có chức năng cung cấp trạng thái cảm xúc cho nhân vật ảo. Từ đó, các mô đun còn lại cung cấp cơ chế thể hiện cảm xúc và tạo các biểu cảm thể hiện cảm xúc trên khuôn mặt và trong giọng nói cho nhân vật ảo.

Nội dung nghiên cứu của luận án liên quan đến bài toán thể hiện cảm xúc cho nhân vật ảo, liên quan đến các mô đun nằm trong hình chữ nhật đứt nét trên Hình 1. Bài toán thể hiện cảm xúc cho nhân vật ảo mà luận án giải quyết có đầu vào là trạng thái cảm xúc liên tục, đầu ra là biểu cảm của nhân vật ảo thể hiện trạng thái cảm xúc đó, biểu cảm này được thể hiện trên khuôn mặt và trong giọng nói tiếng Việt. Đã có những nghiên cứu được đề xuất để giải quyết bài toán này. Hầu hết các nghiên cứu tập trung vào hai kênh biểu cảm chính đó là khuôn mặt và tiếng nói.

Lý do là vì qua thực tế cũng như tổng hợp các nghiên cứu cho thấy đây là hai kênh quan trọng nhất trong việc thể hiện trạng thái cảm xúc. Tuy nhiên, đa số các nghiên cứu chỉ tập trung vào một kênh biểu cảm đơn thay vì quan tâm đến hai hay nhiều kênh biểu cảm khác nhau. Luận án chọn hai kênh biểu cảm là khuôn mặt và tiếng nói để giải quyết bài toán thể hiện cảm xúc cho nhân vật ảo nói tiếng Việt. Với kênh khuôn mặt, các nghiên cứu đã chỉ ra rằng biểu cảm khuôn mặt cho các cảm xúc cơ bản là phổ biến, có tính chất tương đồng giữa các nền văn hóa [36, 70].

Đến nay, nhiều nghiên cứu về thể hiện cảm xúc trên khuôn mặt 5 (LUAN.viet TIEU LUAN MOI download : [e-mail] cho nhân vật ảo đã được đề xuất. Những nghiên cứu này có thể được chia thành hai lớp: phương pháp thể hiện cảm xúc tĩnh, và phương pháp thể hiện cảm xúc động. Phương pháp thể hiện cảm xúc tĩnh [4, 81, 83, 118] không có khả năng thể hiện trạng thái cảm xúc liên tục, không cung cấp một cơ chế nhất quán nào cho việc tạo biểu cảm trên khuôn mặt. Phương pháp thể hiện cảm xúc động [18, 80, 95, 119, 138, 147, 156] lưu lại sự thay đổi của cường độ cảm xúc theo thời gian, cung cấp một cơ chế nhất quán cho việc tạo biểu cảm thể hiện cảm xúc trên khuôn mặt, và giải quyết được hạn chế của phương pháp thể hiện cảm xúc tĩnh.

Tuy nhiên, trong phương pháp này, biểu cảm khuôn mặt được tạo ra từ trạng thái cảm xúc liên tục theo cơ chế ánh xạ trực tiếp. Trong mỗi khoảng nhỏ thời gian, trạng thái cảm xúc được ánh xạ trực tiếp thành biểu cảm, sau đó biểu cảm này được thể hiện trên khuôn mặt. Cơ chế này sẽ tạo ra biểu cảm không tự nhiên khi có một trạng thái cảm xúc với cường độ cao xảy ra trong thời gian dài. Trong tình huống đó, biểu cảm có thể sẽ xuất hiện trên khuôn mặt trong thời gian khá dài; điều này có thể làm giảm tính tự nhiên của nhân vật ảo.

Với kênh tiếng nói, mục tiêu của bài toán là cung cấp cho nhân vật ảo khả năng tạo biểu cảm trong giọng nói tiếng Việt. Đã có một số nghiên cứu về ngôn điệu và âm sắc của tiếng nói tiếng Việt được đề xuất [65, 87, 88, 89, 93, 146]; một số nghiên cứu về tổng hợp tiếng nói tiếng Việt cũng được công bố [105, 151, 150]. Tuy nhiên, hầu hết các nghiên cứu này tập trung vào tiếng nói tiếng Việt ở trạng thái không cảm xúc. Theo hiểu biết của chúng tôi, đến nay chưa có nghiên cứu nào cung cấp khả năng thể hiện cảm xúc trong giọng nói tiếng Việt cho nhân vật ảo, và cũng chưa có nghiên cứu nào về xây dựng khuôn mặt cho nhân vật ảo nói tiếng Việt có khả năng thể hiện cảm xúc trên khuôn mặt và trong tiếng nói.

Luận án đề xuất ba kết quả nghiên cứu chính góp phần giải quyết các vấn đề trên. • Thứ nhất, để tăng tính tự nhiên, thuyết phục của biểu cảm khuôn mặt thể hiện cảm xúc cho nhân vật ảo, hạn chế nhược điểm của cơ chế ánh xạ trực tiếp nói trên, luận án đề xuất mô hình chuyển trạng thái cảm xúc liên tục của nhân vật ảo thành biểu cảm khuôn mặt. Mô hình đề xuất dựa trên ý tưởng rằng khi một cảm xúc được kích hoạt, biểu cảm khuôn mặt sẽ xảy ra theo chuỗi với cường độ giảm dần và sau đó được giữ ở cường độ thấp 6 (LUAN.viet TIEU LUAN MOI download : skknchat@gmail.