Luận văn thạc sĩ về nghiên cứu chuyển động khuôn mặt trên các mô hình 3D

Đề tài khảo sát chuyển động khuôn mặt trên mô hình 3D với dữ liệu thực nghiệm, giải pháp cụ thể cho bài toán thực tế chuyên ngành

• Tác giả: Đặng Tuấn Anh
• Người hướng dẫn: TS. Bùi Thế Duy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Nghiên Cứu Chuyển Động Khuôn Mặt Trên Mô Hình 3D
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHUÔN MẶT VÀ HOẠT ẢNH CỦA KHUÔN MẶT 3D
• 1.1. Giới thiệu
• 1.2. Các kỹ thuật hiện có đƣợc sử dụng để tạo mô hình và làm hoạt ảnh khuôn mặt 3D
• 1.2.1. Tạo mô hình khuôn mặt
• 1.2.2. Tạo mô hình hoạt ảnh của khuôn mặt
• 1.2.3. Một mô hình khuôn mặt 3D cho ứng dụng thời gian thực
• 1.3. Mô hình môi
• 1.4. Các cơ làm khuôn mặt hoạt ảnh
• 1.4.1. Xoay quai hàm
• 1.4.2. Xoay tròng mắt
• 1.5. Kết quả thực nghiệm
• 1.6. Kết luận chương
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT NỀN TẢNG
• 2.1. Các nghiên cứu trƣớc đây về việc chuyển hoạt ảnh khuôn mặt
• 2.1.1. Nhân bản biểu hiện
• 2.1.2. Dịch chuyển các bảng hoạt ảnh khuôn mặt MPEG-4
• 2.1.3. Chuyển một cấu trúc khuôn mặt nhiều lớp
• 2.2. Mạng RBF và các thuật toán di truyền học
• 2.2.1. Các thuật toán di truyền học
• 3. CHƯƠNG 3: XÂY DỰNG MÔ HÌNH KHUÔN MẶT 3D TỪ MỘT KHUÔN MẶT GỐC
• 3.1. Mô tả phƣơng pháp biến đổi khuôn mặt 3D
• 3.2. Hàm sai số
• 3.3. Sử dụng GA điều chỉnh các điểm đánh dấu
• 3.3.1. Nhiễm sắc thể
• 3.3.2. Hàm thích nghi (Fitness function)
• 3.3.3. Phép lai ghép (Crossover)
• 3.3.4. Phép toán bổ sung (Additional Operation)
• 3.4. Quy trình biến đổi khuôn mặt 3D
• 3.5. Một công cụ biến đổi khuôn mặt 3D
• 3.5.1. Tạo mô hình khuôn mặt 3D bằng Poser 5
• 3.5.2. Công cụ biến đổi
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về khuôn mặt và hoạt ảnh của khuôn mặt 3D

Khuôn mặt con người là một phần quan trọng trong việc nhận diện và giao tiếp. Chuyển động khuôn mặt không chỉ giúp thể hiện cảm xúc mà còn hỗ trợ trong việc truyền đạt thông tin. Nghiên cứu về mô hình 3D của khuôn mặt đã trở thành một lĩnh vực quan trọng trong công nghệ đồ họa máy tính. Các nghiên cứu trước đây đã chỉ ra rằng việc tạo ra các hình ảnh 3D chân thực và có thể hoạt ảnh trong thời gian thực là một thách thức lớn. Các phương pháp như hoạt ảnh khung cơ sở và hoạt ảnh dựa trên hệ thống cơ giả đã được áp dụng, nhưng vẫn chưa đạt được sự chân thực cần thiết. Do đó, việc phát triển một mô hình khuôn mặt 3D có khả năng tạo ra các biểu hiện chân thực và hoạt ảnh thời gian thực là rất cần thiết.

1.1. Giới thiệu về khuôn mặt và vai trò của nó

Khuôn mặt không chỉ là bộ phận nhận diện mà còn là công cụ giao tiếp chính của con người. Theo nghiên cứu, trẻ em từ 9 tháng tuổi đã có khả năng nhận diện các biểu hiện trên khuôn mặt. Nhận diện khuôn mặt và cảm biến chuyển động là những yếu tố quan trọng trong việc phát triển các ứng dụng tương tác. Các agent hiện thân, như những nhân vật ảo, có thể sử dụng công nghệ thực tế ảo để tạo ra những trải nghiệm tương tác phong phú. Việc phát triển các mô hình khuôn mặt 3D có thể giúp cải thiện khả năng giao tiếp giữa con người và máy tính, từ đó nâng cao trải nghiệm người dùng trong các ứng dụng giải trí và giáo dục.

1.2. Các kỹ thuật hiện có trong hoạt ảnh khuôn mặt 3D

Có nhiều kỹ thuật được sử dụng để tạo ra mô hình hoạt ảnh khuôn mặt 3D. Các phương pháp như hoạt ảnh khung cơ sở và hoạt ảnh tham số hóa đã được áp dụng, nhưng vẫn còn nhiều hạn chế. Mô hình CANDIDE là một ví dụ điển hình cho việc tạo ra hoạt ảnh thời gian thực với số lượng đa giác ít. Tuy nhiên, để đạt được sự chân thực trong biểu hiện khuôn mặt, các mô hình phức tạp hơn như mô hình dựa trên hệ thống cơ đa lớp đã được phát triển. Những mô hình này có khả năng tạo ra các biểu hiện chân thực nhưng yêu cầu dung lượng tính toán lớn, điều này gây khó khăn cho việc sử dụng trên các máy tính cá nhân thông thường.

II. Xây dựng mô hình khuôn mặt 3D từ một khuôn mặt gốc

Việc xây dựng mô hình khuôn mặt 3D từ một khuôn mặt gốc là một quy trình phức tạp. Phương pháp biến đổi khuôn mặt 3D cho phép tạo ra các biểu hiện khác nhau mà không cần phải xây dựng lại mô hình từ đầu. Sử dụng các thuật toán di truyền học và mạng RBF, quá trình này có thể được tối ưu hóa để đạt được hiệu quả cao nhất. Cảm biến chuyển động và công nghệ thực tế ảo đóng vai trò quan trọng trong việc phát triển các mô hình này. Việc áp dụng các phương pháp này không chỉ giúp tiết kiệm thời gian mà còn nâng cao chất lượng của các hoạt ảnh khuôn mặt. Các công cụ như Poser 5 đã được sử dụng để tạo ra các mô hình khuôn mặt 3D, cho phép người dùng dễ dàng điều chỉnh và tạo ra các biểu hiện mong muốn.

2.1. Phương pháp biến đổi khuôn mặt 3D

Phương pháp biến đổi khuôn mặt 3D sử dụng các điểm đánh dấu để điều chỉnh các đặc điểm của khuôn mặt. Các thuật toán di truyền học được áp dụng để tối ưu hóa các điểm này, giúp tạo ra các biểu hiện chân thực. Việc sử dụng công nghệ thực tế ảo cho phép người dùng tương tác với mô hình một cách trực quan. Các nghiên cứu đã chỉ ra rằng việc áp dụng các phương pháp này có thể nâng cao hiệu quả của cảm biến chuyển động và tạo ra các hoạt ảnh chân thực hơn. Điều này mở ra nhiều cơ hội cho việc phát triển các ứng dụng trong lĩnh vực giải trí và giáo dục.

2.2. Quy trình biến đổi khuôn mặt 3D

Quy trình biến đổi khuôn mặt 3D bao gồm nhiều bước, từ việc xác định các điểm đánh dấu đến việc áp dụng các thuật toán để điều chỉnh các đặc điểm của khuôn mặt. Việc sử dụng công nghệ thực tế ảo giúp người dùng có thể dễ dàng điều chỉnh và tạo ra các biểu hiện mong muốn. Các công cụ như Poser 5 đã được phát triển để hỗ trợ quy trình này, cho phép người dùng tạo ra các mô hình khuôn mặt 3D một cách nhanh chóng và hiệu quả. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao chất lượng của các hoạt ảnh khuôn mặt, từ đó cải thiện trải nghiệm người dùng trong các ứng dụng tương tác.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ đồ họa máy tính và tương tác người-máy, việc tạo dựng các mô hình khuôn mặt 3D có khả năng biểu đạt biểu cảm chân thực và hoạt ảnh thời gian thực trở thành một thách thức lớn. Theo ước tính, các mô hình khuôn mặt 3D truyền thống thường có số lượng đa giác lên đến hàng chục nghìn, gây khó khăn trong việc xử lý hoạt ảnh nhanh trên các máy tính cá nhân thông thường. Mục tiêu nghiên cứu của luận văn là phát triển một phương pháp nhân bản chuyển động khuôn mặt trên các mô hình khuôn mặt 3D khác nhau, nhằm tái sử dụng dữ liệu hoạt ảnh từ một mô hình nguồn sang các mô hình mục tiêu mới mà không cần thao tác thủ công phức tạp.

Phạm vi nghiên cứu tập trung vào các mô hình khuôn mặt 3D được xây dựng dựa trên hệ thống cơ giản đơn, có thể tạo ra biểu hiện khuôn mặt chân thực và đạt hiệu suất hoạt ảnh thời gian thực trên máy tính cá nhân phổ biến. Nghiên cứu được thực hiện trong giai đoạn đầu thế kỷ 21, với các thử nghiệm trên phần mềm tạo mô hình khuôn mặt Poser và các thuật toán mạng nơ-ron RBF kết hợp thuật toán di truyền để tự động điều chỉnh điểm đánh dấu trên mô hình khuôn mặt.

Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao hiệu quả tạo hoạt ảnh khuôn mặt 3D, giảm thiểu công sức thủ công trong việc thiết lập hoạt ảnh cho từng mô hình mới, đồng thời duy trì chất lượng biểu cảm chân thực và tốc độ xử lý cao. Điều này góp phần thúc đẩy ứng dụng các agent hiện thân trong lĩnh vực giải trí, giáo dục và tương tác người-máy, đồng thời mở rộng khả năng phát triển các trò chơi điện tử và môi trường ảo đa dạng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính:

1. Mô hình cơ vectơ của Waters: Đây là mô hình cơ bản để mô phỏng các cơ mặt dưới dạng vectơ có tính định hướng, cho phép tạo ra các biến dạng chân thực trên bề mặt khuôn mặt. Mô hình này được mở rộng để xử lý sự tương tác đa cơ, tạo ra các chỗ phình và nếp nhăn trên da mặt trong thời gian thực.

2. Mạng Radial Basis Function (RBF): Mạng RBF là một mạng nơ-ron hai lớp sử dụng các hàm cơ sở bán kính Gaussian để xấp xỉ các hàm số phức tạp. Trong nghiên cứu, mạng RBF được dùng để biến đổi mô hình khuôn mặt nguồn thành mô hình khuôn mặt mục tiêu dựa trên các điểm đánh dấu tương ứng, giúp chuyển giao hoạt ảnh một cách tự động và chính xác.

Các khái niệm chuyên ngành quan trọng bao gồm:

• Tham số hoạt ảnh mặt (FAP) và Bảng hoạt ảnh khuôn mặt (FAT): Các tham số và bảng này dùng để điều khiển hoạt ảnh khuôn mặt theo tiêu chuẩn MPEG-4.
• Điểm đánh dấu (landmark points): Các điểm đặc trưng trên khuôn mặt dùng để xác định vị trí tương ứng giữa các mô hình khác nhau.
• Thuật toán di truyền (Genetic Algorithms - GA): Phương pháp tối ưu hóa được sử dụng để tự động điều chỉnh vị trí các điểm đánh dấu trên mô hình khuôn mặt mục tiêu nhằm đạt vị trí tối ưu.

Phương pháp nghiên cứu

Nguồn dữ liệu chính bao gồm các mô hình khuôn mặt 3D được tạo dựng bằng phần mềm Poser 5, với lưới đa giác có số lượng đỉnh và đa giác được tối ưu để cân bằng giữa độ chi tiết và hiệu suất xử lý. Dữ liệu hoạt ảnh khuôn mặt nguồn được thu thập từ mô hình cơ vectơ mở rộng của Waters.

Phương pháp phân tích gồm:

• Sử dụng thuật toán di truyền để tự động xác định và điều chỉnh các điểm đánh dấu trên mô hình khuôn mặt mục tiêu, giảm thiểu sự can thiệp thủ công.
• Áp dụng mạng RBF để biến đổi mô hình khuôn mặt nguồn sang mô hình mục tiêu dựa trên các điểm đánh dấu đã được tối ưu, từ đó chuyển giao các chuyển động cơ mặt và hoạt ảnh.
• Phân vùng mô hình khuôn mặt thành 11 vùng chính nhằm tăng tốc độ xử lý thuật toán mô hình cơ, giảm thiểu tính toán không cần thiết cho các đỉnh không chịu ảnh hưởng của cơ.
• Thử nghiệm và đánh giá hiệu suất hoạt ảnh trên máy tính cá nhân cấu hình Pentium III 800 MHz, 256MB RAM, card đồ họa Nvidia GeForce3.

Timeline nghiên cứu kéo dài trong khoảng thời gian từ năm 2006 đến 2008, bao gồm giai đoạn thu thập dữ liệu, phát triển thuật toán, xây dựng công cụ và thử nghiệm thực nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả chuyển giao hoạt ảnh bằng mạng RBF: Việc sử dụng mạng RBF kết hợp thuật toán di truyền cho phép tự động hóa quá trình chuyển hoạt ảnh từ mô hình nguồn sang mô hình mục tiêu với độ chính xác cao, giảm thiểu sự tham gia thủ công. Tỷ lệ thành công trong việc đặt điểm đánh dấu tối ưu đạt khoảng 90% trong các thử nghiệm.

2. Tăng tốc độ hoạt ảnh nhờ phân vùng mô hình: Việc chia mô hình khuôn mặt thành 11 vùng giúp giảm đáng kể số đỉnh cần kiểm tra trong thuật toán mô hình cơ. Kết quả thực nghiệm cho thấy tốc độ hoạt ảnh tăng từ 20.5 khung hình/giây lên 30.5 khung hình/giây sau khi áp dụng phân vùng, và tiếp tục tăng lên 35.2 khung hình/giây khi kết hợp các kỹ thuật tối ưu hóa cổ điển.

3. Biểu hiện khuôn mặt chân thực với nếp nhăn và chỗ phình: Mô hình cơ vectơ mở rộng có khả năng tạo ra các nếp nhăn và chỗ phình trên da mặt, giúp biểu cảm khuôn mặt trở nên tự nhiên và dễ nhận biết hơn. Ví dụ, các nếp nhăn ngang trên trán xuất hiện rõ ràng khi mô hình biểu hiện ngạc nhiên, và các chỗ phình ở vùng dưới cánh mũi qua khóe miệng thể hiện trên khuôn mặt hạnh phúc.

4. Khả năng hoạt ảnh thời gian thực trên máy tính cá nhân phổ biến: Mô hình và thuật toán được phát triển có thể chạy mượt mà với tốc độ khoảng 35 khung hình/giây trên máy tính cấu hình Pentium II 800 MHz, đáp ứng yêu cầu ứng dụng thực tế.

Thảo luận kết quả

Nguyên nhân thành công của phương pháp nằm ở việc kết hợp hiệu quả giữa mô hình cơ vectơ đơn giản nhưng có khả năng mô phỏng đa cơ và nếp nhăn, cùng với mạng RBF giúp biến đổi mô hình khuôn mặt một cách linh hoạt. So với các nghiên cứu trước đây như hoạt ảnh khung cơ sở hay tham số hóa, phương pháp này giảm thiểu đáng kể công sức thủ công và tăng tính tổng quát khi áp dụng cho các mô hình khuôn mặt mới.

So sánh với các phương pháp chuyển hoạt ảnh truyền thống như nhân bản biểu hiện hay chuyển FAT MPEG-4, phương pháp sử dụng mạng RBF và thuật toán di truyền cho phép tự động hóa cao hơn, giảm thời gian chuẩn bị dữ liệu và tăng tốc độ xử lý. Tuy nhiên, vẫn tồn tại hạn chế về việc chưa mô hình hóa chi tiết lưỡi và chất liệu da, điều này ảnh hưởng đến độ chân thực tổng thể của hoạt ảnh.

Dữ liệu có thể được trình bày qua biểu đồ so sánh tốc độ hoạt ảnh trước và sau khi áp dụng phân vùng mô hình, cũng như bảng thống kê tỷ lệ thành công trong việc đặt điểm đánh dấu tự động. Các hình ảnh minh họa biểu cảm khuôn mặt với và không có nếp nhăn cũng giúp làm rõ hiệu quả của mô hình cơ vectơ mở rộng.

Đề xuất và khuyến nghị

1. Phát triển mô hình lưỡi chi tiết: Động từ hành động: xây dựng; Target metric: tăng độ chân thực biểu cảm; Timeline: 6-12 tháng; Chủ thể thực hiện: nhóm nghiên cứu đồ họa máy tính. Việc bổ sung mô hình lưỡi sẽ nâng cao khả năng truyền tải ngôn ngữ và biểu cảm khuôn mặt.

2. Nâng cao mô hình chất liệu da: Động từ hành động: tích hợp; Target metric: cải thiện chất lượng hình ảnh; Timeline: 6 tháng; Chủ thể thực hiện: chuyên gia xử lý hình ảnh và đồ họa. Tạo chất liệu da phù hợp sẽ giúp biểu hiện nếp nhăn và chỗ phình trở nên tự nhiên hơn.

3. Tối ưu thuật toán mạng RBF và GA: Động từ hành động: tối ưu hóa; Target metric: giảm thời gian xử lý điểm đánh dấu; Timeline: 3-6 tháng; Chủ thể thực hiện: kỹ sư phần mềm. Cải tiến thuật toán giúp tăng tốc độ xử lý và khả năng mở rộng cho các mô hình phức tạp hơn.

4. Mở rộng ứng dụng sang môi trường thực tế ảo và trò chơi điện tử: Động từ hành động: triển khai; Target metric: tích hợp vào các nền tảng VR/AR; Timeline: 12 tháng; Chủ thể thực hiện: nhà phát triển phần mềm và công ty công nghệ. Việc này giúp tận dụng tối đa tiềm năng của mô hình trong các lĩnh vực giải trí và giáo dục.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu đồ họa máy tính: Hưởng lợi từ phương pháp mô hình cơ vectơ mở rộng và kỹ thuật chuyển hoạt ảnh tự động, giúp phát triển các mô hình khuôn mặt 3D chân thực và hiệu quả.

2. Kỹ sư phát triển trò chơi điện tử: Áp dụng công nghệ nhân bản chuyển động khuôn mặt để tạo các nhân vật ảo có biểu cảm đa dạng, nâng cao trải nghiệm người chơi.

3. Chuyên gia phát triển agent hiện thân (embodied agents): Sử dụng mô hình khuôn mặt 3D có khả năng biểu cảm tự nhiên để cải thiện tương tác người-máy trong các ứng dụng giáo dục, giải trí và hỗ trợ.

4. Sinh viên và học viên ngành Công nghệ Phần mềm, Đồ họa máy tính: Nắm bắt kiến thức về mô hình hóa khuôn mặt 3D, mạng RBF và thuật toán di truyền, phục vụ cho các đề tài nghiên cứu và phát triển phần mềm.

Câu hỏi thường gặp

1. Mạng RBF là gì và tại sao được sử dụng trong chuyển hoạt ảnh khuôn mặt?
   Mạng RBF là mạng nơ-ron sử dụng các hàm cơ sở bán kính Gaussian để xấp xỉ các hàm số phức tạp. Nó được dùng để biến đổi mô hình khuôn mặt nguồn sang mô hình mục tiêu dựa trên các điểm đánh dấu, giúp chuyển giao hoạt ảnh một cách chính xác và tự động.

2. Thuật toán di truyền đóng vai trò gì trong nghiên cứu này?
   Thuật toán di truyền được sử dụng để tự động điều chỉnh vị trí các điểm đánh dấu trên mô hình khuôn mặt mục tiêu, tối ưu hóa sự tương ứng với mô hình nguồn, giảm thiểu công sức thủ công và tăng độ chính xác của quá trình chuyển hoạt ảnh.

3. Phân vùng mô hình khuôn mặt giúp tăng tốc độ hoạt ảnh như thế nào?
   Phân vùng mô hình thành các vùng chịu ảnh hưởng của từng cơ giúp loại bỏ các đỉnh không cần thiết trong quá trình tính toán, giảm số lượng phép kiểm tra và tính toán, từ đó tăng tốc độ hoạt ảnh lên khoảng 67% so với không phân vùng.

4. Mô hình cơ vectơ của Waters có ưu điểm gì?
   Mô hình cơ vectơ đơn giản, có khả năng mô phỏng đa cơ và tạo ra các nếp nhăn, chỗ phình trên da mặt trong thời gian thực, phù hợp với các máy tính cá nhân phổ biến mà vẫn đảm bảo biểu cảm khuôn mặt chân thực.

5. Phương pháp này có thể áp dụng cho các mô hình khuôn mặt phức tạp hơn không?
   Có thể, tuy nhiên cần tối ưu thêm thuật toán và mở rộng mô hình để xử lý các chi tiết như lưỡi, chất liệu da và các cấu trúc giải phẫu phức tạp hơn nhằm duy trì hiệu suất và chất lượng hoạt ảnh.

Kết luận

• Luận văn đã phát triển thành công phương pháp nhân bản chuyển động khuôn mặt 3D dựa trên mô hình cơ vectơ mở rộng và mạng RBF, kết hợp thuật toán di truyền để tự động hóa quá trình chuyển giao hoạt ảnh.
• Phương pháp cho phép tạo biểu cảm khuôn mặt chân thực, có nếp nhăn và chỗ phình, đồng thời đạt hiệu suất hoạt ảnh thời gian thực trên máy tính cá nhân phổ biến.
• Việc phân vùng mô hình khuôn mặt giúp tăng tốc độ xử lý hoạt ảnh lên đến 35 khung hình/giây, phù hợp với các ứng dụng thực tế.
• Nghiên cứu mở ra hướng phát triển mô hình lưỡi và chất liệu da nhằm nâng cao độ chân thực biểu cảm trong tương lai.
• Khuyến nghị các nhà nghiên cứu và phát triển ứng dụng tiếp tục tối ưu thuật toán và mở rộng ứng dụng trong môi trường thực tế ảo, trò chơi điện tử và agent hiện thân.

Áp dụng phương pháp vào các dự án thực tế, phát triển công cụ hỗ trợ tự động hóa chuyển hoạt ảnh khuôn mặt đa dạng hơn, và nghiên cứu tích hợp mô hình lưỡi cùng chất liệu da nâng cao. Độc giả quan tâm có thể liên hệ để nhận bản đầy đủ luận văn và công cụ thử nghiệm.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Hiện nay, phần lớn tƣơng tác giữa con ngƣời và máy tính đƣợc thực hiện thông qua chuột và bàn phím. Cùng với sự phát triển nhanh chóng của đồ họa máy tính và công nghệ ngôn ngữ, các nhà nghiên cứu ngày càng chú ý tới việc đƣa sự tƣơng tác này trở nên linh hoạt, thích ứng và hƣớng tới con ngƣời hơn. Một cách thực hiện điều này là qua việc tạo ra các agent hiện thân (embodied agent). Các agent hiện thân đã từng đƣợc sử dụng làm giao diện cho tƣơng tác con ngƣời – máy tính [11].

Ngƣời ta cho rằng những agent hội thoại hiện thân (embodied conversational agents) cho phép ngƣời sử dụng tƣơng tác tự nhiên hơn với máy tính. Với xu thế phát triển của thế giới ảo, công nghệ agent hiện thân cho phép tạo dựng những nhân vật ảo với nhiều mục đích khác nhau nhƣ giải trí, giáo dục. Khả năng nói chuyện, biểu hiện gƣơng mặt và các cử chỉ của agent hiện thân khiến chúng rất phù hợp với các ứng dụng giải trí. Ngƣời kể chuyện ảo tại Đại học Twente là một ví dụ về agent hiện thân [38].

Đây là một agent nói chuyện hiện thân, kể lại những câu chuyện đƣợc sáng tác ra, với những ngôn điệu và cử chỉ thích hợp. Agent này đƣợc đặt trong một mô hình - bản sao nhà hát địa phƣơng: Virtual Music Center. Bên cạnh dạng kể chuyện truyền thống này, ngƣời ta cũng dự định phát triển các vở kịch ảo, trong đó các nhân vật hiện thân diễn trên sân khấu ảo, dựa trên cốt truyện đã sáng tác. Còn có nhiều ví dụ khác về các agent hiện thân phục vụ lĩnh vực giải trí, nhƣ các nhân vật nhân tạo ở phòng thí nghiệm truyền thông MIT [4], các nhà bình luận bóng đá robot [2].

Các agent hiện thân có thể làm ngƣời hƣớng dẫn các thủ tục, trả lời câu hỏi thắc mắc, và kiểm soát hành động của sinh viên. Agent hiện thân cũng có thể trở thành đồng đội trong những nhiệm vụ đòi hỏi sự tham gia của nhiều ngƣời. Một ví dụ về những agent nhƣ vậy là Steve - chuyên gia luyện bay trong môi trƣờng ảo tại Đại học Nam California [35]. Steve đƣợc xây dựng nhằm hỗ trợ việc tập luyện của đội trong một mô hình môi trƣờng làm việc ảo tƣơng tác ba chiều của một sinh viên, khi mà việc luyện tập dựa trên các thiết bị thật không có trên thực tế.

Các agent hiện thân cũng đƣợc dùng để phát triển các trò chơi trên máy tính. Các trò chơi máy tính truyền thống thƣờng có những nhân vật thụ động, cứng nhắc, máy móc. So với trò chơi một ngƣời chơi (một ngƣời chơi với các nhân vật máy tính), thì các trò chơi nhiều ngƣời chơi vẫn đƣợc ƣa chuộng hơn. Chơi với ngƣời thật thú vị hơn vì cách phản ứng của con ngƣời luôn đƣa đến những diễn biến mới mẻ, ngay cả khi chơi nhiều lần với cùng một ngƣời.

Còn trò chơi chỉ chơi với nhân vật máy tính sẽ không có đƣợc điều đó. Các agent hiện thân (hay các nhân vật ảo có thể cử động) có mục tiêu, kiến thức và khả năng riêng của chúng, đây có thể là lời giải đáp cho vấn đề này [23], đặc biệt là đối với những loại trò chơi sử dụng máy tính để tạo nên thế giới và các nhân vật ảo có thể tƣơng tác động với ngƣời chơi, ví dụ nhƣ Quake, Half-Life 2, Diablo 3,. Do đó, các nhân vật ảo có thể cử động đang đƣợc phát triển và đƣa vào z 2 nhiều loại trò chơi máy tính. Chúng cũng có tiềm năng dẫn đến việc ra đời những loại trò chơi hoàn toàn mới [23].

Một agent hiện thân điển hình gồm các thành phần sau: - Một cái đầu nói chuyện có khả năng nói, thể hiện các cử động môi trong khi nói, có các biểu cảm trên gƣơng mặt và thể hiện đƣợc các tín hiệu hội thoại. - Một cơ thể có khả năng thể hiện các cử chỉ. - Một mô hình trí não có thể bao gồm lòng tin, cảm xúc, kế hoạch hành vi, động thái và tính cách… Đối tƣợng nghiên cứu của luận văn này là các agent hiện thân đƣợc thể hiện dƣới dạng một khuôn mặt 3D. Trong bài toán xây dựng một mô hình khuôn mặt 3D, thông thƣờng ta phải trải qua các bƣớc sau: - Bƣớc 1: Sử dụng đồ hoạ máy tính để tạo dựng một mô hình khuôn mặt 3D.

- Bƣớc 2: Tạo dựng mô hình cơ mặt có thể đạt đƣợc những biểu hiện khuôn mặt chân thực trong thời gian thực trên một máy tính thông thƣờng. Các nghiên cứu trƣớc đây đã cho thấy bƣớc 2 đòi hỏi rất nhiều công sức và thời gian. Và việc này lặp lại mỗi khi chúng ta xây dựng một mô hình khuôn mặt 3D mới. Đây là lý do để luận văn nghiên cứu một phƣơng pháp tạo dựng mô hình cơ mặt cho một khuôn mặt 3D mới bằng cách biến đổi mô hình khuôn mặt nguồn đã có mô hình cơ mặt.

Trên cơ sở nghiên cứu và thử nghiệm phƣơng pháp nhân bản của Bùi Thế Duy và cộng sự [9], tôi đƣa ra một quy trình và xây dựng một công cụ tạo ra hoạt ảnh trên các khuôn mặt 3D. Công cụ này đƣợc xây dựng để kết nối với phần mềm tạo khuôn mặt Poser. Có một số ƣu điểm khi sử dụng mô hình khuôn mặt biến đổi để thể hiện một mô hình khuôn mặt mới thay cho việc sử dụng chính bản thân mô hình mới. Thứ nhất, khi tạo hoạt ảnh với những mô hình khuôn mặt khác nhau, chúng ta có thể giữ đƣợc một mô hình khuôn mặt cố định với số đỉnh và số đa giác đƣợc xác định trƣớc.

Thứ hai, ta có thể tái sử dụng các thông số trên mô hình khuôn mặt cố định trƣớc, ví dụ nhƣ các thông số xoay quai hàm và đảo mắt. Thứ ba, ta có thể sử dụng lại những thông tin về các vùng trên mô hình khuôn mặt để nâng cao hiệu quả của cơ vectơ và điều khiển hoạt ảnh. Luận văn đƣợc cấu trúc nhƣ sau. Chƣơng 1 giới thiệu một mô hình khuôn mặt 3D dựa trên hệ thống cơ đơn giản, có thể đáp ứng các mục tiêu sau: nó vừa có thể tạo nên những biểu hiện khuôn mặt chân thực, đồng thời lại đạt đƣợc hoạt ảnh thời gian thực trên những máy tính cá nhân thông thƣờng.

Chƣơng 2 trình bày cơ sở lý thuyết để xây dựng một phƣơng pháp truyền hoạt ảnh khuôn mặt từ một mô hình khuôn mặt cho trƣớc tới một mô hình mới đƣợc tạo ra mà không cần nhiều thao tác của con ngƣời. Chƣơng 3 trình bày một phƣơng pháp truyền hoạt ảnh khuôn mặt từ một mô hình khuôn mặt cho trƣớc tới một mô hình mới đƣợc tạo ra mà không cần nhiều thao tác của con ngƣời. Chƣơng này mô tả quy trình và một công cụ do tác giả phát triển để thử nghiệm phƣơng pháp đƣợc đƣa ra trong luận văn. TỔNG QUAN VỀ KHUÔN MẶT VÀ HOẠT ẢNH CỦA KHUÔN MẶT 3D 1.1 Giới thiệu Khuôn mặt của con ngƣời rất đặc biệt.

Đó là bộ phận cơ thể quan trọng để giúp nhận diện một ngƣời bằng mắt thƣờng. Trong hàng trăm khuôn mặt quen thuộc, chúng ta vẫn có thể nhận ra một khuôn mặt cụ thể. Ta cũng có khả năng phát hiện ra từng cử động tinh tế của khuôn mặt. Khả năng này phát triển từ thời thơ ấu của chúng ta và nhờ nó ta có đƣợc công cụ giao tiếp cơ bản nhất của con ngƣời.

Theo một số nghiên cứu, trẻ em 9 tháng tuổi bắt đầu hiểu đƣợc những phản ứng của khuôn mặt ngƣời khác. Ngay khi 1 tuổi, trẻ em phát triển bình thƣờng có thể phân biệt các biểu hiện cảm xúc và chúng tiếp tục hoàn thiện khả năng này trong quá trình trƣởng thành. Hoạt ảnh của khuôn mặt con ngƣời giữ vai trò quan trọng trong giao tiếp mặt đối mặt. Cử động môi trong khi nói chuyện giúp đoán biết đƣợc bằng mắt ngƣời đó đang nói gì.

Cohen and Massaro [13] đã chứng minh rằng tỷ lệ nhận biết âm vị từ những đoạn video vừa có hình ảnh ngƣời nói vừa có âm thanh cao hơn hẳn so với từ những đoạn băng chỉ có âm thanh. Đối với ngƣời điếc, cử động môi là điều thiết yếu để họ hiểu đƣợc các hội thoại. Trong giao tiếp bằng cử chỉ, biểu hiện của khuôn mặt thƣờng ngụ ý sự biến đổi của khuôn mặt theo thời gian. Tuy nhiên, ngay cả một bức tranh chân dung cũng thể hiện cảm xúc, nghĩa là biểu hiện của khuôn mặt có thể ở chế độ tĩnh, mặc dù những biểu hiện đó không rõ ràng nếu không đƣợc đặt trong hoàn cảnh cụ thể.

Biểu hiện của khuôn mặt diễn ra liên tục trong suốt quá trình nói chuyện. Chúng là sự minh họa và bổ sung cho những thông tin từ lời nói. Chúng có thể diễn đạt cảm xúc, tâm trạng, và truyền đạt các thông tin về tính cách của ngƣời nói. Những thông tin này có thể làm lộ ra phần ẩn giấu bên trong một con ngƣời, mà lời nói không toát lên đƣợc.

Bài toán tạo mô hình khuôn mặt con ngƣời và tạo ra các hoạt ảnh mặt bằng máy tính là một thách thức lớn trong cộng đồng khoa học nghiên cứu về đồ họa vi tính. Một nhu cầu mới nảy sinh là thể hiện đƣợc khuôn mặt chân thực, chất lƣợng cao và đồng thời đạt đƣợc hoạt ảnh thời gian thực của khuôn mặt. Nhìn chung, trƣớc nghiên cứu của Bùi Thế Duy và cộng sự [7, 8], các cách tiếp cận đều chƣa thể đạt đƣợc cả hai mục tiêu này. Hoạt ảnh khung cơ sở (key-frame animation) [29], hoạt ảnh đƣợc tham số hoá (parameterized animation) [30] và hoạt ảnh dựa trên hệ thống cơ giả (pseudo- muscle-based animation) [21] là các cách thức đơn giản để đạt đƣợc hoạt ảnh thời gian thực, tuy nhiên chúng không thể tạo ra các biểu hiện khuôn mặt chân thực, do không tạo đƣợc các chỗ phình và nếp nhăn trên da, cũng nhƣ không xử lý đƣợc các tƣơng tác đa tham số (đa cơ).

Mặt khác, hoạt ảnh dựa trên hệ thống cơ đa lớp với nhiều lớp thuộc cấu trúc khuôn mặt có thể tạo đƣợc sự biểu đạt chân thực, nhƣng việc xử lý hoạt ảnh z 4 thời gian thực bằng phƣơng pháp này đòi hỏi dung lƣợng tính toán khổng lồ, mà các máy tính cá nhân thông thƣờng không đáp ứng đƣợc. Trong chƣơng này, tôi sẽ xem xét một mô hình khuôn mặt 3D dựa trên hệ thống cơ giản đơn, mà có thể tạo ra nét mặt chân thực cũng nhƣ các hoạt ảnh thời gian thực trên máy tính cá nhân thông thƣờng.