Luận văn thạc sĩ: Nghiên cứu nhân bản chuyển động khuôn mặt trên các mô hình khuôn mặt 3D

Nghiên cứu nhân bản chuyển động khuôn mặt trên các mô hình 3D khác nhau trong luận văn thạc sĩ VNU UET, khám phá công nghệ tiên tiến.

• Tác giả: Đặng Tuấn Anh
• Người hướng dẫn: TS. Bùi Thế Duy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Nghiên Cứu Nhân Bản Chuyển Động Khuôn Mặt Trên Mô Hình 3D
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHUÔN MẶT VÀ HOẠT ẢNH CỦA KHUÔN MẶT 3D
• 1.1. Giới thiệu
• 1.2. Các kỹ thuật hiện có được sử dụng để tạo mô hình và làm hoạt ảnh khuôn mặt 3D
• 1.2.1. Tạo mô hình khuôn mặt
• 1.2.2. Tạo mô hình hoạt ảnh của khuôn mặt
• 1.2.3. Một mô hình khuôn mặt 3D cho ứng dụng thời gian thực
• 1.3. Mô hình môi
• 1.4. Các cơ làm khuôn mặt hoạt ảnh
• 1.4.1. Xoay quai hàm
• 1.4.2. Xoay tròng mắt
• 1.5. Kết quả thực nghiệm
• 1.6. Kết luận chương
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT NỀN TẢNG
• 2.1. Các nghiên cứu trước đây về việc chuyển hoạt ảnh khuôn mặt
• 2.1.1. Nhân bản biểu hiện
• 2.1.2. Dịch chuyển các bảng hoạt ảnh khuôn mặt MPEG-4
• 2.1.3. Chuyển một cấu trúc khuôn mặt nhiều lớp
• 2.2. Mạng RBF và các thuật toán di truyền học
• 2.2.1. Các thuật toán di truyền học
• 3. CHƯƠNG 3: XÂY DỰNG MÔ HÌNH KHUÔN MẶT 3D TỪ MỘT KHUÔN MẶT GỐC
• 3.1. Mô tả phương pháp biến đổi khuôn mặt 3D
• 3.2. Hàm sai số
• 3.3. Sử dụng GA điều chỉnh các điểm đánh dấu
• 3.3.1. Nhiễm sắc thể
• 3.3.2. Hàm thích nghi (Fitness function)
• 3.3.3. Phép lai ghép (Crossover)
• 3.3.4. Phép toán bổ sung (Additional Operation)
• 3.4. Quy trình biến đổi khuôn mặt 3D
• 3.5. Một công cụ biến đổi khuôn mặt 3D
• 3.5.1. Tạo mô hình khuôn mặt 3D bằng Poser 5
• 3.5.2. Công cụ biến đổi
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu nhân bản chuyển động khuôn mặt 3D

Nghiên cứu về nhân bản chuyển động khuôn mặt trên mô hình 3D đang trở thành một lĩnh vực quan trọng trong công nghệ thông tin. Việc tạo ra các mô hình khuôn mặt 3D không chỉ giúp cải thiện trải nghiệm người dùng trong các ứng dụng giải trí mà còn có ứng dụng trong giáo dục và y tế. Các nghiên cứu hiện tại tập trung vào việc phát triển các phương pháp hiệu quả để tạo ra các biểu hiện khuôn mặt chân thực và sống động.

1.1. Khái niệm về mô hình khuôn mặt 3D

Mô hình khuôn mặt 3D là một bản sao số hóa của khuôn mặt con người, cho phép thể hiện các biểu cảm và chuyển động. Các mô hình này thường được sử dụng trong các ứng dụng như game, phim hoạt hình và thực tế ảo.

1.2. Tầm quan trọng của nghiên cứu nhân bản khuôn mặt

Nghiên cứu này không chỉ giúp cải thiện khả năng nhận diện và tương tác của máy tính với con người mà còn mở ra nhiều cơ hội mới trong lĩnh vực công nghệ thực tế ảo và trí tuệ nhân tạo.

II. Thách thức trong việc chuyển động khuôn mặt 3D

Việc tạo ra các mô hình 3D khuôn mặt với chuyển động tự nhiên gặp nhiều thách thức. Các vấn đề như độ chính xác trong việc nhận diện biểu cảm, khả năng xử lý thời gian thực và yêu cầu về tài nguyên tính toán là những yếu tố cần được giải quyết. Các nhà nghiên cứu đang tìm kiếm các giải pháp để tối ưu hóa quy trình này.

2.1. Độ chính xác trong nhận diện biểu cảm

Độ chính xác trong việc nhận diện biểu cảm là một yếu tố quan trọng. Các mô hình cần phải có khả năng nhận diện và tái tạo các biểu cảm phức tạp như vui, buồn, giận dữ một cách chính xác.

2.2. Yêu cầu về tài nguyên tính toán

Việc xử lý các mô hình khuôn mặt 3D yêu cầu một lượng lớn tài nguyên tính toán. Điều này có thể gây khó khăn cho việc triển khai trên các thiết bị có cấu hình thấp.

III. Phương pháp tạo mô hình khuôn mặt 3D hiệu quả

Để giải quyết các thách thức trong việc tạo ra mô hình khuôn mặt 3D, nhiều phương pháp đã được phát triển. Các phương pháp này bao gồm việc sử dụng công nghệ nhân bản khuôn mặt và các thuật toán học máy để tối ưu hóa quy trình tạo mô hình.

3.1. Công nghệ nhân bản khuôn mặt

Công nghệ nhân bản khuôn mặt cho phép tái sử dụng các mô hình đã có để tạo ra các biểu cảm mới mà không cần phải xây dựng lại từ đầu. Điều này giúp tiết kiệm thời gian và tài nguyên.

3.2. Thuật toán học máy trong mô hình hóa

Sử dụng các thuật toán học máy giúp cải thiện độ chính xác và hiệu quả trong việc tạo ra các mô hình khuôn mặt 3D. Các thuật toán này có khả năng học từ dữ liệu và tối ưu hóa quy trình tạo mô hình.

IV. Ứng dụng thực tiễn của mô hình khuôn mặt 3D

Mô hình khuôn mặt 3D có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Từ game đến giáo dục, các mô hình này giúp nâng cao trải nghiệm người dùng và tạo ra các sản phẩm sáng tạo hơn.

4.1. Ứng dụng trong ngành game

Trong ngành game, mô hình khuôn mặt 3D giúp tạo ra các nhân vật sống động và tương tác hơn, mang lại trải nghiệm thú vị cho người chơi.

4.2. Ứng dụng trong giáo dục

Mô hình khuôn mặt 3D cũng được sử dụng trong giáo dục để tạo ra các bài học tương tác, giúp học sinh dễ dàng tiếp thu kiến thức hơn.

V. Kết luận và tương lai của nghiên cứu nhân bản khuôn mặt

Nghiên cứu về chuyển động khuôn mặt 3D đang mở ra nhiều cơ hội mới trong công nghệ. Với sự phát triển của công nghệ, tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều đột phá trong việc tạo ra các mô hình khuôn mặt chân thực và sống động hơn.

5.1. Xu hướng phát triển công nghệ

Công nghệ sẽ tiếp tục phát triển, giúp cải thiện khả năng tạo ra các mô hình khuôn mặt 3D với độ chính xác cao hơn và thời gian xử lý nhanh hơn.

5.2. Tác động đến các lĩnh vực khác

Nghiên cứu này không chỉ ảnh hưởng đến ngành công nghệ thông tin mà còn có thể tác động đến các lĩnh vực như y tế, tâm lý học và nghệ thuật.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ đồ họa máy tính và tương tác người-máy, việc tạo dựng mô hình khuôn mặt 3D với hoạt ảnh chân thực và thời gian thực trở thành một thách thức lớn. Theo báo cáo của ngành, các mô hình khuôn mặt 3D truyền thống thường gặp khó khăn trong việc cân bằng giữa chất lượng biểu hiện khuôn mặt và hiệu suất hoạt ảnh thời gian thực trên các máy tính cá nhân thông thường. Mục tiêu nghiên cứu của luận văn là phát triển một phương pháp biến đổi mô hình khuôn mặt 3D nguồn sang các mô hình khuôn mặt mới, đồng thời giữ được các biểu hiện khuôn mặt chân thực và khả năng hoạt ảnh thời gian thực. Phạm vi nghiên cứu tập trung vào các mô hình khuôn mặt 3D được xây dựng dựa trên hệ thống cơ giản đơn, áp dụng cho các mô hình khuôn mặt có số đa giác từ khoảng 2.000 đến 30.000, với dữ liệu thu thập từ máy quét 3D và phần mềm tạo mô hình như Poser. Ý nghĩa nghiên cứu được thể hiện qua việc nâng cao hiệu quả tạo hoạt ảnh khuôn mặt 3D, giảm thiểu công sức thủ công trong việc điều chỉnh mô hình mới, đồng thời mở rộng ứng dụng trong các lĩnh vực giải trí, giáo dục và tương tác ảo.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính:

1. Mô hình cơ vectơ của Waters: Đây là mô hình cơ bản để mô phỏng các cơ mặt dưới dạng vectơ có tính định hướng, cho phép tạo ra các biến dạng chân thực trên bề mặt khuôn mặt. Mô hình này được mở rộng để xử lý sự tương tác đa cơ, tạo ra các chỗ phình và nếp nhăn trên da trong thời gian thực.

2. Mạng Radial Basis Function (RBF): Mạng RBF được sử dụng để biến đổi mô hình khuôn mặt nguồn sang mô hình mục tiêu dựa trên các điểm đánh dấu tương ứng. Mạng này cho phép ánh xạ phi tuyến giữa các tập điểm 3D, hỗ trợ việc chuyển hoạt ảnh khuôn mặt một cách tự động và chính xác.

Các khái niệm chuyên ngành quan trọng bao gồm:

• Tham số hoạt ảnh mặt (FAP) và Bảng hoạt ảnh khuôn mặt (FAT) theo tiêu chuẩn MPEG-4, dùng để điều khiển hoạt ảnh khuôn mặt.
• Hàm nếp nhăn: hàm parabol mô phỏng các nếp nhăn trên da do sự co cơ tạo ra.
• Phép nội suy cosin và phi tuyến trong hoạt ảnh khung cơ sở để mô phỏng chuyển động mềm mại.
• Thuật toán di truyền học (GA): được dùng để tự động xác định và điều chỉnh các điểm đánh dấu trên mô hình khuôn mặt mục tiêu.

Phương pháp nghiên cứu

Nguồn dữ liệu chính bao gồm các mô hình khuôn mặt 3D thu thập từ máy quét laze và phần mềm Poser 5, với số lượng đa giác dao động từ khoảng 2.000 đến 30.000. Cỡ mẫu nghiên cứu là một bộ mô hình khuôn mặt nguồn và nhiều mô hình khuôn mặt mục tiêu khác nhau để kiểm thử phương pháp biến đổi.

Phương pháp phân tích gồm:

• Xây dựng mô hình cơ vectơ mở rộng dựa trên Waters để mô phỏng các cơ mặt và biểu hiện khuôn mặt.
• Áp dụng thuật toán di truyền để tự động xác định vị trí các điểm đánh dấu trên mô hình mục tiêu, giảm thiểu sự can thiệp thủ công.
• Sử dụng mạng RBF để biến đổi mô hình khuôn mặt nguồn sang mô hình mục tiêu dựa trên các điểm đánh dấu đã xác định.
• Kiểm tra hiệu quả hoạt ảnh thông qua các biểu hiện cảm xúc như ngạc nhiên, hạnh phúc, buồn bã với tốc độ hoạt ảnh đạt khoảng 35 khung hình/giây trên máy tính cá nhân cấu hình Pentium II 800 MHz.

Timeline nghiên cứu kéo dài trong khoảng một năm, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, phát triển thuật toán, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình cơ vectơ mở rộng: Mô hình cơ vectơ được cải tiến cho phép xử lý sự tương tác đa cơ, tạo ra các chỗ phình và nếp nhăn chân thực trên khuôn mặt. Tốc độ hoạt ảnh đạt khoảng 35 khung hình/giây trên máy tính cá nhân cấu hình Pentium III 800 MHz, tăng 70% so với trước khi áp dụng kỹ thuật kiểm tra vùng ảnh hưởng cơ (từ 20.5 lên 35 fps).

2. Phương pháp chia vùng mô hình khuôn mặt: Việc chia mô hình khuôn mặt thành 11 vùng giúp giảm đáng kể số đỉnh cần kiểm tra khi tính toán ảnh hưởng của cơ, từ đó tăng tốc độ xử lý hoạt ảnh. Ví dụ, vùng mặt dưới bên phải chứa khoảng 160 đỉnh, giúp tập trung tính toán chính xác và hiệu quả.

3. Ứng dụng mạng RBF và thuật toán di truyền: Thuật toán di truyền tự động xác định vị trí các điểm đánh dấu trên mô hình mục tiêu, giảm thiểu sự can thiệp thủ công và tăng tính tổng quát của phương pháp. Mạng RBF biến đổi mô hình nguồn sang mô hình mục tiêu chính xác, giữ nguyên các biểu hiện khuôn mặt và chuyển động phức tạp.

4. Biểu hiện cảm xúc chân thực: Các biểu hiện ngạc nhiên, hạnh phúc và buồn bã được mô phỏng với các nếp nhăn và chỗ phình rõ ràng, làm tăng độ diễn cảm và tính tự nhiên của khuôn mặt. So sánh hình ảnh có và không có nếp nhăn cho thấy sự khác biệt rõ rệt về mức độ chân thực.

Thảo luận kết quả

Nguyên nhân thành công của phương pháp nằm ở việc kết hợp mô hình cơ vectơ đơn giản nhưng hiệu quả với kỹ thuật chia vùng và thuật toán tối ưu hóa tự động. So với các nghiên cứu trước đây, phương pháp này giảm thiểu đáng kể công sức thủ công trong việc điều chỉnh mô hình mới, đồng thời duy trì tốc độ hoạt ảnh thời gian thực trên các máy tính phổ thông.

Kết quả cũng cho thấy việc xử lý đa cơ song song với mức co cơ nhỏ (δc = 0.2) giúp mô phỏng chính xác hơn các biểu hiện phức tạp, tránh hiện tượng biến dạng giả tạo. Việc sử dụng hàm nếp nhăn parabol đơn giản nhưng hiệu quả giúp mô hình duy trì tốc độ cao mà vẫn tạo ra các chi tiết biểu cảm quan trọng.

Dữ liệu có thể được trình bày qua biểu đồ so sánh tốc độ hoạt ảnh trước và sau khi áp dụng kỹ thuật chia vùng, cũng như bảng thống kê số lượng đỉnh trong từng vùng và mức độ ảnh hưởng của các cơ. Hình ảnh minh họa các biểu hiện cảm xúc với và không có nếp nhăn cũng làm rõ sự khác biệt về chất lượng biểu hiện.

Đề xuất và khuyến nghị

1. Phát triển mô hình lưỡi 3D: Động từ hành động: xây dựng; Target metric: tăng tính chân thực của hoạt ảnh miệng; Timeline: 6-12 tháng; Chủ thể thực hiện: nhóm nghiên cứu đồ họa máy tính. Mô hình lưỡi sẽ bổ sung cho biểu hiện miệng, nâng cao khả năng truyền tải ngôn ngữ và cảm xúc.

2. Tích hợp kỹ thuật tạo chất liệu nâng cao: Động từ hành động: áp dụng; Target metric: cải thiện chất lượng bề mặt da và nếp nhăn; Timeline: 3-6 tháng; Chủ thể thực hiện: chuyên gia đồ họa và lập trình viên. Việc này giúp tăng tính chân thực của mô hình khuôn mặt mà không làm giảm tốc độ hoạt ảnh.

3. Tối ưu thuật toán mạng RBF và GA: Động từ hành động: tối ưu; Target metric: giảm thời gian xử lý và tăng độ chính xác điểm đánh dấu; Timeline: 6 tháng; Chủ thể thực hiện: nhà nghiên cứu AI và học máy. Mục tiêu là nâng cao hiệu quả chuyển đổi mô hình khuôn mặt mới.

4. Mở rộng ứng dụng vào môi trường thực tế ảo và trò chơi điện tử: Động từ hành động: triển khai; Target metric: tăng trải nghiệm người dùng; Timeline: 12 tháng; Chủ thể thực hiện: các công ty phát triển phần mềm và trò chơi. Phương pháp này có thể tạo ra các nhân vật ảo biểu cảm và tương tác tự nhiên hơn.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu đồ họa máy tính và hoạt ảnh 3D: Luận văn cung cấp phương pháp mới trong mô hình hóa và hoạt ảnh khuôn mặt, giúp họ phát triển các mô hình biểu cảm chân thực và hiệu quả.

2. Chuyên gia phát triển trò chơi điện tử và thực tế ảo: Các kỹ thuật mô hình và hoạt ảnh khuôn mặt 3D trong luận văn hỗ trợ tạo ra nhân vật ảo sống động, tăng tính tương tác và trải nghiệm người chơi.

3. Giảng viên và sinh viên ngành Công nghệ Thông tin, Công nghệ Phần mềm: Đây là tài liệu tham khảo quý giá về ứng dụng mạng RBF, thuật toán di truyền và mô hình cơ học trong đồ họa máy tính.

4. Các nhà phát triển phần mềm tương tác người-máy: Phương pháp chuyển hoạt ảnh khuôn mặt tự động giúp giảm thiểu công sức thiết kế giao diện người dùng với các agent hiện thân, nâng cao tính tự nhiên trong giao tiếp.

Câu hỏi thường gặp

1. Phương pháp này có thể áp dụng cho các mô hình khuôn mặt có số đa giác lớn không?
   Phương pháp được thiết kế để xử lý hiệu quả các mô hình từ khoảng 2.000 đến 30.000 đa giác. Việc chia vùng và tối ưu thuật toán giúp duy trì tốc độ hoạt ảnh thời gian thực ngay cả với số đa giác lớn.

2. Thuật toán di truyền được sử dụng như thế nào trong việc xác định điểm đánh dấu?
   Thuật toán di truyền tự động tìm vị trí tối ưu của các điểm đánh dấu trên mô hình mục tiêu, giảm thiểu sự can thiệp thủ công và tăng độ chính xác trong việc ánh xạ mô hình nguồn sang mô hình mới.

3. Mạng RBF có ưu điểm gì so với các phương pháp ánh xạ khác?
   Mạng RBF cho phép ánh xạ phi tuyến chính xác giữa các tập điểm 3D, hỗ trợ chuyển đổi mô hình khuôn mặt phức tạp mà không cần nhiều điều chỉnh thủ công, đồng thời duy trì tính tổng quát cao.

4. Làm thế nào để mô hình tạo ra các nếp nhăn và chỗ phình trên khuôn mặt?
   Mô hình sử dụng hàm nếp nhăn parabol đơn giản, tính toán biên độ nếp nhăn dựa trên khoảng cách đến điểm trung tâm cơ, kết hợp với mô hình cơ vectơ để tạo ra các chi tiết biểu cảm chân thực trong thời gian thực.

5. Phương pháp này có thể áp dụng cho các ứng dụng thời gian thực như trò chơi điện tử không?
   Có, với tốc độ hoạt ảnh khoảng 35 khung hình/giây trên máy tính cá nhân phổ thông, phương pháp phù hợp để tích hợp vào các ứng dụng thời gian thực như trò chơi điện tử và môi trường thực tế ảo.

Kết luận

• Phương pháp biến đổi mô hình khuôn mặt 3D dựa trên mô hình cơ vectơ mở rộng và mạng RBF cho phép tạo hoạt ảnh khuôn mặt chân thực và thời gian thực trên máy tính cá nhân.
• Việc chia vùng mô hình khuôn mặt giúp tăng tốc độ xử lý hoạt ảnh lên đến 35 khung hình/giây, cải thiện 70% so với phương pháp truyền thống.
• Thuật toán di truyền tự động xác định điểm đánh dấu giảm thiểu công sức thủ công và tăng tính tổng quát của phương pháp.
• Các biểu hiện cảm xúc như ngạc nhiên, hạnh phúc và buồn bã được mô phỏng với các nếp nhăn và chỗ phình rõ nét, nâng cao độ diễn cảm.
• Các bước tiếp theo bao gồm phát triển mô hình lưỡi 3D, tích hợp kỹ thuật tạo chất liệu nâng cao và tối ưu thuật toán để mở rộng ứng dụng trong thực tế ảo và trò chơi điện tử.

Khuyến khích các nhà nghiên cứu và phát triển phần mềm ứng dụng phương pháp này để nâng cao chất lượng hoạt ảnh khuôn mặt 3D, đồng thời tiếp tục nghiên cứu mở rộng các thành phần mô hình nhằm tăng tính chân thực và hiệu quả.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẶNG TUẤN ANH NGHIÊN CỨU NHÂN BẢN CHUYỂN ĐỘNG KHUÔN MẶT TRÊN CÁC MÔ HÌNH KHUÔN MẶT 3D KHÁC NHAU Ngành: Công nghệ Thông tin Chuyên ngành: Công nghệ Phần mềm Mã số: 60 48 10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC TS. Bùi Thế Duy Hà Nội - 2008 LUAN VAN CHAT LUONG download : add [e-mail] MỤC LỤC MỞ ĐẦU . TỔNG QUAN VỀ KHUÔN MẶT VÀ HOẠT ẢNH CỦA KHUÔN MẶT 3D .2 Các kỹ thuật hiện có đƣợc sử dụng để tạo mô hình và làm hoạt ảnh khuôn mặt 3D .1 Tạo mô hình khuôn mặt .2 Tạo mô hình hoạt ảnh của khuôn mặt .3 Một mô hình khuôn mặt 3D cho ứng dụng thời gian thực .2 Mô hình môi .4 Các cơ làm khuôn mặt hoạt ảnh .4 Xoay quai hàm .5 Xoay tròng mắt .5 Kết quả thực nghiệm .6 Kết luận chƣơng . CƠ SỞ LÝ THUYẾT NỀN TẢNG .2 Các nghiên cứu trƣớc đây về việc chuyển hoạt ảnh khuôn mặt .1 Nhân bản biểu hiện .2 Dịch chuyển các bảng hoạt ảnh khuôn mặt MPEG-4 .3 Chuyển một cấu trúc khuôn mặt nhiều lớp .3 Mạng RBF và các thuật toán di truyền học .2 Các thuật toán di truyền học . 45 LUAN VAN CHAT LUONG download : add [e-mail] CHƢƠNG 3. XÂY DỰNG MÔ HÌNH KHUÔN MẶT 3D TỪ MỘT KHUÔN MẶT GỐC .2 Mô tả phƣơng pháp biến đổi khuôn mặt 3D .4 Hàm sai số .5 Sử dụng GA điều chỉnh các điểm đánh dấu .1 Nhiễm sắc thể .2 Hàm thích nghi (Fitness function).3 Phép lai ghép (Crossover) .5 Phép toán bổ sung (Additional Operation) .6 Quy trình biến đổi khuôn mặt 3D .7 Một công cụ biến đổi khuôn mặt 3D .1 Tạo mô hình khuôn mặt 3D bằng Poser 5 .2 Công cụ biến đổi . 69 TÀI LIỆU THAM KHẢO. 74 LUAN VAN CHAT LUONG download : add [e-mail] DANH MỤC VIẾT TẮT Ký hiệu Tiếng Anh Ý nghĩa AMA Abstract Muscle Action Hành động cơ trừu tƣợng FAP Facial Animation Parameter Tham số hoạt ảnh mặt FAT Face Animation Table Bảng hoạt ảnh khuôn mặt FFD Free Form Deformation Biến đổi dạng tự do GA Genetic Algorithms Các thuật toán di truyền học RBF Radial Basis Function Hàm cơ sở bán kính RFFD Rational Free Form Deformation Biến đổi dạng tự do hợp lý LUAN VAN CHAT LUONG download : add [e-mail] DANH MỤC CÁC BẢNG Bảng 1.1: Các cơ trên mô hình khuôn mặt (ở phần khuôn mặt bên phải).2: Kết quả của việc áp dụng các kỹ thuật tăng tốc độ hoạt ảnh (trên một máy tính Pentium III, 800 Mhz, 256MB RAM, Nvidia GeForce3 video card) . 29 LUAN VAN CHAT LUONG download : add [e-mail] DANH MỤC CÁC HÌNH VẼ Hình 1.1: Các mô hình khuôn mặt CANDIDE (trái) và Greta (phải) .2: Một bề mặt B-spline .3: Mô hình cơ vòng của Waters .4: Mô hình cơ phiến của Waters .5: Mô hình cơ vectơ của Waters .6: Hành động của cơ vòng miệng thực: (a) chìa môi và (b) mím môi.7: (a) Khuôn mặt khung lƣới cùng các cơ; (b) khuôn mặt bình thƣờng; và (c) hiệu ứng của cơ gò má lớn bên trái.8: Chia vùng trên phần khuôn mặt bên phải.10: (a) Lƣới mặt không có môi; và (b) môi kết hợp với toàn bộ lƣới mặt .12: Tác động của cơ đơn lên lƣới (a và b); Tác động của hai cơ lên lƣới (biểu diễn theo từng bƣớc) bằng cách mô phỏng tính chất song song (c,d,e,f) và bằng cách thêm sự biến đổi (g,h,i,j) .13: Tác động của ba cơ lên lƣới mặt: bằng cách mô phỏng các đƣờng song song (a) và bằng cách thêm sự biến đổi (b) .14: Khi có biểu hiện buồn, xử lý sự co cơ đối với cặp lông mày: bằng cách mô phỏng các đƣờng song song (a) và bằng cách thêm sự biến đổi (b) .15: Miền chứa các nếp nhăn đƣợc tạo bởi sự co rút của một cơ vectơ.16: Hàm nếp nhăn .17: Bài toán “pháp tuyến đỉnh không biểu diễn” và cách giải.18: Các nếp nhăn do sự co cơ tạo nên.19: Mô tả hành động của cơ vòng miệng: đẩy môi ra (a); mím môi lại (b).20: Sự biến đổi của môi dƣới tác động của sự co cơ vòng miệng: dạng bình thƣờng (a); đẩy môi ra (b) và mím môi lại (c).21: Chỉ nhắm một mắt (a); Nhắm cả hai mắt (b).22: Các góc định hƣớng mắt.23: Vùng nhìn đƣợc của mắt.24: Khuôn mặt buồn khi có (a) và khi không có (b) các nếp nhăn và việc xử lý hành động co đa cơ. 33 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.25: Gƣơng mặt ngạc nhiên.26: Gƣơng mặt hạnh phúc.27: Gƣơng mặt buồn.1: Mạng RBF trong xây dựng mô hình chuỗi thời gian .2: Mạng RBF trong phân loại mẫu .3: Sơ đồ thuật toán di truyền học .1: Tổng quan hệ thống khai thác khuôn mặt.2: Mô hình khuôn mặt nguồn (4650 đa giác).3: Giao phần giữa một bề mặt của mô hình khuôn mặt với mặt phẳng mẫu.4: Cách đặt vị trí các điểm mẫu trên giao phần giữa mặt phẳng mẫu và bề mặt của mô hình khuôn mặt mục tiêu và mô hình khuôn mặt biến đổi.5: Một điểm đánh dấu ban đầu và biến thể của nó .6: Phép lai ghép đa điểm.7: Cách thức hội tụ của quá trình GA: đƣờng nét đứt – các nghiệm đƣợc thay thế bởi phép chiếu của chúng lên mô hình khuôn mặt mục tiêu trong suốt quá trình GA; đƣờng liên tục: phép chiếu đƣợc sử dụng chỉ để tính hàm sai số và để tạo ra nghiệm cuối cùng.8: Quy trình biến đổi khuôn mặt 3D .9: Giao diện công cụ Face của Poser 5 .10: Hai hình ảnh của khuôn mặt: chụp thẳng và chụp bên .11: Nạp ảnh và xác định một số vị trí trên gƣơng mặt .12: Kết quả thu đƣợc sau bƣớc 1 .13: Texture Variation và công cụ Face Shaping .14: Biểu đồ lớp thiết kế của hệ thống .15: Giao diện công cụ biến đổi khuôn mặt 3D .16: Đƣa vào khuôn mặt mục tiêu .17: Chọn các điểm đánh dấu trên khuôn mặt mục tiêu .18: Kết quả thực nghiệm khi sử dụng công cụ biến đổi khuôn mặt 3D . 68 LUAN VAN CHAT LUONG download : add [e-mail] 1 MỞ ĐẦU Hiện nay, phần lớn tƣơng tác giữa con ngƣời và máy tính đƣợc thực hiện thông qua chuột và bàn phím. Cùng với sự phát triển nhanh chóng của đồ họa máy tính và công nghệ ngôn ngữ, các nhà nghiên cứu ngày càng chú ý tới việc đƣa sự tƣơng tác này trở nên linh hoạt, thích ứng và hƣớng tới con ngƣời hơn. Một cách thực hiện điều này là qua việc tạo ra các agent hiện thân (embodied agent). Các agent hiện thân đã từng đƣợc sử dụng làm giao diện cho tƣơng tác con ngƣời – máy tính [11]. Ngƣời ta cho rằng những agent hội thoại hiện thân (embodied conversational agents) cho phép ngƣời sử dụng tƣơng tác tự nhiên hơn với máy tính. Với xu thế phát triển của thế giới ảo, công nghệ agent hiện thân cho phép tạo dựng những nhân vật ảo với nhiều mục đích khác nhau nhƣ giải trí, giáo dục. Khả năng nói chuyện, biểu hiện gƣơng mặt và các cử chỉ của agent hiện thân khiến chúng rất phù hợp với các ứng dụng giải trí. Ngƣời kể chuyện ảo tại Đại học Twente là một ví dụ về agent hiện thân [38]. Đây là một agent nói chuyện hiện thân, kể lại những câu chuyện đƣợc sáng tác ra, với những ngôn điệu và cử chỉ thích hợp. Agent này đƣợc đặt trong một mô hình - bản sao nhà hát địa phƣơng: Virtual Music Center. Bên cạnh dạng kể chuyện truyền thống này, ngƣời ta cũng dự định phát triển các vở kịch ảo, trong đó các nhân vật hiện thân diễn trên sân khấu ảo, dựa trên cốt truyện đã sáng tác. Còn có nhiều ví dụ khác về các agent hiện thân phục vụ lĩnh vực giải trí, nhƣ các nhân vật nhân tạo ở phòng thí nghiệm truyền thông MIT [4], các nhà bình luận bóng đá robot [2]. Các agent hiện thân có thể làm ngƣời hƣớng dẫn các thủ tục, trả lời câu hỏi thắc mắc, và kiểm soát hành động của sinh viên. Agent hiện thân cũng có thể trở thành đồng đội trong những nhiệm vụ đòi hỏi sự tham gia của nhiều ngƣời. Một ví dụ về những agent nhƣ vậy là Steve - chuyên gia luyện bay trong môi trƣờng ảo tại Đại học Nam California [35]. Steve đƣợc xây dựng nhằm hỗ trợ việc tập luyện của đội trong một mô hình môi trƣờng làm việc ảo tƣơng tác ba chiều của một sinh viên, khi mà việc luyện tập dựa trên các thiết bị thật không có trên thực tế. Các agent hiện thân cũng đƣợc dùng để phát triển các trò chơi trên máy tính. Các trò chơi máy tính truyền thống thƣờng có những nhân vật thụ động, cứng nhắc, máy móc. So với trò chơi một ngƣời chơi (một ngƣời chơi với các nhân vật máy tính), thì các trò chơi nhiều ngƣời chơi vẫn đƣợc ƣa chuộng hơn. Chơi với ngƣời thật thú vị hơn vì cách phản ứng của con ngƣời luôn đƣa đến những diễn biến mới mẻ, ngay cả khi chơi nhiều lần với cùng một ngƣời. Còn trò chơi chỉ chơi với nhân vật máy tính sẽ không có đƣợc điều đó. Các agent hiện thân (hay các nhân vật ảo có thể cử động) có mục tiêu, kiến thức và khả năng riêng của chúng, đây có thể là lời giải đáp cho vấn đề này [23], đặc biệt là đối với những loại trò chơi sử dụng máy tính để tạo nên thế giới và các nhân vật ảo có thể tƣơng tác động với ngƣời chơi, ví dụ nhƣ Quake, Half-Life 2, Diablo 3,. Do đó, các nhân vật ảo có thể cử động đang đƣợc phát triển và đƣa vào LUAN VAN CHAT LUONG download : add [e-mail] 2 nhiều loại trò chơi máy tính. Chúng cũng có tiềm năng dẫn đến việc ra đời những loại trò chơi hoàn toàn mới [23]. Một agent hiện thân điển hình gồm các thành phần sau: - Một cái đầu nói chuyện có khả năng nói, thể hiện các cử động môi trong khi nói, có các biểu cảm trên gƣơng mặt và thể hiện đƣợc các tín hiệu hội thoại. - Một cơ thể có khả năng thể hiện các cử chỉ. - Một mô hình trí não có thể bao gồm lòng tin, cảm xúc, kế hoạch hành vi, động thái và tính cách… Đối tƣợng nghiên cứu của luận văn này là các agent hiện thân đƣợc thể hiện dƣới dạng một khuôn mặt 3D. Trong bài toán xây dựng một mô hình khuôn mặt 3D, thông thƣờng ta phải trải qua các bƣớc sau: - Bƣớc 1: Sử dụng đồ hoạ máy tính để tạo dựng một mô hình khuôn mặt 3D. - Bƣớc 2: Tạo dựng mô hình cơ mặt có thể đạt đƣợc những biểu hiện khuôn mặt chân thực trong thời gian thực trên một máy tính thông thƣờng. Các nghiên cứu trƣớc đây đã cho thấy bƣớc 2 đòi hỏi rất nhiều công sức và thời gian.