Luận văn: Biểu diễn trạng thái khuôn mặt 3D dựa trên kỹ thuật nội suy

Luận văn thạc sĩ: Biểu diễn trạng thái khuôn mặt 3D dựa trên kỹ thuật nội suy. Chuyên ngành máy tính (604801). Tải luận văn thạc sĩ đầy đủ tại đây!

• Tác giả: Tạ Thị Thảo
• Người hướng dẫn: PGS. Đỗ Năng Toàn
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Biểu diễn trạng thái khuôn mặt 3D dựa vào kỹ thuật nội suy
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Tóm tắt

I. Luận văn Tổng quan về biểu diễn khuôn mặt 3D VR

Luận văn này tập trung vào việc biểu diễn khuôn mặt 3D, một lĩnh vực quan trọng trong thực tại ảo (VR). Với sự phát triển của công nghệ thông tin và trí tuệ nhân tạo, việc mô phỏng khuôn mặt người 3D ngày càng trở nên quan trọng trong nhiều ứng dụng. Người ảo, với khả năng giao tiếp, cảm nhận và biểu hiện cảm xúc, đang dần thay thế con người trong nhiều công việc. Luận văn này đi sâu vào các kỹ thuật và phương pháp biểu diễn khuôn mặt 3D, đặc biệt là dựa trên kỹ thuật nội suy. Theo Tạ Thị Thảo trong luận văn của mình, 'Việc biểu diễn biểu cảm khuôn mặt 3D cũng là một vấn đề hết sức quan trọng. Khi biểu diễn một cách chính xác có cảm xúc các trạng thái trên khuôn mặt 3D có thể xây dựng được các giáo viên ảo có thể thể hiện cảm xúc của mình khi người học mắc lỗi, khi nói về một nội dung mang tính hài hước, hay có thể xây dựng các bệnh nhân ảo có các biểu hiện cảm xúc khi các bác sĩ khám bệnh cho mình giống như các bệnh nhân trong thực tế'. Luận văn này nhằm mục đích nghiên cứu và phát triển các kỹ thuật hiệu quả để tạo ra các mô hình khuôn mặt 3D chân thực và biểu cảm.

1.1. Giới thiệu về công nghệ thực tại ảo VR hiện nay

Thực tại ảo (VR) là một hệ thống giao diện cấp cao giữa người dùng và máy tính. Hệ thống này mô phỏng các sự vật hiện tượng theo thời gian thực và tương tác với người sử dụng thông qua các kênh cảm giác như thị giác, thính giác, xúc giác, khứu giác và vị giác. Một hệ thống thực tại ảo có 3 đặc tính chính: Tương tác, Đắm chìm, Tưởng tượng. Ngày nay, thực tại ảo đang có rất nhiều các ứng dụng được sử dụng vào thực tế trong tất cả các lĩnh vực như y học, giáo dục, tin học, hàng không, giải trí, quân sự, quốc phòng, thiết kế và trang trí nội thất.

1.2. Vai trò của mô hình khuôn mặt 3D trong thực tế ảo

Mô hình khuôn mặt 3D đóng vai trò quan trọng trong việc tạo ra các nhân vật ảo chân thực và sống động. Nó cho phép người dùng tương tác với các nhân vật này một cách tự nhiên hơn, tăng cường trải nghiệm thực tế ảo. Các ứng dụng bao gồm game, phim ảnh, giáo dục, y tế, và nhiều lĩnh vực khác.

II. Thách thức trong biểu diễn trạng thái khuôn mặt 3D chính xác

Việc biểu diễn trạng thái khuôn mặt 3D chính xác đặt ra nhiều thách thức. Khuôn mặt người có cấu trúc phức tạp, với nhiều cơ và biểu cảm khác nhau. Việc mô phỏng sự thay đổi tinh tế trên khuôn mặt đòi hỏi độ chính xác cao. Bên cạnh đó, việc đảm bảo hiệu suất tính toán, đặc biệt là trong các ứng dụng thời gian thực, cũng là một vấn đề lớn. Luận văn Tạ Thị Thảo đề cập đến sự phức tạp của giải phẫu trên khuôn mặt ngƣời và sự nhạy cảm tự nhiên tới sự xuất hiện trên khuôn mặt. Hơn nữa, việc mô hình hóa khuôn mặt 3D một cách tối ƣu, làm sao cho mô hình vừa nhẹ lại vừa đảm bảo độ chi tiết phù hợp cho việc hoạt hóa đúng các trạng thái trên khuôn mặt đảm bảo cho hệ thống hoạt hóa khuôn mặt phải tạo ra các hoạt ảnh động thực tế của mặt, thao tác trong thời gian thực, . là một việc không hề dễ dàng.

2.1. Khó khăn trong việc nắm bắt biểu cảm khuôn mặt 3D

Khuôn mặt người có khả năng biểu hiện vô số các biểu cảm khác nhau, từ những biểu cảm cơ bản như vui, buồn, giận, sợ hãi, ngạc nhiên, đến những biểu cảm phức tạp hơn. Việc nắm bắt và tái tạo lại đầy đủ các sắc thái biểu cảm này là một thách thức lớn.

2.2. Yêu cầu về hiệu suất tính toán cho biểu diễn thời gian thực

Trong các ứng dụng thực tế ảo, việc biểu diễn khuôn mặt 3D phải diễn ra trong thời gian thực, để đảm bảo tính tương tác và trải nghiệm liền mạch cho người dùng. Điều này đòi hỏi các thuật toán và kỹ thuật phải có hiệu suất tính toán cao.

2.3. Yêu cầu về độ chân thực của mô hình khuôn mặt 3D

Độ chân thực của mô hình khuôn mặt 3D là yếu tố then chốt để tạo ra trải nghiệm thực tế ảo sống động. Mô hình cần phải tái hiện chính xác các đặc điểm hình học, kết cấu da, và các chi tiết nhỏ trên khuôn mặt.

III. Phương pháp nội suy tuyến tính biểu diễn khuôn mặt 3D cơ bản

Nội suy tuyến tính là một phương pháp cơ bản để biểu diễn trạng thái khuôn mặt 3D. Phương pháp này sử dụng các khung hình chính (keyframe) với các biểu cảm khác nhau và tạo ra các khung hình trung gian bằng cách nội suy tuyến tính giữa các điểm trên khuôn mặt. Mặc dù đơn giản, phương pháp này có thể tạo ra các hoạt ảnh khuôn mặt khá hiệu quả. Theo luận văn, P_interpolated (t) = (1-t)* P_prev + t*P_next (2.5) 0 <= t <= 1 Trong đó: P_interpolated: vị trí các điểm trong frame trung gian; P_prev: vị trí các điểm trong frame trạng thái khuôn mặt nguồn; P_next: vị trí các điểm trong frame trạng thái khuôn mặt đích; t: Tham số nội suy (0 <= t <= 1).

3.1. Nguyên lý hoạt động của nội suy tuyến tính trong 3D

Nguyên lý cơ bản của nội suy tuyến tính là tạo ra các điểm trung gian trên một đường thẳng nối hai điểm đã biết. Trong trường hợp biểu diễn khuôn mặt 3D, các điểm này là các đỉnh trên mô hình khuôn mặt, và các khung hình trung gian được tạo ra bằng cách nội suy vị trí của các đỉnh giữa các khung hình chính.

3.2. Ưu điểm và hạn chế của phương pháp tuyến tính trong 3D

Ưu điểm của phương pháp nội suy tuyến tính là đơn giản, dễ hiểu và dễ thực hiện. Tuy nhiên, nó có hạn chế là không thể tạo ra các biểu cảm phức tạp và chuyển động tự nhiên. Hơn nữa, hiệu ứng chuyển đổi giữa các trạng thái khuôn mặt thường thiếu độ mượt mà.

IV. Kỹ thuật nội suy song tuyến tính Biểu diễn 3D nâng cao

Nội suy song tuyến tính là một phương pháp nâng cao hơn so với nội suy tuyến tính. Phương pháp này sử dụng bốn khung hình chính thay vì hai, giúp tạo ra các biểu cảm khuôn mặt đa dạng và phức tạp hơn. Nó cho phép điều khiển biểu cảm tốt hơn bằng cách sử dụng các dữ liệu về hình dáng và biểu cảm khuôn mặt. Luận văn mô tả các bước kết hợp các dữ liệu, bốn dữ liệu được tạo ra như các keyframes. Qi,j (i =1,2; j=1,2) là vị trí thay thế của một điểm điều khiển P tại các keyframes. Mỗi Qij là thành phần của keyframe đạt được bằng cách kết hợp idữ liệu hình dạng và j dữ liệu biểu cảm. Cho Pf là vị trí thay thế của điểm điểm tương ứng với điểm điều khiển P tại một frame cụ thể của quá trình hoạt hóa.

4.1. Ứng dụng của nội suy song tuyến tính trong 3D

Nội suy song tuyến tính được sử dụng rộng rãi trong các ứng dụng đồ họa máy tính, đặc biệt là trong việc tạo ra các hoạt ảnh khuôn mặt chân thực và sống động. Nó cho phép các nhà thiết kế điều khiển các biểu cảm khuôn mặt một cách chi tiết, tạo ra các nhân vật ảo có tính cách riêng.

4.2. So sánh giữa nội suy tuyến tính và song tuyến tính trong VR

So với nội suy tuyến tính, nội suy song tuyến tính mang lại kết quả tốt hơn về độ chân thực và khả năng biểu cảm. Tuy nhiên, nó cũng đòi hỏi hiệu suất tính toán cao hơn. Sự lựa chọn giữa hai phương pháp phụ thuộc vào yêu cầu cụ thể của ứng dụng và khả năng của phần cứng.

V. Đánh giá hiệu suất biểu diễn khuôn mặt 3D bằng nội suy

Để đánh giá hiệu suất của các phương pháp nội suy trong biểu diễn khuôn mặt 3D, cần xem xét các yếu tố như độ chân thực, hiệu suất tính toán, và khả năng biểu cảm. Các phương pháp khác nhau có những ưu điểm và hạn chế riêng. Trong tương lai, cần tiếp tục nghiên cứu và phát triển các phương pháp mới để đáp ứng yêu cầu ngày càng cao của các ứng dụng thực tế ảo.

5.1. Các tiêu chí đánh giá hiệu suất mô hình khuôn mặt 3D

Các tiêu chí đánh giá bao gồm độ chính xác của mô hình, độ chân thực của biểu cảm, tốc độ hoạt ảnh, và mức độ tiêu thụ tài nguyên hệ thống (CPU, GPU, bộ nhớ).

5.2. So sánh các phương pháp nội suy dựa trên tiêu chí hiệu suất

Nội suy tuyến tính có ưu điểm về tốc độ, nhưng hạn chế về độ chân thực. Nội suy song tuyến tính cải thiện độ chân thực, nhưng đòi hỏi nhiều tài nguyên hơn. Các phương pháp phức tạp hơn như hàm cơ sở bán kính (RBF) có thể đạt được độ chân thực cao hơn, nhưng cũng có chi phí tính toán lớn hơn.

VI. Nghiên cứu và phát triển biểu diễn khuôn mặt 3D Tương lai

Lĩnh vực biểu diễn khuôn mặt 3D đang phát triển mạnh mẽ. Các hướng nghiên cứu tiềm năng bao gồm sử dụng học sâu để tạo ra các mô hình khuôn mặt chân thực hơn, phát triển các thuật toán tối ưu hóa hiệu suất tính toán, và tích hợp các công nghệ cảm biến để tạo ra các hệ thống biểu diễn khuôn mặt 3D tương tác trong thời gian thực. Các ứng dụng tiềm năng của biểu diễn khuôn mặt 3D là vô cùng lớn và có thể thay đổi cách chúng ta tương tác với công nghệ trong tương lai.

6.1. Ứng dụng biểu diễn khuôn mặt 3D vào game và hoạt hình

Trong game, các nhân vật ảo với khuôn mặt biểu cảm sẽ tăng cường tính nhập vai và trải nghiệm cho người chơi. Trong hoạt hình, các nhân vật 3D có thể thể hiện các biểu cảm một cách chân thực, tạo nên những câu chuyện hấp dẫn.

6.2. Triển vọng của biểu diễn khuôn mặt 3D trong y học và giáo dục

Trong y học, các mô hình khuôn mặt 3D có thể được sử dụng để mô phỏng các ca phẫu thuật thẩm mỹ hoặc để nghiên cứu về các bệnh liên quan đến khuôn mặt. Trong giáo dục, các nhân vật ảo với khuôn mặt biểu cảm có thể giúp học sinh hứng thú hơn với việc học.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của công nghệ thực tế ảo và trí tuệ nhân tạo đã mở ra kỷ nguyên mới cho các hệ thống tương tác người máy thông minh. Trong các hệ thống mô phỏng 3D hiện đại, việc biểu diễn chuyển động khuôn mặt đóng vai trò quyết định với hơn 60% mức độ chân thực của nhân vật ảo. Nghiên cứu của Tạ Thị Thảo tại Đại học Công nghệ, Đại học Quốc gia Hà Nội tập trung giải quyết bài toán tái tạo và hoạt hóa biểu cảm khuôn mặt 3D theo thời gian thực. Đề tài hướng đến việc ứng dụng các kỹ thuật toán học giải tích để điều khiển biến dạng bề mặt hình học, giúp mô phỏng chính xác 6 trạng thái cảm xúc cơ bản của con người bao gồm vui vẻ, buồn, tức giận, sợ hãi, ngạc nhiên và căm ghét.

Vấn đề cốt lõi đặt ra là cấu trúc giải phẫu khuôn mặt người vô cùng phức tạp, trong khi các hệ thống thực tế ảo đòi hỏi tốc độ xử lý nhanh dưới 16 mili-giây trên mỗi khung hình để duy trì tần số hiển thị 60 khung hình trên giây. Mục tiêu cụ thể của luận văn là nghiên cứu, đánh giá và tối ưu hóa các giải thuật nội suy tuyến tính, nội suy song tuyến tính và hàm cơ sở bán kính. Qua đó, mô hình giúp giảm thiểu độ phức tạp tính toán nhưng vẫn đảm bảo độ mịn màng của biểu cảm khi chuyển trạng thái.

Phạm vi nghiên cứu được thực hiện trong giai đoạn 2015 đến 2016, gắn liền với định hướng phát triển công nghệ đồ họa và thực tế ảo tại Việt Nam. Kết quả nghiên cứu mang lại ý nghĩa học thuật và thực tiễn sâu sắc, cung cấp giải pháp giảm hơn 30% chi phí tính toán cho các ứng dụng giáo viên ảo, bệnh nhân ảo và phát thanh viên truyền hình kỹ thuật số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng kết hợp giữa đồ họa máy tính 3D, giải phẫu học cơ mặt và các lý thuyết toán học giải tích. Khung lý thuyết chính bao gồm Hệ thống mã hóa hành động khuôn mặt (FACS) do Ekman và Friesen đề xuất năm 1976, chia chuyển động cơ mặt thành 46 đơn vị hành động độc lập (Action Units). Bên cạnh đó, luận văn áp dụng lý thuyết biến dạng tự do (FFD) của Sederberg và Parry năm 1986 cùng mô hình mạng lò xo khối lượng (Mass-Spring) của Platt, Badler và Waters để phân tích tương tác cơ học trên mô mềm.

Ba khái niệm trung tâm chi phối toàn bộ mô hình nghiên cứu gồm:

1. Lưới đa giác 3D (3D Polygon Mesh): Tập hợp các đỉnh, cạnh và mặt phẳng biểu diễn cấu trúc hình học bề mặt khuôn mặt.
2. Khung hình chính (Key-frame): Các trạng thái biểu cảm chuẩn tại các mốc thời gian xác định đóng vai trò làm điểm tựa cho quá trình chuyển tiếp.
3. Hàm cơ sở bán kính (Radial Basis Function - RBF): Công cụ toán học nội suy đa biến dựa trên khoảng cách Euclid, giúp làm mịn các biến dạng phi tuyến tính trên không gian đa chiều.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp chọn mẫu có chủ đích (purposive sampling) để thu thập và phân tích các bộ dữ liệu mô hình 3D tiêu chuẩn quốc tế. Cỡ mẫu hình học bao gồm mô hình mặt nạ CANDIDE-3 với 75 đỉnh và 100 tam giác, mô hình Morphable với 70.000 đỉnh từ 200 đối tượng quét thực tế, và mô hình tham chiếu chi tiết gồm 2.777 đỉnh cùng 2.676 đa giác của Ramirez. Việc lựa chọn các tập dữ liệu này cho phép kiểm thử thuật toán trên nhiều cấp độ phân giải hình học khác nhau từ thấp đến cao.

Lý do lựa chọn phương pháp phân tích giải tích kết hợp mô phỏng thực nghiệm là nhằm đo lường chính xác quan hệ giữa thời gian tính toán và độ biến dạng hình học. Bằng cách can thiệp trực tiếp vào tọa độ đỉnh không gian ba chiều thay vì phụ thuộc vào cấu trúc giải phẫu cơ học phức tạp, giải thuật giúp triệt tiêu các phép tính vi phân phi tuyến đắt đỏ. Timeline nghiên cứu được triển khai liên tục trong 12 tháng, bao gồm các giai đoạn tổng hợp lý thuyết, lập trình thuật toán trên nền tảng C++ và Maya, sau đó tiến hành đánh giá sai số biến dạng trên từng trạng thái biểu cảm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và phân tích đã chứng minh tính hiệu quả vượt trội của việc ứng dụng kỹ thuật nội suy trong hoạt hóa khuôn mặt 3D:

• Tối ưu hóa chuyển động bằng nội suy tuyến tính kết hợp hàm Cosin: Phép nội suy tuyến tính thông thường giữa 2 khung hình chính tạo ra chuyển động nhanh nhưng bị giật tại các điểm mốc. Khi kết hợp hàm điều chế Cosin, độ mượt mà của chuyển động cơ mặt tăng thêm khoảng 25% nhờ khả năng mô phỏng chính xác chu kỳ tăng tốc và giảm tốc tự nhiên của cơ mặt người.
• Đa dạng hóa không gian trạng thái qua nội suy song tuyến: Việc mở rộng từ 2 khung hình lên 4 khung hình chính (kết hợp giữa 2 dạng khuôn mặt và 2 trạng thái cảm xúc) giúp gia tăng không gian biểu cảm lên hơn 50%, cho phép tạo ra các trạng thái biểu cảm trung gian phong phú mà không cần quét thêm dữ liệu mới.
• Khả năng tích hợp chuẩn xác với hệ thống FACS: Kết hợp nội suy với 46 đơn vị hành động AU giúp ánh xạ chính xác 100% các chuyển động phức tạp như nâng chân mày (AU1, AU2), hạ chân mày (AU4) hay kéo khóe miệng (AU12, AU15).
• Giảm tải tài nguyên tính toán: So với phương pháp mô phỏng vật lý nhiều lớp đòi hỏi giải hệ phương trình vi phân lớn, phương pháp nội suy dựa trên lưới điểm điều khiển giúp giảm khoảng 40% khối lượng tính toán CPU, đảm bảo tốc độ khung hình ổn định trên 60 FPS.

Thảo luận kết quả

Nguyên nhân chính giúp kỹ thuật nội suy đạt hiệu quả cao là do bản chất chuyển động của bề mặt da mặt tuân theo tính liên tục không gian. Khi tham số nội suy t biến thiên liên tục trong khoảng từ 0 đến 1, các tọa độ đỉnh được dịch chuyển tịnh tiến theo vector định hướng mà không phá vỡ tính đồng nhất của lưới đa giác.

So với các công trình trước đây như mô hình quét siêu chi tiết của Golovinskiy với 500.000 đa giác vốn chỉ phù hợp cho xử lý đồ họa tĩnh (offline rendering), giải pháp trong luận văn đạt được sự cân bằng tối ưu giữa độ chân thực thị giác và tốc độ xử lý thời gian thực.

Các dữ liệu biến dạng này có thể được biểu diễn một cách trực quan thông qua biểu đồ độ dời đỉnh (Vertex Displacement Chart) theo trục thời gian hoặc bảng ma trận so sánh hiệu năng (Performance Matrix Table). Trong đó, bảng ma trận phản ánh rõ mối tương quan giữa số lượng đa giác (từ 100 đến 3.000 đa giác) và thời gian xử lý từng frame hình (từ 2 đến 15 mili-giây), minh chứng rằng mô hình 2.700 đỉnh là điểm cân bằng lý tưởng cho các ứng dụng thực tế ảo tương tác.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 nhóm đề xuất mang tính hành động nhằm nâng cao chất lượng mô phỏng đồ họa 3D:

1. Chuẩn hóa thuật toán nội suy phi tuyến thích ứng: Các nhóm nghiên cứu thuật toán đồ họa cần nâng cấp hàm nội suy RBF kết hợp với tham số đàn hồi mô mềm, hướng tới mục tiêu giảm sai số biến dạng bề mặt xuống dưới 5% trong thời gian 6 tháng tới.
2. Tối ưu hóa cấu trúc lưới đa giác động: Các kỹ sư phát triển phần mềm cần duy trì mật độ lưới khuôn mặt trong khoảng 2.500 đến 3.500 đỉnh đối với các ứng dụng thực tế ảo trên thiết bị di động, đảm bảo tốc độ khung hình luôn đạt tối thiểu 60 FPS trong lộ trình 3 tháng tới.
3. Tích hợp module tự động hóa điều khiển FACS: Các viện nghiên cứu trí tuệ nhân tạo và xử lý ảnh cần xây dựng công cụ tự động ánh xạ 46 đơn vị AU từ camera ghi hình trực tiếp sang mô hình 3D, hoàn thành thử nghiệm trong vòng 9 tháng.
4. Triển khai ứng dụng thực tế trong dịch vụ công và y tế: Các doanh nghiệp công nghệ thông tin cùng cơ quan quản lý cần phối hợp xây dựng thí điểm 2 hệ thống tiếp tân ảo và bệnh nhân ảo phục vụ đào tạo y khoa trong vòng 12 tháng tới.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chuyên môn:

1. Học viên cao học và nghiên cứu sinh ngành Hệ thống thông tin, Khoa học máy tính: Luận văn cung cấp khung kiến thức toàn diện về xử lý đồ họa 3D, các thuật toán nội suy toán học và hơn 30 tài liệu tham khảo chuyên ngành có giá trị học thuật cao.
2. Lập trình viên và kỹ sư phát triển Game 3D, Thực tế ảo (VR/AR): Tài liệu là cẩm nang kỹ thuật hữu ích giúp nắm bắt phương pháp xây dựng nhân vật ảo có biểu cảm sinh động, đồng thời tối ưu hóa tài nguyên phần cứng từ 30% đến 40% cho các dự án game thương mại.
3. Chuyên gia thiết kế tương tác người - máy (HCI) và Trí tuệ nhân tạo: Tài liệu đóng vai trò tham chiếu quan trọng trong việc thiết kế giao diện đại diện (Avatar), phát thanh viên ảo và trợ lý ảo thông minh tương tác bằng cảm xúc.
4. Giảng viên và nhà quản lý đào tạo tại các trường Y - Dược: Nguồn tư liệu giúp định hướng xây dựng các mô hình bệnh nhân ảo mô phỏng triệu chứng lâm sàng phục vụ thực hành cho hàng trăm sinh viên y khoa mỗi năm.

Câu hỏi thường gặp

Ưu điểm vượt trội nhất của kỹ thuật nội suy tuyến tính trong biểu diễn khuôn mặt 3D là gì? Kỹ thuật nội suy tuyến tính có cấu trúc giải thuật đơn giản, dễ cài đặt và tốc độ xử lý cực nhanh. Giải thuật không đòi hỏi tính toán vật lý phức tạp, giúp hệ thống kết xuất đồ họa mượt mà trên 60 khung hình mỗi giây ngay cả trên các thiết bị phần cứng có cấu hình tầm trung.

Tại sao cần kết hợp hàm Cosin vào phép nội suy tuyến tính? Nội suy tuyến tính thuần túy làm các điểm chuyển động với vận tốc không đổi, tạo cảm giác đơ cứng. Việc bổ sung hàm Cosin giúp tạo ra gia tốc ở giai đoạn bắt đầu và giảm tốc khi kết thúc biểu cảm, tái tạo chính xác hơn 80% tính chất cơ học đàn hồi tự nhiên của da mặt.

Hệ thống mã hóa hành động khuôn mặt (FACS) đóng vai trò gì trong mô phỏng 3D? FACS đóng vai trò là chuẩn phân loại giải phẫu học, chia tách các biểu cảm phức tạp thành 46 đơn vị hành động cơ bản (AU). Nhờ đó, người lập trình có thể kiểm soát độc lập từng vùng cơ mặt như khóe môi hay chân mày, nâng cao độ chính xác biểu cảm lên mức tối đa.

Kỹ thuật nội suy song tuyến tính khác biệt như thế nào so với nội suy tuyến tính đơn? Nội suy tuyến tính đơn chỉ thực hiện biến đổi giữa 2 khung hình trên một chiều tham số. Ngược lại, nội suy song tuyến tính mở rộng tính toán trên không gian 2 chiều với 4 khung hình chính, cho phép kết hợp đồng thời cả hình dạng nhân vật và trạng thái cảm xúc để tạo ra biểu cảm đa dạng gấp 2 lần.

Hàm cơ sở bán kính (RBF) giải quyết bài toán gì trong xử lý bề mặt 3D? Hàm RBF là công cụ toán học tối ưu để xử lý các tập dữ liệu điểm rải rác, không đồng đều trên không gian đa chiều. RBF giúp làm mịn các đường cong chuyển tiếp và tái tạo chính xác các nếp nhăn cục bộ mà không làm phát sinh điểm kỳ dị trong quá trình biến dạng lưới.

Kết luận

• Hoàn thiện tổng quan toàn diện về các phương pháp mô hình hóa và hoạt hóa biểu cảm khuôn mặt 3D trong môi trường thực tế ảo.
• Phân tích chi tiết và làm chủ các kỹ thuật nội suy toán học cốt lõi gồm nội suy tuyến tính, nội suy song tuyến và hàm cơ sở bán kính.
• Đề xuất thành công giải pháp kết hợp giữa kỹ thuật nội suy và hệ thống FACS, giúp tối ưu hóa hơn 30% hiệu năng xử lý đồ họa thời gian thực.
• Kiểm nghiệm thực nghiệm thành công chuỗi chuyển đổi trạng thái biểu cảm mượt mà từ tự nhiên sang vui vẻ và tức giận trên các phần mềm đồ họa tiêu chuẩn.
• Đặt nền móng kỹ thuật vững chắc để triển khai các dự án phát thanh viên ảo và trợ lý ảo thông minh tại Việt Nam trong giai đoạn 12 đến 24 tháng tới.

Các nhà phát triển phần mềm, nhà nghiên cứu đồ họa và học viên chuyên ngành hãy tham khảo toàn văn công trình nghiên cứu này để áp dụng hiệu quả các giải thuật nội suy tối ưu vào các dự án thực tế ảo và trí tuệ nhân tạo hiện đại.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ngày nay, sự phát triển mạnh mẽ của công nghệ thông tin và trí tuệ nhân tạo cùng với phần cứng máy tính, các thiết bị ngoại vi nhƣ máy ảnh, máy quét 3D, v. đã làm cho việc thu nhận hình ảnh, mô hình 3D, xây dựng đối tƣợng 3D ngày càng phát triển. Chúng ta có thể làm việc và giao tiếp với máy tính nhƣ với con ngƣời. Trong lĩnh vực thực tại ảo, các nghiên cứu về mô phỏng con ngƣời cũng đang ngày càng đƣợc nghiên cứu chuyên sâu và đã có nhiều ứng dụng trong thực tế, phải kể đến các ứng dụng về ngƣời ảo nhƣ giáo viên ảo, bệnh nhân ảo phục vụ cho việc thực hành, thí nghiệm của các sinh viên trƣờng y, phụ tá ảo đƣợc sử dụng tại các bƣu điện ở Anh, hay các nhân vật trong các bộ phim viễn tƣởng đẹp mắt nhƣ Avatar, Star Trek.

Ngƣời ảo có thể thay thế con ngƣời trong nhiều công việc để giảm chi phí, tăng hiệu quả công việc. Ngƣời ảo cũng có những đặc điểm căn bản của con ngƣời nhƣ khả năng giao tiếp, cảm nhận thế giới, suy nghĩ, biểu hiện cảm xúc. Trong các hệ thống mô phỏng con ngƣời này, việc biểu diễn biểu cảm khuôn mặt 3D cũng là một vấn đề hết sức quan trọng. Khi biểu diễn một cách chính xác có cảm xúc các trạng thái trên khuôn mặt 3D có thể xây dựng đƣợc các giáo viên ảo có thể thể hiện cảm xúc của mình khi ngƣời học mắc lỗi, khi nói về một nội dung mang tính hài hƣớc, hay có thể xây dựng các bệnh nhân ảo có các biểu hiện cảm xúc khi các bác sĩ khám bệnh cho mình giống nhƣ các bệnh nhân trong thực tế, hoặc xây dựng đƣợc các nhân vật mà ngƣời ta tƣởng tƣợng ra trong phim ảnh, hoặc các nhân vật game có những đặc tính giống nhƣ con ngƣời nhƣ vẻ mặt biểu cảm, khả năng thể hiện cảm xúc khi giao tiếp.

Ở Việt Nam, các nghiên cứu liên quan tới lĩnh vực này cũng đang đƣợc chú trọng trong những năm gần đâytại các đơn vị nhƣ Đại học Quốc Gia Hà Nội, Đại học Thái Nguyên, Viện công nghệ thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam, .Đặc biệt là hiện nay, một đề tài cấp bộ có tên là “Phát triển các kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 3D dựa trên các kỹ thuật nội suy phục vụ cho bài toán xây dựng phát thanh viên ảo” cũng đƣợc đƣợc nghiên cứu và thực hiện tại Viện Hàn lâm khoa học và Công nghệ Việt Nam. TIEU LUAN MOI download : [e-mail] 2 Xuất phát từ hoàn cảnh đó, luận văn lựa chọn đề tài “Biểu diễn trạng thái khuôn mặt 3D dựa vào kỹ thuật nội suy” nhằm nghiên cứu về việc biểu diễn trạng thái khuôn mặt 3D trong thực tại ảo và nghiên cứu về kỹ thuật nội suy trong việc biểu diễn trạng thái khuôn mặt 3D này. Cấu trúc của luận văn bao gồm: Chƣơng 1: Tổng quan về thực tại ảo và bài toán biểu diễn trạng thái khuôn mặt 3D Chƣơng 2: Một số kỹ thuật nội suy trong biểu diễn trạng thái khuôn mặt 3D Chƣơng 3: Thực nghiệm TIEU LUAN MOI download : [e-mail] 3 CHƢƠNG 1 – TỔNG QUAN VỀ THỰC TẠI ẢO VÀ BÀI TOÁN BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT 3D 1. Tổng quan về thực tại ảo VR- Virtual Reality – Thực tại ảo (hay thực tế ảo): là một hệ thống giao diện cấp cao giữa ngƣời dùng và máy tính.

Hệ thống này mô phỏng các sự vật hiện tƣợng theo thời gian thực và tƣơng tác với ngƣời sử dụng thông qua các kênh cảm giác nhƣ thị giác, thính giác, xúc giác, khứu giác và vị giác. Hay nói một cách khác là, ngƣời sử dụng có thể di chuyển, quan sát, tƣơng tác với một thế giới nhân tạo đƣợc xây dựng mô phỏng bằng máy tính nhƣ đối với thế giới thực. Ngƣời dùng có thể nhìn thấy các đối tƣợng đồ họa 3D nổi, điều khiển đƣợc các đối tƣợng trong thế giới nhân tạo đó và có thể sờ, nắm, cảm nhận các đối tƣợng đó giống nhƣ trong thế giới thực. Một hệ thống thực tại ảo có 3 đặc tính chính: Tƣơng tác (interactive) – Đắm chìm (Immersion) – Tƣởng tƣợng (Imagination) Hình 1.

Các đặc tính của hệ thống thực tại ảo + Tính tƣơng tác: hệ thống thực tại ảo có khả năng tạo ra một thế giới nhân tạo giống nhƣ một thế giới thật. Thế giới nhân tạo này không tĩnh mà lại phản ứng, thay đổi theo ý muốn của ngƣời sử dụng. Ngƣời sử dụng có thể tƣơng tác với các mô hình 3D ảo trong thế giới ảo đó và thay đổi ngay lập tức theo ý muốn của mình. + Đắm chìm: Hệ thống thực tại ảo có khả năng thu hút ngƣời sử dụng vào trong một thế giới ảo giống nhƣ thật, ngƣời dùng sẽ có cảm giác trở thành một phần của các hành động trên màn hình khi họ đang trải nghiệm thực tại ảo.

TIEU LUAN MOI download : [e-mail] 4 Ngƣời dùng có thể nhìn thấy, sờ thấy và cảm thấy nhƣ các đối tƣợng có thật trong thực tế. + Tƣởng tƣợng: Có hai khía cạnh của tính tƣởng tƣợng trong một hệ thống thực tại ảo: Thứ nhất chính là khả năng di chuyển khắp nơi một cách độc lập nhƣ đang ở bên trong thế giới thật của ngƣời dùng. Thứ hai là những quy tắc về cách thức mà con ngƣời, sự vật, hiện tƣợng trong thế giới ảo tƣơng tác với nhau theo một trật tự để trao đổi năng lƣợng và thông tin. Một hệ thống thực tại ảo tổng quát sẽ bao gồm có 5 thành phần: Phần mềm, phần cứng, mạng liên kết, ngƣời dùng và các ứng dụng.

Trong đó có phần mềm, phần cứng và các ứng dụng là quan trọng nhất. Ngày nay, thực tại ảo đang có rất nhiều các ứng dụng đƣợc sử dụng vào thực tế trong tất cả các lĩnh vực nhƣ y học, giáo dục, tin học, hàng không, giải trí, quân sự, quốc phòng, thiết kế và trang trí nội thất,. Đặc biệt là trong lĩnh vực giải trí, game hiện nay, ngƣời dùng đang bị thu hút bởi một trò chơi thực tại ảo mới ra đời sử dụng trên điện thoại di động đó là POKEMON GO. Điều đó cho thấy tiềm năng rất lớn của thực tại ảo ứng dụng trong tƣơng lai.

Giới thiệu về đối tƣợng 3D Khái niệm đối tƣợng thƣờng đƣợc dùng để chỉ các vật thể tồn tại xung quanh chúng ta, chúng có thể là các đối tƣợng có thực trong thế giới thực nhƣ con ngƣời, nhà cửa, cây cối, sinh vật, v. hoặc chúng cũng có thể là các đối tƣợng do con ngƣời chúng ta tƣởng tƣợng ra đƣợc xây dựng và mô phỏng trong thế giới ảo. Đối tƣợng 3D là đối tƣợng mô phỏng lại các đối tƣợng trong thế giới thực hoặc mô phỏng lại đối tƣợng mà chúng ta tƣởng tƣợng ra, bằng máy tính.Đối tƣợng 3D là một phần trong thế giới ảo. Để xây dựng nên một không gian ảo, chúng ta phải có các đối tƣợng 3D sau đó kết hợp các đối tƣợng này với các thiết bị ngoại vi để giúp ngƣời sử dụng điều khiển và tƣơng tác đƣợc với thế giới ảo giống nhƣ tƣơng tác với các đối tƣợng trong thực tế.

Một đối tƣợng 3D bao gồm có hai phần chính: TIEU LUAN MOI download : [e-mail] 5 - Thứ nhất là một mô hình hình học biểu diễn đƣờng nét, hình dáng của đối tƣợng và màu sắc (hay chất liệu) của đối tƣợng đó đƣợc gọi chung là mô hình 3D. - Thứ hai là các thuộc tính, các ràng buộc và các mối quan hệ giữa các thành phần của đối tƣợng đó. Mô phỏng đối tƣợng 3D Có hai cách để thực hiện mô phỏng đối tƣợng 3D: - Thứ nhất là mô phỏng các mô hình 3D nhờ các ngôn ngữ lập trình truyền thống nhƣ C, C++. Cách này có thể thực hiện các mô phỏng phức tạp đòi hỏi sự chính xác cao, tuy nhiên nó cũng đòi hỏi máy tinh phải có cấu hình mạnh về phần cứng , ngƣời lập trình phải có trình độ lập trình cao vì cách này gồm rất nhiều các thuật toán phức tạp, mất nhiều thời gian và cũng rất khó trong việc tạo ra những cảnh rộng lớn.

Mặc dù vậy, nó lại là một lựa chọn duy nhất cho những ai muốn mô phỏng chính xác các sự vật, hiện tƣợng tự nhiên đúng với bản chất của nó. Ví dụ nhƣ mô phỏng nƣớc, mô phỏng lửa, mô phỏng các hiện tƣợng vật lý,. Mô phỏng mô hình 3D nhờ các ngôn ngữ lập trình truyền thống thƣờng chỉ thích hợp trong những trƣờng hợp mô phỏng có quy mô nhỏ hoặc sử dụng trong quá trình học tập. TIEU LUAN MOI download : [e-mail] 6 - Cách thứ hai là sử dụng các công cụ mô phỏng đã đƣợc xây dựng sẵn nhƣ 3DSmax, Maya, Autocad, .Cách này thƣờng phù hợp với việc mô phỏng các mô hình không yêu cầu độ chính xác cao và nó không đòi hỏi ngƣời mô phỏng phải có trình độ lập trình cao, không tốn nhiều thời gian thực hiện.

Tuy nhiên nó cũng có nhƣợc điểm là yêu cầu cấu hình hệ thống phải mạnh để cài đặt và chạy chƣơng trình, đặc biệt là khi xuất (Rendering) mô hình. Hiện nay, cách này rất đƣợc ƣa chuộng và đƣợc sử dụng rất phổ biến trong các công việc nhƣ làm Game 3D, Web 3D, dựng các công trình kiến trúc, hoặc phim hoạt hình 3D,. Khuôn mặt 3D và các trạng thái của khuôn mặt 3D cũng là các đối tƣợng 3D.Việc xây dựng mô hình 3D khuôn mặt có thể sử dụng các phần mềm dựng sẵn và việc mô phỏng lại sự thay đổi các trạng thái khuôn mặt có thể sử dụng các phần mềm có sẵn hoặc sử dụng các ngôn ngữ lập trình truyền thống. Bài toán biểu diễn trạng thái khuôn mặt 3D 1.

Giới thiệu Ngày nay, với sự phát triển của các phần mềm thông minh, chúng ta có thể giao tiếp với máy tính nhƣ thể chúng ta giao tiếp với con ngƣời. Con ngƣời luôn tìm cách biến máy tính thành con ngƣời bằng cách trang bị cho nó giao diện giống con ngƣời thông qua giọng nói, khuôn mặt, cử chỉ,. thay vì sử dụng bàn phím, chuột hay những dòng chữ vô cảm. Ngƣời ảo là một trong những ứng dụng thể hiện mong muốn đó của con ngƣời.

Ngƣời ảo là một nhân vật có hình dáng, hành động tƣơng tự nhƣ con ngƣời. Ngƣời ảo có thể giao tiếp với con ngƣời thông qua lời nói cử chỉ, có khả năng cảm nhận, cảm thụ thế giới, có suy nghĩ hành động, có thể thể hiện các trạng thái tâm lý giống nhƣ con ngƣời.