Tổng quan luận án

Luận án tiến sĩ với đề tài "Phát triển các kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 3D dưới sự trợ giúp của camera" do nghiên cứu sinh Huỳnh Cao Tuấn thực hiện tại Học viện Công nghệ Bưu chính Viễn thông, dưới sự hướng dẫn khoa học của PGS. Đỗ Năng Toàn và TS. Nguyễn Thanh Bình. Luận án thuộc ngành Công nghệ thông tin, chuyên sâu vào lĩnh vực thị giác máy tính, xử lý ảnh - video và đồ họa mô phỏng 3D.

Về tính cấp thiết, nghiên cứu xuất phát từ nhu cầu thực tiễn trong việc xây dựng các nhân vật hoạt hình, nhân vật kỹ thuật số 3D có khả năng tái hiện cử chỉ, biểu cảm tương tự con người để ứng dụng trong điện ảnh (điện ảnh hoạt hình 3D, phim kỹ xảo và thực tại tăng cường như các tác phẩm Avatar, KingKong, Đi tìm Nemo, Transformers, The Lord of the Rings), trò chơi điện tử 3D, hệ thống tương tác người - máy, phát thanh viên ảo, điều khiển cử chỉ robot, biên tập làm đẹp hình ảnh, cũng như các phần mềm giao tiếp hỗ trợ người khiếm thính. Mặc dù đã có nhiều công trình nghiên cứu về biểu cảm và mô phỏng biểu cảm, tác giả chỉ ra rằng các giải pháp hiện hữu chủ yếu giải quyết từng vấn đề rời rạc, chưa có công trình nào thực sự hoàn thiện và thích ứng cho nhiều lớp bài toán khác nhau. Đặc biệt tại Việt Nam, các nghiên cứu kết nối liên thông từ khâu trích chọn đặc trưng không sử dụng điểm đánh dấu (markerless) trên ảnh sang khâu tái thể hiện biểu cảm trên mô hình 3D còn rất hạn chế.

Mục tiêu nghiên cứu tổng quát của luận án là giải quyết bài toán tái thể hiện biểu cảm hoặc cử chỉ của một người thật lên mô hình khuôn mặt 3D trên máy tính. Luận án xác định hai mục tiêu cụ thể tương ứng với hai giai đoạn chính:

  1. Nghiên cứu phát triển các kỹ thuật xử lý ảnh, xử lý video để phát hiện, trích rút và ghi nhận các đặc trưng thể hiện cử chỉ, trạng thái biểu cảm của mặt người trong chuỗi khung hình video mà không sử dụng điểm đánh dấu vật lý.
  2. Nghiên cứu phát triển các kỹ thuật nội suy nhằm điều khiển mô hình 3D tái thể hiện các trạng thái cử chỉ, biểu cảm khuôn mặt dựa trên các đặc trưng đã thu nhận được.

Đối tượng và phạm vi nghiên cứu được xác định rõ:

  • Đối tượng nghiên cứu: Khuôn mặt người 2D trong xử lý ảnh/video; mô hình khuôn mặt người 3D trong môi trường thực tại ảo; các thuật toán xử lý ảnh số, định vị mốc đặc trưng khuôn mặt (Facial Landmarks); các giải thuật nội suy bề mặt hình học 3D.
  • Phạm vi không gian và hình học: Luận án tập trung vào khuôn mặt người ở góc nhìn thẳng hoặc gần thẳng với góc nghiêng dưới 30 độ nhằm bảo đảm quan sát rõ ràng tập điểm điều khiển.
  • Phạm vi hệ thống: Dữ liệu đầu vào của hệ thống là trạng thái cảm xúc liên tục thu nhận từ luồng camera, dữ liệu đầu ra là cử chỉ, biểu cảm biến dạng tương ứng trên mô hình khuôn mặt ảo 3D.

Tổng quan tài liệu và vị trí của luận án

Luận án điểm lại hệ thống tài liệu nghiên cứu chuyên ngành theo hai hướng tiếp cận nền tảng: thị giác máy tính (nhận dạng, trích chọn biểu cảm) và đồ họa máy tính (mô hình hóa, mô phỏng biểu cảm khuôn mặt 3D).

Trong hướng nghiên cứu biểu cảm và trích chọn đặc trưng:

  • Cơ sở biểu cảm học: Ekman và Friesen đã xác định 6 loại biểu cảm cơ bản (Basic Emotions - BEs) mang tính phổ quát, độc lập với văn hóa và dân tộc gồm hạnh phúc, buồn bã, sợ hãi, ghê tởm, ngạc nhiên và tức giận. Hai tác giả cũng đề xuất hệ thống mã hóa hành động khuôn mặt (Facial Action Coding System - FACS) với 46 đơn vị hành động (Action Units - AUs). Bên cạnh đó, mô hình không gian Valence - Arousal (không gian V-A) được phân tích theo các công trình của Zeng và cộng sự, Chuang và cộng sự để lượng hóa cảm xúc liên tục.
  • Phân loại mô phỏng: Luận án phân biệt phương pháp thể hiện biểu cảm tĩnh (như nghiên cứu của Albrecht và cộng sự, Pighin và cộng sự) và phương pháp thể hiện biểu cảm động (như công trình của Kshirsagar và Thalmann, Zhang và cộng sự). Luận án cũng khảo sát các kiến trúc hệ thống mô phỏng biểu cảm như hệ thống phân tán, hệ thống liên kết, hệ thống dựa trên kế hoạch, hệ thống luật mờ và hệ thống ParleE của Bui và cộng sự.
  • Phát hiện khuôn mặt trong ảnh: Tác giả tổng hợp các kỹ thuật từ truyền thống đến học sâu:
    • Phương pháp phân tích cạnh, đốm và vạch sọc dựa trên toán tử Laplace và mô hình tam giác của Cootes và Taylor.
    • Phương pháp ngưỡng nhị phân dựa trên đỉnh biểu đồ Histogram của Guggisberg và cộng sự.
    • Phương pháp định vị dựa trên 5 đặc trưng (2 mắt, 2 lỗ mũi, điểm giữa mũi - môi) kết hợp mô hình Gauss của Li và Chung.
    • Phương pháp phân tích tỷ số sáng - tối giữa các vùng bất biến trên khuôn mặt của Su và Zheng, Sinha.
    • Mẫu khuôn mặt 16 vùng với 23 quan hệ sáng - tối của Schneiderman và Kanade.
    • Thuật toán AdaBoost kết hợp đặc trưng Haar-like của Viola và Jones, được mở rộng bởi Lienhart và Maydt; ứng dụng của Wu, Đỗ Năng Toàn và cộng sự.
    • Các mạng nơ-ron tích chập (CNN) và học sâu: mô hình hồi quy hộp bao UnitBox dựa trên độ đo IoU của Yu và cộng sự; kiến trúc CNN xếp tầng phát hiện điểm mốc của Zhang và cộng sự; kiến trúc đa tỷ lệ của Yang và cộng sự; giải pháp phát hiện mặt nhỏ của Hu và Ramanan; mô hình GAN phát hiện mặt mờ nhỏ của Bai và cộng sự; mạng Gram-Net phát hiện mặt giả mạo của Zhengzhe và cộng sự; các biến thể Faster R-CNN và R-FCN trong Face R-CNN, Face R-FCN, FDNet; mô hình FANet xây dựng trên kiến trúc mạng kim tự tháp đặc trưng (FPN).
  • Kỹ thuật trích xuất đặc trưng: Phân tích mẫu nhị phân cục bộ (Local Binary Pattern - LBP) của Ojala và cộng sự, toán tử LBP đồng nhất; mô hình hình dạng chủ động (Active Shape Model - ASM) của Cootes và cộng sự; mô hình ngoại hình chủ động (Active Appearance Model - AAM) của Cootes, Edwards và Taylor, cùng cải tiến tối ưu của Matthews và Baker; bộ lọc Gabor Wavelets trong nghiên cứu của Lee, Boughida Adil và cộng sự, Gabor-mean-DWT của Shen và cộng sự.

Trong hướng nghiên cứu biểu diễn và mô phỏng khuôn mặt 3D:

  • Các phương pháp mô hình hóa: Biểu diễn đám mây điểm (Point Cloud) và chuyển đổi sang lưới đa giác 3D (3D Mesh); chuẩn MPEG-4 với 84 điểm mốc đặc trưng và các tham số hoạt hóa khuôn mặt; mô hình mô phỏng hệ thống cơ mặt của Parker, Yano, Waters; phương pháp hình dạng pha trộn (Blendshapes) của Pighin và cộng sự, Chuang và cộng sự, Joshi và cộng sự, Lewis và cộng sự, Liu và cộng sự; mô hình vật lý biến dạng mô da của You và cộng sự; phương pháp điều khiển biến dạng thưa thớt của Bickel và cộng sự.
  • Các kỹ thuật nội suy: Nội suy tuyến tính và biến thể nội suy Cosin; kỹ thuật Morphing kết hợp FACS; nội suy song tuyến (Bilinear Interpolation); nội suy địa phương với phân vùng cứng của Tong-Yee Lee và Po-Hua Huang, công cụ "3D Warp Brush" của Yong Joo Kim và cộng sự, phân vùng động tính toán trên GPU của Henry Schäfer và cộng sự; phép biến đổi hình học 3D cứng (Rigid Transformation) và biến đổi Affine.
  • Tình hình nghiên cứu trong nước: Luận án điểm lại các công trình liên quan trực tiếp gồm nghiên cứu tái tạo mặt 3D từ hộp sọ của Ma Thị Châu và cộng sự; tổng quan các phương pháp xác định khuôn mặt người của Phạm Thế Bảo và cộng sự; các kỹ thuật mô hình hóa 3D hệ xương, hô hấp, tiêu hóa của Đỗ Năng Toàn và cộng sự; mô phỏng tóc trong thực tại ảo của Đỗ Năng Toàn và Nguyễn Văn Huân; các kỹ thuật thực tại ảo và chèn đối tượng quảng cáo trực tuyến của Trịnh Hiền Anh, Đỗ Năng Toàn cùng cộng sự.

Khoảng trống nghiên cứu mà luận án lựa chọn giải quyết: Đa số nghiên cứu trích chọn đặc trưng biểu cảm trước đây sử dụng điểm đánh dấu vật lý dán trên mặt người hoặc đòi hỏi can thiệp thủ công; trong khi đó các thuật toán nội suy mô hình 3D thường gặp phải sự đánh đổi giữa độ phức tạp tính toán và độ chính xác hình học. Luận án tập trung giải quyết khoảng trống: xây dựng quy trình tự động từ phát hiện mặt, trích xuất điểm điều khiển không dùng điểm đánh dấu bằng AAM cải tiến kết hợp cây quyết định, và đề xuất cơ chế tự động xác định tập điểm điều khiển tối ưu để nắn chỉnh mô hình 3D bằng hàm cơ sở bán kính (RBF).

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án xây dựng trên nền tảng các cơ sở lý thuyết toán học, xử lý ảnh số và đồ họa máy tính sau:

  • Lý thuyết phân tích hình dạng thống kê: Mô hình AAM biểu diễn đối tượng bằng tập điểm mô tả hình dạng kết hợp kết cấu cường độ ảnh mức xám. Chuẩn hóa hình dạng dựa trên thuật toán phân tích thành phần chính (PCA) nhằm cực tiểu hóa tổng khoảng cách tới hình dạng kỳ vọng: $$D = \sum_{i=1}^{n} |x_i - \bar{x}|^2$$
  • Lý thuyết học máy phân lớp: Thuật toán cây quyết định (Decision Tree) với hàm mục tiêu phân lớp dựa trên tổng sai số bình phương có trọng số nhỏ nhất (Weighted Mean Squared Error - WMSE): $$WMSE(I, v, w) = \sum_{(I, v, w) \in C_0} w \cdot (v - \bar{v}0)^2 + \sum{(I, v, w) \in C_1} w \cdot (v - \bar{v}_1)^2$$ trong đó $C_0, C_1$ là hai cụm dữ liệu phân chia, $v$ là nhãn (+1 hoặc -1), $w$ là trọng số mẫu, $\bar{v}_0, \bar{v}_1$ là trung bình nhãn của từng cụm.
  • Khung biểu diễn đặc trưng LBP: Xác định cấu trúc cục bộ bằng cách gán trọng số nhị phân: $$LBP_{P, R}(x_c, y_c) = \sum_{p=0}^{P-1} s(g_p - g_c) 2^p$$ với mẫu đồng nhất $LBP_{P, R}^{u2}$ có số lần chuyển tiếp bit không vượt quá 2, giảm số tổ hợp từ $2^P$ xuống còn $P(P-1) + 3$ mẫu.
  • Lý thuyết nội suy hàm cơ sở bán kính (Radial Basis Functions - RBF): Xấp xỉ sự biến dạng hình học của $n$ điểm rời rạc trong không gian 3 chiều $\mathbb{R}^3$ thông qua tổng các hàm cơ sở vô hướng $g(r_i): [0, r_{Max}] \to [0, 1]$, với $r_i$ là khoảng cách Euclidean giữa điểm tính toán và điểm điều khiển thứ $i$.
  • Biến đổi hình học 3D cứng (Rigid Transformation): Sử dụng ma trận thuần nhất kích thước $4 \times 4$: $$\bar{v}' = A \bar{v} = \begin{bmatrix} M & t \ O^T & 1 \end{bmatrix} \bar{v}$$ với $M$ là ma trận quay trực chuẩn cấp $3 \times 3$ ($\det(M) = 1$) và $t = [t_x, t_y, t_z]^T$ là vector tịnh tiến.

Phương pháp nghiên cứu thực tế:

  • Phương pháp lý thuyết: Nghiên cứu, phân tích mô hình toán học của AAM, RBF, PCA, phân tích thống kê hình học và các giải thuật lọc số.
  • Phương pháp thực nghiệm: Cài đặt phần mềm thử nghiệm trên máy tính; xây dựng bộ dữ liệu huấn luyện và kiểm thử; thu nhận dữ liệu ảnh và video thực tế từ camera; xử lý dữ liệu qua các bước tiền xử lý lọc nhiễu (bộ lọc trung bình AF, trung vị thích ứng AMF, Gaussian GF, song phương BF) và cân bằng lược đồ thích ứng giới hạn tương phản (CLAHE).
  • Phương pháp so sánh đối chứng: So sánh sai số định vị điểm, sai số nắn chỉnh biến dạng và thời gian xử lý thực tế với các phương pháp đã công bố trong cùng điều kiện thử nghiệm.

Nguồn tư liệu và dữ liệu:

  • Dữ liệu ảnh và video mặt người thực nghiệm thu nhận trực tiếp qua camera ở góc nghiêng dưới 30 độ.
  • Cơ sở dữ liệu ảnh khuôn mặt chuẩn (JAFFE - Japanese Female Facial Expression).
  • Mô hình lưới đa giác 3D tham chiếu, tập điểm điều khiển chuẩn Luxand và tập mô hình 3D biến thể của đối tượng quan sát (mô hình người mẫu KA).

Nội dung chính theo từng chương

Chương 1: Tổng quan về trích chọn đặc trưng và biểu diễn biểu cảm khuôn mặt

Chương 1 hệ thống hóa toàn diện các khái niệm, quy trình và phương pháp kỹ thuật trong hệ thống phân tích và tổng hợp biểu cảm khuôn mặt:

  • Phân tích bản chất sinh học và giao tiếp của biểu cảm: Biểu cảm là trạng thái hệ cơ dưới da mặt phản ánh tâm lý con người. Trong giao tiếp, 55% thông điệp cảm xúc truyền tải qua nét mặt, 7% qua từ ngữ nói và 38% qua ngữ điệu.
  • Định nghĩa điểm điều khiển: Là các điểm mốc đặc trưng cho sự biến đổi hình học của đối tượng ảnh (như khớp cơ thể hoặc góc mắt, khóe môi, đỉnh mũi trên khuôn mặt), đóng vai trò tham số điều khiển biến dạng.
  • Đánh giá các phương pháp phát hiện khuôn mặt: So sánh chi tiết giữa các giải pháp dựa trên xử lý hình thái, mẫu tỷ số sáng - tối, đặc trưng Haar-like với AdaBoost, và các kiến trúc học sâu hiện đại (UnitBox, FANet, GAN, Gram-Net).
  • Phân tích kỹ thuật trích xuất đặc trưng và biểu diễn 3D: Đánh giá chi tiết ưu điểm và nhược điểm của các phương pháp nội suy hình học áp dụng cho mô hình khuôn mặt:
Phương pháp nội suy Ý tưởng kỹ thuật chính Ưu điểm ghi nhận trong văn bản Nhược điểm ghi nhận trong văn bản
Nội suy tuyến tính Dùng đa thức tuyến tính $y = y_0(1-t) + y_1 t$ nối các điểm dữ liệu rời rạc giữa hai khung hình Đơn giản, tốc độ thực thi nhanh, không đòi hỏi tính toán chuyên sâu, kết quả dễ dự đoán Bị giới hạn ở số lượng biểu cảm chính; không mô tả được biến đổi phi tuyến; kém hiệu quả với nét mặt biến đổi phức tạp
Nội suy song tuyến Mở rộng nội suy tuyến tính cho lưới 2D, kết hợp 4 khung hình chính (keyframe) Tốc độ nhanh; tạo ra các biểu hiện biểu cảm đa dạng và thực tế hơn so với tuyến tính Khó tạo sự kết hợp động của các chuyển động mặt độc lập; chỉ phù hợp cho bài toán nhỏ với tập ảnh sinh ra hạn chế
Hàm cơ sở bán kính (RBF) Xấp xỉ hàm biến dạng không gian $\mathbb{R}^3$ thông qua khoảng cách tới tập điểm điều khiển Thiết kế điểm điều khiển linh hoạt ở vùng biến đổi lớn; thêm điểm mới không ảnh hưởng thuật toán; giữ nguyên cấu trúc lưới bề mặt Tốc độ tính toán chậm, khó cài đặt; độ phức tạp thời gian tăng nhanh khi số lượng điểm điều khiển tăng lên
Nội suy địa phương Phân chia bề mặt thành các vùng riêng biệt (phân vùng cứng hoặc phân vùng động trên GPU), áp dụng biến đổi riêng cho từng vùng Tăng độ chính xác và tối ưu thời gian tính toán cho từng phân vùng cụ thể; tính ứng dụng cao Phụ thuộc chặt chẽ vào độ chính xác của thuật toán phân vùng bề mặt và kỹ thuật làm trơn vùng biên

Chương 2: Kỹ thuật trích chọn đặc trưng cử chỉ và ước lượng biểu cảm

Chương 2 trình bày chi tiết quy trình trích chọn đặc trưng cử chỉ và thuật toán ước lượng biểu cảm khuôn mặt từ ảnh/video đầu vào qua ba phân hệ kỹ thuật:

  1. Phát hiện khuôn mặt:
  • Đề xuất kỹ thuật phân lớp nhị phân từng vùng ảnh kết hợp phân đoạn video dựa trên kỹ thuật trừ ảnh đặc trưng.
  • Xây dựng mô hình cây quyết định học khuôn mặt mẫu (Thuật giải 2.1) sử dụng ngăn xếp để duyệt các nút, tối ưu hàm mục tiêu sai số bình phương nhỏ nhất $WMSE(I, v, w)$. Phép phân lớp tại các nhánh đầu tiên cho phép loại bỏ nhanh vùng nền phức tạp.
  1. Tiền xử lý và trích chọn đặc trưng cử chỉ:
  • Xử lý nhiễu bằng các bộ lọc AF, AMF, GF, BF và kỹ thuật làm mịn bảo toàn cạnh.
  • Hiệu chỉnh điều kiện chiếu sáng bằng kỹ thuật cân bằng biểu đồ thích ứng có giới hạn tương phản (CLAHE).
  • Định vị tập điểm điều khiển khuôn mặt dựa trên mô hình AAM cải tiến, kết hợp dữ liệu hình dạng và kết cấu ảnh mức xám.
  1. Kỹ thuật ước lượng biểu cảm khuôn mặt:
  • Tác giả đề xuất không sử dụng phương pháp thống kê chọn rời rạc bằng tay mà tự động lựa chọn ngẫu nhiên các đặc trưng hình học và tổ chức dưới mô hình cây quyết định.
  • Đề xuất sử dụng 3 hàm đặc trưng hình dạng tỷ số:
    • $f_{LINE_LINE}$: Hàm tính tỷ số độ dài giữa hai đoạn thẳng trên khuôn mặt.
    • $f_{TRIANGLE_TRIANGLE}$: Hàm tính tỷ số diện tích giữa hai tam giác tạo bởi các điểm điều khiển.
    • $f_{LINELINE_LINELINE}$: Hàm tính tỷ số của tổng độ dài hai đoạn thẳng. Cơ sở toán - hình học của việc lựa chọn 3 hàm này là các thành phần mắt, mũi, miệng luôn duy trì mối liên hệ cấu trúc tương quan chặt chẽ theo các đường và tam giác hình học bất biến.
  • Kết quả thực nghiệm trong chương được tổng hợp và đánh giá qua hệ thống các bảng số liệu:
Bảng số liệu trong Chương 2 Nội dung và bản chất kỹ thuật được thống kê
Bảng 2.1 Một số kết quả ví dụ so sánh cường độ ảnh giữa các vùng khuôn mặt phục vụ phân lớp
Bảng 2.2 So sánh kết quả định vị khuôn mặt của phương pháp đề xuất với các mô hình đối chứng
Bảng 2.3 Thống kê sai số trung bình của các loại biểu cảm khuôn mặt thử nghiệm
Bảng 2.4 Thống kê thời gian xử lý thực tế của từng loại biểu cảm trong quá trình nhận dạng và ước lượng

Chương 3: Biểu diễn cử chỉ, biểu cảm trên khuôn mặt 3D

Chương 3 giải quyết bài toán tái tạo cử chỉ, biểu cảm lên mô hình ảo 3D dựa trên tập vector đặc trưng thu được từ Chương 2:

  • Ứng dụng kỹ thuật nội suy RBF: Xác định các tham số hình dạng tối ưu; tính toán tọa độ mô hình đích từ mô hình tham chiếu ở trạng thái cân bằng; tính toán quá trình biến đổi liên tục bề mặt hình học.
  • Đề xuất kỹ thuật tự động xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng:
    • Phân tích đặc trưng biến dạng hình học của các đỉnh trên bề mặt thông qua tập các mô hình quan sát biến thể.
    • Xác định các nhóm đỉnh có tính chất biến dạng tương đồng và tiến hành gom cụm với nhiều mức tham số $K$ khác nhau.
    • Phân tích biểu đồ tương quan giữa sai số nắn chỉnh với các giá trị tham số $K$: thử nghiệm đánh giá trên trường hợp biến đổi các biểu cảm khác nhau của cùng một người mẫu (người mẫu KA) và trường hợp biến đổi giữa các cá nhân khác nhau ở trạng thái biểu cảm trung tính.
    • Xác định giá trị $K$ tối ưu để lựa chọn tập điểm điều khiển đại diện, bảo đảm giảm thiểu sai số nắn chỉnh mô hình mà không làm tăng đột biến chi phí tính toán.
  • Thiết kế hoàn chỉnh kiến trúc hệ thống mô phỏng biểu cảm khuôn mặt 3D từ luồng video đầu vào đến kết quả hiển thị mô hình nắn chỉnh.

Kết quả và những đóng góp mới

Theo công bố của tác giả trong văn bản, luận án đạt được 4 đóng góp mới về mặt khoa học và kỹ thuật ứng dụng:

  1. Lựa chọn và hoàn thiện kỹ thuật phát hiện khuôn mặt trong ảnh dựa trên phân lớp nhị phân với mỗi vùng ảnh quan tâm kết hợp với kỹ thuật phân đoạn video dựa trên trừ ảnh đặc trưng (công bố trong công trình TCTN3, trình bày tại Chương 2).
  2. Đề xuất kỹ thuật định vị các điểm điều khiển dựa trên Mô hình ngoại hình chủ động (AAM) và ước lượng biểu cảm khuôn mặt sau khi định vị. Luận án thay thế việc thống kê, lựa chọn rời rạc đặc trưng thủ công bằng cơ chế tự động lựa chọn đặc trưng hình học ngẫu nhiên và tổ chức dưới mô hình cây quyết định (công bố trong các công trình TCQT1, TCTN1, trình bày tại Chương 2).
  3. Đề xuất sử dụng 3 loại đặc trưng hình dạng tỷ số hình học gồm $f_{LINE_LINE}$, $f_{TRIANGLE_TRIANGLE}$ và $f_{LINELINE_LINELINE}$, giải quyết bài toán biểu diễn mối tương quan cấu trúc không đổi giữa mắt, mũi và miệng khi biểu cảm biến đổi (công bố trong các công trình TCQT1, TCTN1, trình bày tại Chương 2).
  4. Đề xuất kỹ thuật tự động xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng mô hình 3D dựa trên phân tích tập mô hình quan sát và gom cụm mức độ biến dạng, kết hợp thuật toán nắn chỉnh biến dạng RBF và tập mô hình biến thể để kiểm soát sai số nắn chỉnh (công bố trong các công trình TCQT2, TCQT3, HNTN1, trình bày tại Chương 3).

Về mặt ứng dụng và kiến nghị giải pháp: Luận án đề xuất quy trình xây dựng hệ thống hoàn chỉnh có thể chuyển giao cho các bài toán mô phỏng nhân vật trong phim hoạt hình 3D, sản xuất nội dung thực tại ảo, phát thanh viên ảo tự động, hệ thống hỗ trợ giao tiếp ngôn ngữ cử chỉ cho người khiếm thính và các giao diện tương tác người - máy thông minh.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu được xác định từ phạm vi kỹ thuật trong văn bản:

  • Phạm vi góc quan sát bị giới hạn: Thuật toán chỉ hoạt động chính xác với khuôn mặt nhìn thẳng hoặc góc nghiêng không vượt quá 30 độ; khi góc nghiêng lớn hơn hoặc mặt bị che khuất một phần, độ chính xác định vị điểm mốc suy giảm.
  • Đặc tính tính toán của thuật toán RBF: Khi mở rộng số lượng điểm điều khiển để mô tả chi tiết các nếp nhăn nhỏ, độ phức tạp tính toán của hàm cơ sở bán kính tăng cao, gây khó khăn cho việc xử lý thời gian thực trên các hệ thống phần cứng thông thường.

Hướng nghiên cứu phát triển tiếp theo được tác giả đề xuất:

  • Mở rộng thuật toán phát hiện và định vị điểm mốc khuôn mặt ở các góc nghiêng lớn (vượt quá 30 độ) và trong điều kiện che khuất phức tạp.
  • Nghiên cứu tối ưu hóa tốc độ tính toán cho thuật toán nội suy RBF, có thể áp dụng các giải thuật tính toán song song trên GPU hoặc kết hợp phân vùng động bề mặt.
  • Thử nghiệm mô hình trên các tập dữ liệu biểu cảm phức tạp hơn và tích hợp thêm các kênh dữ liệu bổ trợ (như tín hiệu âm thanh hoặc cảm biến sinh lý) nhằm nâng cao tính tự nhiên cho nhân vật ảo 3D.

Giá trị tham khảo

Nội dung luận án có giá trị tham khảo chuyên môn rõ ràng cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Công nghệ thông tin, Thị giác máy tính, Khoa học dữ liệu và Đồ họa máy tính: Bản luận án cung cấp tài liệu tham khảo chi tiết về thuật toán AAM cải tiến, cách xây dựng cây quyết định học tối ưu hàm $WMSE$, cách trích xuất các đặc trưng hình học tỷ số và mô hình toán học của nội suy RBF 3D.
  • Kỹ sư phát triển phần mềm đồ họa, hoạt hình và trò chơi điện tử (Game 3D): Tham khảo quy trình nắn chỉnh mô hình khuôn mặt ảo tự động không cần gắn điểm đánh dấu vật lý, và phương pháp tự động chọn tập điểm điều khiển tối ưu qua phân tích gom cụm biến dạng.
  • Chuyên gia phát triển hệ thống tương tác người - máy (HCI) và công nghệ hỗ trợ: Ứng dụng quy trình nhận dạng cử chỉ mặt phục vụ chế tạo robot biểu cảm, nhân vật ảo đại diện, và phần mềm phiên dịch ngôn ngữ ký hiệu cho người khiếm thính.

Các phần đáng tham khảo nhất trong văn bản:

  • Thuật giải 2.1 (Học khuôn mặt mẫu) và cấu trúc hàm mục tiêu $WMSE$.
  • Phương pháp xây dựng 3 hàm tỷ số hình học $f_{LINE_LINE}, f_{TRIANGLE_TRIANGLE}, f_{LINELINE_LINELINE}$ tại Chương 2.
  • Thuật toán gom cụm biến dạng theo tham số $K$ để tự động lựa chọn điểm điều khiển nội suy RBF tại Chương 3.

Câu hỏi thường gặp

1. Luận án giải quyết bài toán mô phỏng cử chỉ, biểu cảm khuôn mặt 3D theo quy trình gồm những giai đoạn chính nào?
Luận án chia bài toán thành hai giai đoạn kỹ thuật chính: Giai đoạn một là thu nhận và trích chọn các đặc trưng cử chỉ hoặc biểu cảm trên khuôn mặt người từ ảnh/video thông qua các kỹ thuật xử lý ảnh, phân đoạn video và mô hình AAM không dùng điểm đánh dấu. Giai đoạn hai sử dụng các thông tin đặc trưng đã trích rút được làm đầu vào để điều khiển và tái thể hiện biểu cảm trên mô hình mặt người 3D nhờ thuật toán nội suy hình học RBF.

2. Vì sao tác giả đề xuất 3 loại đặc trưng hình dạng tỷ số LINE_LINE, TRIANGLE_TRIANGLE và LINELINE_LINELINE?
Tác giả đề xuất 3 loại đặc trưng này vì các thành phần giải phẫu trên khuôn mặt (mắt, mũi, miệng) tuy có hình dạng khác nhau nhưng luôn có mối liên hệ cấu trúc gắn liền nhau, tạo thành các đường thẳng hoặc tam giác hình học ổn định. Tỷ số độ dài đoạn thẳng và tỷ số diện tích tam giác giúp triệt tiêu ảnh hưởng của sự thay đổi khoảng cách, tỷ lệ khuôn mặt do khoảng cách đặt camera, phản ánh chính xác sự dịch chuyển tương đối của hệ cơ mặt khi biểu cảm thay đổi.

3. Phương pháp nội suy RBF có ưu điểm và hạn chế kỹ thuật gì trong mô phỏng khuôn mặt 3D theo phân tích của tác giả?
Về ưu điểm, RBF cho phép dễ dàng thiết lập các điểm điều khiển tại các vùng có biến dạng biểu cảm rõ rệt; việc bổ sung điểm điều khiển mới không làm thay đổi thuật toán tổng thể; và đặc biệt là không làm phá vỡ cấu trúc lưới bề mặt đa giác ban đầu của khuôn mặt. Về hạn chế, RBF có thuật toán phức tạp, khả năng tính toán chậm và độ phức tạp tính toán tăng nhanh khi số lượng điểm điều khiển tăng lên.

4. Cơ chế tự động xác định tập điểm điều khiển phục vụ nắn chỉnh mô hình trong Chương 3 hoạt động như thế nào?
Thay vì chọn điểm thủ công, tác giả phân tích đặc trưng biến dạng hình học của các đỉnh bề mặt trên một tập các mô hình quan sát biến thể. Sau đó, các đỉnh có tính chất biến dạng tương đồng được phân nhóm và gom cụm với các mức tham số $K$ khác nhau. Dựa trên phân tích biểu đồ tương quan giữa sai số nắn chỉnh và giá trị $K$ (trên cả tập dữ liệu cùng một người và giữa nhiều người khác nhau), hệ thống chọn ra tập điểm điều khiển đại diện tối ưu nhất.

5. Phạm vi góc nghiêng của khuôn mặt đầu vào được giới hạn trong khoảng nào và lý do kỹ thuật là gì?
Phạm vi nghiên cứu của luận án giới hạn ở khuôn mặt thẳng hoặc gần thẳng với góc nghiêng không quá 30 độ. Lý do kỹ thuật là thao tác cốt lõi của quy trình đòi hỏi phải phát hiện và định vị chính xác vị trí của toàn bộ tập điểm điều khiển trên các thành phần mắt, mũi, miệng; các góc nghiêng lớn hơn 30 độ sẽ gây ra hiện tượng tự che khuất các điểm mốc, làm sai lệch mô hình AAM và giảm độ chính xác của khâu nắn chỉnh 3D.

Kết luận

Luận án tiến sĩ của tác giả Huỳnh Cao Tuấn đã nghiên cứu và phát triển giải pháp toàn diện kết nối giữa thị giác máy tính và đồ họa mô phỏng 3D trong bài toán biểu diễn cử chỉ, trạng thái khuôn mặt người. Công trình có đóng góp khoa học rõ ràng thông qua việc đề xuất kỹ thuật phát hiện khuôn mặt dựa trên cây quyết định tối ưu hàm WMSE, mô hình định vị điểm điều khiển AAM tự động lựa chọn đặc trưng hình dạng tỷ số, cùng kỹ thuật tự động xác định tập điểm điều khiển cho thuật toán nắn chỉnh biến dạng RBF trên lưới 3D. Các kết quả nghiên cứu đã được công bố trên các tạp chí và kỷ yếu hội nghị khoa học chuyên ngành, cung cấp cơ sở kỹ thuật tin cậy cho các ứng dụng thực tế trong lĩnh vực hoạt hình 3D, thực tại ảo và giao tiếp người - máy thông minh.