Tổng quan luận án

Luận án tiến sĩ kỹ thuật chuyên ngành Hệ thống thông tin (mã số: 9.04) của nghiên cứu sinh Huỳnh Cao Tuấn, được thực hiện tại Học viện Công nghệ Bưu chính Viễn thông dưới sự hướng dẫn khoa học của PGS. Đỗ Năng Toàn và TS. Nguyễn Thanh Bình (Hà Nội, 2021), tập trung vào đề tài "Phát triển các kỹ thuật biểu diễn biểu cảm khuôn mặt 3D" (trong phần mở đầu xác định cụ thể là "Phát triển các kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 3D dưới sự trợ giúp của camera").

Tính cấp thiết và khoảng trống nghiên cứu

Biểu cảm khuôn mặt là phương tiện giao tiếp phi ngôn ngữ quan trọng của con người, chiếm tỷ trọng lớn trong việc truyền tải cảm xúc và thái độ. Trong các lĩnh vực đồ họa máy tính, phim hoạt hình 3D (như Đi tìm Nemo), điện ảnh kỹ xảo/thực tại tăng cường (như Avatar, KingKong, Transformers, Avengers), trò chơi điện tử, tương tác người - máy, và hỗ trợ người khiếm thính qua ngôn ngữ cử chỉ, việc mô phỏng cử chỉ và trạng thái biểu cảm tự nhiên của nhân vật ảo là bài toán trung tâm.

Nghiên cứu về khuôn mặt người thường chia thành hai hướng tách biệt:

  1. Thị giác máy tính: phát hiện, nhận dạng khuôn mặt và các trạng thái biểu cảm.
  2. Đồ họa máy tính và thực tại ảo: mô phỏng, biểu diễn mô hình mặt người cùng các trạng thái khác nhau.

Khoảng trống nghiên cứu được tác giả xác định: phần lớn các nghiên cứu trước đây chỉ tập trung vào một phân đoạn riêng lẻ (hoặc nhận dạng, hoặc dựng hình) hoặc phụ thuộc vào việc gắn các điểm đánh dấu vật lý (markers) lên mặt diễn viên. Các phương pháp mô phỏng cơ bắp giải phẫu có độ phức tạp tính toán rất lớn và không thể tái sử dụng cho các mô hình khuôn mặt khác nhau; ngược lại, các phương pháp nội suy đơn giản lại khó biểu diễn chính xác các biến dạng phi tuyến. Tại Việt Nam, các nghiên cứu kết nối hai hướng tiếp cận này—tự động trích chọn đặc trưng không dùng điểm đánh dấu và tái thể hiện biểu cảm lên mô hình 3D—chưa có nhiều công trình giải quyết trọn vẹn.

Mục tiêu nghiên cứu

Mục tiêu tổng quát của luận án là tái thể hiện lại biểu cảm hoặc cử chỉ của một người thật từ video/ảnh thu nhận qua camera lên mô hình khuôn mặt 3D trên máy tính. Luận án chia quy trình thành 2 giai đoạn chính:

  1. Thu nhận, xử lý ảnh/video và trích chọn các đặc trưng biểu cảm hoặc cử chỉ trên khuôn mặt 2D mà không sử dụng điểm đánh dấu vật lý.
  2. Sử dụng thông tin đặc trưng trích chọn được làm đầu vào để điều khiển và nội suy tái thể hiện biến dạng trên mô hình mặt người 3D.

Mục tiêu kỹ thuật cụ thể gồm:

  1. Xây dựng kỹ thuật phân đoạn video và phát hiện khuôn mặt dựa trên phân lớp nhị phân kết hợp trừ ảnh đặc trưng.
  2. Cải tiến mô hình ngoại hình chủ động (AAM - Active Appearance Model) để tự động định vị tập điểm điều khiển và ước lượng biểu cảm dựa trên cây quyết định và các đặc trưng hình học.
  3. Đề xuất kỹ thuật tự động xác định tập điểm điều khiển nắn chỉnh biến dạng và áp dụng kỹ thuật nội suy hàm cơ sở bán kính (RBF - Radial Basis Functions) để điều khiển mô hình khuôn mặt 3D.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Đối tượng khuôn mặt người 2D trong ảnh/video; mô hình khuôn mặt người 3D trong môi trường thực tại ảo; các thuật toán xử lý ảnh, trích chọn điểm đặc trưng và các kỹ thuật nội suy hình học 3D.
  • Phạm vi không gian và góc quay: Nghiên cứu giới hạn ở các khuôn mặt chụp thẳng hoặc gần thẳng với góc nghiêng lệch trục dưới $30^\circ$ để đảm bảo quan sát rõ ràng tập điểm điều khiển.
  • Phạm vi dữ liệu và trạng thái: Đầu vào của hệ thống là chuỗi trạng thái cảm xúc liên tục từ luồng hình ảnh/video; đầu ra là mô hình khuôn mặt 3D thể hiện các trạng thái cảm xúc tương ứng. Dữ liệu thử nghiệm sử dụng các tập dữ liệu chuẩn như JAFFE (Japanese Female Facial Expression), bộ điểm Luxand và các mô hình quét 3D (mẫu KA).

Tổng quan tài liệu và vị trí của luận án

Luận án đã phân tích và hệ thống hóa các nhóm công trình nghiên cứu liên quan đến hai trục bài toán chính:

Các hướng nghiên cứu về phát hiện khuôn mặt và trích chọn đặc trưng

  • Nghiên cứu tâm lý học và mã hóa biểu cảm: Darwin (1972) khẳng định mối liên hệ giữa cử động cơ mặt và trạng thái tâm lý; Ekman và Friesen (1976, 1978) chuẩn hóa hệ thống mã hóa hành động mặt (FACS) với 46 đơn vị hành động (Action Units - AUs) và định nghĩa 6 trạng thái cảm xúc cơ bản (Basic Emotions - BEs: hạnh phúc, buồn bã, sợ hãi, ghê tởm, ngạc nhiên, tức giận); mô hình không gian Valence - Arousal (V-A space) được ứng dụng trong nhận dạng cảm xúc liên tục.
  • Phát hiện khuôn mặt truyền thống: Cootes và cộng sự [59] sử dụng toán tử Laplace, đốm và vạch sọc kết hợp tam giác quan hệ; Guggisberg [47] dùng bộ lọc biên và lược đồ độ xám nhị phân; Schneiderman và Kanade [98] đề xuất mô hình mẫu 14×16 pixel gồm 16 vùng và 23 quan hệ (11 quan hệ thiết yếu, 12 quan hệ xác thực); Li và Chung [71] định vị 5 đặc trưng (mắt, mũi, môi) bằng mô hình khoảng cách Gauss; Su và Zheng [104] sử dụng tỷ số độ sáng bất biến giữa các vùng trán, má, mắt; Viola và Jones [29], Wu và Đỗ Năng Toàn [123, 107] áp dụng đặc trưng Haar-like kết hợp thuật toán AdaBoost và khái niệm ảnh tích phân (Integral Image).
  • Mô hình thống kê hình dạng và ngoại hình: Cootes và Taylor đề xuất Mô hình hình dạng chủ động (ASM) [27] và Mô hình ngoại hình chủ động (AAM) [59] kết hợp phân tích thành phần chính (PCA) trên cả tọa độ hình học và ma trận cường độ điểm ảnh.
  • Trích chọn đặc trưng kết cấu: Mẫu nhị phân cục bộ LBP (Local Binary Pattern) của Ojala và cộng sự [88, 8] cùng các mở rộng đồng nhất $LBP_{P,R}^{u2}$; biến đổi sóng Gabor wavelets đa hướng, đa phân giải [85, 18, 83].
  • Tiếp cận học sâu (CNN): Mạng hồi quy hộp bao UnitBox dựa trên hàm lỗi IoU của Yu và cộng sự [129]; mạng tích chập đa tầng kết hợp phát hiện điểm mốc của Zhang và cộng sự [134]; mạng đa tỷ lệ của Yang và cộng sự [124]; mô hình GAN xử lý mặt mờ nhỏ của Bai và cộng sự [14]; Gram-Net phát hiện khuôn mặt giả của Zhengzhe [78]; các biến thể Faster R-CNN, Face R-FCN [115, 116], FDNet [130] và FANet dựa trên FPN [134].

Các hướng nghiên cứu về biểu diễn và mô phỏng khuôn mặt 3D

  • Nghiên cứu trong nước: Ma Thị Châu và cộng sự [3] nghiên cứu tái tạo khuôn mặt 3D từ hộp sọ; Phạm Thế Bảo và cộng sự [2] tổng quan phương pháp xác định khuôn mặt; Đỗ Năng Toàn và cộng sự [7] mô hình hóa 3D hệ xương, hô hấp, tiêu hóa; Đỗ Năng Toàn và Nguyễn Văn Huân [5] mô phỏng chuyển động tóc; Trịnh Hiền Anh, Đỗ Năng Toàn và cộng sự [1, 6, 57] nghiên cứu thực tại ảo trong quảng cáo trực tuyến.
  • Mô hình cơ bắp (Muscle-based models): Parker [90], Yano [125], Terzopoulos và Waters [42] mô phỏng mạng lưới cơ học vật lý dưới da, tuy nhiên mô hình quá phức tạp và khó tái sử dụng cho các khuôn mặt khác.
  • Mô hình hình dạng pha trộn (Blendshapes): Chuang [28], Joshi [63], Lewis [70], Liu [76] sử dụng tổ hợp tuyến tính các biểu cảm cơ sở với trọng số điều khiển.
  • Kỹ thuật biến dạng và nội suy: Bickel và cộng sự [19] phân rã biến dạng đa tỷ lệ (quy mô lớn và chi tiết nếp nhăn nhỏ); chuẩn MPEG-4 [62] quy định 84 điểm đặc trưng và tham số hoạt hóa khuôn mặt (FAPs); You [128] mô hình hóa biến dạng da dựa trên tương tác lực tại các điểm điều khiển; Tong-Yee Lee và Po-Hua Huang [109] đề xuất biến dạng dựa trên phân vùng cứng; Yong Joo Kim và cộng sự [126] phát triển công cụ 3D Warp Brush; Henry Schäfer và cộng sự [52] nghiên cứu nội suy phân vùng động tính toán trên GPU; Wang và Ierapetritou [117], Dias [34] chứng minh hiệu quả của nội suy hàm cơ sở bán kính (RBF) trong xấp xỉ bề mặt 3D.

Khoảng trống luận án lựa chọn giải quyết

Luận án định vị trọng tâm vào việc khắc phục sự phụ thuộc vào các điểm đánh dấu cơ học trên mặt người thật, đồng thời giải quyết bài toán tự động hóa trích chọn đặc trưng hình học mà không cần lựa chọn tham số thủ công. Luận án kết nối AAM cải tiến với mô hình nội suy RBF 3D thông qua một tập điểm điều khiển tối ưu được gom cụm tự động, bảo đảm không phá vỡ cấu trúc lưới đa giác 3D ban đầu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  1. Mô hình ngoại hình chủ động (AAM): Biểu diễn hình dạng đối tượng dưới dạng vector tọa độ $2n$ chiều $\mathbf{x} = (x_1, \dots, x_n, y_1, \dots, y_n)^T$, chuẩn hóa không gian qua giải thuật Procrustes và nén chiều dữ liệu bằng PCA theo hàm mục tiêu: $$D = \sum_{i=1}^n |x_i - \bar{x}|^2$$ Kết hợp vector hình dạng với vector cường độ kết cấu ảnh mức xám nhằm khớp mô hình thống kê với ảnh quan sát thực tế.
  2. Lý thuyết mẫu nhị phân cục bộ (LBP): Áp dụng toán tử LBP mở rộng với lân cận $P$ điểm lấy mẫu trên đường tròn bán kính $R$: $$LBP_{P,R}(x_c, y_c) = \sum_{p=0}^{P-1} s(g_p - g_c)2^p \quad \text{với} \quad s(x) = \begin{cases} 1 & \text{khi } x \ge 0 \ 0 & \text{khi } x < 0 \end{cases}$$ Sử dụng toán tử LBP đồng nhất $LBP_{P,R}^{u2}$ (chứa tối đa 2 lần chuyển tiếp bit $0 \leftrightarrow 1$) để giảm số chiều từ $2^P$ xuống $P(P-1) + 3$ mẫu, tập trung vào các điểm biên, góc và đường kết cấu cục bộ.
  3. Lý thuyết đặc trưng Haar-like và ảnh tích phân: Tính toán tổng mức xám vùng $D$ thông qua 4 điểm góc của ảnh tích phân $ii(x,y) = \sum_{x' \le x, y' \le y} i(x', y')$: $$D = (x_4, y_4) - (x_2, y_2) - (x_3, y_3) + (x_1, y_1)$$
  4. Lý thuyết biến đổi 3D cứng (Rigid Transform) và Affine: Sử dụng ma trận biến đổi thuần nhất kích thước $4 \times 4$: $$\bar{v}' = A \bar{v} = \begin{bmatrix} M & \mathbf{t} \ O^T & 1 \end{bmatrix} \bar{v}$$ Trong đó $\mathbf{t} = [t_x, t_y, t_z]^T$ là vector tịnh tiến, $M$ là ma trận $3 \times 3$ (khi $M^T = M^{-1}$ và $\det(M)=1$, $M$ là ma trận quay $R$).
  5. Lý thuyết nội suy hàm cơ sở bán kính (RBF): Xây dựng hàm xấp xỉ bề mặt $F(\mathbf{p})$ từ tập $n$ điểm phân tán trong không gian $\mathbb{R}^3$: $$F(\mathbf{p}) = \sum_{i=1}^n w_i g(|\mathbf{p} - \mathbf{p}_i|)$$ với $g(r)$ là hàm cơ sở bán kính suy giảm đơn điệu theo khoảng cách Euclid $r$.

Phương pháp nghiên cứu thực tế

Luận án kết hợp phương pháp nghiên cứu lý thuyết toán học (đại số tuyến tính, hình học tính toán, xử lý ảnh số) với phương pháp thực nghiệm mô phỏng trên phần mềm máy tính:

  • Tiền xử lý ảnh: Áp dụng bộ lọc trung bình (AF), bộ lọc trung vị thích ứng (AMF), bộ lọc Gaussian (GF), bộ lọc song phương (BF - Bilateral Filter) để làm mịn bảo toàn cạnh; kỹ thuật cân bằng biểu đồ thích ứng có giới hạn tương phản (CLAHE) trong không gian màu HSV/RGB để hiệu chỉnh ánh sáng.
  • Trích chọn đặc trưng và cây quyết định: Thay vì lựa chọn đặc trưng thủ công, tác giả xây dựng 3 hàm đo tỷ lệ hình học ngẫu nhiên:
    • $f_{LINE_LINE}$: tỷ số độ dài giữa 2 đoạn thẳng tạo bởi các điểm điều khiển.
    • $f_{TRIANGLE_TRIANGLE}$: tỷ số diện tích giữa 2 tam giác tạo bởi các điểm điều khiển.
    • $f_{LINELINE_LINELINE}$: tỷ số của tổng độ dài 2 đoạn thẳng. Tổ chức các hàm đặc trưng này vào cấu trúc cây quyết định kết hợp hàm tối ưu sai số $WMSE(I, v, w)$.
  • Tự động gom cụm điểm điều khiển 3D: Sử dụng giải thuật gom cụm (K-means clustering) trên vector độ biến dạng của các đỉnh mô hình 3D để xác định $K$ điểm điều khiển đại diện tối ưu, sau đó điều khiển nắn chỉnh mô hình bằng giải thuật RBF.

Danh mục thuật ngữ và ký hiệu toán học chính

Thuật ngữ / Ký hiệu Ý nghĩa trong luận án
AAM / ASM Active Appearance Model / Active Shape Model (Mô hình ngoại hình / hình dạng chủ động)
RBF Radial Basis Functions (Hàm cơ sở bán kính phục vụ nội suy không gian 3D)
FACS / AUs Facial Action Coding System / Facial Action Units (Hệ thống mã hóa cử động khuôn mặt)
LBP / $LBP_{P,R}^{u2}$ Local Binary Pattern (Mẫu nhị phân cục bộ) / Mẫu LBP đồng nhất bán kính $R$, $P$ điểm lấy mẫu
CLAHE Contrast-limited adaptive histogram equalization (Cân bằng biểu đồ thích ứng giới hạn tương phản)
$f_{LINE_LINE}$ Hàm đặc trưng tính tỉ số độ dài 2 đoạn thẳng
$f_{TRIANGLE_TRIANGLE}$ Hàm đặc trưng tính tỉ số diện tích hai tam giác
$f_{LINELINE_LINELINE}$ Hàm đặc trưng tính tỉ số của tổng độ dài 2 đoạn thẳng
$WMSE(I, v, w)$ Hàm mục tiêu phân lớp dữ liệu có trọng số
$B(I)$ Hàm so sánh cường độ điểm ảnh trên ảnh $I$
$\alpha, \beta, \delta, \Delta$ Các tham số biến đổi tỉ lệ, dịch chuyển và độ lệch vector cường độ
$\varepsilon(.)$ Tham số chỉ ra giá trị cực tiểu của hàm cơ sở bán kính

Nội dung chính theo từng chương

Chương 1: Tổng quan về trích chọn đặc trưng và biểu diễn biểu cảm khuôn mặt

Chương 1 thiết lập bức tranh tổng quan về các thành phần cấu thành một hệ thống nhận dạng và biểu diễn biểu cảm khuôn mặt:

  • Khái niệm và cơ chế biểu cảm: Phân biệt phương pháp thể hiện biểu cảm tĩnh (không liên tục theo thời gian) và phương pháp thể hiện biểu cảm động (lưu trữ biến thiên cường độ liên tục). Phân tích các mô hình kiến trúc: hệ thống phân tán, hệ thống liên kết, hệ thống dựa trên kế hoạch, hệ thống luật mờ và hệ thống ParleE của Bui và cộng sự [23].
  • Các phương pháp phát hiện khuôn mặt và trích chọn đặc trưng: Hệ thống hóa các thuật toán từ cổ điển (Laplace của Cootes, phân ngưỡng Histogram của Guggisberg, mẫu 16 vùng của Schneiderman & Kanade, Haar-like + AdaBoost của Viola-Jones) đến các mạng CNN hiện đại (UnitBox của Yu [129], FANet của Zhang [134], GAN sinh dữ liệu của Bai [14], Gram-Net của Zhengzhe [78]). Phân tích chi tiết toán tử LBP, $LBP_{P,R}^{u2}$, biến đổi Gabor wavelet, mô hình AAM và không gian cảm xúc Valence - Arousal.
  • Các kỹ thuật biểu diễn và nội suy khuôn mặt 3D: Khảo sát các cấu trúc dữ liệu 3D (đám mây điểm vs lưới đa giác đa giác 3D Mesh); chuẩn MPEG-4 với 84 điểm đặc trưng; mô hình cơ mặt của Parker [90], Yano [125]; mô hình blendshape của Chuang [28], Joshi [63]; các giải thuật nội suy: nội suy tuyến tính ($y = y_0(1-t) + y_1 t$), nội suy song tuyến (Bilinear), nội suy biến dạng địa phương phân vùng cứng (Tong-Yee Lee & Po-Hua Huang [109]), phân vùng động (Henry Schäfer [52]), và biến đổi hình học 3D cứng (Rigid transform).
  • Kết luận chương: Luận án lựa chọn cải tiến mô hình AAM cho bài toán trích chọn điểm điều khiển 2D và lựa chọn phương pháp nội suy RBF cho bài toán biến dạng mô hình 3D vì RBF cho phép thêm điểm điều khiển linh hoạt mà không phá vỡ cấu trúc lưới bề mặt.

Chương 2: Kỹ thuật trích chọn đặc trưng cử chỉ và ước lượng biểu cảm

Chương 2 giải quyết trọn vẹn giai đoạn 1 của luận án thông qua chuỗi kỹ thuật xử lý từ ảnh đầu vào đến nhãn biểu cảm:

  • Phát hiện khuôn mặt: Sử dụng mô hình khuôn mặt mẫu kết hợp phân lớp nhị phân trên vùng quan tâm và kỹ thuật phân đoạn video dựa trên phép trừ ảnh đặc trưng. Kết quả thử nghiệm được đối sánh tại Bảng 2.1 (so sánh cường độ ảnh) và Bảng 2.2 (so sánh độ chính xác định vị khuôn mặt).
  • Tiền xử lý và trích chọn đặc trưng cử chỉ: Quy trình gồm 4 bước: (1) Loại bỏ nhiễu hình ảnh; (2) Làm mịn bảo toàn cạnh khuôn mặt bằng bộ lọc song phương; (3) Hiệu chỉnh chiếu sáng bằng CLAHE trong không gian màu thích hợp; (4) Trích chọn đặc trưng kết cấu và định vị tập điểm mốc.
  • Ước lượng biểu cảm dựa trên AAM cải tiến và Cây quyết định: Thay vì đo đạc các khoảng cách hình học thủ công, tác giả xây dựng thuật toán tự động chọn ngẫu nhiên các đặc trưng hình dạng và tổ chức thành cây quyết định. 3 hàm đặc trưng hình dạng được đề xuất và tích hợp:
    1. $f_{LINE_LINE}$: Đo tỷ số khoảng cách tương đối giữa các cặp điểm điều khiển (ví dụ: khoảng cách giữa hai khóe mắt so với bề rộng cánh mũi).
    2. $f_{TRIANGLE_TRIANGLE}$: Đo tỷ số diện tích các tam giác đặc trưng (ví dụ: tam giác tạo bởi hai mắt và chóp mũi so với tam giác tạo bởi mũi và hai khóe miệng).
    3. $f_{LINELINE_LINELINE}$: Đo tỷ số tổng các đoạn thẳng hình học trên các phân vùng chuyển động.
  • Kết quả thực nghiệm Chương 2: Đánh giá độ chính xác định vị tập điểm điều khiển, tỷ lệ nhận dạng biểu cảm theo các ngưỡng chấp nhận và thống kê định lượng sai số trung bình (Bảng 2.3) cũng như thời gian xử lý thực thi (Bảng 2.4) cho từng loại biểu cảm cơ bản (vui, buồn, ngạc nhiên, tức giận, sợ hãi, ghê tởm, trung tính).

Chương 3: Biểu diễn cử chỉ, biểu cảm trên khuôn mặt 3D

Chương 3 giải quyết giai đoạn 2: điều khiển mô hình 3D Mesh bằng tập điểm điều khiển:

  • Thuật toán nội suy RBF cho biến dạng khuôn mặt: Xác định hàm biến đổi không gian từ mô hình khuôn mặt nguồn ở trạng thái cân bằng (neutral) sang mô hình khuôn mặt đích dựa trên sự dịch chuyển của tập điểm điều khiển. Thuật toán tối ưu hóa việc lựa chọn tham số hình dạng $\varepsilon$ và trọng số $w_i$.
  • Tự động xác định tập điểm điều khiển tối ưu: Phân tích đặc trưng biến dạng hình học của các đỉnh trên bề mặt lưới qua một tập các mô hình quan sát biến thể. Luận án áp dụng thuật toán gom cụm để phân chia các đỉnh có độ biến thiên tương đồng thành $K$ cụm, từ đó tự động trích xuất $K$ điểm điều khiển đại diện thay vì dựa hoàn toàn vào kinh nghiệm chuyên gia.
  • Thực nghiệm nắn chỉnh mô hình 3D:
    • Khảo sát tương quan giữa sai số biến dạng hình học với số lượng cụm $K$ (Hình 2.11, Hình 2.12).
    • Đánh giá trên hai kịch bản: (1) Biến đổi giữa các biểu cảm khác nhau trên cùng một đối tượng người mẫu (mẫu KA - Hình 2.14); (2) Biến đổi hình học giữa các cá nhân khác nhau ở cùng trạng thái biểu cảm trung tính (Hình 2.15).
    • Kết quả nắn chỉnh hình học trực quan (Hình 2.13) cho thấy mô hình tham chiếu được biến dạng tiệm cận chính xác với mô hình mục tiêu.
  • Kiến trúc hệ thống mô phỏng biểu cảm 3D: Đề xuất hoàn chỉnh mô hình hệ thống kết nối module trích chọn AAM thời gian thực từ camera với module nắn chỉnh biến dạng RBF 3D (Hình 2.16).

Kết quả và những đóng góp mới

Luận án đã công bố các kết quả nghiên cứu trong 7 công trình khoa học (bao gồm các bài báo trên tạp chí quốc tế TCQT1, TCQT2, TCQT3; tạp chí trong nước TCTN1, TCTN2, TCTN3; và kỷ yếu hội nghị trong nước HNTN1). Các đóng góp mới về mặt khoa học và kỹ thuật được luận án khẳng định gồm:

  1. Về kỹ thuật phát hiện khuôn mặt: Xây dựng giải pháp phát hiện khuôn mặt trong ảnh kết hợp phân lớp nhị phân trên vùng quan tâm với kỹ thuật phân đoạn video dựa trên phép trừ ảnh đặc trưng, hỗ trợ định vị vùng mặt nhanh chóng làm tiền đề cho trích chọn cử chỉ (công bố tại TCTN3, trình bày tại Chương 2).
  2. Về kỹ thuật định vị điểm điều khiển và ước lượng biểu cảm: Đề xuất kỹ thuật định vị điểm điều khiển dựa trên mô hình AAM cải tiến. Thay thế cơ chế lựa chọn đặc trưng rời rạc thủ công bằng giải thuật tự động lựa chọn đặc trưng hình học ngẫu nhiên và tổ chức phân loại theo mô hình cây quyết định (công bố tại TCQT1, TCTN1, trình bày tại Chương 2).
  3. Về đề xuất các đặc trưng hình dạng mới: Đề xuất và ứng dụng bộ 3 đặc trưng hình học bất biến cục bộ gồm $f_{LINE_LINE}$, $f_{TRIANGLE_TRIANGLE}$ và $f_{LINELINE_LINELINE}$, khai thác tối đa mối liên hệ ràng buộc giải phẫu bền vững giữa các vị trí mắt, mũi, miệng trong quá trình biến đổi biểu cảm (công bố tại TCQT1, TCTN1, trình bày tại Chương 2).
  4. Về kỹ thuật tự động chọn điểm điều khiển nắn chỉnh mô hình 3D: Đề xuất kỹ thuật tự động xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng bề mặt 3D thông qua phân tích biến dạng và gom cụm nhóm tương đồng trên tập mô hình quan sát; kết hợp giải thuật nội suy RBF để nắn chỉnh mô hình 3D đích chính xác mà không làm thay đổi cấu trúc lưới đa giác nguyên bản (công bố tại TCQT2, TCQT3, HNTN1, trình bày tại Chương 3).

Hạn chế và hướng nghiên cứu tiếp

Căn cứ theo các công bố và nội dung trình bày trong văn bản luận án, các hạn chế và hướng phát triển được xác định như sau:

Hạn chế kỹ thuật

  • Góc quay quan sát: Hệ thống chỉ hoạt động chính xác đối với khuôn mặt thẳng hoặc gần thẳng có góc nghiêng dưới $30^\circ$. Khi góc quay lớn hơn, sự che khuất hình học cục bộ làm suy giảm độ chính xác của việc định vị điểm điều khiển AAM.
  • Độ phức tạp tính toán của RBF: Thuật toán nội suy RBF có chi phí tính toán tăng nhanh theo cấp số khi số lượng điểm điều khiển tăng lên, đòi hỏi phải cân đối giá trị $K$ gom cụm để đảm bảo hiệu năng thời gian thực.
  • Ngoại cảnh và che khuất: Thuật toán trích chọn cử chỉ vẫn gặp khó khăn trong các điều kiện môi trường phức tạp như ánh sáng thay đổi quá gắt, các khuôn mặt có phụ kiện che khuất (kính mắt, khẩu trang), râu tóc rậm hoặc vùng da dính nhau giữa các khuôn mặt gần nhau.

Hướng nghiên cứu tiếp theo

  • Mở rộng thuật toán phát hiện và trích chọn điểm điều khiển cho khuôn mặt có góc nghiêng lớn (vượt quá $30^\circ$) và trong điều kiện bị che khuất một phần.
  • Tối ưu hóa thuật toán nội suy RBF thông qua lập trình tính toán song song trên GPU nhằm nâng cao tốc độ xử lý khung hình.
  • Nghiên cứu mở rộng hệ thống sang nhận dạng và mô phỏng các biểu cảm vi mô (Micro-expressions - MEs) và biểu cảm phức hợp (Compound Emotions - CEs) với cường độ biến đổi tinh tế theo thời gian thực.

Giá trị tham khảo

Luận án có giá trị tham khảo chuyên môn rõ ràng cho các nhóm đối tượng học thuật và ứng dụng thực tiễn:

  • Nghiên cứu sinh, học viên cao học ngành Hệ thống thông tin, Khoa học máy tính, Thị giác máy tính: Có thể tham khảo Chương 1 và Chương 2 về phương pháp xây dựng mô hình AAM cải tiến, cách tiếp cận trích chọn đặc trưng kết cấu LBP/Gabor, và phương pháp thiết kế cây quyết định với các hàm đo tỷ lệ hình học ($f_{LINE_LINE}, f_{TRIANGLE_TRIANGLE}, f_{LINELINE_LINELINE}$).
  • Các nhóm nghiên cứu về Đồ họa máy tính, Xử lý hình học 3D và Thực tại ảo (VR/AR): Có thể tham khảo Chương 3 về thuật toán gom cụm tự động chọn điểm điều khiển tối ưu và kỹ thuật nội suy biến dạng bề mặt bằng hàm cơ sở bán kính RBF trên lưới 3D đa giác.
  • Kỹ sư phát triển phần mềm trong công nghiệp giải trí, điện ảnh và hỗ trợ cộng đồng: Cung cấp tài liệu tham khảo kỹ thuật để xây dựng các ứng dụng mô phỏng nhân vật hoạt hình 3D từ camera thông thường, thiết kế phát thanh viên ảo, hoặc xây dựng phần mềm phiên dịch ngôn ngữ cử chỉ hỗ trợ người khiếm thính.

Câu hỏi thường gặp

1. Luận án giải quyết bài toán tái hiện biểu cảm khuôn mặt 3D theo quy trình mấy giai đoạn?

Luận án giải quyết bài toán qua 2 giai đoạn chính:

  • Giai đoạn 1: Thu nhận hình ảnh/video từ camera, tiền xử lý, định vị tập điểm điều khiển không dùng marker và trích chọn đặc trưng cử chỉ, ước lượng biểu cảm khuôn mặt 2D (Chương 2).
  • Giai đoạn 2: Lấy dữ liệu đặc trưng từ giai đoạn 1 làm đầu vào, sử dụng giải thuật nội suy RBF và tập điểm điều khiển tối ưu để điều khiển nắn chỉnh biến dạng mô hình khuôn mặt 3D (Chương 3).

2. Ba loại đặc trưng hình dạng mới được đề xuất trong luận án là gì và căn cứ lựa chọn?

Tác giả đề xuất 3 hàm tỷ số hình học:

  1. $f_{LINE_LINE}$: Tỷ số độ dài giữa hai đoạn thẳng.
  2. $f_{TRIANGLE_TRIANGLE}$: Tỷ số diện tích giữa hai tam giác.
  3. $f_{LINELINE_LINELINE}$: Tỷ số tổng độ dài hai đoạn thẳng. Căn cứ lựa chọn là do các thành phần trên khuôn mặt (mắt, mũi, miệng) dù thay đổi theo biểu cảm nhưng luôn duy trì mối tương quan hình học giải phẫu bền vững dạng đường thẳng hoặc tam giác, giúp hệ thống phân lớp biểu cảm chính xác khi kết hợp với cây quyết định.

3. Tại sao luận án lựa chọn kỹ thuật nội suy RBF thay vì mô hình cơ bắp hay nội suy tuyến tính?

Luận án chọn RBF vì phương pháp này cho phép nhận đầu vào trực tiếp từ tập điểm điều khiển của AAM, dễ dàng thiết lập điểm tại các vùng biến dạng cục bộ phức tạp, có thể bổ sung điểm điều khiển mới mà không làm thay đổi cấu trúc lưới đa giác 3D ban đầu. Ngược lại, mô hình cơ bắp quá phức tạp và không thể tái sử dụng cho các khuôn mặt khác nhau, còn nội suy tuyến tính chỉ mô phỏng được các chuyển động đơn giản giữa các key-frame cố định.

4. Tập điểm điều khiển cho mô hình 3D được luận án xác định bằng cách nào?

Thay vì chọn điểm thủ công dựa hoàn toàn vào kinh nghiệm chuyên gia, tác giả đề xuất phân tích độ biến dạng hình học của các đỉnh trên một tập mô hình quan sát biến thể, sau đó áp dụng giải thuật gom cụm để phân chia các đỉnh thành $K$ nhóm tương đồng và trích xuất tự động các điểm đại diện của từng cụm làm điểm điều khiển cho giải thuật RBF.

5. Phạm vi góc nhìn của khuôn mặt mà hệ thống hỗ trợ là bao nhiêu?

Phạm vi nghiên cứu của luận án giới hạn ở các khuôn mặt chụp thẳng hoặc gần thẳng có góc quay nghiêng lệch trục dưới $30^\circ$, nhằm bảo đảm các điểm điều khiển trên mắt, mũi, miệng luôn quan sát được rõ ràng và không bị che khuất.

Kết luận

Luận án tiến sĩ của tác giả Huỳnh Cao Tuấn đã nghiên cứu và phát triển thành công giải pháp tích hợp từ trích chọn đặc trưng cử chỉ khuôn mặt 2D không dùng điểm đánh dấu đến tái thể hiện biểu cảm trên mô hình 3D. Công trình đã đóng góp về mặt phương pháp luận thông qua việc đề xuất bộ 3 đặc trưng hình học ($f_{LINE_LINE}, f_{TRIANGLE_TRIANGLE}, f_{LINELINE_LINELINE}$) kết hợp cây quyết định trên nền AAM cải tiến, cùng kỹ thuật tự động xác định điểm điều khiển gom cụm phục vụ nội suy biến dạng RBF 3D. Các kết quả thực nghiệm và công bố khoa học chứng minh tính khả thi của mô hình, mở ra khả năng ứng dụng thực tế trong công nghệ hoạt hình 3D, thực tại ảo, giao tiếp người - máy và hỗ trợ ngôn ngữ cử chỉ.