Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của dữ liệu đa phương tiện kỹ thuật số trên các nền tảng cá nhân và công cộng đặt ra yêu cầu cấp thiết về việc quản lý, tìm kiếm và khai thác nội dung video hiệu quả. Trong lĩnh vực thị giác máy tính, việc truy xuất các đoạn video chứa một nhân vật cụ thể dựa trên ảnh chân dung truy vấn mang lại nhiều giá trị thực tiễn, chẳng hạn như tính năng tua nhanh phim thông minh (smart movie fast-forwarding), tự động tóm tắt các sự kiện then chốt xoay quanh nhân vật (movie summarization), hoặc hỗ trợ nhận dạng đối tượng nghi vấn trong các hệ thống camera giám sát an ninh.

Tuy nhiên, bài toán này gặp nhiều rào cản kỹ thuật xuất phát từ sự khác biệt bản chất giữa ảnh tĩnh dùng làm truy vấn và chuỗi khung hình trong video clip. Khi áp dụng vào phim điện ảnh có thời lượng dài, các khuôn mặt xuất hiện trong điều kiện hoàn toàn không kiểm soát (unconstrained environments). Tác giả khóa luận chỉ ra hai nhóm thách thức lớn:

  1. Đặc điểm dữ liệu phim điện ảnh: Một bộ phim có dung lượng lưu trữ lớn, thời lượng kéo dài (trung bình khoảng 86 phút trong tập dữ liệu khảo sát) và số lượng khung hình khổng lồ với tốc độ khung hình trung bình 30 fps (khung hình/giây), đòi hỏi quy trình xử lý dữ liệu phải được tối ưu hóa về mặt tính toán.
  2. Sự biến thiên ngoại hình của nhân vật: Diễn biến câu chuyện qua nhiều mốc thời gian dẫn đến điều kiện chiếu sáng thay đổi mạnh (như cảnh thiếu sáng khiến mặt nhân vật bị tối), góc quay khuôn mặt biến thiên liên tục (nghiêng trái, quay phải, ngẩng lên hoặc cúi xuống thay vì cố định góc chính diện), biểu cảm phong phú (nhắm mắt, há miệng) và tình trạng che khuất một phần khuôn mặt do thay đổi kiểu tóc, mọc râu, đeo phụ kiện hoặc đeo mặt nạ (điển hình như trường hợp nhân vật Kiya trong bộ phim "Like Me").

Về mặt toán học và xử lý thông tin, bài toán được chuẩn hóa với các thành phần dữ liệu:

  • Đầu vào: Một bộ phim ký hiệu là $M$, cùng một danh sách các ảnh mẫu khuôn mặt (face query) $E^c$ của nhân vật $c$ cần tìm kiếm, trong đó các ảnh mẫu này được trích xuất trực tiếp từ phim $M$.
  • Đầu ra: Danh sách các cảnh quay (shot) $S^c$ thuộc tập phim $M$ có sự xuất hiện của nhân vật $c$.

Nhiệm vụ nghiên cứu của đề tài được phân rã thành năm mục tiêu cụ thể:

  1. Tìm hiểu và ứng dụng phương pháp phân đoạn bộ phim thành các cảnh quay (shot boundary detection).
  2. Nghiên cứu và áp dụng các giải pháp dò tìm khuôn mặt (face detection) cùng kỹ thuật mô tả đặc trưng khuôn mặt (feature extraction).
  3. Triển khai phương pháp truy vấn nhân vật dựa trên các véc-tơ đặc trưng khuôn mặt trích xuất được.
  4. Nghiên cứu giải pháp cải tiến hiệu quả truy xuất dựa trên đặc điểm của tập ảnh mẫu.
  5. Thực nghiệm các giải pháp trên tập dữ liệu chuẩn TRECVID-MSUM-2022 và phát triển chương trình ứng dụng minh họa.

Phạm vi nghiên cứu tập trung vào phân tích video khuôn mặt ngoại tuyến (offline face video retrieval) trên 5 bộ phim điện ảnh thuộc tập dữ liệu TRECVID-MSUM-2022 do Kinolorberedu cấp phép, đối sánh đặc trưng nhận dạng của 7 nhân vật chính thông qua ảnh tĩnh trích xuất từ chính tác phẩm.

Cơ sở lý thuyết và phương pháp

Khóa luận kế thừa nền tảng lý thuyết phân cấp cấu trúc video số. Một video hoàn chỉnh được phân rã tuần tự thành: cảnh (scene - đơn vị ngữ nghĩa gồm nhiều shot), cảnh quay (shot - chuỗi khung hình chụp liên tục bởi một máy ảnh duy nhất trong cùng thời gian, không gian), và khung hình (frame - đơn vị hình ảnh nhỏ nhất cấu thành shot).

Về mặt lịch sử nghiên cứu, tác giả tổng hợp công trình tiền đề của Ognjen Arandjelović và Andrew Zisserman (CVPR 2005) về nhận dạng khuôn mặt tự động trong phim dài tập. Nghiên cứu năm 2005 giải quyết bài toán qua việc tính toán khoảng cách số học thể hiện mức độ tin cậy giữa hai ảnh mặt, sử dụng chuỗi phép biến đổi nhằm loại bỏ ảnh hưởng ngoại cảnh để tạo véc-tơ đặc trưng (signature image), sau đó phân loại bằng mô hình học máy có giám sát Support Vector Machine (SVM) trên siêu phẳng lề cực đại, kết hợp phương pháp phân tích thành phần chính phi tuyến Kernel PCA qua ma trận Gram để chiếu dữ liệu lên không gian nhiều chiều. Ngoài ra, tác giả khảo sát định hướng tóm tắt phim (Movie Summarization) nhằm rút trích sự kiện cốt lõi của nhân vật qua văn bản và video tóm lược ngắn.

Trong phương pháp đề xuất, tác giả phối hợp các mô hình học sâu và cấu trúc dữ liệu tiên tiến:

  • Phát hiện ranh giới cảnh quay (Shot Boundary Detection): Sử dụng mạng nơ-ron sâu TransNet V2 (phiên bản cải tiến từ TransNet ban đầu) nhằm chia nhỏ các scene thành từng shot độc lập, sau đó lấy mẫu khung hình với tần suất 5 fps để giảm tải tính toán.
  • Dò tìm khuôn mặt (Face Detection): Sử dụng thư viện InsightFace xây dựng trên nền tảng PyTorch và MXNet để quét khuôn mặt trên các khung hình. Đối với các ảnh truy vấn bị lỗi mà InsightFace không phát hiện được, mô hình mạng tầng kết hợp MTCNN (Multi-task Cascaded Convolutional Networks) được áp dụng bổ trợ.
  • Rút trích đặc trưng khuôn mặt (Feature Extraction): Thông qua thư viện phân tích DeepFace (được Facebook AI Research công bố ban đầu năm 2014), tác giả nghiên cứu hai kiến trúc:
    1. ArcFace (Additive Angular Margin Loss): Mô hình xuất phát từ Imperial College London và tích hợp trong InsightFace. Thay vì sử dụng hàm Softmax truyền thống vốn thiếu khả năng tối ưu khoảng cách giữa các lớp biểu diễn, ArcFace chuẩn hóa véc-tơ đặc trưng và trọng số theo chuẩn $L_2$, cố định bias $b_j = 0$, chiếu biểu diễn lên siêu cầu (hypersphere) bán kính $s$ và bổ sung hình phạt biên góc cộng $m$ ($s \cdot \cos(\theta_{y_i} + m)$) nhằm thu hẹp phương sai nội lớp và nới rộng khoảng cách giữa các lớp. Hệ thống triển khai trên Keras, TensorFlow backend, sử dụng mạng nền tảng (backbone) ResNet-34 để trích xuất véc-tơ embedding 512 chiều (512-D).
    2. FaceNet512: Mô hình mở rộng từ kiến trúc FaceNet của Google do David Sandberg phát triển. Mạng sử dụng backbone Inception ResNet V1, huấn luyện với hàm mất mát Triplet Loss dựa trên bộ ba mẫu (anchor $x_i^a$, positive $x_i^p$, negative $x_i^n$) nhằm tối thiểu hóa khoảng cách giữa anchor - positive và cực đại hóa khoảng cách anchor - negative theo một biên độ $\alpha$. Phiên bản mở rộng này tạo ra véc-tơ embedding 512 chiều (thay vì 128 chiều như bản gốc).
  • Phương pháp đối sánh và lập chỉ mục véc-tơ:
    • Baseline: Dùng khoảng cách Cosine tính toán độ tương đồng giữa véc-tơ của các khuôn mặt trong shot và khuôn mặt truy vấn, chọn khoảng cách nhỏ nhất giữa các khuôn mặt đại diện.
    • Phương pháp chỉ mục FAISS: Ứng dụng thư viện Facebook AI Similarity Search (FAISS) viết bằng C++ có giao diện Python, sử dụng cấu trúc IndexFlatL2 tính khoảng cách Euclid ($L_2$) để định vị các véc-tơ tương đồng trong bộ nhớ RAM ở quy mô lớn với độ trễ thấp.

Thiết kế và triển khai

Hệ thống truy xuất nhân vật được xây dựng theo một đường ống xử lý (pipeline) kỹ thuật khép kín, phân tách rõ ràng giữa giai đoạn trích xuất dữ liệu ngoại tuyến và giai đoạn truy vấn trực tuyến:

[Bộ phim đầu vào M]
[TransNet V2: Phân tách ranh giới Cảnh quay (Shot)]
[Lấy mẫu khung hình với tần suất 5 fps (FFmpeg)]
[Dò tìm khuôn mặt: InsightFace]
[Trích xuất Embedding 512-D: ArcFace (ResNet-34) / FaceNet512]
[Tổng hợp ma trận khoảng cách D (Đơn query / Đa query)]
[Xếp hạng và xuất Danh sách cảnh quay Sc]
[Giao diện ứng dụng minh họa Web Streamlit]

Quy trình chi tiết được triển khai như sau:

  1. Tiền xử lý video và khung hình: Video gốc được chia thành các scene, sau đó mô hình TransNet V2 tự động nhận dạng ranh giới chuyển cảnh để tách thành các shot. Từ mỗi shot, công cụ FFmpeg trích xuất các khung hình với tốc độ cố định 5 fps.
  2. Dò tìm và trích xuất khuôn mặt: Mọi khung hình được chuyển qua bộ dò InsightFace để phát hiện các khuôn mặt hiện diện. Khuôn mặt cắt ra được đưa qua mạng ArcFace (hoặc FaceNet512) nhằm chuyển đổi thành véc-tơ biểu diễn số học 512 chiều, lưu trữ vào cơ sở dữ liệu.
  3. Xử lý tập ảnh mẫu truy vấn (Face Query): Tác giả áp dụng InsightFace cho các ảnh mẫu khuôn mặt của nhân vật. Với các trường hợp ảnh bị lỗi dò tìm, MTCNN được kích hoạt để dò quét lại. Toàn bộ khuôn mặt truy vấn hợp lệ đều được trích xuất véc-tơ đặc trưng 512-D tương thích với cơ sở dữ liệu.
  4. Cơ chế truy vấn và hợp nhất ma trận khoảng cách:
    • Dữ liệu véc-tơ của các shot được lập chỉ mục thông qua cấu trúc IndexFlatL2 trong thư viện FAISS. Quá trình search trả về chỉ số phần tử (index) và khoảng cách Euclid ($dist$).
    • Trường hợp một ảnh mẫu ($A$): Hệ thống xây dựng một ma trận khoảng cách $D_A$ kích thước $m \times n$ (với $m$ là chỉ số scene lớn nhất cộng 1 do đánh số từ 1, $n$ là chỉ số shot lớn nhất do đánh số từ 0). Khởi tạo tất cả phần tử bằng $-1$ (do khoảng cách Euclid luôn không âm, giá trị $-1$ đại diện cho ô trống). Với mỗi kết quả trả về, nếu $D_A[i_A, j_A] = -1$, gán giá trị bằng $dist$. Sau đó, hệ thống lọc các ô có giá trị khác $-1$, lưu chỉ số $[scene, shot]$ vào mảng $A$, lưu khoảng cách vào mảng $B$, sắp xếp mảng $B$ tăng dần và ánh xạ ngược lại mảng $A$ để xuất danh sách shot xếp hạng.
    • Trường hợp nhiều ảnh mẫu ($A, B,...$): Hệ thống tính toán ma trận khoảng cách độc lập cho từng ảnh mẫu ($D_A, D_B$). Sau đó, khởi tạo ma trận tổng hợp $D = D_A$ và duyệt so sánh từng phần tử với $D_B$: nếu cả hai bằng $-1$, giữ nguyên $-1$; nếu một trong hai khác $-1$, lấy giá trị khác $-1$; nếu cả hai đều khác $-1$, cập nhật $D[i,j] = \min(D_A[i,j], D_B[i,j])$. Danh sách shot cuối cùng được trích xuất từ ma trận tối thiểu $D$ này.
  5. Giao diện người dùng: Xây dựng ứng dụng web tương tác bằng thư viện Streamlit trên nền tảng Python, cho phép tải ảnh mẫu, kích hoạt quá trình tìm kiếm qua FAISS và hiển thị trực quan các cảnh quay chứa nhân vật tương ứng.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương mở đầu định nghĩa bài toán truy xuất nhân vật trong phim dựa trên ảnh mẫu khuôn mặt, nêu rõ tính cấp thiết trong các ứng dụng thực tiễn như tua phim thông minh, tóm tắt diễn biến nhân vật và giám sát an ninh. Tác giả phân tích các yếu tố gây nhiễu thực tế đối với thị giác máy tính: thời lượng phim dài, số lượng khung hình lớn (trung bình 30 fps), sự thay đổi góc nhìn của nhân vật (quay trái, quay phải, cúi, ngẩng), biểu cảm phong phú, điều kiện chiếu sáng phức tạp và tình trạng khuôn mặt bị che lấp (phụ kiện, râu tóc, mặt nạ). Chương này xác định 5 mục tiêu nghiên cứu cụ thể, tóm tắt 3 đóng góp chính và phác thảo bố cục 5 chương của khóa luận.

Chương 2: Nghiên cứu liên quan

Chương 2 tổng hợp các nghiên cứu nền tảng liên quan đến truy xuất video khuôn mặt. Trọng tâm của chương là phân tích công trình năm 2005 của Ognjen Arandjelović và Andrew Zisserman về nhận dạng khuôn mặt trong phim dài tập, làm rõ nguyên lý tính toán khoảng cách số học giữa các ảnh, việc ứng dụng thuật toán Support Vector Machine (SVM) trên ranh giới quyết định tuyến tính kết hợp phản hồi mức độ liên quan, và cơ chế trích xuất đặc trưng phi tuyến bằng Kernel PCA thông qua 4 bước toán học với ma trận kernel và ma trận Gram. Đồng thời, chương này giới thiệu tổng quan bài toán tóm tắt phim (Movie Summarization) nhằm nắm bắt các sự kiện chính (key facts) của nhân vật qua văn bản hoặc video rút gọn.

Chương 3: Hướng tiếp cận trong khóa luận

Chương 3 trình bày chi tiết phương pháp giải quyết bài toán qua quy trình 4 giai đoạn: xử lý video, dò tìm khuôn mặt, mô tả đặc trưng và truy vấn tương đồng. Tác giả trình bày phương pháp cơ sở (baseline) sử dụng khoảng cách Cosine. Tiếp đó, tác giả phân tích việc dùng TransNet V2 để phân ranh giới cảnh quay, tách khung hình ở tần suất 5 fps; áp dụng InsightFace và mô hình cứu cánh MTCNN khi ảnh mẫu bị lỗi dò tìm. Hai kiến trúc trích xuất embedding sâu 512-D gồm ArcFace (Additive Angular Margin Loss với ResNet-34) và FaceNet512 (Triplet Loss với Inception ResNet V1) được phân tích cặn kẽ về mặt toán học. Cuối cùng, tác giả trình bày giải pháp dùng FAISS IndexFlatL2 kết hợp thuật toán ma trận khoảng cách $D$ để xếp hạng cảnh quay cho cả trường hợp đơn truy vấn và đa truy vấn.

Chương 4: Thực nghiệm và đánh giá

Chương 4 mô tả môi trường cài đặt phần mềm, tập dữ liệu và các độ đo đánh giá. Hệ thống sử dụng các thư viện Python chuyên dụng (insightface, ffmpeg, deepface, faiss-cpu, pillow, numpy, pandas, scipy) và framework Streamlit. Thước đo hiệu năng chính là Average Precision (AP), xây dựng từ hai chỉ số Precision (độ chính xác) và Recall (độ thu hồi). Tác giả thực nghiệm trên tập dữ liệu TRECVID-MSUM-2022 gồm 5 bộ phim có bản quyền với 7 nhân vật truy vấn. Do dữ liệu gốc chỉ phân chia theo scene, tác giả đã tự thực hiện phân chia shot và gán nhãn thủ công để tạo lập tập dữ liệu chân lý (ground truth). Chương này phân tích chi tiết kết quả truy xuất và minh họa hoạt động của chương trình demo trên các bộ phim Calloused Hands, Like Me, Losing Ground và Memphis.

Chương 5: Kết luận

Chương cuối cùng tổng kết lại toàn bộ các mục tiêu đã hoàn thành trong khóa luận, khẳng định tính khả thi của quy trình tích hợp giữa TransNet V2, InsightFace/MTCNN, ArcFace/FaceNet512 và FAISS trong việc định vị cảnh quay nhân vật. Đồng thời, chương trình bày các hướng phát triển tiếp theo nhằm khắc phục những hạn chế còn tồn đọng trong quá trình xử lý hình ảnh phức tạp.

Kết quả và đóng góp

Khóa luận đã hoàn thành các nội dung thực nghiệm và đóng góp cụ thể cho bài toán truy xuất đa phương tiện:

1. Phân tích tập dữ liệu thực nghiệm TRECVID-MSUM-2022

Thực nghiệm được tiến hành trên 5 tác phẩm điện ảnh thuộc tác vụ Movie Summarization (TRECVID-MSUM-2022) do Kinolorberedu cấp phép, với thông số chi tiết được tổng hợp trong bảng sau:

Tên phim Thời lượng Số lượng Scene Nhân vật truy vấn Số lượng ảnh mẫu khuôn mặt
Calloused Hands 97 phút 58 Byrd
Debbie		 6 ảnh
6 ảnh
Liberty Kid 92 phút 56 Derrick 7 ảnh
Like Me 80 phút 28 Burt
Kiya		 5 ảnh
6 ảnh
Losing Ground 86 phút 40 Sara 5 ảnh
Memphis 75 phút 47 Willis 7 ảnh

2. Thiết lập tập dữ liệu kiểm thử chuẩn (Ground Truth)

Dữ liệu gốc của TRECVID-MSUM-2022 chỉ được phân chia và gắn nhãn ở cấp độ phân đoạn cảnh (scene). Để phục vụ bài toán truy xuất ở mức độ chi tiết hơn, tác giả đã tự phân đoạn toàn bộ 5 bộ phim thành các cảnh quay (shot) riêng biệt và trực tiếp gán nhãn thủ công từng shot về sự xuất hiện của nhân vật chính. Đây là cơ sở dữ liệu chân lý khách quan dùng để tính toán chỉ số Average Precision (AP) dựa trên sự cân bằng giữa Precision và Recall:

$$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}, \quad \text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$

$$\text{Average Precision (AP)} = \frac{1}{k} \sum_{i=1}^k P(i)$$

(Trong đó $k$ là số lượng kết quả đúng, $P(i)$ là độ chính xác tại điểm xếp hạng thứ $i$ khi một kết quả đúng mới xuất hiện).

3. Đóng góp khoa học và kỹ thuật của tác giả

Khóa luận đã ghi nhận ba đóng góp cụ thể do tác giả tự xác định:

  • Hệ thống hóa và làm chủ quy trình công nghệ giải quyết bài toán: kết hợp phân ranh giới cảnh quay (TransNet V2), dò tìm khuôn mặt thích ứng (InsightFace kết hợp MTCNN), mô tả đặc trưng hình học sâu (ArcFace ResNet-34 và FaceNet512 Inception ResNet V1), và truy vấn khoảng cách tương đồng (Cosine distance so với FAISS IndexFlatL2).
  • Đề xuất và hiện thực hóa giải pháp hợp nhất ma trận khoảng cách tối thiểu từ nhiều ảnh mẫu truy vấn, giúp nâng cao tính toàn diện khi tìm kiếm nhân vật có nhiều góc diện mạo khác nhau.
  • Xây dựng hoàn chỉnh chương trình ứng dụng dạng web tương tác bằng Python và Streamlit, minh họa trực quan kết quả truy xuất các cảnh quay thực tế trên các bộ phim trong tập thử nghiệm.

Hạn chế và hướng nghiên cứu tiếp

Từ kết quả thực nghiệm thực tế, tác giả chỉ ra các hạn chế kỹ thuật mà phương pháp hiện tại gặp phải:

  • Tồn tại điểm mù trong khâu dò tìm khuôn mặt: Mặc dù đã kết hợp cả InsightFace và MTCNN, hệ thống vẫn không thể phát hiện được khuôn mặt trong một số trường hợp góc chụp hoặc điều kiện ngoại cảnh quá khắc nghiệt. Điển hình là ảnh mẫu Kiya6.png của nhân vật Kiya trong phim "Like Me", cả hai mô hình dò tìm đều thất bại do khuôn mặt bị che khuất và thiếu sáng trầm trọng.
  • Giới hạn về dữ liệu chân lý gán nhãn thủ công: Tập ground truth ở cấp độ shot hoàn toàn do tác giả tự phân chia và dán nhãn bằng mắt thường trên 5 bộ phim, tiềm ẩn sai số chủ quan và tốn kém tài nguyên nhân lực khi muốn mở rộng sang các kho phim quy mô lớn hơn.
  • Biến thiên hình thức phức tạp: Độ chính xác của véc-tơ embedding vẫn bị suy giảm khi khuôn mặt nhân vật bị xoay nghiêng ở các góc khuất lớn, biểu cảm biến dạng đột ngột hoặc bị che chắn bởi các phụ kiện phức tạp trong diễn biến phim dài tập.

Hướng nghiên cứu tiếp theo được tác giả định hướng bao gồm:

  • Nghiên cứu các giải pháp nâng cao độ bền vững của khâu dò tìm khuôn mặt đối với các góc mặt nghiêng lớn và điều kiện ánh sáng cực đoan.
  • Cải tiến thuật toán xếp hạng và tối ưu hóa ma trận khoảng cách để xử lý hiệu quả hơn tập ảnh mẫu đa dạng.
  • Mở rộng thử nghiệm trên các tập dữ liệu video quy mô lớn hơn và nâng cao tốc độ phản hồi của hệ thống.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo có giá trị học thuật và kỹ thuật đối với:

  • Sinh viên và học viên ngành Khoa học Máy tính, Công nghệ Thông tin: Cung cấp cái nhìn toàn diện về cách kết hợp các mô hình thị giác máy tính hiện đại vào một bài toán xử lý video hoàn chỉnh, từ bước tiền xử lý tín hiệu media đến biểu diễn không gian véc-tơ.
  • Người nghiên cứu trong lĩnh vực Truy xuất Video và Nhận dạng Khuôn mặt: Nội dung phân tích toán học chi tiết về hàm mất mát ArcFace (Additive Angular Margin Loss) và Triplet Loss của FaceNet tại Chương 3 là nguồn tham khảo chất lượng về mặt giải thuật.
  • Kỹ sư phát triển hệ thống: Thuật toán xử lý ma trận khoảng cách $D$ kết hợp với cấu trúc chỉ mục IndexFlatL2 của thư viện FAISS và mã nguồn triển khai giao diện demo bằng Streamlit cung cấp mô hình thực hành trực quan cho các ứng dụng tìm kiếm ảnh/video tương đồng theo lô (batch processing).

Câu hỏi thường gặp

1. Hệ thống xử lý bài toán phân đoạn cảnh quay (shot boundary detection) như thế nào trước khi nhận dạng khuôn mặt?
Tác giả sử dụng TransNet V2, một kiến trúc mạng nơ-ron sâu chuyên dụng cải tiến từ TransNet, để tự động nhận dạng ranh giới chuyển cảnh giữa các shot. Sau khi phim được chia thành các cảnh quay riêng biệt, hệ thống dùng FFmpeg để trích xuất khung hình với tần suất cố định 5 fps thay vì lấy toàn bộ khung hình gốc (30 fps), giúp giảm đáng kể khối lượng tính toán mà vẫn đảm bảo giữ được nội dung hành động liên tục.

2. Khi một ảnh mẫu khuôn mặt không thể dò tìm được bằng thư viện chính InsightFace, tác giả giải quyết bằng cách nào?
Khi InsightFace gặp lỗi và không nhận diện được khuôn mặt trên ảnh mẫu (face query), hệ thống sẽ tự động kích hoạt mô hình dự phòng MTCNN (Multi-task Cascaded Convolutional Networks) để dò tìm lại. Tuy nhiên, phương pháp này vẫn có giới hạn ngoại lệ: ảnh mẫu Kiya6.png trong bộ phim "Like Me" bị lỗi dò tìm trên cả InsightFace lẫn MTCNN.

3. Sự khác biệt cốt lõi giữa hai mô hình trích xuất đặc trưng ArcFace và FaceNet512 trong khóa luận là gì?
ArcFace (dùng backbone ResNet-34) tối ưu hóa việc phân loại bằng cách chuẩn hóa véc-tơ đặc trưng và trọng số trên một siêu cầu bán kính $s$, đồng thời bổ sung biên góc cộng $m$ vào hàm Softmax để tăng độ nén nội lớp và phân tách giữa các lớp. Trong khi đó, FaceNet512 (dùng backbone Inception ResNet V1) dựa trên nguyên lý Triplet Loss để cực tiểu hóa khoảng cách giữa hai ảnh cùng một người và cực đại hóa khoảng cách với ảnh người khác theo một ngưỡng biên sai lệch $\alpha$. Cả hai mô hình đều xuất ra véc-tơ biểu diễn 512 chiều.

4. Giải thuật tổng hợp kết quả khi người dùng chọn nhiều ảnh mẫu truy vấn (đa query) được thực hiện như thế nào?
Hệ thống tính toán ma trận khoảng cách độc lập cho từng ảnh mẫu thông qua tìm kiếm chỉ mục FAISS IndexFlatL2. Giả sử có hai ảnh mẫu $A$ và $B$ với hai ma trận $D_A$ và $D_B$, hệ thống hợp nhất thành ma trận $D$: tại mỗi vị trí cảnh quay $[i,j]$, nếu cả hai ma trận đều có kết quả hợp lệ (khác $-1$), giá trị tại ma trận mới sẽ được chọn là giá trị nhỏ nhất $\min(D_A[i,j], D_B[i,j])$; nếu chỉ một bên có kết quả, hệ thống giữ lại giá trị đó. Cuối cùng, danh sách cảnh quay được sắp xếp tăng dần theo khoảng cách tối thiểu này.

5. Tập dữ liệu ground truth dùng để đánh giá độ chính xác Average Precision (AP) có nguồn gốc từ đâu?
Dữ liệu gốc từ tập TRECVID-MSUM-2022 (gồm 5 bộ phim: Calloused Hands, Liberty Kid, Like Me, Losing Ground, Memphis) chỉ được ban tổ chức đánh dấu phân đoạn theo cấp độ scene. Do đó, tác giả khóa luận đã tự phân chia toàn bộ các bộ phim thành từng shot và trực tiếp quan sát để gán nhãn thủ công sự hiện diện của nhân vật chính trong từng shot, tạo thành bộ nhãn chân lý (ground truth) phục vụ việc tính toán các chỉ số TP, FP, FN, Precision, Recall và AP.

Kết luận

Khóa luận tốt nghiệp của tác giả Phạm Nguyễn Thanh Hà đã giải quyết trọn vẹn bài toán truy xuất nhân vật trong phim điện ảnh dựa trên ảnh mẫu khuôn mặt bằng cách kết hợp chuỗi công nghệ hiện đại gồm TransNet V2, InsightFace, MTCNN, ArcFace/FaceNet512 và thư viện lập chỉ mục FAISS. Nghiên cứu đã đóng góp quy trình xử lý ma trận khoảng cách hiệu quả cho trường hợp đa ảnh truy vấn, đồng thời tự xây dựng bộ dữ liệu chân lý cấp cảnh quay (shot) trên 5 bộ phim thuộc tập dữ liệu TRECVID-MSUM-2022 để kiểm thử nghiệm ngặt. Kết quả nghiên cứu được đóng gói trực quan thành một ứng dụng web demo bằng Streamlit, chứng minh tính khả thi và tiềm năng ứng dụng thực tiễn của giải pháp trong công tác biên tập, quản lý và khai thác nội dung đa phương tiện số.