Chương 1. TONG QUAN 2 chính (keyfact events) của một nhân vật trong một bộ phim [7]; chúng ta có thể xác định và theo đõi một nghỉ phạm tội phạm dựa vào hình anh từ hệ thông camera giám sát.2 Mô tả bài toán Bài toán chính của khóa luận có thể được mô tả như sau: (A) Kiya1.1: Minh họa các ảnh mẫu của nhân vat "Kiya" trong bộ phim "Like me" trong tap dtr liệu TRECVID-MSUM-2022 (71. - Một bộ phim M. TONG QUAN 3 — Một danh sách các ảnh mẫu (còn được gọi là anh face query) E° của nhân vật c trong phim M.
Các ảnh mẫu này được trích xuất từ M, phổ biến là các ảnh chứa khuôn mặt của nhân vật c. e Dau ra: - Một danh sách S‘, gồm các cảnh quay (shot) thuộc tập phim M, trong những cảnh quay này có chứa nhân vật c.3 Những thách thức 1.1 Thời lượng phim dai Mỗi tập phim không chỉ có dung lượng lưu trữ lớn mà còn có thời lượng đài (trung bình khoảng 86 phút), số khung hình rất lớn (trung bình 30 fps). Điều này đòi hỏi phải có giải pháp xử lý hiệu quả trên đữ liệu này.2 Cac yếu tô ảnh hưởng đến sự xuất hiện của nhân vật trong phim Do mỗi bộ phim là một câu chuyện diễn ra trong một cuộc đời hay một quãng thời gian dài diễn ra trong đời sống của nhân vật, vì thế chúng ta dé dàng gặp phải những van dé đặc biệt thách thức khi thực hiện bài toán này. Chẳng hạn: ® Điều kiện ánh sáng của mỗi cảnh phim khác nhau.
* Góc quay của nhân vật thay đổi. s® Nhân vật có nhiều biểu cảm khác nhau. TONG QUAN 4 se Gương mặt của nhân vật bị che khuất (do thay đổi kiểu tóc, moc râu hoặc có thêm phụ kiện,.2|bên dưới là một minh họa cho những thách thức mà em đã nêu ở trên. Nhìn ảnh (A), ảnh (C), ảnh (D) có thể thấy, góc quay của nhân vật thay đổi cũng là một vấn dé.
Nhân vat “Byrd” trong những bức hình này khuôn mặt không cố định một hướng chính diện mà lúc lúc thì quay trái, lúc lại quay phải. Biểu cảm phong phú của nhân vật như ảnh (E) và ảnh (F) cũng gây ra khó khăn trong việc nhận dạng. Hoặc như hình[1.1| vì điều kiện ánh sáng không đủ làm cho khuôn mặt của nhân vật “Kia” trong ảnh bị tối đi (ảnh (F)). Nhân vật này còn đeo cả mặt na (anh (A), ảnh (E)) khiến cho một phần khuôn mặt bị che khuất.
Tat cả những van dé này đều là những thách thức cần giải quyết khi thực hiện đề tài này.4 Mục tiêu khóa luận Bài toán truy vấn nhân vật trong các tập phim là một bài toán khó và có nhiều thách thức. Vì thế nội dung khóa luận được giới hạn vào các mục tiêu sau: ¢ Tìm hiểu va áp dụng phương pháp chia một bộ phim thành các shot. ® Tìm hiểu và áp dung các phương pháp do tìm khuôn mặt (face detec- tion), mô tả đặc trưng của khuôn mặt (feature extraction). se Tìm hiểu và áp dụng các phương pháp truy vân các nhân vật dựa trên các đặc trưng của khuôn mặt.
TONG QUAN 5 (C) Byrd_3.2: Minh họa các ảnh mẫu của nhân vat "Byrd" trong bộ phim "Calloused Hands" trong tập dữ liệu TRECVID-MSUM- 2022 se Thực nghiệm các phương pháp chính được áp dụng trong khóa luận (trên tập dữ liệu TRECVID-MSUM-2022 [7]]) và chương trình minh họa chức năng truy vấn nhân vật trong phim dựa trên các ảnh mẫu của nhân vật.5 Dong gop chinh Với sự hướng dẫn của giảng viên hướng dẫn, em đã vận dụng những kiến thức và kỹ năng để hoàn thành khoá luận này. Những đóng góp của em trong khoá luận gồm: © Tìm hiểu, nghiên cứu các phương pháp để giải quyết bài toán. Cu thé là: phương pháp chia bộ phim thành các shot, phương pháp dò tìm và mô tả đặc trưng khuôn mặt và phương pháp truy vấn nhân vật rong phim dựa trên ảnh mẫu. ¢ Áp dụng các phương pháp đã tìm hiểu để thực nghiệm trên tập dữ liệu TRECVID-MSUM-2022.
e Xây dựng một chương trình ứng dụng với chức năng truy xuất nhân vật trong phim dựa trên ảnh mẫu.6 Cau trúc Khóa luận tốt nghiệp Nội dung Khóa luận tốt nghiệp được tổ chức như sau: ° Chương[1 Giới thiệu tổng quan về khóa luận. ° Chương} Trình bày các nghiên cứu liên quan đến bài toán này. ° Chương} Trình bày chỉ tiết các hướng tiếp cận của khóa luận. se Chương H Trình bày môi trường thực nghiệm, tập dữ liệu, phương pháp đánh giá và kết quả thực nghiệm.
¢ Chương|5} Kết luận và hướng phát triển của khóa luận. Chương 2 NGHIÊN CỨU LIÊN QUAN 2.1 Truy xuất video khuôn mặt Truy xuất video khuôn mặt - Face video retrieval là tìm các video chứa khuôn mặt của một người cụ thể từ cơ sở dữ liệu (database) có hình ảnh khuôn mặt hoặc video khuôn mặt của cùng một người làm truy vẫn (query).2 Nhận dạng khuôn mặt tự động để truy xuất nhân vật trong phim có thời lượng đài 1 Nghiên cứu nay được thực hiện bởi Ognjen Arandjelovíc va Andrew Zis- serman vào năm 2005. Mục tiêu của nghiên cứu này là nhận dạng tất cả các khuôn mặt chính diện của một nhân vật trong một bộ phim hoặc hài kịch tình huống, với một số lượng nhỏ các khuôn mặt truy van. NGHIÊN CUU LIEN QUAN 8 2.1 Tổng quan Cach tiép can bao gom tính toán một giá tri số, một khoảng cách, thể hiện mức độ tin cậy rằng hai hình ảnh khuôn mặt thuộc về cùng một người.
Khoảng cách thấp, lý tưởng là 0, có nghĩa là hình ảnh là của cùng một người, trong khi khoảng cách lớn biểu thị rằng chúng là của những người khác nhau. Phương pháp này liên quan đến việc tính toán một loạt các phép biến đổi của ảnh gốc, mỗi phép biến đổi nhằm mục đích loại bỏ các tác động của một yếu tố hình ảnh bên ngoài cu thể. Kết quả cuối cùng 1a signature image (đặc trưng hình ảnh) của một người, phụ thuộc chủ yếu vào danh tính (và biểu hiện) của người đó và có thể dễ dàng phân loại. Các mô hình sử dụng SVM Support Vector Machine - SVM là một mô hình máy học có giám sát được sử dụng cho các van dé phân loại hai nhóm.
Sau khi đưa ra một tap hop mô hình SVM gồm đữ liệu đào tạo được gắn nhãn cho từng danh mục, họ có thể phân loại dữ liệu thử nghiệm mới. SVM phân loại dữ liệu dựa trên mặt phẳng margin tối đa. Ranh giới quyết định SVM là thẳng. SVM là một thuật toán thực sự tốt để phân loại hình ảnh.
Kết quả thử nghiệm cho thay các SVM đạt được độ chính xác tìm kiếm cao hơn đáng kể so với các lược đồ sàng lọc truy van truyền thống chỉ sau ba đến bốn vòng phản hồi mức độ liên quan. NGHIÊN CUU LIEN QUAN 9 Kernel PCA Phân tích thành phan chính (PCA) là một công cụ phổ biến để giảm kích thước tuyến tính và trích xuất tính năng. Kernel PCA là dạng PCA phi tuyến tính, khai thác tốt hơn cấu trúc không gian phức tạp của các tính năng high-dimensional; cho phép phân tách dữ lẢnh lấy từ: https://towardsdatascience.com/building-a-facial-recognition-model- using-pca-svm-algorithms-c81d870add16 Chương 2. NGHIÊN CUU LIEN QUAN 10 liệu phi tuyến tính bang cách sử dung các hạt nhân.
Y tưởng cơ bản dang sau nó là chiếu dữ liệu không thể tách rời tuyến tính lên một không gian nhiều chiều hơn, nơi dir liệu có thể tách rời tuyến tính. Kernel PCA có thể được tóm tắt thành một quy trình gồm 4 bước [13]: e Xây dựng ma trận kernel từ tập dữ liệu huấn luyện Ki; = K(%¡, x;) (2.1) e Nếu tập dữ liệu du kiến j(x;) không có giá trị trung bình bằng 0, hãy sử dung ma tran Gram K, để thay thé ma trận kernel K Kị = K-1,K — Kly + 1yK1y (2.2) ° Sử dụng Ka; = À¿N¿, để giải quyết cho véc tơ a; K, = K—1,K — KIN + 1NK1N (2.3) se Tinh toán các thành phan chính của kernel N k(x) = p(x) Tok = Yagi (xi, ji) (2. Tóm tat phim - Movie Summarization Mục tiêu nắm bat các sự kiện quan trong về những nhân vật nhất định trong cốt truyện phim. NGHIÊN CUU LIEN QUAN 11 Tổng quan Với mô tả đầu vào là một bộ phim full-length, một nhân vật trong phim cùng với danh sách các ảnh mẫu hoặc các video mẫu về nhân vật đó.
Nhiệm vụ xuyên suốt nghiên cứu là thu thập các sự kiện quan trọng (key facts) về câu chuyện của nhân vật đó. Những sự kiện quan trọng đó được thể hiện thông qua bản tóm tắt video với độ dài tối đa hạn chế hoặc bản tóm tắt văn bản với số lượng từ và câu hạn chế. detection XS Similarity / ` score ranking — „`, \\ splitting ,X í sẽ Shot _ \_ =< text a ®wdoettÐ ~ similarity _/ `, wif Text Nl ` be ae — Fusi #“——— * \ Text similarit y >z = \ _ #foferanking (Video \ af Text ` ‘captioning cả. similarity —- oo aa HINH 2.2: Sơ dé tổng quan các bước giải quyétP| 2Anh lay từ 12 Chương 3 HƯỚNG TIẾP CAN TRONG KHÓA LUẬN Tóm tắt Trong chương này sẽ trình bày phương pháp baseline và các hướng tiếp cận chính để giải quyết bài toán: s® Xử lí dữ liệu video ® Dò tìm khuôn mặt ® Mô tả đặc trưng khuôn mặt ¢ Truy van nhân vật dựa trên ảnh mẫu Các bước để giải quyết bài toán được thể hiện ở sơ dé hình |3.1| Cu thé, từ bộ phim (movie) em tiến hành chia thành các shot (shot bound- ary detection).
Các shot sẽ được tách thành các frames, sau đó em thực hiện đò tìm khuôn mặt (face detection) để phát hiện những khuôn mặt có trong Chương 3. HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN 13 8 =| @®œ.1: Sơ đồ quy trình các bước giải quyết bài toán trong khóa luận các frames đó và rút trích đặc trưng khuôn mặt (feature extraction). Đồng thời, em cũng sẽ thực hiện đò tìm và rút trích đặc trưng khuôn mặt cho các ảnh face query. Kết quả sau khi đã rút trích đặc trựng khuôn mặt cho các face query và các face trong shot sẽ được lưu trong cơ sở dt liệu (database).
Tiếp đến là bước tìm kiếm những ảnh tương đồng trong database. Kết quả nhận được sẽ là danh sách các shot cần tìm sau khi đã được xếp hạng dựa trên độ tương đồng khuôn mặt giữa các face trong shot và face query.1 Phương pháp baseline Với phương pháp baseline, cosine distance được sử dụng để so khớp độ tương đồng giữa các khuôn mặt trong shots và anh face query đầu vào. Kết quả xếp hạng theo mức độ tương đồng, khoảng cách càng nhỏ thì khuôn mặt càng giống nhau. dist(query, shot;) = W Lope (maxj—12,.,m(cos(desc,1"°"Y, dese") 1Công thức lay từ Chương 3.