Chương 1 TỔNG QUAN VỀ BÀI TOÁN THEO BÁM ĐƠN ĐỐI TƯỢNG Chương này trình bày tổng quan về bài toán theo bám đơn đối tượng trong video, ứng dụng của bài toán, các thách thức mà bài toán cần giải quyết. Ngoài ra các hướng tiếp cận nghiên cứu bài toán theo bám đối tượng cũng được trình bày trong chương này. Cuối chương này luận án trình bày những vấn đề còn tồn tại và hướng nghiên cứu của luận án. Bài toán theo bám đơn đối tượng trong video 1.
Định nghĩa bài toán Theo bám đơn đối tượng (thường được gọi ngắn gọn là theo bám đối tượng- Visual Object Tracking-VOT) trong video là một nhiệm vụ cơ bản trong lĩnh vực thị giác máy tính, cùng với phân loại, phát hiện, phân vùng đối tượng trong ảnh,. Theo bám đơn đối tượng được dùng để xác định vị trí chính xác của đối tượng trong video và sinh ra khung giới hạn (bounding-box) bao quanh đối tượng, đây là bước cần thiết để giám sát thông minh, phân tích video dữ liệu lớn. Bài toán theo bám đơn đối tượng được định nghĩa như sau: Với chuỗi khung hình V = [I1 , I2 , ., IT ], trong đó khung hình đầu tiên (I1 ) được chú thích với khung bao (bounding-box) b1. Yêu cầu của bài toán theo bám đối tượng là ước tính quỹ đạo đối tượng mục tiêu trong các khung hình [I2 , ., IT ] bằng cách tạo ra khung bao quanh đối tượng bt cho mỗi khung hình t với t > 2.
Thuật toán theo bám đơn đối tượng được thực hiện sau: Thuật toán 1.1: Theo bám đơn đối tượng Input : Khung hình I1 , ., IT , khung bao đối tượng b1. Output: Khung bao bt ở các khung hình t, với t > 2. 1 Khởi tạo (I1 , b1 ) 2 for i ← 2 to T do 3 bt ← Track(It ) 4 end for Trong thuật toán 1.1, Track là một hàm (thuật toán/mô hình) tổng quát dùng để xác định khung bao đối tượng trong một khung hình bất kỳ dựa vào khung hình đầu tiên và khung hình trước đó. Mục tiêu của luận án là đề xuất xây dựng một số mô hình/thuật toán Track này bằng phương pháp học sâu 8 dựa trên kiến trúc mạng Siamese để theo bám đối tượng.
Theo [50], nhiệm vụ theo bám đối tượng trực quan có thể được xây dựng như một bài toán học có nhiệm vụ chính là tìm vị trí mục tiêu tối ưu bằng cách cực tiểu hàm mất mát: m (1.1) X X L(w) = γj r(f (xj ; w) − yj ) + λk ∥wk ∥2 j=1 k trong đó yj ∈ RH×W là nhãn của đặc trưng xj trong quá trình huấn luyện, r(f, y) là hàm tính toán phần dư. Tác động của r được thiết lập bởi γj và chuẩn hóa của wk được thiết lập bởi λk 1. Ứng dụng và thách thức 1. Ứng dụng Làm thế nào để máy tính có thể quan sát và phân tích thông tin trong video luôn là mong muốn của con người.
Trong những năm gần đây, trí tuệ nhân tạo (AI) dần được ứng dụng trong nhiều lĩnh vực khác nhau, cùng với sự cải tiến không ngừng của nghiên cứu máy học và học sâu [101], chẳng hạn như nhận dạng giọng nói [96], nhận dạng khuôn mặt [87], trò chơi thực tại ảo (VR) [21], xe tự hành [111],. Theo bám đối tượng, cung cấp đặc điểm quỹ đạo để phân tích hành vi bằng cách dự đoán trạng thái của đối tượng trong video, là một trong những thành phần quan trọng trong thị giác máy tính (CV). Nó đã được ứng dụng rộng rãi trong xe tự hành [77], [122], bám bắt đối tượng [51],[57],[20], giám sát an ninh [40], [62], điều hướng phẫu thuật [97], hàng không vũ trụ [94],[11], thực tế ảo [41], giám sát thông minh [48], tương tác người máy [118],.1 minh họa một số kịch bản ứng dụng phổ biến để theo bám đối tượng trực quan. Trong xe tự hành, tính năng theo bám đối tượng trực quan có thể cảm nhận được sự thay đổi và chuyển động của các đối tượng xung quanh xe để cung cấp tham khảo nhất định cho máy tính trong xe.
Trong dự đoán tội phạm, giám sát và theo bám sự tập hợp và phân tán đột ngột của người hoặc các đối tượng khác trong video có thể dự đoán các trường hợp khẩn cấp bất thường và có thể xảy ra, đồng thời giúp cảnh sát tìm ra tội phạm bất hợp pháp và cải thiện môi trường xã hội. Trong giao thông thông minh, theo bám đối tượng trực quan có thể phán đoán xem có vi phạm hay không bằng cách giám sát theo bám các phương tiện, chẳng hạn như quay đầu xe bất hợp pháp, chạy quá tốc độ,. Trong điều hướng phẫu thuật, tỷ lệ thành công của phẫu thuật có thể được cải thiện bằng cách theo bám vị trí và tư thế của dao mổ và đầu dò. Theo 9 bám đối tượng trực quan cũng có các ứng dụng quan trọng trong các lĩnh vực quân sự.
Trong dẫn đường tên lửa và trinh sát quân sự, các đối tượng thường di chuyển và các camera trên tên lửa cũng rung lắc, theo bám đối tượng trực quan có thể được sử dụng để xác định vị trí của đối tượng và điều chỉnh trạng thái của tên lửa để cải thiện độ chính xác của việc dẫn đường. (a) Xe tự hành (b) Phát hiện tội phạm (c) Giao thông thông minh (d) Điều hướng phẫu thuật (e) Dẫn đường tên lửa (f) Trinh sát quân sự (g) Thực tế ảo (h) Tương tác người máy Hình 1. Một số ứng dụng của bài toán theo bám đối tượng [109] Trong thực tế ảo, theo bám đối tượng trực quan kết hợp với thuật toán phân vùng đối tượng có thể tính toán vị trí và hình dạng của các đối tượng. Ví dụ, trong ứng dụng thay đổi áo, hình dạng của vải có thể được tự động điều chỉnh để phù hợp hơn với đường nét của cơ thể người.
Trong tương tác giữa người máy, máy tính có thể xác định hướng dẫn con người và thực hiện các hành động tương ứng mà không cần nhấn nút, bằng cách theo bám và tính toán trạng thái 10 của các bộ phận cơ thể người, chẳng hạn như tay, chân, đầu,. Thách thức Nhiều vấn đề trong bài toán theo bám đối tượng vẫn đang là thách thức lớn đối với các nhà nghiên cứu. Một số thách thức cơ bản được thống kê như trong bảng 1.1 (theo[98]), trong đó chi tiết của 11 thách thức phổ biến được Wu và cộng sự trong [112] mô tả như sau: Thay đổi độ sáng-Illumination Variation (IV): đề cập đến tình huống trong đó độ sáng của vùng đối tượng thay đổi đáng kể khi phát video, như hình 1. Tình huống này có thể dẫn đến sự thay đổi rõ rệt về màu sắc và các đặc điểm màu xám của đối tượng.
Do đó, mô hình xuất hiện dựa trên đặc trưng màu hoặc màu xám không thể thể hiện tốt đối tượng và dẫn đến theo bám lỗi. Ví dụ thay đổi độ sáng Thay đổi tỷ lệ-Scale Variation (SV): là tình huống trong đó tỷ lệ của khung bao giới hạn trong khung hình ban đầu so với khung bao giới hạn trong khung hình hiện tại vượt quá ngưỡng cụ thể ts > 1, thông thường, ts được đặt là 2, như hình 1. Sự thay đổi tỷ lệ của đối tượng sẽ dẫn đến sự thay đổi số lượng pixel, đây là một thách thức lớn để xây dựng mô hình ngoại hình. Một số phương pháp theo bám có thể tìm thấy trung tâm của đối tượng, nhưng không thể ước tính kích thước.
Các phương pháp này có thể cho điểm chính xác cao nhưng tỷ lệ thành công thấp. Ví dụ thay đổi tỷ lệ Bị che lấp-Occlusion (OCC): là tình huống trong đối tượng bị che lấp một phần hoặc hoàn toàn, như hình 1. Thách thức che lấp sẽ làm thay đổi các đặc trưng thống kê và cấu trúc của đối tượng, điều này mang lại những thách thức cho các phương pháp theo bám. Vì vậy làm thế nào để phát hiện lại và tiếp tục theo bám đối tượng khi xảy ra che lấp là một trong những vấn đề chính mà các phương pháp theo bám cần giải quyết.
Một số thách thức thường gặp trong bài toán theo bám đối tượng Thuộc tính Tiếng anh Viết tắt Thay đổi độ sáng Illumination Variation IV Thay đổi tỷ lệ Scale Variation SV Bị che lấp Occlusion OCC Biến dạng Deformation DEF Mờ chuyển động Motion Blur MB Chuyển động nhanh Fast Motion FM Xoay trong mặt phẳng In-Plane Rotation IPR Xoay ngoài mặt phẳng Out-of-Plane Rotation OPR Ngoài tầm nhìn Out-of-View OV Nền lộn xộn Background Clutter BC Độ phân giải thấp Low Resolution LR Thay đổi tỷ lệ khung hình Aspect Ratio Change ARC Chuyển động camera Camera Motion CM Che lấp hoàn toàn Full Occlusion FOC Che lấp một phần Partial Occlusion POC Đối tượng tương tự Similar Object SIB Thay đổi điểm nhìn Viewpoint Change VC Độ tương phản thấp Low Contrast LC Camera phóng to Zooming Camera ZC Thời lượng dài Long Duration LD Ánh sáng mờ Dim Light DL Rung máy Camera Shaking CS Xoay Rotation ROT Thay đổi nền nhanh Fast Background Change FBC Thay đổi chuyển động Motion Change MOC Thay đổi màu đối tượng Object Color Change OCO Độ phức tạp của cảnh Scene Complexity SCO Chuyển động tuyệt đối Absolute Motion AM Chuyển động camera nhanh Fast Camera Motion FCM Theo bám dài hạn Long-Term Tracking LT 12 Hình 1. Ví dụ bị che lấp Biến dạng-Deformation (DEF): tình huống trong đó hình dạng của đối tượng thay đổi đáng kể so với khung hình ban đầu. Thách thức này chủ yếu nhằm vào các đối tượng không cứng, như hình 1. Mặc dù thử thách biến dạng không làm thay đổi các đặc trưng thống kê của đối tượng, chẳng hạn như biểu đồ màu xám, nhưng nó làm thay đổi các đặc điểm cấu trúc mục tiêu.
Điều này gây khó khăn cho việc xác định ranh giới của các đối tượng và hộp giới hạn có thể không bao phủ đúng đối tượng. Ví dụ biến dạng Mờ chuyển động-Motion Blur (MB): đề cập đến tình trạng ảnh đối tượng bị mờ do chuyển động của đối tượng hoặc do máy ảnh bị rung, như hình 1. Việc làm mờ ảnh đối tượng không những làm mất thông tin chi tiết của đối tượng mà còn làm thay đổi thông tin cấu trúc của đối tượng và làm cho ranh giới của đối tượng bị mờ. Điều này làm cho thông tin ranh giới thay đổi.
Do đó, MB làm cho các trình theo bám gặp khó khăn trong việc định vị ranh giới của đối tượng và xác định kích thước đối tượng chính xác. Ví dụ mờ chuyển động Hình 1. Ví dụ chuyển động nhanh Chuyển động nhanh-Fast Motion (FM): đề cập đến tình trạng khoảng cách của đối tượng giữa hai khung hình liền kề vượt quá một ngưỡng nhất định tm. Thường tm được đặt là 20, như hình 1.