Tổng quan luận án

Giám sát video là công cụ thu nhận dữ liệu hình ảnh tại nhiều địa điểm như sân bay, bệnh viện, ngân hàng, nhà ga, sân vận động, đường phố, siêu thị và môi trường gia đình. Nhiệm vụ của người giám sát là theo dõi các luồng video này và phát hiện kịp thời các hoạt động bất thường trong khu vực quan sát. Tuy nhiên, việc quan sát đồng thời và phân tích nhiều màn hình trong thời gian dài làm suy giảm sự tập trung của con người, gia tăng nguy cơ bỏ sót sự kiện. Do đó, hệ thống giám sát video tự động (video monitoring system) được phát triển nhằm phân tích thông tin trích xuất từ dữ liệu giám sát. Một hệ thống nhận dạng hoạt động hoàn chỉnh bao gồm bốn khối tác vụ: phát hiện đối tượng (object detection), theo dõi đối tượng (object tracking), nhận dạng đối tượng (object recognition) và nhận dạng hành vi (activity recognition). Luận án này nghiên cứu chuyên sâu một nhánh của tác vụ theo dõi đối tượng: theo dõi đa đối tượng (Multiple Object Tracking - MOT) trong khung nhìn đơn camera (single camera view).

Văn bản luận án chỉ ra năm thách thức kỹ thuật cốt lõi tạo nên khoảng trống nghiên cứu trong MOT:

  1. Thay đổi điều kiện chiếu sáng (Changes in scene illumination): Biến đổi về cường độ và hướng chiếu sáng làm thay đổi diện mạo đối tượng và tạo ra bóng đổ. Bộ phát hiện có thể tách nhầm bóng đổ thay vì đối tượng, hoặc bỏ sót đối tượng do độ tương phản thấp, khiến quỹ đạo bị phân mảnh thành các đoạn ngắn (tracklets) và ngăn cản bộ theo dõi tìm kiếm thông tin diện mạo bất biến.
  2. Biến đổi hình dạng và diện mạo của đối tượng (Changes in object shape and appearance): Khác với các chuyển động tuyến tính ổn định, con người là đối tượng biến dạng phi cứng (deformable objects) với chuyển động tự quay hoặc biến mất rồi xuất hiện lại, làm thay đổi cấu trúc hình học 2D.
  3. Che khuất ngắn hạn một phần hoặc toàn phần (Short-time full or partial occlusions): Xảy ra thường xuyên trong các cảnh có mật độ di chuyển cao, bắt nguồn từ chính đối tượng (cử động tay trước mặt), vật cản tĩnh xung quanh (static occlusions) hoặc các đối tượng động lân cận (dynamic occlusions), dẫn đến trôi dấu vết (tracking drift).
  4. Nhiễu nền (Background): Nền phức tạp hoặc nền có kết cấu và màu sắc tương đồng với đối tượng làm bộ theo dõi nhận diện sai lệch.
  5. Chuyển động của camera (Camera motion): Rung lắc, nhòe chuyển động hoặc thay đổi tiêu cự đột ngột từ các thiết bị ghi hình cầm tay làm giảm chất lượng khung hình.

Tác giả tập trung nghiên cứu đối tượng con người dựa trên ba lý do được văn bản xác định:

  1. Con người là đối tượng phức tạp do tính chất chuyển động phi khớp nối (non-articulated motion) và sự đa dạng về hình thái.
  2. Khối lượng dữ liệu video về con người rất lớn, phục vụ nhiều ứng dụng thực tiễn có tiềm năng thương mại cao.
  3. Con người là đối tượng thu hút ít nhất 70% nỗ lực nghiên cứu trong lĩnh vực MOT hiện nay.

Mục tiêu nghiên cứu tổng quát của luận án là đề xuất các phương pháp mới nhằm nâng cao hiệu năng theo dõi nhiều người trong chế độ dài hạn (long-term tracking) bằng cách liên kết các quỹ đạo ngắn (tracklet) bị phân mảnh do che khuất hoặc lỗi nhận diện. Ba mục tiêu kỹ thuật cụ thể gồm:

  1. Xây dựng thuật toán Reliable Feature Estimation (RFE) tự động lựa chọn trực tuyến các đặc trưng tin cậy để phân biệt tracklet trong cảnh mà không cần pha huấn luyện và không cần tri thức tiên nghiệm về hiệu chuẩn hay mô hình cảnh.
  2. Thiết lập cơ chế Context-based Parameter Tuning (CPT) tinh chỉnh trực tuyến các tham số theo dõi theo sự biến đổi ngữ cảnh xung quanh từng tracklet độc lập, thay vì dùng chung tham số toàn cục.
  3. Phát triển bộ theo dõi Re-id Based Tracker (RBT) thích ứng các đặc trưng (thủ công và học sâu) cùng các phép đo độ tương đồng từ bài toán Tái định danh người (Person Re-identification) sang bài toán MOT trực tuyến.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các mô hình biểu diễn diện mạo, chuyển động, xử lý che khuất và thuật toán liên kết dữ liệu trong bài toán theo dõi nhiều người.
  • Phạm vi không gian: Góc nhìn đơn camera (single camera view), bao gồm cả góc nhìn cố định và góc nhìn di động.
  • Phạm vi dữ liệu thực nghiệm: Các bộ dữ liệu video chuẩn quốc tế gồm MOT15, MOT17, PETS2009 (chuỗi S2/L1-View1), PETS2015 (chuỗi W1 ARENA), ParkingLot (chuỗi ParkingLot1), TUD-Crossing, TUD-Stadtmitte và Venice-1.

Tổng quan tài liệu và vị trí của luận án

Luận án phân loại các giải pháp MOT thành hai phương thức xử lý chính: trực tuyến (online tracking) và ngoại tuyến (offline tracking). Tác giả tổng quan chi tiết cấu trúc MOT qua hai thành phần: mô hình quan sát (observation model) và mô hình liên kết (association model).

Về mô hình quan sát, tác giả hệ thống hóa các cách tiếp cận biểu diễn đối tượng:

  • Đặc trưng diện mạo: Đặc trưng điểm quan tâm sử dụng bộ theo dõi KLT để sinh chuỗi tracklet [99, 51], ước lượng chuyển động [12] và phân cụm chuyển động [17]; Đặc trưng màu sắc như lược đồ màu (Color histogram) [90, 7, 28, 98, 38], mẫu điểm ảnh gốc chuẩn hóa qua hệ số tương quan chéo NCC [114] và khoảng cách Bhattacharyya [99, 85]; Luồng quang học (Optical flow) liên kết phát hiện liên tiếp [89], bổ trợ cho HOG [2] hoặc phân cụm chuyển động đám đông [67, 88]; Đặc trưng độ dốc như mô hình level-set [76] và lược đồ độ dốc định hướng HOG [26, 38, 53, 24]; Ma trận hiệp phương sai vùng (Region covariance matrix) [104, 5, 40, 53, 42]; Thông tin độ sâu từ camera 3D hoặc nhiều góc nhìn 2D [76, 30, 35]; Đặc trưng học sâu (Deep features) trích xuất từ các tầng tích chập [109, 125, 92].
  • Cơ chế kết hợp nhiều đặc trưng: Chiến lược Boosting lựa chọn đặc trưng phân biệt qua Adaboost [50] hoặc HybridBoost [61]; Kỹ thuật ghép nối (Concatenating) kết hợp màu sắc, HOG, luồng quang học qua PCA và phân loại bằng SVM với khoảng cách Mahalanobis [16]; Kỹ thuật cộng dồn có trọng số (Summation) [13, 64]; Kỹ thuật nhân xác suất kết hợp (Product) [119, 98].
  • Mô hình chuyển động: Mô hình vận tốc không đổi tuyến tính (Constant velocity) ước lượng phân phối chuyển động tiến và lùi [113] hoặc tối ưu hóa hàm phạt độ lệch vận tốc giữa các khung hình liên tiếp [3, 73]; Mô hình chuyển động phi tuyến tính dựa trên bản đồ mẫu chuyển động học trực tuyến [116].
  • Mô hình loại trừ (Exclusion model): Ràng buộc loại trừ cấp độ phát hiện (detection-level exclusion) ngăn hai phát hiện cùng khung hình gán cho cùng một quỹ đạo qua đồ thị loại trừ [74, 52] hoặc giới hạn luồng mạng không vượt quá 1 [18]; Ràng buộc cấp độ quỹ đạo (trajectory-level exclusion) thiết lập quan hệ "must-link" và "cannot-link" [7] hoặc áp đặt hàm phạt tỷ lệ nghịch với khoảng cách không gian giữa hai quỹ đạo gần nhau [74, 3].
  • Mô hình xử lý che khuất (Occlusion handling model): Phương pháp khối bộ phận (Part-to-whole) chia nhỏ cơ thể người thành các khối không gian độc lập để suy diễn trạng thái tổng thể khi bị che khuất [42, 38, 99]; Phương pháp giả thuyết và kiểm định (Hypothesize-and-test) xây dựng mô hình Explicit Occlusion Model (EOM) trong mạng dòng chi phí [127]; Phương pháp đệm và phục hồi (Buffer-and-recover) lưu trữ trạng thái trước che khuất vào bộ nhớ đệm khung thời gian để khôi phục khi đối tượng xuất hiện lại [75, 80, 79].

Về mô hình liên kết dữ liệu:

  • Suy luận xác suất: Ước lượng trạng thái qua phân phối xác suất sử dụng bộ lọc Kalman (Kalman filter) hoặc bộ lọc hạt (Particle filter).
  • Tối ưu hóa xác định: Liên kết cục bộ (Local data association) giải bài toán ghép cặp đồ thị hai phía qua thuật toán tham lam [96, 15] hoặc thuật toán Hungarian [86, 87, 84, 95, 8, 79]; Liên kết toàn cục (Global data association) mô hình hóa mạng dòng chi phí cực tiểu Min-cost Max-flow [24, 112, 18, 127] hoặc Trường ngẫu nhiên có điều kiện CRF [118, 117, 74, 39].

Về xu hướng nghiên cứu MOT, tác giả phân kỳ ba giai đoạn:

  1. Trước năm 2015: Tập trung vào tối ưu hóa liên kết dữ liệu toàn cục bằng các mô hình đồ thị như k-shortest paths [83], quy hoạch tuyến tính Simplex [59], CRF [71, 39] hoặc mô hình Bayes [10].
  2. Giai đoạn nâng cao diện mạo: Chuyển dịch trọng tâm sang xây dựng các dấu hiệu diện mạo mạnh mẽ như mô hình diện mạo thưa [32] và đặc trưng kênh tích phân [46].
  3. Xu hướng Deep learning: Ứng dụng mạng nơ-ron sâu chuyển từ mô hình "mẫu $\rightarrow$ nhãn" sang "cặp mẫu $\rightarrow$ độ tương đồng". Các kiến trúc tiêu biểu gồm mạng ba nhánh Feature Net - Temporal Net - Spatial Net [102], mô hình nhiệt hai tầng [108], mạng Siamese CNN học metric diện mạo [107], và mạng RNN/LSTM kết hợp đồng thời ba dấu hiệu diện mạo, chuyển động và tương tác [92].

Khoảng trống luận án giải quyết: Các phương pháp ngoại tuyến tuy tối ưu toàn cục nhưng chi phí tính toán cao và đòi hỏi toàn bộ dữ liệu video trước; các phương pháp trực tuyến lại hạn chế trong xử lý che khuất dài hạn. Hơn nữa, việc cố định tham số theo dõi hoặc kết hợp đặc trưng tĩnh không thích ứng được với sự biến động cục bộ của môi trường. Luận án định vị giải quyết ba khoảng trống: tính toán trực tuyến độ tin cậy đặc trưng không cần huấn luyện; tinh chỉnh tham số theo ngữ cảnh riêng của từng tracklet; và chuyển giao năng lực phân biệt diện mạo từ bài toán Re-ID sang hệ thống theo dõi trực tuyến.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án sử dụng các khái niệm và khung lý thuyết toán học định lượng:

  • Định nghĩa Tracklet: Quỹ đạo ngắn $Tr_i$ trải dài qua các khung hình liên tiếp $\langle m, n \rangle$, được biểu diễn dưới dạng một chuỗi các nút (nodes) đối tượng $O_i^t$ ($m \le t \le n$): $$Tr_i = {O_i^m, O_i^{m+1}, \dots, O_i^n}$$ với $i$ là định danh (ID) và $O$ là khung bao (bounding box) của đối tượng. Tracklet được tạo ra từ một bộ theo dõi ngắn hạn.
  • Tập Ứng viên (Candidate set - $Can_i$): Tập hợp các tracklet $Tr_c$ thỏa mãn ràng buộc không - thời gian để có thể ghép nối tiếp với $Tr_i$. Về thời gian, nút cuối cùng của $Tr_i$ xuất hiện trước nút đầu tiên của $Tr_c$. Về không gian, nút cuối của $Tr_i$ có khả năng tiếp cận nút đầu của $Tr_c$ dựa trên tốc độ khung hình và số lượng khung hình nghi ngờ mất nhận diện.
  • Tập Lân cận (Neighbour set - $Neib_i$): Tập hợp các tracklet $Tr_n$ không thể ghép nối với $Tr_i$. Về thời gian, $Tr_n$ chia sẻ ít nhất một khung hình với $Tr_i$. Về không gian, khoảng cách 2D giữa hai tracklet nhỏ hơn ngưỡng bán kính $\theta$: $$\theta = 3 \times width_i$$ với $width_i$ là bề rộng khung bao của nút cuối cùng thuộc $Tr_i$.

Hệ thống đặc trưng nút $F_i^t = {F_{iO}^t, F_{iOE}^t}$ gồm hai nhóm:

  1. Đặc trưng cá thể ($F_{iO}^t$):
    • Thông tin hình học 2D: Tỷ lệ co dãn $W/H$ và diện tích $W \times H$.
    • Lược đồ độ dốc định hướng (HOG) [26]: Chuẩn hóa độ tương phản theo khối để kháng biến đổi chiếu sáng.
    • Vận tốc không đổi (Constant velocity) [25]: Ước lượng vector chuyển động dựa trên độ dời vị trí qua các khung hình trước đó.
    • Lược đồ không gian đa kênh (Multi-Channel Spatio-Histogram - MCSH) [126]: Tích lũy trên các không gian màu YCrCb, HSB và RGB chuẩn hóa; phân tách spatiogram trên trục y thành lược đồ màu đa kênh, vector trung bình không gian $\mu_y^b$ và ma trận hiệp phương sai không gian $\Sigma_y^b$: $$S_R(b) = \langle \hat{n}^b, \mu_y^b, \Sigma_y^b \rangle, \quad b = 1, 2, \dots, B$$ $$\mu_y^b = \frac{1}{n^b}\sum_{k=1}^N y_k \delta_k^b, \quad \Sigma_y^b = \frac{1}{n^b}\sum_{k=1}^N (y_k - \mu_y^b)^2 \delta_k^b$$
    • Biểu diễn xuất hiện cực đại cục bộ (Local Maximal Occurrence - LOMO) [63]: Kết hợp bộ mô tả biến đổi tam phân cục bộ bất biến tỷ lệ (SILTP) [62] và lược đồ liên hợp HSV $8 \times 8 \times 8$ trích xuất qua các cửa sổ trượt $10 \times 10$ với bước nhảy 5 điểm ảnh, lấy giá trị cực đại theo phương ngang và áp dụng biến đổi Retinex [55] để khử nhiễu bóng đổ.
    • Lược đồ màu RGB: Tính toán tỷ lệ xuất hiện của các điểm ảnh chuyển động trên $b$ bins cho mỗi kênh màu: $$\sum_{k=1}^b H_{O_i^t}^C(k) = 1, \quad C \in {R, G, B}$$
  2. Đặc trưng ngữ cảnh bao quanh ($F_{iOE}^t$): Xác định qua khung bao ngoài (Outer Bounding-Box - OBB) nhằm đo lường độ tương phản, mật độ đối tượng di động lân cận và mức độ che khuất.

Phương pháp thực nghiệm kỹ thuật và xử lý dữ liệu:

  • Quy trình liên kết dữ liệu giải quyết qua ghép cặp đồ thị hai phía (Bipartite Graph Matching) bằng thuật toán Hungarian trong từng cửa sổ thời gian $\Delta t$.
  • Cơ chế đệm và phục hồi (Buffer-and-recover) lưu trữ tracklet trong bộ đệm hai cửa sổ thời gian để xử lý hiện tượng che khuất hoàn toàn.
  • Mô hình hóa diện mạo bằng phân phối hỗn hợp Gaussian (GMM) kết hợp học metric khoảng cách Mahalanobis trong chế độ ngoại tuyến, hoặc trích xuất đặc trưng sâu bằng mạng Modified-VGG16 kết hợp khoảng cách Euclid trong chế độ trực tuyến.
  • Đo lường định lượng theo các tiêu chuẩn CLEAR MOT: MOTA (Độ chính xác theo dõi đa đối tượng), MOTP (Độ chuẩn xác theo dõi đa đối tượng), MT (Tỷ lệ quỹ đạo được theo dõi phần lớn $\ge 80%$), ML (Tỷ lệ quỹ đạo bị mất dấu phần lớn $\le 20%$), FP (Số lượng dương tính giả), FN (Số lượng âm tính giả), IDS (Số lần hoán đổi định danh), Frag (Số lần phân mảnh quỹ đạo).

Nội dung chính theo từng chương

Chương 1: Introduction

Chương này mô tả sơ đồ chu trình làm việc của hệ thống giám sát video tự động và chỉ ra vị trí của bài toán MOT trong khung nhìn camera đơn. Tác giả phân tích chi tiết năm nguyên nhân gây suy giảm chất lượng theo dõi (chiếu sáng, biến dạng hình thái, che khuất, nhiễu nền, chuyển động camera). Trên cơ sở ba lý do tập trung vào đối tượng con người, tác giả trình bày tóm tắt ba thuật toán đóng góp (RFE, CPT, RBT) và cấu trúc tám chương của bản luận án.

Chương 2: Multi-Object Tracking, A Literature Overview

Chương 2 tổng kết các nghiên cứu MOT trong các thập kỷ gần đây. Tác giả phân tích bảng đối chuẩn giữa theo dõi trực tuyến và ngoại tuyến:

Tiêu chí Theo dõi trực tuyến (Online Tracking) Theo dõi ngoại tuyến (Offline Tracking)
Dữ liệu đầu vào yêu cầu Dữ liệu phát hiện tính đến khung hình hiện tại Toàn bộ dữ liệu phát hiện trong toàn video
Phương pháp luận Mở rộng quỹ đạo bằng các phát hiện hiện tại; tối ưu hóa đồ thị hai phía Liên kết phát hiện toàn video thành quỹ đạo; tối ưu hóa toàn cục
Ưu điểm Phù hợp tác vụ trực tuyến; chi phí tính toán thấp Phục hồi được che khuất dài hạn
Nhược điểm Chỉ phục hồi được che khuất ngắn hạn; dễ lỗi do dương tính giả Trễ kết quả; chi phí tính toán lớn; không gian tìm kiếm rộng

Chương này cũng phân loại các mô hình quan sát (diện mạo, chuyển động tuyến tính và phi tuyến, các ràng buộc loại trừ phát hiện và quỹ đạo, các kỹ thuật xử lý che khuất) cùng các mô hình liên kết dữ liệu (suy luận xác suất qua bộ lọc Kalman/hạt và tối ưu hóa xác định qua mạng dòng chi phí, CRF).

Chương 3: General Definitions, Functions and MOT Evaluation

Chương 3 hình thức hóa các định nghĩa toán học làm cơ sở cho toàn bộ luận án. Tác giả định nghĩa tracklet là chuỗi các nút $Tr_i = {O_i^m, \dots, O_i^n}$, tập ứng viên ghép nối $Can_i$ và tập lân cận loại trừ $Neib_i$ dựa trên ngưỡng khoảng cách không gian $\theta = 3 \times width_i$. Tác giả chi tiết hóa công thức trích xuất của từng đặc trưng nút thuộc nhóm cá thể (hình học 2D, HOG, vận tốc không đổi, MCSH, LOMO, lược đồ màu) và nhóm ngữ cảnh bao quanh OBB. Cuối cùng, chương thiết lập giao thức đánh giá định lượng sử dụng các chỉ số CLEAR MOT tiêu chuẩn.

Chương 4: Multi-Person Tracking based on an Online Estimation of Tracklet Feature Reliability

Chương 4 đề xuất thuật toán RFE nhằm khắc phục hiện tượng trôi dấu vết diện mạo do khung cảnh biến đổi. Thay vì cố định trọng số, RFE tự động ước lượng độ tin cậy của từng đặc trưng diện mạo trực tuyến cho mỗi tracklet trong cửa sổ thời gian $\Delta t$. Trọng số được tính toán nhằm tối đa hóa khả năng phân tách tracklet mục tiêu với tập lân cận $Neib_i$ và tối thiểu hóa khoảng cách với tracklet ứng viên $Can_i$. Phương pháp không đòi hỏi dữ liệu huấn luyện và không cần hiệu chuẩn camera. Kết quả thực nghiệm trên các chuỗi PETS2009-S2/L1-View1, PETS2015-W1 ARENA và TUD-Stadtmitte chứng minh thuật toán bảo toàn định danh đối tượng (như đối tượng ID 26) sau 11 khung hình liên tiếp bị mất phát hiện do che khuất và ánh sáng yếu.

Chương 5: Multi-Person Tracking Driven by Tracklet Surrounding Context

Chương 5 xây dựng khung làm việc CPT tinh chỉnh tham số theo dõi thích ứng với sự thay đổi ngữ cảnh bao quanh tracklet. Tác giả chỉ ra rằng việc dùng chung một bộ tham số cho toàn bộ đối tượng trong video là không tối ưu. Khung làm việc gồm hai pha:

  1. Pha ngoại tuyến: Xây dựng cơ sở dữ liệu (codebook) chứa các biểu diễn ngữ cảnh tracklet cùng tập tham số theo dõi tối ưu tương ứng mà không bị giới hạn về số lượng hay mối phụ thuộc giữa các tham số.
  2. Pha trực tuyến: Trích xuất ngữ cảnh của tracklet hiện tại, truy vấn biểu diễn gần nhất trong cơ sở dữ liệu để áp dụng cấu hình tham số tương ứng. Thực nghiệm trên chuỗi TUD-Stadtmitte minh chứng tracklet ID 8 được khôi phục thành công sau che khuất nhờ cấu hình tham số truy xuất chính xác từ cơ sở dữ liệu.

Chương 6: Re-id based Multi-Person Tracking

Chương 6 phát triển bộ theo dõi RBT bằng cách chuyển giao các kỹ thuật từ bài toán Tái định danh người (Re-ID) sang MOT. Khung làm việc triển khai theo hai hướng:

  1. Phương pháp đặc trưng thủ công: Mỗi tracklet được mô hình hóa thành tập phân phối đặc trưng đa phương thức qua mô hình GMM kết hợp bộ mô tả LOMO và MCSH; ma trận khoảng cách Mahalanobis được học ngoại tuyến để đo lường độ tương đồng giữa các tracklet trước khi liên kết bằng đồ thị hai phía.
  2. Phương pháp đặc trưng học sâu: Sử dụng mạng Modified-VGG16 tiền huấn luyện để trích xuất vector đặc trưng diện mạo, sau đó tích hợp vào khung làm việc trực tuyến hoàn toàn với khoảng cách Euclid. Các phân tích thực nghiệm chỉ ra RBT duy trì tính bất biến diện mạo cao trước các biến đổi tư thế và che khuất.

Chương 7: Experiment and Comparison

Chương 7 trình bày các thực nghiệm định lượng trên các tập dữ liệu MOT15, MOT17, PETS2009-S2/L1-View1, ParkingLot1, TUD-Crossing và Venice-1. Các thuật toán đề xuất được đánh giá trên hệ thống chuẩn MOTChallenge với tên định danh "MTS" (bản đặc trưng thủ công) và "MTS_CNN" (bản đặc trưng học sâu Modified-VGG16). Phân tích so sánh với thuật toán ngoại tuyến CNNTCM [107] trên chuỗi TUD-Crossing và Venice-1 chỉ ra:

  • CNNTCM lọc bỏ bớt các phát hiện đầu vào để giảm thiểu lỗi nhận diện, dẫn đến gia tăng số lượng âm tính giả (FN).
  • RBT phiên bản đặc trưng thủ công theo dõi toàn bộ các phát hiện bị che khuất mà detector cung cấp, đạt tỷ lệ theo dõi phần lớn MT cao hơn và tỷ lệ mất dấu ML thấp hơn so với CNNTCM, dù chấp nhận số dương tính giả (FP) cao hơn do nhiễu từ bộ phát hiện.
  • Trên tập MOT17 với ba bộ phát hiện DPM, Faster R-CNN và SDP, thuật toán MTS_CNN giảm thiểu đáng kể số lần hoán đổi định danh (IDS) và đạt hiệu năng cạnh tranh với các thuật toán trực tuyến hiện hành.

Chương 8: Conclusions and Future Work

Chương 8 tổng kết các đóng góp lý thuyết và thực nghiệm của luận án, phân tích ưu khuyết điểm của từng thuật toán dựa trên tính tổng quát và hiệu quả, đồng thời đề xuất các hướng nghiên cứu khắc phục hạn chế.

Kết quả và những đóng góp mới

Luận án tự xác định ba đóng góp kỹ thuật và phương pháp luận chính:

  1. Đóng góp về thuật toán RFE: Thiết lập cơ chế tự động ước lượng độ tin cậy và gán trọng số đặc trưng diện mạo trực tuyến cho từng tracklet mà không cần dữ liệu huấn luyện và không cần tri thức tiên nghiệm về hiệu chuẩn hoặc mô hình hình học của cảnh.
  2. Đóng góp về khung làm việc CPT: Đề xuất phương pháp tinh chỉnh tham số theo dõi trực tuyến thích ứng riêng cho từng tracklet theo ngữ cảnh xung quanh thay vì chia sẻ tham số toàn cục; xây dựng quy trình học codebook tham số ngoại tuyến không giới hạn số lượng và mối phụ thuộc tham số.
  3. Đóng góp về bộ theo dõi RBT: Thích ứng các bộ mô tả diện mạo mạnh từ bài toán Tái định danh (LOMO, MCSH, CNN) và các phép đo khoảng cách (Mahalanobis, Euclid) vào bài toán MOT trực tuyến; mô hình hóa tính bất biến diện mạo của tracklet qua phân phối GMM kết hợp liên kết đồ thị hai phía.

Tác giả phân loại và đối sánh ba thuật toán đề xuất qua hai thuộc tính cốt lõi trong bảng tổng hợp:

Thuật toán đề xuất Tính tổng quát (Generality) Tính hiệu quả (Effectiveness) Yêu cầu về dữ liệu huấn luyện
RFE (Reliable Feature Estimation) Rất cao Trung bình Không cần dữ liệu huấn luyện, không cần tri thức tiên nghiệm
CPT (Context-based Parameter Tuning) Trung bình Khá Cần dữ liệu huấn luyện đủ phong phú để xây dựng codebook
RBT (Hand-crafted + Mahalanobis) Thấp Cao Cần dữ liệu huấn luyện và kiểm thử tương đồng về phân phối
RBT (CNN Features + Euclidean) Cao Rất cao Dùng mạng CNN tiền huấn luyện, chạy trực tuyến hoàn toàn

Về kiến nghị kỹ thuật, tác giả khuyến nghị việc lựa chọn thuật toán phụ thuộc vào yêu cầu của ứng dụng thực tế và tính sẵn có của dữ liệu huấn luyện:

  • Khi triển khai trên môi trường mới không có sẵn dữ liệu gán nhãn hoặc tài nguyên tính toán hạn chế, thuật toán RFE là lựa chọn thích hợp do tính tổng quát cao.
  • Khi có sẵn dữ liệu và yêu cầu độ chính xác tối ưu trong các cảnh che khuất phức tạp, khung làm việc RBT kết hợp đặc trưng CNN là giải pháp hiệu quả nhất.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ trên các nội dung văn bản đề cập, luận án ghi nhận một số hạn chế:

  • Hiệu năng của các bộ theo dõi dài hạn phụ thuộc trực tiếp vào chất lượng của bộ phát hiện đối tượng; các trường hợp bỏ sót nhóm người do mật độ quá dày (như ghi nhận trên dữ liệu MOT17) làm giảm độ chính xác của toàn bộ chu trình theo dõi.
  • Khung làm việc CPT yêu cầu tập dữ liệu huấn luyện ngoại tuyến phải đủ đa dạng để codebook đại diện được đầy đủ các biến thể ngữ cảnh thực tế.
  • Bộ theo dõi RBT phiên bản học khoảng cách Mahalanobis ngoại tuyến đòi hỏi phân phối của dữ liệu huấn luyện và dữ liệu kiểm thử phải có sự tương đồng.

Hướng nghiên cứu tiếp theo được tác giả chỉ ra:

  • Nghiên cứu các giải pháp khắc phục sự phụ thuộc vào lỗi của bộ phát hiện đối tượng.
  • Mở rộng và tối ưu hóa các cơ chế biểu diễn ngữ cảnh nhằm nâng cao hơn nữa hiệu năng của các thuật toán đề xuất.

Giá trị tham khảo

Luận án cung cấp giá trị tham khảo cụ thể cho các nhóm đối tượng:

  • Nghiên cứu sinh và học viên sau đại học ngành Khoa học máy tính, Thị giác máy tính: Tham khảo chương 2 để nắm bắt hệ thống phân loại toàn diện về các mô hình quan sát, mô hình liên kết và các xu hướng nghiên cứu MOT; tham khảo chương 3 về cách thức hình thức hóa bài toán tracklet, candidate, neighbour và quy trình đánh giá chuẩn CLEAR MOT.
  • Kỹ sư phát triển hệ thống giám sát video thực tế: Tham khảo thuật toán RFE (chương 4) để triển khai các mô-đun theo dõi trực tuyến không cần huấn luyện trên các hệ thống giám sát phân tán; tham khảo cấu trúc biểu diễn đặc trưng LOMO, MCSH và mạng Modified-VGG16 (chương 6) để thiết kế các bộ theo dõi kháng che khuất trong điều kiện ánh sáng thay đổi.

Câu hỏi thường gặp

1. Tại sao luận án tập trung vào bài toán theo dõi con người thay vì các đối tượng khác?
Văn bản nêu rõ ba lý do: con người là đối tượng phức tạp do chuyển động phi khớp nối và hình thái đa dạng; khối lượng video về con người rất lớn, mở ra nhiều ứng dụng có tiềm năng thương mại cao; và con người là đối tượng thu hút ít nhất 70% các nỗ lực nghiên cứu MOT hiện nay.

2. Điểm khác biệt căn bản giữa thuật toán RFE và khung làm việc CPT là gì?
Thuật toán RFE tự động lựa chọn trực tuyến các đặc trưng diện mạo tin cậy nhất cho từng tracklet mà không cần quá trình huấn luyện. Ngược lại, CPT tinh chỉnh các tham số của bộ theo dõi độc lập cho từng tracklet bằng cách truy vấn một cơ sở dữ liệu (codebook) chứa các tham số tối ưu đã được học ngoại tuyến dựa trên ngữ cảnh bao quanh.

3. Điều kiện để một tracklet được xác định là "lân cận" (Neighbour) của một tracklet khác là gì?
Tracklet $Tr_n$ là lân cận của $Tr_i$ khi thỏa mãn hai ràng buộc: chia sẻ ít nhất một khung hình thời gian với $Tr_i$, và khoảng cách không gian 2D giữa hai tracklet nhỏ hơn ngưỡng $\theta = 3 \times width_i$ ($width_i$ là bề rộng nút cuối cùng của $Tr_i$).

4. Tại sao trên chuỗi video TUD-Crossing và Venice-1, phương pháp CNNTCM lại có số lượng âm tính giả (FN) cao hơn phương pháp RBT?
Do CNNTCM áp dụng bước tiền xử lý lọc bỏ bớt các phát hiện đầu vào để giảm thiểu lỗi nhận diện và chỉ theo dõi các đối tượng được chọn lọc. Ngược lại, RBT (phiên bản đặc trưng thủ công) duy trì theo dõi toàn bộ các phát hiện bị che khuất mà detector cung cấp, giúp đạt tỷ lệ theo dõi phần lớn MT cao hơn nhưng đồng thời nhận nhiều dương tính giả (FP) hơn từ nhiễu phát hiện.

Kết luận

Luận án của tác giả Thi Lan Anh Nguyen đã giải quyết bài toán theo dõi nhiều người dài hạn trong hệ thống giám sát video đơn camera thông qua việc phát triển ba thuật toán: RFE, CPT và RBT. Nghiên cứu kết hợp các kỹ thuật ước lượng độ tin cậy đặc trưng trực tuyến, tinh chỉnh tham số theo ngữ cảnh cục bộ và chuyển giao các đặc trưng từ bài toán tái định danh người vào hệ thống theo dõi trực tuyến. Các đánh giá định lượng trên các tập dữ liệu chuẩn MOT15, MOT17, PETS2009 và ParkingLot xác nhận tính hiệu quả của các mô hình đề xuất trong việc xử lý các thách thức che khuất, biến đổi chiếu sáng và phân mảnh quỹ đạo.