Tổng quan luận án

Bài toán theo bám đơn đối tượng (Visual Object Tracking - VOT) trong chuỗi video là một bài toán nền tảng của thị giác máy tính, đóng vai trò then chốt trong nhiều ứng dụng thực tiễn như giám sát an ninh, xe tự hành, tương tác người - máy, điều hướng phẫu thuật, dẫn đường tên lửa, chỉ thị mục tiêu và hệ thống chống phương tiện bay không người lái (UAV). Mục tiêu của bài toán là xác định vị trí và kích thước của một đối tượng mục tiêu chưa biết trước trong các khung hình tiếp theo của video khi chỉ có trạng thái khởi tạo ở khung hình đầu tiên.

Mặc dù đã có nhiều mô hình được nghiên cứu, bài toán theo bám đối tượng vẫn đối mặt với các thách thức lớn trong môi trường thực tế, bao gồm: đối tượng bị che lấp (Occlusion - OCC), thay đổi tỷ lệ (Scale Variation - SV), biến dạng (Deformation - DEF), chuyển động nhanh (Fast Motion - FM), mờ chuyển động (Motion Blur - MB), thay đổi độ sáng (Illumination Variation - IV), nền lộn xộn (Background Clutter - BC) và đối tượng có độ phân giải thấp (Low Resolution - LR). Các mô hình theo bám dựa trên kiến trúc mạng Siamese (Siamese Neural Network - SNN) thể hiện ưu thế về sự cân bằng giữa hiệu suất và tốc độ xử lý. Tuy nhiên, các kỹ thuật Siamese hiện hành vẫn tồn tại các khoảng trống kỹ thuật:

  1. Việc phụ thuộc vào khung neo (anchor-based) làm tăng độ phức tạp tính toán, đòi hỏi điều chỉnh nhiều siêu tham số và hạn chế khả năng tổng quát hóa với các đối tượng có hình dạng biến đổi bất quy tắc.
  2. Các phép kết hợp đặc trưng truyền thống (như tương quan chéo thông thường hoặc tương quan chéo sâu) chưa khai thác đầy đủ mối tương tác ngữ cảnh hai chiều giữa nhánh ảnh mẫu (template) và nhánh tìm kiếm (search area).
  3. Cơ chế tự tập trung chuẩn (softmax attention) trong các mạng chuyển đổi (Transformer) có độ phức tạp tính toán bậc hai $O(T^2)$ theo độ dài chuỗi biểu diễn, gây khó khăn cho việc xử lý thời gian thực trên các hệ thống có tài nguyên tính toán giới hạn.
  4. Độ chính xác theo bám trong các điều kiện ảnh nhiệt/hồng ngoại (chẳng hạn như dữ liệu chống UAV) còn thấp do đặc tính tương phản kém và thiếu thông tin kết cấu màu sắc.

Xuất phát từ các khoảng trống nghiên cứu trên, luận án xác định các mục tiêu nghiên cứu cụ thể được đánh số như sau:

  • Mục tiêu 1: Đề xuất xây dựng mô hình học sâu TrackingUAV dựa trên kiến trúc mạng Siamese để theo bám chuyển động của UAV trong video chống UAV hồng ngoại, áp dụng chiến thuật huấn luyện, hàm mất mát và kiến trúc mạng trích chọn đặc trưng cải tiến trên bộ dữ liệu Anti-UAV.
  • Mục tiêu 2: Đề xuất xây dựng mô hình học sâu thời gian thực SiamAPN và SiamAAM dựa trên kiến trúc Siamese, tích hợp cơ chế tập trung (attention) để tăng cường và kết hợp đặc trưng hai nhánh, đồng thời sử dụng mạng dự đoán không dùng khung neo (anchor-free).
  • Mục tiêu 3: Đề xuất mô hình học sâu thời gian thực SiamTLT dựa trên kiến trúc Siamese sử dụng mạng chuyển đổi nhẹ (lightweight Transformer) với cơ chế tập trung tuyến tính kết hợp mạng dự đoán không dùng khung neo.
  • Mục tiêu 4: Đề xuất mô hình TrackerLT sử dụng mạng chuyển đổi tuyến tính để tinh chỉnh và nâng cao hiệu năng theo bám của một trình theo bám cơ sở.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các bộ dữ liệu huấn luyện và đánh giá mô hình theo bám đơn đối tượng trong video (Anti-UAV, OTB100, UAV123, VOT2018, VOT2019, GOT-10k, LaSOT); các phương pháp và chỉ số đo lường hiệu năng/độ chính xác theo bám; các mô hình học sâu bán giám sát và học sâu đầu-cuối dựa trên kiến trúc mạng Siamese.
  • Phạm vi nghiên cứu: Luận án tập trung vào các phương pháp học sâu theo bám đơn đối tượng trong video kỹ thuật số và video hồng ngoại; nghiên cứu các kỹ thuật tối ưu hóa mô-đun tăng cường đặc trưng, cơ chế tập trung tuyến tính và kỹ thuật dự đoán hộp giới hạn không dùng khung neo. Luận án được thực hiện và bảo vệ tại Viện Khoa học và Công nghệ Quân sự, Hà Nội năm 2023.

Tổng quan tài liệu và vị trí của luận án

Trong bức tranh tổng thể của bài toán theo bám đối tượng trực quan, các nghiên cứu được phân loại thành hai nhóm chính:

1. Các phương pháp học máy truyền thống

Các phương pháp truyền thống dựa trên việc trích xuất đặc trưng thủ công kết hợp mô hình chuyển động và ngoại hình:

  • Bộ lọc tương quan phân biệt (Discriminative Correlation Filters - DCF): Khởi xướng bởi Bolme và cộng sự (MOSSE, 2010), Henriques và cộng sự (CSK, 2012; KCF, 2015), sử dụng biến đổi Fourier nhanh để tối ưu hóa việc phân loại mục tiêu trên miền tần số.
  • Mô hình đặc trưng thủ công: Sử dụng biểu đồ hướng gradient (HOG) của Dalal và Triggs (2005), tên màu sắc (Color Names - CN) của Danelljan và cộng sự (2014), hoặc các kỹ thuật so khớp điểm đặc trưng cục bộ như SIFT (Lowe, 2004), SURF (Bay và cộng sự, 2006), KAZE (Alcantarilla và cộng sự, 2012), AKAZE (Alcantarilla và cộng sự, 2013).
  • Đặc điểm: Các thuật toán này đạt tốc độ tính toán cao trên CPU nhưng khả năng thích ứng kém khi đối tượng bị biến dạng mạnh, che lấp hoặc thay đổi điều kiện chiếu sáng.

2. Các phương pháp dựa trên học sâu

  • Phương pháp dựa trên CNN và mạng tùy chỉnh: MDNet (Nam và Han, ECCV 2016) đề xuất mô hình học đa miền; ECO (Danelljan và cộng sự, CVPR 2017) tối ưu hóa số lượng tham số trong DCF; RT-MDNet (Jung và cộng sự, ECCV 2018) cải tiến RoIAlign và tích chập giãn cách; ATOM (Danelljan và cộng sự, CVPR 2019) tách biệt mô-đun phân loại trực tuyến và ước tính mục tiêu ngoại tuyến; DiMP (Bhat và cộng sự, CVPR 2019) tối ưu hóa mô hình mục tiêu phân biệt đầu-cuối; Meta-Updater (Dai và cộng sự, CVPR 2020) áp dụng siêu học tập để kiểm soát việc cập nhật khung hình; PrDiMP (Danelljan và cộng sự, CVPR 2020) áp dụng hồi quy xác suất; KYS (Bhat và cộng sự, ECCV 2020) khai thác thông tin bối cảnh của cảnh quay.
  • Phương pháp dựa trên kiến trúc mạng Siamese: SiamFC (Bertinetto và cộng sự, ECCV 2016) đặt nền móng cho việc so khớp mẫu bằng hàm tương quan chéo; SiamRPN (Li và cộng sự, CVPR 2018) đưa mạng đề xuất vùng vào nhánh Siamese; DaSiamRPN (Zhu và cộng sự, ECCV 2018) bổ sung chiến lược huấn luyện chống phân tâm và cơ chế tìm kiếm mở rộng; SiamRPN++ (Li và cộng sự, CVPR 2019) sử dụng ResNet-50 cải tiến với tích chập giãn cách và tương quan chéo sâu theo kênh (DW-Xcorr); SiamBAN (Chen và cộng sự, CVPR 2020) và SiamCAR (Guo và cộng sự, CVPR 2020) phát triển hướng tiếp cận không dùng khung neo để hồi quy trực tiếp vị trí đối tượng.
  • Mạng chuyển đổi (Transformer) và cơ chế tập trung tuyến tính: Mạng chuyển đổi gốc của Vaswani và cộng sự (2017) áp dụng cơ chế tự tập trung softmax; các nghiên cứu của Katharopoulos và cộng sự (2020), Schlag và cộng sự (2021) đề xuất các hàm ánh xạ nhân để đưa độ phức tạp của cơ chế tập trung về dạng tuyến tính.

Khoảng trống luận án lựa chọn giải quyết

Từ việc phân tích các công trình trên, luận án tập trung giải quyết các vấn đề:

  1. Giảm thiểu chi phí tính toán và loại bỏ các giả định tiên nghiệm cứng nhắc của cơ chế khung neo trong mạng Siamese bằng cách thiết kế các đầu dự đoán phân loại và hồi quy dạng điểm/anchor-free.
  2. Thiết kế các mô-đun tập trung không gian và tập trung kênh để tăng cường biểu diễn đặc trưng trước và trong quá trình kết hợp thông tin giữa nhánh mẫu và nhánh tìm kiếm.
  3. Thay thế cơ chế tập trung softmax bậc hai bằng các cơ chế tập trung tuyến tính trong kiến trúc mạng chuyển đổi nhằm tạo ra các mô hình theo bám thời gian thực đạt độ chính xác cao trên các tập dữ liệu video tiêu chuẩn và video chống UAV hồng ngoại.

Cơ sở lý thuyết và phương pháp nghiên cứu

1. Cơ sở lý thuyết và khung phân tích

  • Định nghĩa toán học của bài toán theo bám: Cho chuỗi video $V = [I_1, I_2, \dots, I_T]$, khung hình ban đầu $I_1$ có nhãn khung bao $b_1$. Nhiệm vụ là xác định $b_t$ cho các khung hình $t \ge 2$ thông qua hàm tối ưu hóa cực tiểu hàm mất mát tổng quát: $$L(w) = \sum_{j=1}^m \gamma_j r(f(x_j; w) - y_j) + \sum_k \lambda_k |w_k|_2^2$$
  • Kiến trúc mạng Siamese: Mô hình gồm hai nhánh đồng dạng với trọng số chia sẻ $\varphi(\cdot)$, nhận đầu vào là ảnh mẫu $z$ (kích thước $127 \times 127$ pixel) và vùng ảnh tìm kiếm $x$ (kích thước $255 \times 255$ pixel). Phép kết hợp đặc trưng được thực hiện qua toán tử tương quan: $$f(z, x) = \varphi(z) \star \varphi(x)$$
  • Cơ chế tập trung tuyến tính (Linear Attention): Thay vì tính toán ma trận tương đồng softmax bậc hai $\text{Softmax}\left(\frac{QK^T}{\sqrt{D}}\right)V$ với độ phức tạp $O(T^2)$, cơ chế tuyến tính hóa sử dụng hàm nhân $\kappa'(Q, K) = \phi(Q)\phi(K)^T$ để tính toán $\phi(Q)(\phi(K)^T V)$ với độ phức tạp $O(T)$, sử dụng các ánh xạ đặc trưng như $\phi_i(x) = \text{elu}(x_i) + 1$ hoặc ánh xạ trực giao bậc hai của Schlag và cộng sự: $$\phi_{i+2(j-1)D}(x) = \text{ReLU}([x, -x])i \cdot \text{ReLU}([x, -x]){i+1}$$
  • Khung phân loại và hồi quy không dùng khung neo (Anchor-free): Kế thừa nguyên lý từ FCOS, mạng dự đoán trực tiếp vectơ khoảng cách 4 chiều $(l, t, r, b)$ từ vị trí điểm ảnh $(x, y)$ tới 4 cạnh của khung bao quanh mục tiêu, kết hợp cùng điểm đánh giá mức độ trung tâm (centerness).

2. Phương pháp nghiên cứu thực nghiệm

  • Phương pháp huấn luyện và tối ưu: Huấn luyện mô hình từ đầu đến cuối (end-to-end) bằng thuật toán Hạ gradient ngẫu nhiên (SGD) và thuật toán Adam. Sử dụng hàm mất mát kết hợp: hàm mất mát phân loại (Cross-Entropy/Focal Loss), hàm mất mát hồi quy khung bao (Smooth $L_1$, IoU Loss) và hàm mất mát trung tâm (Centerness Loss).
  • Các chỉ số đánh giá thực nghiệm:
    • Độ chính xác vị trí tâm (Center Location Error - CLE): Khoảng cách Euclide $\delta_t = |x_{gt} - x_p|$, xếp hạng tại ngưỡng khoảng cách 20 pixel.
    • Tỷ lệ thành công (Success Rate - SR) và diện tích dưới đường cong (AUC): Đánh giá qua tỷ lệ diện tích giao trên diện tích hợp (Intersection over Union - IoU).
    • Độ chồng chéo trung bình dự kiến (Expected Average Overlap - EAO), Độ chính xác (Accuracy - A), Độ bền vững (Robustness - R): Áp dụng theo chuẩn đánh giá của các cuộc thi VOT.
    • Tỷ lệ khung hình trên giây (Frames Per Second - FPS): Đánh giá tốc độ xử lý thời gian thực (chuẩn thời gian thực $\ge 30$ FPS).

3. Nguồn dữ liệu thực nghiệm

Luận án sử dụng 7 bộ dữ liệu chuẩn quốc tế để huấn luyện và đánh giá:

Bộ dữ liệu Số lượng video (NoV) Số khung hình (NoF) Số lớp (NoC) Độ dài trung bình (AD) Số thuộc tính (NoA) Thuộc tính thách thức chính
Anti-UAV 100 - 3 - 8 IV, SV, OCC, MB, FM, OV, BC, LR
OTB100 100 59K 16 19,8s 11 IV, SV, OCC, DEF, MB, FM, IPR, OPR, OV, BC, LR
UAV123 123 113K 9 30,6s 12 IV, SV, FM, OV, BC, LR, ARC, CM, FCM, FOC, POC, SIB, VC
VOT2018 60 21K 24 12,0s 12 IV, SV, OCC, DEF, MB, BC, ARC, CM, MOC, OCO, SCO, AM
VOT2019 60 - - - - Tương tự VOT2018 với chuỗi đánh giá cập nhật
GOT-10k 10.000 1,5M 563 16,0s 6 IV, SV, OCC, FM, ARC, LO
LaSOT 1.400 3,5M 70 3,3s 14 IV, SV, DEF, MB, FM, OV, BC, LR, ARC, CM, FOC, POC, VC, ROT

Nội dung chính theo từng chương

Chương 1. Tổng quan về bài toán theo bám đơn đối tượng

Chương 1 hệ thống hóa cơ sở lý luận và bức tranh tổng quan về bài toán theo bám đơn đối tượng trong video:

  • Mô tả chi tiết 11 thách thức phổ biến trong xử lý video thực tế: thay đổi độ sáng (IV), thay đổi tỷ lệ (SV), bị che lấp (OCC), biến dạng (DEF), mờ chuyển động (MB), chuyển động nhanh (FM), xoay trong mặt phẳng (IPR), xoay ngoài mặt phẳng (OPR), ngoài tầm nhìn (OV), nền lộn xộn (BC) và độ phân giải thấp (LR).
  • Trình bày công thức toán học xác định các thước đo đánh giá: điểm chính xác trung bình (acc) trên bộ Anti-UAV theo công thức: $$\text{acc} = \frac{1}{T}\sum_{t} \left(\text{IoU}_t \times \delta(\nu_t > 0) + p_t (1 - \delta(\nu_t > 0))\right)$$ chỉ số điểm chồng chéo $S$, độ bền vững $R$, điểm EAO, biểu đồ độ chính xác dựa trên sai số khoảng cách tâm và biểu đồ tỷ lệ thành công dựa trên đường cong AUC.
  • Phân tích ưu nhược điểm của các nhóm phương pháp: phương pháp truyền thống (DCF, KCF), phương pháp CNN phân lớp đa miền (MDNet, RT-MDNet), phương pháp meta-learning (ATOM, DiMP) và các mô hình mạng Siamese (SiamFC, SiamRPN, SiamRPN++, SiamBAN, SiamCAR).
  • Xác lập cơ sở khoa học để luận án tập trung phát triển các mô hình Siamese cải tiến không dùng khung neo, tích hợp cơ chế tập trung và mạng chuyển đổi tuyến tính.

Chương 2. Đề xuất mô hình học sâu theo bám đối tượng sử dụng kiến trúc mạng Siamese

Chương 2 trình bày ba mô hình đề xuất dựa trên kiến trúc mạng Siamese:

  1. Mô hình TrackingUAV (Theo bám UAV trong video hồng ngoại):

    • Kiến trúc: Sử dụng mạng tích chập ResNet-50 đã tinh chỉnh (thay đổi stride bằng 1 và tăng dilation rate ở khối conv4 và conv5 nhằm giữ độ phân giải không gian của bản đồ đặc trưng).
    • Xử lý dữ liệu: Tích hợp các chiến thuật tăng cường dữ liệu đặc thù cho ảnh nhiệt và hàm mất mát kết hợp phân loại - hồi quy nhằm tối ưu khả năng phát hiện các mục tiêu UAV kích thước nhỏ, chuyển động nhanh và độ tương phản thấp.
    • Kết quả thực nghiệm: Được kiểm chứng trên bộ dữ liệu Anti-UAV, mô hình cải thiện khả năng định vị mục tiêu trong các điều kiện bay ngày và đêm.

  2. Mô hình SiamAPN (Thời gian thực, sử dụng cơ chế tập trung và không dùng khung neo):

    • Mô-đun tăng cường đặc trưng tập trung (AFE/FEM): Sử dụng cơ chế tập trung không gian và kênh để làm nổi bật các đặc trưng quan trọng của ảnh mẫu $z$ và ảnh tìm kiếm $x$ trước khi đưa vào tính tương quan.
    • Mạng dự đoán không dùng khung neo (Anchor-free): Bỏ cấu trúc tạo khung neo phức tạp của RPN truyền thống; thay vào đó, sử dụng đầu hồi quy trực tiếp khoảng cách biên và nhánh phân loại điểm ảnh, giảm khối lượng tham số tính toán.

  3. Mô hình SiamAAM (Tăng cường và kết hợp đặc trưng hai nhánh Siamese):

    • Mô-đun kết hợp đặc trưng dựa trên tập trung (Attention-based Feature Aggregation Module): Thiết lập cơ chế trao đổi thông tin chéo hai chiều, cho phép đặc trưng của nhánh mẫu định hướng vùng chú ý trên nhánh tìm kiếm một cách chi tiết.
    • Mạng dự đoán khung bao: Tích hợp cơ chế chấm điểm trung tâm (centerness) để loại bỏ các khung bao dự đoán có tâm lệch xa đối tượng thực tế.

  4. Kết quả đánh giá thực nghiệm của SiamAPN và SiamAAM:

    • Thực nghiệm trên các bộ dữ liệu UAV123, VOT2018 và OTB100 chứng minh cả hai mô hình đạt hiệu năng cao vượt các mô hình cơ sở cùng thời điểm và duy trì tốc độ xử lý vượt ngưỡng thời gian thực (>30 FPS).
    • Các phân tích thành phần (Ablation study) trên bộ dữ liệu OTB100 và VOT2018 xác nhận đóng góp rõ rệt của mô-đun tăng cường đặc trưng AFE và đầu hồi quy anchor-free trong việc cải thiện điểm AUC và EAO.

Chương 3. Đề xuất mô hình học sâu theo bám đối tượng sử dụng mạng chuyển đổi tuyến tính

Chương 3 trình bày các cải tiến ứng dụng mạng chuyển đổi tuyến tính trong kiến trúc Siamese:

  1. Mô hình SiamTLT (Theo bám thời gian thực sử dụng mạng chuyển đổi tuyến tính):

    • Mô-đun kết hợp đặc trưng nhẹ: Ứng dụng cấu trúc chuyển đổi tuyến tính (Linear Transformer) nhằm khắc phục điểm nghẽn tính toán của Transformer truyền thống. Việc tuyến tính hóa ma trận tập trung giúp giảm độ phức tạp từ $O(T^2)$ xuống $O(T)$, cho phép mô hình thu nhận tương tác ngữ cảnh tầm xa mà vẫn đạt tốc độ xử lý nhanh.
    • Quá trình theo bám: Kết hợp đầu dự đoán không dùng khung neo để xuất ra trực tiếp tọa độ hộp giới hạn và điểm tin cậy mục tiêu.

  2. Mô hình TrackerLT (Nâng cao độ chính xác bằng mạng chuyển đổi hình ảnh tuyến tính):

    • Cấu trúc mô-đun tăng cường đặc trưng: Bao gồm $L$ lớp tự mã hóa (Self-Encoder Layer - SEL/SAL) liên tiếp nhằm tinh lọc đặc trưng nội tại của từng nhánh, kết hợp với $L$ lớp mã hóa chéo (Cross-Encoder Layer - CEL/CAL) để thực hiện giao tiếp đặc trưng sâu giữa mẫu và vùng tìm kiếm.
    • Cơ chế tinh chỉnh cho trình theo bám cơ sở: TrackerLT được thiết kế như một mạng tinh chỉnh (refinement network), tiếp nhận đầu ra của một trình theo bám cơ sở (như TrackingUAV hoặc DiMP) để tái đánh giá và điều chỉnh khung bao dự đoán với độ chính xác cao hơn.

  3. Cài đặt thực nghiệm và đánh giá kết quả của SiamTLT và TrackerLT:

    • Đánh giá trên 6 bộ dữ liệu quy mô lớn và đa dạng: VOT2018, VOT2019, UAV123, OTB100, LaSOT, GOT-10k và Anti-UAV.
    • Thực nghiệm trên VOT2018: Đánh giá với các biến thể số lớp $L$ (cho thấy cấu hình $L=2$ mang lại sự cân bằng tối ưu giữa độ chính xác và chi phí tính toán) và so sánh các dạng kết hợp đặc trưng khác nhau.
    • Thực nghiệm trên UAV123 và OTB100: SiamTLT và TrackerLT đạt điểm số thành công và chính xác vượt trội ở các thuộc tính phức tạp như chuyển động nhanh (FM), nền lộn xộn (BC) và thay đổi tỷ lệ (SV).
    • Thực nghiệm trên GOT-10k và LaSOT: TrackerLT cho thấy khả năng theo bám dài hạn ổn định, đạt điểm chồng chéo trung bình (AO) và tỷ lệ thành công (SR) cao.
    • Thực nghiệm trên Anti-UAV: Khi kết hợp TrackerLT để tinh chỉnh cho trình theo bám cơ sở TrackingUAV, hiệu năng theo bám tổng thể trên các video hồng ngoại được cải thiện rõ rệt so với mô hình ban đầu.

Kết quả và những đóng góp mới

1. Đóng góp về mặt khoa học và lý luận

Luận án đã đề xuất 03 đóng góp khoa học chính trong lĩnh vực thị giác máy tính:

  • Đóng góp 1: Đề xuất và phát triển các kỹ thuật cải tiến mạng Siamese ứng dụng cơ chế tập trung (AFE) kết hợp với mạng phân loại và hồi quy không dùng khung neo (anchor-free). Giải pháp này loại bỏ sự phụ thuộc vào khung neo mẫu, giảm thiểu số lượng tham số cần tối ưu và tăng cường khả năng thích ứng với sự thay đổi hình dạng của mục tiêu.
  • Đóng góp 2: Đề xuất ứng dụng cấu trúc mạng chuyển đổi nhẹ (Lightweight Transformer) với cơ chế tự tập trung tuyến tính trên nền tảng mạng Siamese (mô hình SiamTLT), giải quyết triệt để vấn đề độ phức tạp tính toán bậc hai của Transformer chuẩn, cho phép thực thi theo bám ngữ cảnh sâu trong điều kiện thời gian thực.
  • Đóng góp 3: Đề xuất kiến trúc mạng chuyển đổi hình ảnh tuyến tính nhiều tầng (gồm các lớp tự mã hóa và mã hóa chéo) tích hợp trong mô hình TrackerLT, cung cấp giải pháp tinh chỉnh giúp nâng cao hiệu năng và độ chính xác của các trình theo bám cơ sở (áp dụng thành công cho mô hình TrackingUAV trên tập dữ liệu Anti-UAV và mô hình DiMP trên các tập dữ liệu chuẩn).

2. Đóng góp về mặt thực tiễn và ứng dụng

  • Xây dựng thành công các mô hình học sâu hoàn chỉnh (TrackingUAV, SiamAPN, SiamAAM, SiamTLT, TrackerLT) có mã nguồn và trọng số thực nghiệm được công bố, phục vụ cộng đồng nghiên cứu theo bám đối tượng (VOT) tham chiếu và so sánh.
  • Các mô hình đề xuất đạt tốc độ xử lý thời gian thực ($\ge 30$ FPS) trên thiết bị phần cứng thực nghiệm, có khả năng tích hợp trực tiếp vào các hệ thống phần mềm và thiết bị giám sát quang điện tử.
  • Đóng góp giải pháp trực tiếp cho bài toán nhận dạng, chỉ thị mục tiêu và giám sát chống phương tiện bay không người lái (Anti-UAV) thông qua chuỗi video ảnh nhiệt/hồng ngoại phục vụ an ninh và quân sự.

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế của đề tài

  • Luận án tập trung giải quyết bài toán theo bám đơn đối tượng (Single Object Tracking - SOT), chưa mở rộng sang bài toán theo bám đồng thời nhiều đối tượng (Multiple Object Tracking - MOT) trong các môi trường có mật độ mục tiêu dày đặc.
  • Đối với các tình huống đối tượng biến mất hoàn toàn khỏi tầm nhìn (Out-of-View) trong thời gian dài rồi xuất hiện lại ở vị trí ngẫu nhiên, mô hình vẫn cần dựa vào các chiến lược tìm kiếm mở rộng toàn cục vốn làm suy giảm tốc độ xử lý tạm thời.
  • Việc huấn luyện các mô hình chuyển đổi trên các tập dữ liệu quy mô lớn (như LaSOT và GOT-10k) đòi hỏi hạ tầng tính toán GPU công suất lớn trong thời gian dài.

2. Hướng nghiên cứu tiếp

  • Nghiên cứu tối ưu hóa, nén mô hình và lượng tử hóa trọng số (Quantization) các mạng chuyển đổi tuyến tính để triển khai trực tiếp trên các hệ thống vi xử lý nhúng công suất thấp đặt trên bo mạch máy bay không người lái nhỏ gọn.
  • Phát triển cơ chế cập nhật trực tuyến (Online Adaptation/Meta-learning) thích nghi nhẹ để mô hình tự hiệu chỉnh biểu diễn đối tượng trong các video có độ dài rất lớn mà không bị trôi dạt mục tiêu (drift).
  • Mở rộng kiến trúc mạng Siamese chuyển đổi tuyến tính cho bài toán theo bám đa phương thức (kết hợp đồng thời dữ liệu quang học RGB và dữ liệu ảnh nhiệt hồng ngoại Thermal).

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu và hữu ích cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên: Chuyên ngành Cơ sở toán học cho tin học, Khoa học máy tính, Công nghệ thông tin và Kỹ thuật điều khiển - Tự động hóa. Nội dung luận án cung cấp tài liệu toàn diện về phương pháp toán học tuyến tính hóa Transformer (Chương 1, Chương 3), nguyên lý mạng Siamese và các thước đo chuẩn mực quốc tế trong thị giác máy tính.
  • Kỹ sư và chuyên gia nghiên cứu phát triển (R&D): Các kỹ sư phát triển hệ thống xử lý ảnh thông minh, xe tự hành, camera AI giám sát giao thông và an ninh trật tự. Phần thiết kế mạng anchor-free và mô-đun tập trung tuyến tính thời gian thực (Chương 2, Chương 3) là tài liệu trực tiếp để xây dựng các thuật toán tracking nhúng.
  • Các đơn vị kỹ thuật quốc phòng và an ninh: Tham khảo trực tiếp cấu trúc mô hình TrackingUAV và bộ tham số thực nghiệm trên video hồng ngoại để ứng dụng trong các hệ thống trinh sát quang điện tử, đài quan sát chống UAV và khí tài dẫn đường.

Câu hỏi thường gặp

1. Tại sao luận án lại lựa chọn tiếp cận bài toán theo bám theo kiến trúc Siamese không dùng khung neo (Anchor-free)?

Các mô hình Siamese truyền thống sử dụng mạng đề xuất vùng (như SiamRPN, SiamRPN++) dựa trên các khung neo được định nghĩa trước với nhiều tỷ lệ và kích thước cố định tại mỗi điểm ảnh. Cách tiếp cận này làm phát sinh số lượng lớn khung ứng viên ($whnm$ khung), làm tăng độ phức tạp tính toán và nhạy cảm với việc chọn siêu tham số. Phương pháp anchor-free (như trong SiamAPN, SiamCAR, FCOS) dự đoán trực tiếp vectơ khoảng cách 4 chiều $(l, t, r, b)$ từ vị trí điểm ảnh đến các cạnh khung bao và điểm trung tâm, giúp giảm số lượng khung dự đoán xuống còn $wh$, giảm tải tính toán và nâng cao khả năng định vị các đối tượng biến dạng bất quy tắc.

2. Cơ chế tập trung tuyến tính (Linear Attention) trong SiamTLT và TrackerLT giải quyết hạn chế gì của mạng Transformer chuẩn?

Cơ chế tự tập trung chuẩn sử dụng hàm softmax có độ phức tạp tính toán và bộ nhớ là $O(T^2)$ với $T$ là độ dài chuỗi véc-tơ đặc trưng, khiến mô hình khó xử lý thời gian thực trên video độ phân giải cao. Bằng cách áp dụng các hàm nhân ánh xạ đặc trưng $\phi(\cdot)$ (như hàm của Katharopoulos hoặc ánh xạ trực giao của Schlag và cộng sự), ma trận tập trung được tính theo thứ tự $\phi(Q)(\phi(K)^T V)$, chuyển đổi độ phức tạp về dạng tuyến tính $O(T)$. Điều này cho phép mô hình khai thác tương tác tầm xa giữa nhánh mẫu và nhánh tìm kiếm mà vẫn đảm bảo tốc độ vượt ngưỡng thời gian thực (>30 FPS).

3. Mô hình TrackingUAV được thiết kế với những cải tiến gì để xử lý video chống UAV hồng ngoại?

TrackingUAV được thiết kế chuyên biệt cho bộ dữ liệu Anti-UAV với các đặc trưng:

  • Tinh chỉnh mạng ResNet-50 bằng cách đặt stride bằng 1 và tăng dilation rate ở các khối tích chập sau nhằm duy trì kích thước không gian bản đồ đặc trưng cho các đối tượng UAV nhỏ.
  • Áp dụng các kỹ thuật tăng cường dữ liệu thích ứng với đặc tính ảnh nhiệt (độ tương phản thấp, thiếu màu sắc, chuyển động mờ).
  • Tối ưu hóa hàm mất mát kết hợp giữa phân loại và hồi quy khung bao để phân biệt UAV với nền mây, núi, tòa nhà trong cả điều kiện quay ngày và đêm.

4. Các thước đo chính nào được sử dụng để đánh giá các mô hình trong luận án?

Luận án sử dụng các hệ thống chỉ số chuẩn tùy theo từng bộ dữ liệu:

  • Trên Anti-UAV: Điểm chính xác trung bình (acc) tích hợp giữa IoU khung hình có đối tượng và độ chính xác khi đối tượng ra khỏi khung nhìn.
  • Trên OTB100, UAV123, LaSOT: Biểu đồ độ chính xác vị trí tâm (Precision plot tại ngưỡng 20 pixel) và biểu đồ tỷ lệ thành công (Success plot tính theo diện tích dưới đường cong AUC).
  • Trên VOT2018, VOT2019: Điểm chính xác (Accuracy - A), Độ bền vững (Robustness - R) và Độ chồng chéo trung bình dự kiến (EAO).
  • Trên GOT-10k: Điểm chồng chéo trung bình (AO) và Tỷ lệ thành công ($SR_{0.50}, SR_{0.75}$).
  • Tốc độ thực thi: Tỷ lệ khung hình trên giây (FPS).

5. Vai trò của mô hình TrackerLT đối với các trình theo bám cơ sở là gì?

TrackerLT được thiết kế như một mạng tinh chỉnh sử dụng cấu trúc Transformer hình ảnh tuyến tính gồm các lớp tự mã hóa (SEL) và mã hóa chéo (CEL). Mô hình nhận đầu vào là các đặc trưng và dự đoán thô từ một trình theo bám cơ sở (chẳng hạn như TrackingUAV hoặc DiMP), sau đó thực hiện tăng cường đặc trưng hai nhánh và tinh chỉnh lại khung giới hạn, giúp nâng cao độ chính xác và điểm số thành công tổng thể trên các chuỗi video phức tạp.

Kết luận

Luận án tiến sĩ toán học của nghiên cứu sinh Hoàng Đình Thắng đã giải quyết bài toán theo bám đơn đối tượng trong video thông qua việc phát triển các kỹ thuật học sâu dựa trên kiến trúc mạng Siamese. Luận án đã đề xuất thành công các mô hình SiamAPN, SiamAAM, SiamTLT, TrackerLT và mô hình chuyên dụng TrackingUAV thông qua việc kết hợp cơ chế tập trung tuyến tính, mạng chuyển đổi nhẹ và kiến trúc dự đoán không dùng khung neo. Các kết quả thực nghiệm toàn diện trên 7 bộ dữ liệu chuẩn (Anti-UAV, OTB100, UAV123, VOT2018, VOT2019, GOT-10k, LaSOT) đã chứng minh tính đúng đắn, hiệu năng cao và khả năng xử lý thời gian thực của các phương pháp đề xuất. Công trình đóng góp giá trị khoa học về mặt lý thuyết mô hình hóa thị giác máy tính và mở ra khả năng ứng dụng thực tế trong các hệ thống giám sát an ninh và thiết bị phòng thủ chống phương tiện bay không người lái.