Tổng quan luận án

Tính cấp thiết của đề tài

Thị giác máy tính (Computer Vision - CV) là một lĩnh vực thuộc trí tuệ nhân tạo (AI), cho phép máy tính thu thập, sàng lọc, phân tích và trích xuất thông tin từ hình ảnh hoặc video kỹ thuật số nhằm nhận biết và hành động dựa trên nội dung trực quan. Theo bám đơn đối tượng (Visual Object Tracking - VOT) trong video là một nhiệm vụ cơ bản, có vai trò ước tính quỹ đạo và trạng thái của mục tiêu chưa xác định trong toàn bộ chuỗi khung hình khi chỉ được cung cấp trạng thái khởi tạo ở khung hình đầu tiên.

Bài toán theo bám đối tượng có phạm vi ứng dụng rộng lớn trong cả lĩnh vực dân sự và quân sự, bao gồm: xe tự hành, giám sát an ninh thông minh, điều hướng phẫu thuật, giao thông thông minh, tương tác người - máy, thực tế tăng cường, cũng như các nhiệm vụ trinh sát quân sự, chống máy bay không người lái (UAV), dẫn đường tên lửa và chỉ thị mục tiêu. Dù đã có nhiều bước tiến, bài toán theo bám đối tượng trong thực tế vẫn đối mặt với nhiều thách thức phức tạp như: đối tượng bị che lấp một phần hoặc hoàn toàn, thay đổi tỷ lệ khung hình, chuyển động nhanh, mờ chuyển động, biến dạng hình thể, xoay trong và ngoài mặt phẳng, lẫn với nền phức tạp, điều kiện ánh sáng thay đổi và độ phân giải thấp.

Các phương pháp truyền thống sử dụng đặc trưng thiết kế thủ công thường có chi phí tính toán thấp nhưng khả năng thích ứng kém trước các biến thể ngoại hình phức tạp. Ngược lại, các mô hình học sâu (Deep Learning) mang lại độ chính xác cao nhưng thường đòi hỏi khối lượng tính toán lớn. Trong số các kiến trúc học sâu, mạng nơ-ron Siamese (Siamese Neural Network - SNN) nổi lên như một hướng tiếp cận hiệu quả nhờ đạt được sự cân bằng tốt giữa độ chính xác và tốc độ xử lý thời gian thực. Xuất phát từ yêu cầu thực tiễn trong việc xây dựng các hệ thống giám sát an ninh và chỉ thị mục tiêu từ trên không cũng như trên mặt đất, luận án lựa chọn đề tài "Nghiên cứu, phát triển một số kỹ thuật theo bám đối tượng dựa trên kiến trúc mạng Siamese" thuộc chuyên ngành Cơ sở toán học cho tin học.

Khoảng trống nghiên cứu

Qua khảo sát các công trình trong và ngoài nước, tác giả xác định các khoảng trống nghiên cứu chính bao gồm:

  1. Cơ chế kết hợp và tăng cường đặc trưng giữa hai nhánh (nhánh mẫu và nhánh tìm kiếm) trong mạng Siamese truyền thống chủ yếu dựa trên các phép tương quan chéo đơn giản hoặc tương quan chéo sâu rộng (DW-Xcorr), chưa khai thác triệt để mối quan hệ tương tác ngữ cảnh hai chiều giữa mẫu đối tượng và vùng tìm kiếm.
  2. Cơ chế tự tập trung (Self-Attention) chuẩn sử dụng hàm Softmax có độ phức tạp tính toán bậc hai $O(T^2)$, tạo ra rào cản tính toán lớn khi tích hợp vào các hệ thống theo bám yêu cầu xử lý thời gian thực.
  3. Sự phụ thuộc vào các khung neo (anchor-based) trong các mạng đề xuất vùng (RPN) làm tăng số lượng siêu tham số cần điều chỉnh thủ công và gia tăng chi phí tính toán khi phải xử lý số lượng lớn khung ứng viên.
  4. Hiệu năng theo bám các mục tiêu chuyển động đặc thù (như UAV kích thước nhỏ, di chuyển nhanh trong video hồng ngoại ngày và đêm) còn hạn chế, đồng thời thiếu các cơ chế tinh chỉnh gọn nhẹ giúp nâng cao hiệu năng trực tiếp cho các mô hình theo bám cơ sở sẵn có.

Mục tiêu nghiên cứu

Mục tiêu tổng quát của luận án là nghiên cứu bài toán theo bám đơn đối tượng, từ đó phát triển một số kỹ thuật nhằm xây dựng các mô hình học sâu theo bám đối tượng dựa trên kiến trúc mạng Siamese, đánh giá thực nghiệm và đối sánh trên các bộ dữ liệu và độ đo chuẩn.

Các mục tiêu cụ thể được đánh số trong luận án bao gồm:

  1. Đề xuất xây dựng mô hình học sâu dựa trên kiến trúc Siamese theo bám chuyển động của UAV trong video chống UAV hồng ngoại (TrackingUAV), sử dụng các chiến thuật huấn luyện, hàm mất mát, kiến trúc trích chọn đặc trưng và chiến thuật suy luận nhằm giải quyết các thách thức của bộ dữ liệu Anti-UAV 2020.
  2. Đề xuất xây dựng mô hình học sâu dựa trên kiến trúc Siamese theo bám đối tượng sử dụng cơ chế tập trung (attention) và không dùng khung neo (anchor-free) thời gian thực (SiamAPN, SiamAAM).
  3. Đề xuất mô hình học sâu dựa trên kiến trúc Siamese theo bám đối tượng sử dụng mạng chuyển đổi nhẹ (lightweight-transformer) và không dùng khung neo (anchor-free) thời gian thực (SiamTLT).
  4. Đề xuất mô hình theo kiến trúc Siamese giúp cải thiện hiệu năng của một trình theo bám cơ sở (TrackerLT) bằng cách tinh chỉnh đặc trưng đầu vào để đạt kết quả dự đoán chính xác hơn.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu:
    • Các bộ dữ liệu chuẩn dùng để huấn luyện và đánh giá mô hình theo bám đơn đối tượng trong video (chứa các đối tượng: người, phương tiện xe cộ, máy bay không người lái, động vật và các vật thể khác).
    • Các phương pháp, chỉ số đánh giá độ chính xác và hiệu năng của bài toán theo bám đơn đối tượng.
    • Các phương pháp học sâu bán giám sát và học sâu đầu-cuối (end-to-end) cho bài toán theo bám đơn đối tượng.
  • Phạm vi nghiên cứu:
    • Nghiên cứu, đề xuất mô hình học sâu theo bám đơn đối tượng trong chuỗi video kỹ thuật số.
    • Nghiên cứu, đề xuất các kỹ thuật cải tiến kiến trúc mạng Siamese kết hợp cơ chế tập trung, mạng chuyển đổi tuyến tính và kỹ thuật không dùng khung neo nhằm nâng cao độ chính xác và đảm bảo tốc độ thời gian thực ($\ge 30$ FPS).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Luận án hệ thống hóa các phương pháp theo bám đối tượng trực quan theo hai giai đoạn phát triển chính:

  1. Nhóm phương pháp học máy truyền thống:

    • Các mô hình dựa trên bộ lọc tương quan phân biệt (DCF) do Danelljan và cộng sự [32], Henriques và cộng sự [52] phát triển; các phương pháp theo bám hình bóng [16], theo bám hạt nhân [106], theo bám điểm [42].
    • Các kỹ thuật so khớp điểm đặc trưng cục bộ: SIFT [38], SURF [107], KAZE [115], AKAZE [64].
    • Các đặc trưng thiết kế thủ công: Biểu đồ độ dốc có định hướng (HOG) của Dalal & Triggs [81], Tên-Màu (CN) của Danelljan và cộng sự [53].
    • Đặc điểm: Độ phức tạp tính toán thấp, phù hợp triển khai trên CPU hoặc thiết bị nhúng của UAV [28, 114], nhưng độ chính xác suy giảm mạnh khi đối tượng bị biến dạng hoặc nền phức tạp.

  2. Nhóm phương pháp dựa trên học sâu (Deep Learning):

    • Mạng nơ-ron tích chập (CNN): MDNet (Nam & Han, ECCV-2016) [39] áp dụng mạng học đa miền (multi-domain); ECO (Danelljan và cộng sự, CVPR-2017) [69] tối ưu hóa số lượng tham số và chiến lược cập nhật bộ lọc tương quan; RT-MDNet (Jung và cộng sự, ECCV-2018) [43] cải tiến tầng RoIAlign thích ứng với tích chập giãn cách ($r=3$).
    • Mạng nơ-ron tùy biến và siêu học tập (Meta-learning): ATOM (Danelljan và cộng sự, CVPR-2019) [70] tách biệt mô-đun ước tính mục tiêu ngoại tuyến và phân loại trực tuyến dùng hàm mất mát $L_2$; DiMP (Bhat và cộng sự, CVPR-2019) [30] tối ưu hóa mô hình dự đoán phân biệt từ đầu đến cuối; Meta-Updater (Dai và cộng sự, CVPR-2020) [60] quản lý việc cập nhật khung hình cho theo bám dài hạn; PrDiMP (Danelljan và cộng sự, CVPR-2020) [71] áp dụng hồi quy xác suất dựa trên độ phân kỳ Kullback-Leibler; KYS (Bhat và cộng sự, ECCV-2020) [31] lan truyền thông tin cảnh qua các véc-tơ trạng thái.
    • Mạng nơ-ron Siamese (SNN): SiamFC (Bertinetto và cộng sự, ECCV-2016) [65] thiết lập nền tảng so khớp tương quan chéo hai nhánh với tốc độ 58 FPS; SiamRPN (Li và cộng sự, CVPR-2018) [13] kết hợp mạng đề xuất vùng với AlexNet đạt 160 FPS; DaSiamRPN (Zhu và cộng sự, ECCV-2018) [123] bổ sung chiến lược huấn luyện phân biệt đối tượng gây nhiễu và mở rộng vùng tìm kiếm khi mất dấu; SiamRPN++ (Li và cộng sự, CVPR-2019) [14] tích hợp mạng đường trục ResNet-50 cải tiến và tương quan chéo sâu-rộng (DW-Xcorr); SiamBAN (Chen và cộng sự, CVPR-2020) [120] và SiamCAR (Guo và cộng sự, CVPR-2020) [23] chuyển đổi sang cấu trúc phân lớp và hồi quy không dùng khung neo (anchor-free).

Vị trí và khoảng trống luận án giải quyết

Luận án định vị nghiên cứu trong nhánh phát triển các mô hình theo bám dựa trên kiến trúc Siamese kết hợp học sâu hiện đại. Luận án tập trung giải quyết các bài toán chưa hoàn thiện ở các công trình đi trước:

  • Khắc phục sự suy giảm thông tin trong phép kết hợp đặc trưng của mạng Siamese bằng việc đưa vào mô-đun tăng cường đặc trưng tập trung (AFE) và mô-đun kết hợp đặc trưng chú ý không gian/kênh.
  • Giải quyết rào cản tính toán $O(T^2)$ của cơ chế tự tập trung chuẩn bằng cách ứng dụng cơ chế tự tập trung tuyến tính $O(T)$ với các hàm bản đồ đặc trưng thích hợp.
  • Thay thế hoàn toàn cơ chế khung neo bằng cấu trúc hồi quy tọa độ trực tiếp 4 chiều $(l, t, r, b)$ kết hợp điểm trung tâm (centerness), giảm số lượng tham số và tăng tốc độ xử lý.
  • Xây dựng giải pháp chuyên sâu cho bài toán phát hiện và theo bám UAV trong ảnh hồng ngoại chất lượng thấp, đồng thời thiết lập mô hình tinh chỉnh đặc trưng phổ quát cho các trình theo bám cơ sở.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  1. Kiến trúc mạng Siamese (SNN): Mô hình gồm hai nhánh mạng nơ-ron tích chập chia sẻ hoặc không chia sẻ trọng số: nhánh mẫu $z$ (kích thước nhỏ, chứa đối tượng cần theo dõi) và nhánh tìm kiếm $x$ (kích thước lớn hơn, đại diện cho vùng tìm kiếm trong khung hình hiện tại). Đặc trưng trích xuất qua hàm $\varphi(\cdot)$ được kết hợp qua toán tử tích hợp $\star$ để tạo bản đồ phản hồi: $$f(z, x) = \varphi(z) \star \varphi(x)$$ Mạng được huấn luyện bằng cách tối thiểu hóa hàm mất mát trên tập dữ liệu lớn: $$\arg\min_\theta \mathbb{E}_{(x, z, c)} \left[ \mathcal{L}(c, f(x, z; \theta)) \right]$$

  2. Cơ chế tập trung (Attention) và Tập trung tuyến tính (Linear Attention):

    • Với chuỗi véc-tơ đặc trưng $x \in \mathbb{R}^{T \times F}$, các biểu diễn $Q, K, V$ được tính qua ma trận chiếu $W_Q, W_K \in \mathbb{R}^{F \times D}$ và $W_V \in \mathbb{R}^{F \times M}$. Cơ chế tự tập trung chuẩn tính theo công thức: $$\text{SA}(x) = \text{softmax}\left(\frac{Q K^T}{\sqrt{D}}\right) V$$
    • Nhằm giảm độ phức tạp $O(T^2)$, cơ chế tập trung tuyến tính thay thế ma trận tập trung không chuẩn hóa bằng tích của các bản đồ đặc trưng: $\kappa'(Q, K) = \phi(Q) \phi(K)^T$. Biểu thức tự tập trung được tuyến tính hóa thành: $$V'i = \frac{\phi(Q_i) \left( \sum{j=1}^N \phi(K_j)^T V_j \right)}{\phi(Q_i) \sum_{j=1}^N \phi(K_j)^T}$$ Luận án áp dụng các hàm bản đồ đặc trưng như $\phi_i(x) = \text{elu}(x_i) + 1$ (Katharopoulos và cộng sự [8]) hoặc ánh xạ trực giao qua $\text{ReLU}([x, -x])$ (Schlag và cộng sự [44]).

  3. Cơ chế phát hiện đối tượng không dùng khung neo (Anchor-free): Dựa trên nguyên lý của FCOS [124] và VariFocalNet [34], mô hình loại bỏ bước tạo $w \times h \times n \times m$ khung neo. Tại mỗi vị trí điểm ảnh $(x, y)$ trên bản đồ đặc trưng tương ứng với vùng mục tiêu, mạng dự đoán trực tiếp véc-tơ 4 chiều $t = (l, t, r, b)$ tương ứng với khoảng cách từ điểm khảo sát tới 4 cạnh (trái, trên, phải, dưới) của khung bao thực tế, kết hợp nhánh phân lớp đối tượng và điểm trung tâm.

  4. Khung sườn trích chọn đặc trưng và giải thuật tối ưu:

    • Sử dụng các mạng ResNet-50 và AlexNet được hiệu chỉnh (điều chỉnh bước trượt stride $= 1$ ở các khối tích chập conv4, conv5, tăng tỷ lệ giãn cách atrous/dilated để giữ nguyên độ phân giải không gian của đặc trưng).
    • Tối ưu hóa mô hình bằng giải thuật Hạ gradient ngẫu nhiên (SGD) và Adam.

Phương pháp nghiên cứu thực nghiệm

  • Phương pháp nghiên cứu kết hợp giữa nghiên cứu lý thuyết mô hình toán học và kiểm chứng thực nghiệm mô phỏng.
  • Huấn luyện ngoại tuyến mô hình trên hệ thống máy chủ GPU với các tập dữ liệu quy mô lớn; đánh giá định lượng và so sánh đối sánh trực tiếp với các mô hình theo bám hiện đại nhất.
  • Đánh giá thông qua các chỉ số đo lường chuẩn mực:
    • Điểm chính xác trung bình (acc): Đánh giá sự hiện diện và độ trùng khớp IoU của mục tiêu: $$\text{acc} = \frac{1}{T} \sum_{t} \left( \text{IoU}_t \times \delta(\nu_t > 0) + p_t (1 - \delta(\nu_t > 0)) \right)$$
    • Điểm chính xác (Accuracy - A): Tỷ lệ diện tích chồng chéo trung bình $S = \frac{|g \cap p|}{|g \cup p|}$.
    • Điểm độ bền/thất bại (Robustness - R): Số lần mô hình bị mất dấu mục tiêu.
    • Điểm chồng chéo trung bình dự kiến (EAO): Chỉ số tổng hợp giữa độ chính xác và độ bền trên tập dữ liệu VOT.
    • Biểu đồ chính xác (Precision plot): Tính theo lỗi vị trí trung tâm (CLE) với ngưỡng $\le 20$ pixel: $\delta_t = |x_{gt} - x_{p}|$.
    • Biểu đồ thành công (Success plot): Diện tích dưới đường cong (AUC) khi quét ngưỡng IoU từ 0 đến 1.
    • Điểm chồng chéo trung bình (AO) và Tỷ lệ thành công ($SR_{0.50}, SR_{0.75}$).
    • Tốc độ khung hình (FPS): Đánh giá khả năng xử lý thời gian thực ($\ge 30$ FPS).

Nguồn dữ liệu nghiên cứu

Luận án sử dụng 7 bộ dữ liệu chuẩn trong thị giác máy tính và giám sát quang học:

Bộ dữ liệu Số lượng video (NoV) Số lượng khung hình (NoF) Số lớp đối tượng (NoC) Độ dài trung bình (AD) Số lượng thuộc tính (NoA) Các thuộc tính thách thức chính
Anti-UAV 100 - 3 - 8 IV, SV, OCC, MB, FM, OV, BC, LR
OTB100 100 59K 16 19,8s 11 IV, SV, OCC, DEF, MB, FM, IPR, OPR, OV, BC, LR
UAV123 123 113K 9 30,6s 12 IV, SV, FM, OV, BC, LR, ARC, CM, FCM, FOC, POC, SIB, VC
VOT2018 60 21K 24 12s 12 IV, SV, OCC, DEF, MB, BC, ARC, CM, MOC, OCO, SCO, AM
GOT-10K 10.000 1,5M 563 16s 6 IV, SV, OCC, FM, ARC, LO
LaSOT 1.400 3,3M 70 Dài (1K-11K frames) 14 IV, SV, DEF, MB, FM, OV, BC, LR, ARC, CM, FOC, POC, VC, ROT
VOT2019 - - - - - Phiên bản cập nhật của chuỗi dữ liệu thử thách VOT

(Ghi chú viết tắt thuộc tính: IV: Thay đổi ánh sáng; SV: Thay đổi tỷ lệ; OCC/FOC/POC: Che lấp; DEF: Biến dạng; MB: Mờ chuyển động; FM/FCM: Chuyển động nhanh; IPR/OPR/ROT: Xoay đối tượng; OV: Ra ngoài tầm nhìn; BC: Nền lộn xộn; LR: Độ phân giải thấp; ARC: Đổi tỷ lệ khung; CM/CS: Chuyển động/rung máy).

Nội dung chính theo từng chương

CHƯƠNG 1. TỔNG QUAN VỀ BÀI TOÁN THEO BÁM ĐƠN ĐỐI TƯỢNG

  • Định nghĩa toán học của bài toán: Với chuỗi video $V = [I_1, I_2, \dots, I_T]$ và khung bao khởi tạo ban đầu $b_1$ ở khung hình $I_1$, thuật toán theo bám thực hiện lặp qua từng khung hình $t \ge 2$ để xác định khung bao $b_t = \text{Track}(I_t)$ dựa trên thông tin mẫu ban đầu và các khung hình liền trước.
  • Phân loại và phân tích 11 nhóm thách thức phổ biến: Phân tích định lượng và biểu hiện trực quan của các hiện tượng: thay đổi độ sáng (IV), thay đổi tỷ lệ mục tiêu (SV với ngưỡng tỷ lệ thay đổi $t_s > 2$), che lấp hoàn toàn hoặc một phần (OCC), biến dạng cấu trúc (DEF), mờ chuyển động do camera rung lắc (MB), chuyển động nhanh giữa các khung hình kề nhau (FM với khoảng cách dịch chuyển $> t_m = 20$ pixel), xoay trong mặt phẳng (IPR), xoay ngoài mặt phẳng (OPR), đối tượng di chuyển ra khỏi tầm nhìn (OV), nền lộn xộn có vật thể tương tự gây nhiễu (BC), và độ phân giải thấp (LR với diện tích mục tiêu $< t_r = 400$ pixel).
  • Hệ thống hóa các chỉ số đo lường hiệu năng: Thiết lập các công thức toán học tính toán sai số vị trí tâm (CLE), tỷ lệ bao phủ giao trên hợp (IoU), điểm chính xác trung bình (acc), điểm chính xác (Accuracy), độ bền (Robustness), điểm chồng chéo trung bình dự kiến (EAO), điểm chồng chéo trung bình (AO), tỷ lệ thành công ($SR_{0.50}, SR_{0.75}$) và tốc độ khung hình (FPS).
  • Khảo sát chuyên sâu các công nghệ nền tảng: Phân tích nguyên lý hoạt động của các giải thuật tối ưu hóa (SGD, Adam); kiến trúc phát hiện đối tượng có khung neo (Faster R-CNN, SSD, YOLOv4) đối chiếu với các kiến trúc không dùng khung neo (YOLOv1, CornerNet, CenterNet, FCOS, VariFocalNet); nguyên lý biến đổi tự tập trung softmax và tự tập trung tuyến tính; kiến trúc mạng Siamese cơ bản và hàm mất mát huấn luyện mẫu âm/dương.
  • Đánh giá các mô hình tiêu biểu: Tổng kết chi tiết các mô hình MDNet, ECO, RT-MDNet, ATOM, DiMP, Meta-Updater, PrDiMP, KYS, SiamFC, SiamRPN, DaSiamRPN, SiamRPN++, SiamBAN, SiamCAR. Phân tích các hạn chế còn tồn tại về độ trễ tính toán và khả năng phân biệt mục tiêu trong điều kiện khắc nghiệt làm cơ sở khoa học cho các đề xuất tại Chương 2 và Chương 3.

CHƯƠNG 2. ĐỀ XUẤT MÔ HÌNH HỌC SÂU THEO BÁM ĐỐI TƯỢNG SỬ DỤNG KIẾN TRÚC MẠNG SIAMESE

Chương 2 trình bày ba mô hình học sâu đề xuất dựa trên kiến trúc Siamese:

  1. Mô hình TrackingUAV (Theo bám UAV trong video hồng ngoại chống UAV):

    • Kiến trúc và giải pháp: Xây dựng mô hình chuyên biệt cho bài toán chống UAV trong video hồng ngoại (tập dữ liệu Anti-UAV 2020). Mô hình sử dụng mạng tích chập trích chọn đặc trưng ResNet-50 được hiệu chỉnh, áp dụng chiến thuật huấn luyện đa tỷ lệ và hàm mất mát kết hợp nhằm tăng khả năng nhận diện các UAV có kích thước từ rất nhỏ đến lớn trong các bối cảnh nền mây, nền biển, tòa nhà, ban ngày và ban đêm.
    • Thuật toán và chiến thuật suy luận: Tích hợp cơ chế thích ứng để giảm thiểu lỗi trôi dạt (drift) khi UAV bay nhanh hoặc bị che khuất tạm thời.
    • Kết quả thực nghiệm: Đánh giá trên bộ dữ liệu Anti-UAV, mô hình TrackingUAV thể hiện độ chính xác vượt trội trên các chuỗi video có độ tương phản thấp và chuyển động mờ.

  2. Mô hình SiamAPN (Mô hình theo bám thời gian thực dùng cơ chế tập trung và không khung neo):

    • Mô-đun tăng cường đặc trưng tập trung (AFE): Tích hợp cơ chế tập trung vào hai nhánh ảnh mẫu và ảnh tìm kiếm của mạng Siamese, tăng cường làm nổi bật vùng đặc trưng mục tiêu và ức chế nhiễu nền.
    • Mô-đun phân lớp và hồi quy không dùng khung neo: Sử dụng biểu diễn điểm để dự đoán trực tiếp tọa độ 4 chiều của khung bao quanh mục tiêu, loại bỏ hoàn toàn các khung neo phức tạp, giúp giảm thiểu đáng kể chi phí tính toán.
    • Hiệu năng: Đạt tốc độ xử lý thời gian thực cao trên các tập dữ liệu OTB100 và UAV123.

  3. Mô hình SiamAAM (Mạng Siamese kết hợp và tăng cường đặc trưng hai nhánh bằng cơ chế tập trung):

    • Kiến trúc kết hợp đặc trưng: Đề xuất mô-đun kết hợp dữ liệu chú ý không gian và chú ý kênh giữa hai nhánh Siamese, cho phép thông tin từ nhánh mẫu định hướng sâu vào bản đồ đặc trưng của vùng tìm kiếm trước khi đưa vào mạng dự đoán.
    • Đánh giá thực nghiệm và phân tích vai trò thành phần (Ablation Study):
      • Trên bộ dữ liệu UAV123 và VOT2018, SiamAAM đạt điểm số EAO và tỷ lệ thành công (Success Rate) cao hơn đáng kể so với các mô hình cơ sở.
      • Kiểm chứng trên OTB100 và VOT2018 khẳng định việc tích hợp mô-đun tăng cường đặc trưng giúp mô hình duy trì độ ổn định cao trước các thuộc tính che lấp (OCC) và thay đổi tỷ lệ (SV).

CHƯƠNG 3. ĐỀ XUẤT MÔ HÌNH HỌC SÂU THEO BÁM ĐỐI TƯỢNG SỬ DỤNG MẠNG CHUYỂN ĐỔI TUYẾN TÍNH

Chương 3 mở rộng nghiên cứu bằng việc tích hợp mạng chuyển đổi tuyến tính (Linear Transformer) vào kiến trúc Siamese nhằm tối ưu hóa chi phí tính toán và nâng cao độ chính xác:

  1. Mô hình SiamTLT (Theo bám thời gian thực sử dụng mạng chuyển đổi tuyến tính):

    • Kiến trúc mô hình: Kết hợp khung sườn trích xuất đặc trưng Siamese, mô-đun tăng cường và kết hợp đặc trưng bằng mạng chuyển đổi tuyến tính nhẹ (lightweight linear transformer), cùng mạng dự đoán khung bao không dùng khung neo.
    • Cơ chế tuyến tính hóa: Thay thế phép toán tự tập trung Softmax $O(T^2)$ bằng cơ chế tập trung tuyến tính $O(T)$, cho phép nắm bắt phụ thuộc ngữ cảnh tầm xa giữa mẫu và vùng tìm kiếm mà không làm giảm tốc độ khung hình.
    • Kết quả thực nghiệm: Trên các bộ dữ liệu VOT2018, UAV123 và OTB100, SiamTLT duy trì tốc độ xử lý thời gian thực ổn định ($\ge 30$ FPS), vượt trội về điểm EAO và điểm chính xác trên các video có thuộc tính chuyển động nhanh (FM) và xoay ngoài mặt phẳng (OPR).

  2. Mô hình TrackerLT (Nâng cao độ chính xác bằng mạng chuyển đổi hình ảnh tuyến tính):

    • Nguyên lý tinh chỉnh (Refinement): TrackerLT được thiết kế như một mạng nâng cao hiệu năng cho một trình theo bám cơ sở (như DiMP hoặc TrackingUAV). Mô hình tiếp nhận đầu ra thô từ mạng cơ sở và thực hiện tinh chỉnh vị trí khung bao thông qua mạng chuyển đổi hình ảnh tuyến tính.
    • Cấu trúc mô-đun: Gồm $L$ lớp tự mã hóa (Self-Encoder Layer - SEL/SAL) và $L$ lớp mã hóa chéo (Cross-Encoder Layer - CEL/CAL) liên tiếp nhau, kết hợp cùng mô-đun kết hợp đặc trưng và đầu dự đoán không dùng khung neo.
    • Thực nghiệm đa diện trên 6 bộ dữ liệu chuẩn:
      • VOT2018 & VOT2019: Đánh giá với các biến thể số lớp $L$ ($L=2$ cho điểm cân bằng tối ưu), đạt điểm EAO thuộc nhóm dẫn đầu.
      • UAV123 & OTB100: Vượt trội ở các thuộc tính thách thức biến dạng (DEF), che lấp một phần (POC) và nền lộn xộn (BC).
      • LaSOT & GOT-10k: Thể hiện khả năng thích ứng cao trên chuỗi video dài, đạt tỷ lệ chồng chéo trung bình (AO) và tỷ lệ thành công (SR) cao.
      • Anti-UAV: Khi áp dụng TrackerLT để tinh chỉnh cho mô hình cơ sở TrackingUAV, điểm số chính xác trung bình (acc) trên video hồng ngoại tăng lên rõ rệt.

Kết quả và những đóng góp mới

Những đóng góp mới về mặt khoa học

Luận án tự nêu ba đóng góp khoa học chính:

  1. Đề xuất các kỹ thuật cải tiến mạng Siamese sử dụng cơ chế tập trung và mạng thích ứng điểm không dùng khung neo: Xây dựng thành công các mô hình SiamAPN và SiamAAM, tích hợp mô-đun tăng cường đặc trưng tập trung (AFE) cùng cấu trúc phân lớp - hồi quy anchor-free, loại bỏ chi phí tính toán của khung neo và cải thiện độ chính xác định vị.
  2. Đề xuất ứng dụng mạng chuyển đổi nhẹ (Lightweight Linear Transformer) trên kiến trúc Siamese trong bài toán theo bám thời gian thực: Phát triển mô hình SiamTLT, giảm độ phức tạp tính toán từ $O(T^2)$ xuống $O(T)$, bảo toàn tốc độ xử lý thời gian thực trong khi nâng cao năng lực khai thác ngữ cảnh toàn cục.
  3. Đề xuất mô hình mạng chuyển đổi tuyến tính nâng cao hiệu năng của trình theo bám cơ sở: Phát triển mô hình TrackerLT với chuỗi các lớp tự mã hóa (SAL) và mã hóa chéo (CAL), cho phép tinh chỉnh và nâng cao chất lượng dự đoán của các thuật toán theo bám cơ sở sẵn có trên đa dạng bộ dữ liệu chuẩn.

Đóng góp thực tiễn và giải pháp đề xuất

  • Cung cấp các mô hình học sâu hoàn chỉnh (TrackingUAV, SiamAPN, SiamAAM, SiamTLT, TrackerLT) có mã nguồn và trọng số được kiểm chứng thực nghiệm, sẵn sàng tích hợp vào các hệ thống giám sát an ninh quang điện tử mặt đất và trên không.
  • Đề xuất giải pháp kỹ thuật chuyên dụng cho bài toán phát hiện, bám bắt mục tiêu máy bay không người lái (Anti-UAV) trong điều kiện video hồng ngoại ngày/đêm, phục vụ trực tiếp cho các bài toán an ninh - quốc phòng như chỉ thị mục tiêu, dẫn đường và bảo vệ mục tiêu trọng yếu.
  • Công bố công khai các kết quả thực nghiệm để cộng đồng nghiên cứu thị giác máy tính và theo dõi đối tượng (VOT) có cơ sở tham chiếu và đối sánh.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Luận án tập trung chủ yếu vào bài toán theo bám đơn đối tượng ngắn hạn trong video; đối với các tình huống theo bám dài hạn (Long-term tracking) khi đối tượng biến mất khỏi tầm nhìn (Out-of-View) trong thời gian dài rồi xuất hiện lại ở vị trí ngẫu nhiên, mô hình vẫn cần thêm cơ chế tìm kiếm toàn cục chuyên sâu để tránh mất dấu hoàn toàn.
  • Quá trình huấn luyện các mô hình kết hợp Transformer (như TrackerLT) trên các tập dữ liệu quy mô hàng triệu khung hình (như LaSOT, GOT-10k) đòi hỏi tài nguyên phần cứng tính toán GPU lớn và thời gian huấn luyện dài.

Hướng phát triển tiếp theo

  • Mở rộng kiến trúc mạng chuyển đổi tuyến tính sang bài toán theo bám đối tượng dài hạn (Long-Term Tracking), kết hợp cơ chế xác thực và tái định vị mục tiêu trên toàn khung hình.
  • Tối ưu hóa mô hình và nén mạng nơ-ron nhằm triển khai trực tiếp các thuật toán lên các hệ thống nhúng biên có tài nguyên tính toán giới hạn gắn trên các thiết bị UAV cỡ nhỏ hoặc camera giám sát độc lập.
  • Nghiên cứu cơ chế cập nhật trực tuyến thích ứng nhanh để mô hình tự điều chỉnh trọng số trước các biến đổi ngoại hình cực đoan trong thời gian thực mà không làm giảm tốc độ xử lý.

Giá trị tham khảo

Luận án là tài liệu chuyên khảo có giá trị cao cho nhiều nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học, giảng viên chuyên ngành Toán tin, Khoa học dữ liệu, Trí tuệ nhân tạo và Thị giác máy tính: Có thể tham khảo phương pháp toán học trong việc tuyến tính hóa cơ chế tự tập trung (Linear Attention), các hàm xấp xỉ nhân $\phi(\cdot)$, kỹ thuật tối ưu hóa phi tuyến (SGD, Adam) và cấu trúc hàm mất mát đa nhiệm (IoU, cross-entropy, centerness).
  • Kỹ sư phát triển phần mềm AI và hệ thống nhúng: Có thể tham khảo chi tiết cấu trúc các mô-đun không dùng khung neo (anchor-free), mô-đun AFE và mạng SiamTLT để thiết kế các hệ thống xử lý video thời gian thực ($\ge 30$ FPS) trên các dòng card đồ họa chuyên dụng và máy tính biên.
  • Cán bộ nghiên cứu trong lĩnh vực kỹ thuật quân sự và an ninh quốc phòng: Có thể khai thác trực tiếp mô hình TrackingUAV và bộ tham số thực nghiệm trên ảnh hồng ngoại của bộ dữ liệu Anti-UAV để phát triển các khí tài trinh sát quang điện tử, hệ thống phát hiện và chế áp máy bay không người lái, hoặc hệ thống bám bắt mục tiêu tự động cho khí tài dẫn đường.

Câu hỏi thường gặp

1. Luận án giải quyết vấn đề nghẽn cổ chai tính toán của cơ chế tự tập trung (Self-Attention) trong mạng Transformer bằng cách nào?

Luận án áp dụng cơ chế tự tập trung tuyến tính (Linear Attention). Thay vì tính toán ma trận tương đồng $Q K^T$ có độ phức tạp bậc hai $O(T^2)$ theo độ dài chuỗi $T$, phương pháp này phân rã hàm nhân $\kappa(Q, K)$ thành tích vô hướng của các bản đồ đặc trưng $\phi(Q) \phi(K)^T$ (sử dụng hàm kích hoạt ELU hoặc ánh xạ trực giao qua ReLU). Nhờ tính chất kết hợp của phép nhân ma trận, thứ tự tính toán được chuyển thành $\phi(Q) \cdot (\phi(K)^T V)$, đưa độ phức tạp tính toán về bậc tuyến tính $O(T)$, giúp mô hình SiamTLT duy trì tốc độ xử lý thời gian thực ($\ge 30$ FPS).

2. Ưu điểm của việc loại bỏ khung neo (anchor-free) trong các mô hình SiamAPN, SiamTLT và TrackerLT là gì?

Việc sử dụng thiết kế không dùng khung neo giúp loại bỏ hoàn toàn bước lấy mẫu và tạo lưới khung neo dày đặc ($whnm$ khung neo với nhiều tỷ lệ và kích thước khác nhau). Thay vào đó, mạng dự đoán trực tiếp véc-tơ 4 chiều $(l, t, r, b)$ biểu thị khoảng cách từ mỗi điểm ảnh thuộc mục tiêu tới 4 cạnh của khung bao, kết hợp cùng điểm trung tâm (centerness). Điều này giúp giảm đáng kể số lượng tham số, hạn chế việc phải tinh chỉnh thủ công các siêu tham số của khung neo, đồng thời tăng tốc độ xử lý và cải thiện độ chính xác hồi quy vị trí.

3. Mô hình TrackingUAV được thiết kế như thế nào để xử lý các thách thức đặc thù trên bộ dữ liệu Anti-UAV 2020?

Mô hình TrackingUAV sử dụng mạng ResNet-50 cải tiến làm khung trích chọn đặc trưng, tích hợp chiến thuật huấn luyện đa tỷ lệ và hàm mất mát kết hợp. Mô hình được tối ưu hóa chuyên biệt cho video hồng ngoại chất lượng thấp, xử lý tốt các tình huống UAV có kích thước rất nhỏ, độ tương phản thấp trên các dạng nền phức tạp (mây, núi, biển, tòa nhà), môi trường ánh sáng ngày/đêm và hiện tượng mờ chuyển động khi UAV bay với vận tốc lớn.

4. Mô hình TrackerLT hoạt động theo cơ chế nào để nâng cao độ chính xác của một trình theo bám cơ sở?

TrackerLT hoạt động như một mạng tinh chỉnh (refinement network). Mô hình nhận đầu vào là dự đoán thô từ một trình theo bám cơ sở (như DiMP hoặc TrackingUAV), sau đó đưa qua $L$ lớp tự mã hóa (SAL) và $L$ lớp mã hóa chéo (CAL) của mạng chuyển đổi tuyến tính. Cơ chế này giúp tái cấu trúc và làm giàu thông tin ngữ cảnh không gian - thời gian giữa mẫu đối tượng và vùng tìm kiếm, từ đó hiệu chỉnh khung bao dự đoán với độ chính xác cao hơn trên các chuỗi video phức tạp.

5. Luận án sử dụng những tiêu chuẩn và độ đo nào để đánh giá toàn diện hiệu năng của các mô hình?

Luận án sử dụng đầy đủ các chỉ số chuẩn mực quốc tế bao gồm: Điểm chính xác trung bình (acc trên Anti-UAV), Điểm chính xác (Accuracy theo IoU), Điểm độ bền/thất bại (Robustness), Điểm chồng chéo trung bình dự kiến (EAO trên VOT), Lỗi vị trí trung tâm (CLE qua biểu đồ Precision plot với ngưỡng 20 pixel), Diện tích dưới đường cong (AUC qua biểu đồ Success plot), Điểm chồng chéo trung bình (AO trên GOT-10k), Tỷ lệ thành công ($SR_{0.50}, SR_{0.75}$), và Tốc độ khung hình (FPS) trên 7 bộ dữ liệu chuẩn (Anti-UAV, OTB100, UAV123, VOT2018, VOT2019, GOT-10k, LaSOT).

Kết luận

Luận án "Nghiên cứu, phát triển một số kỹ thuật theo bám đối tượng dựa trên kiến trúc mạng Siamese" đã giải quyết một cách có hệ thống các thách thức về độ chính xác và tốc độ xử lý trong bài toán theo bám đơn đối tượng trên chuỗi video. Bằng việc kết hợp kiến trúc mạng Siamese với cơ chế tập trung tuyến tính, thiết kế phát hiện không dùng khung neo và các mô-đun tinh chỉnh đa tầng, tác giả đã xây dựng thành công các mô hình học sâu có hiệu năng cao như TrackingUAV, SiamAPN, SiamAAM, SiamTLT và TrackerLT. Các kết quả thực nghiệm trên 7 bộ dữ liệu chuẩn đã chứng minh tính hiệu quả của các giải pháp đề xuất, đóng góp cả về mặt lý luận toán học cho tin học và mở ra khả năng ứng dụng thực tế trong các hệ thống giám sát an ninh quang điện tử và phòng thủ chống UAV.