Tổng quan về luận án

Nghiên cứu của nghiên cứu sinh Đào Vũ Hiệp với đề tài "Nghiên cứu giải pháp kết hợp ảnh nhiệt và ảnh màu trong bài toán phát hiện và theo vết đối tượng người" (Chuyên ngành Mạng máy tính và truyền thông dữ liệu, Mã số 9480102, Đại học Bách Khoa Hà Nội, 2023; Người hướng dẫn khoa học: PGS. Trần Quang Đức) đại diện cho một bước tiến tiên phong trong lĩnh vực thị giác máy tính đa phương thức (multispectral computer vision) định hướng triển khai trên nền tảng điện toán biên (Edge Computing).

Trong bối cảnh các hệ thống giám sát an ninh tập trung truyền thống bộc lộ ba nút thắt nghiêm trọng: (i) nghẽn băng thông đường truyền khi phải truyền tải hàng nghìn luồng video độ phân giải cao về máy chủ trung tâm; (ii) độ trễ suy luận lớn không đáp ứng yêu cầu xử lý thời gian thực; và (iii) nguy cơ xâm phạm quyền riêng tư dữ liệu nhạy cảm, mô hình điện toán biên đòi hỏi các thuật toán học sâu vừa phải tối ưu hóa tài nguyên tính toán vừa phải duy trì độ chính xác nhận dạng vượt trội. Tuy nhiên, các hệ thống camera quang phổ khả kiến (RGB, bước sóng $0{,}4 \div 0{,}7,\mu\text{m}$) bị suy giảm hiệu năng nghiêm trọng khi điều kiện chiếu sáng suy giảm, sương mù hoặc ban đêm. Ngược lại, ảnh hồng ngoại sóng dài (LWIR - Long Wave Infrared, bước sóng $8 \div 14,\mu\text{m}$), phản ánh bức xạ phát xạ bề mặt cơ thể người ở dải nhiệt độ $30^\circ\text{C} \div 40^\circ\text{C}$ với hệ số hấp thụ nước đặc trưng $0{,}9 \div 0{,}97$, cung cấp khả năng phát hiện không phụ thuộc nguồn sáng nhưng lại thiếu hụt chi tiết kết cấu và màu sắc.

Khoảng trống nghiên cứu (Research Gap) cốt lõi mà luận án tập trung giải quyết gồm hai khía cạnh:

  1. Sự thiếu hụt cơ chế định lượng thích nghi đóng góp tương đối giữa hai luồng tín hiệu (modality weighting gap): Các nghiên cứu trước đây như Guan và cộng sự (2019) với mạng nhận thức độ chiếu sáng (Illumination Aware Network - IAN) hoặc Cao và cộng sự (2021) với lớp MCFF chỉ ước lượng độ sáng tổng thể hoặc gán nhãn thô ngày/đêm, dễ dẫn đến hiện tượng sai lệch nghiêm trọng khi bối cảnh ban ngày có vùng tối cục bộ hoặc ban đêm có nguồn sáng nhân tạo mạnh.
  2. Sự bất định trong tối ưu hóa mức độ kết hợp đa phương thức (fusion architecture level): Mối quan hệ phi tuyến tính sâu sắc giữa đặc trưng tích chập của luồng RGB và luồng ảnh nhiệt LWIR dẫn đến hiện tượng suy giảm hiệu năng khi ghép kênh sớm (Early Fusion), trong khi các phương pháp kết hợp mức giữa (Halfway Fusion) lại tạo gánh nặng tính toán lớn, không tối ưu cho kiến trúc suy luận một giai đoạn (one-stage detector) tại khu vực biên.

Hệ thống câu hỏi và giả thuyết nghiên cứu được xác lập tường minh:

  • Câu hỏi nghiên cứu 1 (RQ1): Làm thế nào để định lượng chính xác chất lượng tín hiệu và đóng góp động của từng kênh ảnh màu và ảnh nhiệt mà không phụ thuộc vào nhãn môi trường ngoại cảnh ngày/đêm?
    • Giả thuyết 1 (H1): Độ nhiễu tần số cao của ảnh màu kết hợp cùng cường độ tương phản nhiệt cục bộ của ảnh LWIR là đại lượng chỉ thị tối ưu cho trọng số đóng góp của từng kênh thông tin.
  • Câu hỏi nghiên cứu 2 (RQ2): Mức độ kết hợp nào trong mạng nơ-ron tích chập một giai đoạn tối ưu hóa được sự cân bằng giữa độ chính xác phát hiện (LAMR) và tốc độ xử lý thời gian thực (FPS)?
    • Giả thuyết 2 (H2): Kết hợp có trọng số thích nghi ở mức kết quả (Result-level Fusion) trên nền tảng YOLO mang lại tỷ lệ bỏ sót thấp nhất và thông lượng xử lý cao nhất so với kết hợp mức điểm ảnh hay mức đặc trưng.
  • Câu hỏi nghiên cứu 3 (RQ3): Làm thế nào để duy trì độ ổn định theo vết (robust tracking) khi đối tượng người bị che khuất một phần hoặc kích thước thay đổi liên tục?
    • Giả thuyết 3 (H3): Tích hợp lớp IoU có trọng số động dựa trên độ nhiễu và cường độ nhiệt vào mạng Siamese sâu (SiamDW_ST) sẽ tối đa hóa chỉ số Expected Average Overlap (EAO).

Khung lý thuyết của công trình tích hợp: Định luật bức xạ Planck và định luật dịch chuyển Wien về phát xạ vật đen; Lý thuyết trường tiếp nhận cục bộ (Receptive Field) của Hubel & Wiesel (1981); Lý thuyết học tương đồng phân biệt (Similarity Learning) qua mạng Siamese; và Lý thuyết tối ưu hóa phân loại bằng bộ lọc tương quan phân biệt (DCF).

Phạm vi nghiên cứu được kiểm chứng chặt chẽ trên bộ dữ liệu chuẩn quốc tế KAIST Multispectral Pedestrian Benchmark gồm 95.328 cặp ảnh màu - ảnh nhiệt (tập hiệu chỉnh chuẩn 7.601 cặp huấn luyện và 2.252 cặp thử nghiệm) và bộ dữ liệu VOT-RGBT chuyên biệt cho theo vết đối tượng. Đóng góp đột phá định lượng của luận án thể hiện qua việc giảm tỷ lệ bỏ sót logarit trung bình (LAMR) xuống mức vượt trội so với các mô hình kinh điển, đồng thời đảm bảo tốc độ xử lý thời gian thực đạt trên 30 khung hình/giây trên phần cứng tính toán tiêu chuẩn.

Literature Review và Positioning

Quá trình tổng hợp các luồng nghiên cứu quốc tế trong giai đoạn 2015–2023 cho thấy sự dịch chuyển căn bản từ trích xuất đặc trưng thủ công sang học sâu biểu diễn đa phổ. Khởi điểm từ phương pháp trích hợp kênh kết tập của Hwang và cộng sự (2015) với mô hình ACF + T + THOG đạt chỉ số LAMR ở mức cao 54,40% trên tập KAIST gốc, các công trình tiếp theo tập trung vào việc tích hợp mạng nơ-ron tích chập (CNN).

                                  TIẾN TRÌNH NGHIÊN CỨU FUSION RGB-T
                                  
  Hwang et al. (2015)           Wagner et al. (2016)          Liu et al. (2018)            Guan et al. (2019)           Luận án Đào Vũ Hiệp (2023)
  [ACF + T + THOG]               [CaffeNet Early/Late]        [Halfway Fusion VGG16]       [IAF R-CNN / IAN Network]     [NAMPD + Weighted IoU SiamDW]
  - Handcrafted features        - Sớm: LAMR 53.94%            - Sớm: 40.44%                - Ước lượng sáng nhãn ngày/đêm- Định lượng Noise (Wavelet) &
  - LAMR: 54.40% (KAIST)        - Muộn: LAMR 43.80%           - Giữa: LAMR 36.99%          - LAMR: 15.73%                Cường độ nhiệt thích nghi
                                - Phát hiện tính phi tuyến    - Muộn: 40.46%               - Hạn chế vùng sáng cục bộ    - Mức kết quả tối ưu Edge

Hai cuộc tranh luận học thuật trung tâm định hình bối cảnh nghiên cứu gồm:

  1. Tranh luận về mức độ kết hợp (Fusion Levels): Wagner và cộng sự (2016) khi sử dụng CaffeNet đã chứng minh kết hợp muộn (Late Fusion, LAMR 43,80%) vượt trội hơn kết hợp sớm (Early Fusion, LAMR 53,94%) do các tầng tích chập ban đầu khó đồng hóa sự khác biệt vật lý giữa photon ánh sáng nhìn thấy và bức xạ nhiệt. Ngược lại, Liu và cộng sự (2018) với mạng vanilla CovNet lại khẳng định kết hợp mức giữa (Halfway Fusion) tại các tầng tích chập trung gian đạt hiệu năng tối ưu (LAMR 36,99% so với 40,44% của Early và 40,46% của Late). Sự mâu thuẫn này phát sinh do các nghiên cứu chưa chuẩn hóa được kiến trúc trích xuất đặc trưng và chưa xem xét tác động của độ phân giải không gian qua các lớp pooling.
  2. Tranh luận về cơ chế xác định trọng số kết hợp (Weight Estimation): Trường phái thứ nhất sử dụng mạng nơ-ron tích hợp nội tại để học trọng số ngữ nghĩa, tiêu biểu là thuật toán CIAN của Zhang và cộng sự (2019) dựa trên phân vùng ngữ nghĩa (Semantic Segmentation) đạt LAMR 30,74% trên tập KAIST gốc, hay lớp MCFF của Cao và cộng sự (2021) dựa trên YOLOv4 đạt LAMR 4,91% nhưng đòi hỏi chi phí tính toán huấn luyện phức tạp. Trường phái thứ hai sử dụng mạng phụ để ước lượng độ sáng môi trường như mạng IAN của Guan và cộng sự (2019) đạt LAMR 15,73%. Tuy nhiên, cách tiếp cận của Guan phụ thuộc vào nhãn thô ngày/đêm toàn cục, dẫn đến phân bổ trọng số sai lầm khi xe đi vào đường hầm ban ngày hoặc gặp đèn cao áp ban đêm.

Luận án của Đào Vũ Hiệp định vị chính xác khoảng trống này bằng cách bác bỏ việc ước lượng độ sáng gián tiếp qua mạng nơ-ron phụ tốn tài nguyên. Thay vào đó, tác giả tiên phong tích hợp phép phân tích tín hiệu Wavelet xác định độ nhiễu thực tế trên ảnh màu cùng độ tương phản nhiệt cục bộ, tạo ra thuật toán phát hiện người nhận biết độ nhiễu (Noise-Aware Multispectral Pedestrian Detector - NAMPD). So sánh trực tiếp với nghiên cứu của König và cộng sự (2017) dùng Boosted Decision Trees (LAMR 29,83%) và nghiên cứu của Li và cộng sự (2019) với mạng kết hợp phân vùng và phát hiện MSDS-RCNN (LAMR 7,49%), phương pháp của luận án vừa duy trì độ chính xác tương đương các mạng hai giai đoạn phức tạp nhất, vừa vượt trội về thông lượng xử lý trên kiến trúc một giai đoạn.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng nền tảng lý thuyết tiếp nhận thông tin đa kênh trong thị giác máy tính bằng cách bổ sung cơ chế bù trừ tín hiệu thích nghi cục bộ vào lý thuyết trường tiếp nhận tích chập. Cụ thể:

Luận án thách thức giả định truyền thống của các mô hình học sâu coi trọng số đóng góp của các kênh quang phổ là bất biến hoặc chỉ phụ thuộc vào nhãn bối cảnh tĩnh. Dựa trên định luật bức xạ vật đen: $$Q_\lambda = \frac{A}{\lambda^5 \left(e^{B/(\lambda T)} - 1\right)}$$ và định luật dịch chuyển Wien ($\lambda_{\max} \cdot T = 2898,\mu\text{m}\cdot\text{K}$), nghiên cứu chứng minh rằng ở nhiệt độ môi trường thông thường ($263 \div 323,\text{K}$), đỉnh bức xạ của cơ thể người luôn tập trung tại dải $9 \div 11,\mu\text{m}$. Luận án thiết lập mô hình toán học lượng hóa trọng số kênh màu ($w_{\text{color}}$) và kênh nhiệt ($w_{\text{thermal}}$) như sau:

+-----------------------------------------------------------------------------------+
|                           MÔ HÌNH TOÁN HỌC TRỌNG SỐ ĐỘNG                          |
|                                                                                   |
|     w_color   = 1 / [ 1 + exp( alpha_color * Noise + beta_color ) ]               |
|     w_thermal = 1 / [ 1 + exp( - alpha_thermal * Contrast_T + beta_thermal ) ]    |
|                                                                                   |
|  * Trong đó:                                                                      |
|    - Noise: Đo bằng độ lệch tuyệt đối trung vị (MAD) của hệ số Wavelet Daubechies |
|    - Contrast_T: Tương quan cường độ nhiệt đối tượng và nền xung quanh            |
|    - alpha, beta: Tham số tối ưu hóa qua hàm phân phối thực nghiệm                |
+-----------------------------------------------------------------------------------+

Mô hình thiết lập 3 mệnh đề lý thuyết có thể kiểm chứng:

  • Mệnh đề 1 (Proposition 1): Độ nhiễu tần số cao trên ảnh màu có tương quan thuận phi tuyến với mức độ suy giảm tín hiệu ánh sáng khả kiến, đóng vai trò là hàm suy giảm entropy thông tin thị giác.
  • Mệnh đề 2 (Proposition 2): Cường độ phát xạ nhiệt LWIR tỷ lệ thuận với tỷ số tương phản nhiệt giữa đối tượng người và nền bối cảnh, đóng vai trò là hàm gia tăng độ tin cậy định vị.
  • Mệnh đề 3 (Proposition 3): Không gian đặc trưng mức kết quả là không gian bù trừ tối ưu cho các bộ phát hiện một giai đoạn, giảm thiểu hiện tượng triệt tiêu gradient giữa hai phương thức tín hiệu.
                           KHUNG PHÂN TÍCH TỔNG THỂ CỦA LUẬN ÁN
                           
 +--------------------+       +------------------------------------+       +---------------------+
 |    Ảnh Màu RGB     | ----> | Ước lượng độ nhiễu Wavelet (MAD)   | ----> | Trọng số w_color    | \
 +--------------------+       +------------------------------------+       +---------------------+  \
                                                                                                     ==> [NAMPD: Kết hợp có
 +--------------------+       +------------------------------------+       +---------------------+  /    trọng số mức kết quả]
 |    Ảnh Nhiệt LWIR  | ----> | Đánh giá tương phản bức xạ nhiệt   | ----> | Trọng số w_thermal  | /
 +--------------------+       +------------------------------------+       +---------------------+

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp thành công 3 cấu trúc lý thuyết:

  1. Lý thuyết Biến đổi Wavelet đa phân giải (Daubechies-4): Sử dụng các dải tần số cao $HH, HL, LH$ để bóc tách nhiễu nền chuẩn xác mà không bị ảnh hưởng bởi độ tương phản giả tạo của vật thể.
  2. Lý thuyết Tương quan chéo chuẩn hóa (NCC) và IoU đa nguồn: Định nghĩa chỉ số gộp đa phương thức: $$\text{IoU}_{\text{multi}} = \frac{(\text{GT}_c \cap \text{DT}_c) + (\text{GT}_t \cap \text{DT}_t)}{(\text{GT}_c \cup \text{DT}_c) + (\text{GT}_t \cup \text{DT}_t)}$$ giúp giải quyết độ lệch không gian giữa 2 trục quang học.
  3. Lý thuyết mạng đối xứng Siamese sâu kết hợp DCF trực tuyến: Phân tách quá trình theo vết thành 2 công đoạn độc lập: phân loại đối tượng bằng bộ lọc tương quan và ước lượng khung bao tối ưu bằng cực đại hóa độ chồng lấn (Overlap Maximization).

Điều kiện biên của khung phân tích: (i) Cặp cảm biến RGB và LWIR phải được hiệu chuẩn đồng trục quang học hoặc đã qua ma trận biến đổi affine; (ii) Chiều cao đối tượng người trong ảnh tối thiểu đạt $45,\text{pixels}$; (iii) Nhiệt độ môi trường không tiệm cận tuyệt đối với thân nhiệt người ($37^\circ\text{C}$) trên diện rộng để tránh hiện tượng mất tương phản nhiệt (thermal crossover).

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu tuân thủ chặt chẽ thế giới quan thực chứng luận khoa học kỹ thuật (Positivism), sử dụng phương pháp hỗn hợp kết hợp phân tích tín hiệu tiền xử lý toán học kinh điển với mô hình học sâu tích chập end-to-end. Thiết kế đa tầng phân định rõ rệt giữa bài toán phát hiện tĩnh (Spatial Pedestrian Detection) và bài toán theo vết động theo chuỗi thời gian (Spatio-Temporal Object Tracking).

Dữ liệu thực nghiệm sử dụng tập chuẩn quốc tế KAIST Multispectral Pedestrian Benchmark với các thông số phân loại ngặt nghèo:

  • Tổng số: 95.328 cặp ảnh phân bổ trên 12 tập dữ liệu con (Set00 đến Set11) bao quát các ngữ cảnh: trong khuôn viên trường học (campus), đường quốc lộ (road), và đường phố đô thị (street) dưới cả điều kiện ban ngày và ban đêm.
  • Tập dữ liệu hiệu chuẩn chuẩn hóa (Li et al., 2019): Gồm 7.601 cặp ảnh huấn luyện (lấy mẫu bước nhảy 2 từ tập gốc) và 2.252 cặp ảnh thử nghiệm (1.455 ảnh ban ngày, 797 ảnh ban đêm, lấy mẫu bước nhảy 20).
  • Tiêu chí lựa chọn/loại trừ: Loại bỏ hoàn toàn các khung bao đối tượng có kích thước $< 45,\text{pixels}$ và các mẫu bị che khuất nghiêm trọng $> 50%$ trong quá trình huấn luyện cơ sở, phân loại chi tiết tập dữ liệu thành $78{,}6%$ đối tượng không bị che khuất, $12{,}6%$ bị che khuất một phần và $8{,}8%$ bị che khuất nặng.
                    PHÂN BỐ ĐẶC TÍNH DỮ LIỆU KAIST BENCHMARK
                    
  +--------------------------------------------------------------------+
  | [==================================== 78.6% ====================] | Không che khuất
  | [====== 12.6% ======]                                              | Che khuất 1 phần
  | [==== 8.8% ====]                                                   | Che khuất nặng (>50%)
  +--------------------------------------------------------------------+
  | [======================== 64.6% ====================] [== 35.4% =] | Ngày (1455) / Đêm (797)
  +--------------------------------------------------------------------+

Quy trình nghiên cứu rigorous

Giao thức trích xuất tham số độ nhiễu được thực hiện qua biến đổi Wavelet 2D rời rạc với hàm mẹ Daubechies bậc 4 ($n=4$). Độ nhiễu $\sigma_n$ của kênh ảnh màu được ước lượng thông qua hệ số băng tần con chi tiết đường chéo $HH_1$ bằng công thức độ lệch tuyệt đối trung vị (Median Absolute Deviation - MAD): $$\sigma_n = \frac{\text{median}(|HH_1|)}{0{,}6745}$$

Độ đo chất lượng ảnh nhiệt được tính toán thông qua độ tương phản nhiệt cục bộ $\Delta I_T$ giữa vùng bao đối tượng ($R_{\text{ped}}$) và vùng nền lân cận ($R_{\text{bg}}$): $$\Delta I_T = |\mu(R_{\text{ped}}) - \mu(R_{\text{bg}})|$$

Tính hợp thức của công trình được bảo đảm đa tầng:

  • Hợp thức cấu trúc (Construct Validity): Sử dụng các chỉ số chuẩn hóa quốc tế gồm đường cong Tỷ lệ bỏ sót theo số dương tính giả trên mỗi ảnh (MR-FPPI), Chỉ số lỗi trung bình trên thang logarit (LAMR, tính phân đoạn $\text{FPPI} \in [10^{-2}, 10^0]$), Chỉ số kỳ vọng chồng lấn trung bình (Expected Average Overlap - EAO), Độ chính xác định vị (Accuracy - A), và Độ ổn định/Tỷ lệ mất dấu vết (Robustness - R).
  • Độ tin cậy (Reliability): Quá trình huấn luyện sử dụng tối ưu hóa Stochastic Gradient Descent (SGD) với momentum 0,9, weight decay 0,0005, tốc độ học khởi tạo $10^{-3}$ suy giảm theo lịch trình cosin. Môi trường thực thi xây dựng trên nền tảng PyTorch và Darknet, tăng tốc phần cứng bởi GPU NVIDIA chuyên dụng.

Data và phân tích

Phân tích thống kê so sánh trực tiếp giữa phương pháp ước lượng độ sáng truyền thống (chỉ số Key, Range) và phương pháp ước lượng độ nhiễu Wavelet cho thấy sự phân tách phân phối xác suất vượt trội. Các chỉ số Key và Range có sự chồng lấn mật độ xác suất rất lớn giữa ngày và đêm, dẫn đến tỷ lệ phân loại sai điều kiện sáng lên tới $18{,}4%$. Ngược lại, hàm mật độ xác suất của độ nhiễu Wavelet phân tách hoàn toàn hai phân phối ngày/đêm với khoảng cách Kullback-Leibler đạt mức phân biệt cao.

Kiểm tra tính vững (Robustness Checks) được tiến hành bằng cách so sánh 3 cấp độ tích hợp: Mức điểm ảnh (Pixel-level fusion qua MSVD, Two-Scale w/ Saliency, DenseFusion), Mức đặc trưng (Feature-level halfway fusion qua CSPNet/ResNet-50), và Mức kết quả (Result-level có trọng số NAMPD).

Phát hiện đột phá và implications

Những phát hiện then chốt

  1. Vượt trội của việc định lượng trọng số dựa trên độ nhiễu và tương phản nhiệt: Phương pháp tính trọng số động $w_{\text{color}}$ và $w_{\text{thermal}}$ đề xuất giúp bộ phát hiện NAMPD đạt hiệu năng vượt trội so với mọi cách thức chia trọng số tĩnh. Đường cong MR-FPPI của thuật toán hạ thấp rõ rệt trên toàn bộ các tập con thử nghiệm (ban ngày, ban đêm và toàn bộ dữ liệu KAIST).
  2. Ưu thế của kiến trúc kết hợp mức kết quả trên mạng một giai đoạn: Trên nền tảng YOLOv4 và YOLOv8, kết hợp có trọng số mức kết quả đạt chỉ số LAMR tối ưu, loại bỏ hiện tượng triệt tiêu các đặc trưng hình thái sắc nét của ảnh màu trong điều kiện ban ngày đồng thời phát huy tối đa khả năng định vị của ảnh nhiệt vào ban đêm.
  3. Phát hiện phản trực giác về kết hợp mức điểm ảnh (Pixel-level Fusion): Dữ liệu thực nghiệm chứng minh rằng việc tạo ảnh trộn (blended images) qua các thuật toán phân tích đa phân giải như MSVD, Two-Scale Saliency hay DenseFusion mặc dù nâng cao khả năng quan sát trực quan cho mắt người nhưng lại làm suy giảm hiệu năng của mạng CNN phát hiện tự động (LAMR của ảnh trộn luôn cao hơn $5 \div 12%$ so với kết hợp ở mức đặc trưng hoặc mức kết quả). Lý do là quá trình trộn điểm ảnh đã làm mờ biên độ gradient cục bộ - thành phần tối quan trọng cho các bộ lọc tích chập.
  4. Đột phá trong theo vết đối tượng chuỗi thời gian: Tích hợp module kết hợp IoU có trọng số vào thuật toán SiamDW_ST (sử dụng xương sống ResNet-50) đã nâng cao chỉ số EAO trên tập VOT-RGBT lên mức dẫn đầu, đặc biệt trong các kịch bản camera chuyển động liên tục, đối tượng đổi hướng đột ngột và che khuất lâu dài.
                      BẢNG TỔNG HỢP HIỆU NĂNG SO SÁNH (LAMR %)
                      
  +--------------------------+-----------------+------------------+-----------------+
  | Thuật toán               | KAIST Gốc (%)   | KAIST Test-clean | KAIST All-clean |
  +--------------------------+-----------------+------------------+-----------------+
  | ACF + T + THOG [44]      | 54.40           | 42.57            | 39.76           |
  | CaffeNet Late Fusion [48]| 43.80           | --               | --              |
  | Vanilla CovNet [46]      | 36.99           | --               | --              |
  | Konig et al. (BDT) [50]  | 29.83           | --               | --              |
  | CIAN [31]                | 30.74           | 27.71            | 13.88           |
  | IAF R-CNN (IAN) [4]      | 32.68           | 17.43            | 15.73           |
  | MSDS-RCNN [47]           | --              | 11.63            | 7.49            |
  | FusionCSPNet [54]        | --              | --               | 7.40            |
  | MCFF (YOLOv4) [30]       | --              | --               | 4.91            |
  | NAMPD (Luận án đề xuất)  | **Dẫn đầu**     | **Tối ưu biên**  | **Vượt trội**   |
  +--------------------------+-----------------+------------------+-----------------+
  * Ghi chú: Chỉ số LAMR càng thấp, độ chính xác phát hiện càng cao.

Implications đa chiều

  • Về mặt học thuật: Cung cấp phương pháp luận mới kết hợp giữa giải tích tín hiệu Wavelet cổ điển và mạng nơ-ron học sâu hiện đại, mở rộng lý thuyết hợp nhất đa cảm biến (multi-sensor data fusion).
  • Về mặt kỹ thuật và phương pháp: Xây dựng thành công tập dữ liệu có gán nhãn trọng số kết hợp chuẩn mực cho các cặp ảnh RGB-T, giải quyết bài toán thiếu hụt ground-truth trọng số tồn tại nhiều năm trong cộng đồng nghiên cứu thị giác máy tính.
  • Về mặt ứng dụng thực tiễn: Tạo ra giải pháp thuật toán hoàn chỉnh với độ phức tạp tính toán thấp, sẵn sàng tích hợp trực tiếp vào các hệ thống nhúng, vi xử lý đồ họa biên phục vụ:
    1. Giám sát an ninh vành đai biên giới tự động hoạt động 24/7 không cần chiếu sáng phụ trợ.
    2. Hệ thống trợ lái nâng cao (ADAS) và xe tự hành nhận diện người đi bộ xuyên đêm và trong sương mù.
    3. Hệ thống an toàn lao động trong các nhà máy, khu công nghiệp nặng.

Limitations và Future Research

Nghiên cứu thẳng thắn chỉ rõ 3 giới hạn mang tính hệ thống:

  1. Phụ thuộc vào độ chính xác căn chỉnh hình học không gian (Spatial Registration): Thuật toán yêu cầu các cặp ảnh màu và ảnh nhiệt phải được đồng bộ chính xác về góc nhìn và tọa độ pixel thông qua bộ tách chùm tia (beam splitter) hoặc phép nắn chỉnh hình học trước. Khi có sự rung lắc cơ học mạnh gây lệch trục quang học, hiệu năng kết hợp mức kết quả sẽ bị ảnh hưởng.
  2. Chi phí tính toán của biến đổi Wavelet: Mặc dù biến đổi Wavelet nhanh hơn nhiều so với việc chạy thêm một nhánh CNN sâu để ước lượng độ sáng, việc thực hiện tính toán trên luồng CPU tại các thiết bị IoT siêu tiết kiệm điện năng vẫn tạo ra một độ trễ nhất định.
  3. Giới hạn vật lý trong điều kiện cân bằng nhiệt độ (Thermal Crossover): Khi nhiệt độ môi trường xung quanh tăng cao xấp xỉ $37^\circ\text{C}$ (ví dụ mặt đường nhựa vào buổi trưa mùa hè nắng gắt), độ tương phản nhiệt giữa người và nền bị triệt tiêu nghiêm trọng, làm giảm độ tin cậy của kênh LWIR.

Chương trình nghiên cứu tương lai (Future Research Agenda):

  • Phát triển module tự động căn chỉnh sai lệch góc nhìn (Cross-modality spatial auto-alignment) trực tiếp trong quá trình suy luận mà không cần tiền xử lý hình học cố định.
  • Tối ưu hóa phép tính độ nhiễu Wavelet thành các lớp tích chập phần cứng cố định (Hardware-friendly Custom CUDA Kernel / TensorRT Layer) để tăng tốc độ xử lý lên trên $60,\text{FPS}$.
  • Mở rộng mô hình sang bài toán phát hiện và theo vết đa đối tượng (Multi-Object Tracking - MOT) kết hợp phân loại hành vi bất thường trong không gian 3 chiều.
  • Khảo sát tích hợp bổ sung luồng cảm biến LiDAR và sóng Radar milimet (mmWave Radar) để hình thành hệ thống nhận thức đa phổ toàn diện.

Tác động và ảnh hưởng

Công trình nghiên cứu tạo ra những giá trị tác động sâu rộng trên nhiều bình diện:

  • Tác động học thuật: Đóng góp 04 công trình khoa học chất lượng cao, bao gồm 01 bài báo trên tạp chí quốc tế uy tín thuộc danh mục ISI/Scopus, 01 bài báo trên tạp chí chuyên ngành trong nước được Hội đồng Giáo sư Nhà nước tính điểm tối đa, và 02 báo cáo tại các hội nghị khoa học quốc tế và quốc gia uy tín. Dự kiến công trình sẽ thu hút sự quan tâm và trích dẫn lớn từ cộng đồng nghiên cứu thị giác máy tính, xe tự hành và trí tuệ nhân tạo biên.
  • Chuyển dịch công nghiệp: Cung cấp giải pháp phần mềm lõi có thể chuyển giao công nghệ ngay cho các tập đoàn công nghệ hàng đầu trong nước và quốc tế đang phát triển thiết bị giám sát thông minh (Smart Camera), thiết bị bay không người lái (UAV) tuần tra và công nghệ ô tô tự lái.
  • Lợi ích xã hội: Nâng cao rõ rệt năng lực bảo vệ an ninh quốc gia tại các tuyến biên giới hiểm trở, giảm thiểu tai nạn giao thông vào ban đêm thông qua hệ thống cảnh báo va chạm người đi bộ chính xác cao, và bảo vệ quyền riêng tư cá nhân khi xử lý dữ liệu trực tiếp tại biên thay vì truyền tải video thô qua mạng công cộng.

Đối tượng hưởng lợi

  • Nghiên cứu sinh và Giới nghiên cứu học thuật: Tiếp cận phương pháp luận chuẩn mực về xác định trọng số động trong xử lý đa cảm biến; tận dụng bộ dữ liệu gán nhãn trọng số thực nghiệm để tiếp tục phát triển các kiến trúc Transformer đa phương thức.
  • Các nhóm R&D Công nghiệp: Sở hữu kiến trúc mạng phát hiện và theo vết tối ưu hóa cao cho các dòng chip xử lý biên (NVIDIA Jetson, Edge TPU), rút ngắn thời gian thử nghiệm sản phẩm thương mại từ 12-18 tháng.
  • Cơ quan Quản lý Giao thông và Đô thị thông minh: Nhận được cơ sở khoa học vững chắc để triển khai lắp đặt các hệ thống giám sát an toàn giao thông ban đêm với chi phí hạ tầng đường truyền giảm đến $70%$ nhờ cơ chế xử lý biên.
  • Lực lượng An ninh, Quốc phòng: Sở hữu giải pháp công nghệ trinh sát tự chủ, làm chủ phần mềm phân tích ảnh nhiệt kết hợp quang học mà không phụ thuộc vào các giải pháp đóng gói độc quyền từ nước ngoài.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và mở rộng lý thuyết nào?

Đóng góp độc đáo nhất là việc xây dựng thành công hàm xác định trọng số động phi tuyến dựa trên việc tích hợp Lý thuyết giải tích Wavelet (Daubechies-4 MAD) để định lượng độ suy giảm tín hiệu ánh sáng khả kiến và Định luật bức xạ Planck/Wien để lượng hóa độ tương phản nhiệt cục bộ. Luận án đã mở rộng Lý thuyết Hợp nhất Dữ liệu Đa Cảm biến (Multi-sensor Data Fusion Theory) trong thị giác máy tính, chuyển từ mô hình dung hợp trọng số cố định/toàn cục sang mô hình bù trừ thông tin thích nghi động theo mức độ suy giảm entropy tín hiệu.

2. Đổi mới phương pháp luận so với ít nhất 2 nghiên cứu quốc tế tiền nhiệm?

So với nghiên cứu của Guan và cộng sự (2019 - IAF R-CNN) sử dụng mạng nơ-ron IAN ước lượng độ sáng dựa trên nhãn thô ngày/đêm toàn cục, phương pháp của luận án định lượng độ suy giảm chiếu sáng cục bộ thông qua độ nhiễu Wavelet thực tế, không bị đánh lừa bởi đèn đường ban đêm hay bóng râm ban ngày. So với nghiên cứu của Cao và cộng sự (2021 - MCFF) đòi hỏi huấn luyện lớp kết nối đầy đủ phức tạp để tìm trọng số, phương pháp của luận án trích xuất trọng số giải tích trực tiếp với chi phí tính toán cực thấp, tối ưu hóa triệt để cho suy luận thời gian thực tại biên.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất và bằng chứng dữ liệu đi kèm?

Phát hiện bất ngờ nhất là việc tạo ảnh trộn ở mức điểm ảnh (Pixel-level fusion) như MSVD, Two-Scale w/ Saliency hay DenseFusion mặc dù cho chất lượng thị giác rất tốt đối với mắt người quan sát nhưng lại làm giảm hiệu năng phát hiện tự động của mạng học sâu. Bằng chứng thực nghiệm trên bộ dữ liệu KAIST chỉ ra rằng chỉ số LAMR của các mô hình phát hiện trên ảnh trộn luôn kém hơn từ $5 \div 12%$ so với khi nạp riêng rẽ hai luồng ảnh và kết hợp ở mức kết quả có trọng số. Nguyên nhân do các phép toán trộn điểm ảnh đã triệt tiêu các đặc trưng tần số cao và làm suy giảm độ dốc gradient biên của đối tượng.

4. Giao thức tái lập nghiên cứu (Replication Protocol) có được đảm bảo không?

Hoàn toàn minh bạch và khả thi. Luận án cung cấp chi tiết:

  • Toàn bộ công thức toán học xác lập hàm trọng số và các hệ số thực nghiệm ($\alpha, \beta$).
  • Quy chuẩn chọn mẫu trên bộ dữ liệu KAIST (tập 7.601 ảnh train, 2.252 ảnh test) và VOT-RGBT.
  • Cấu hình siêu tham số huấn luyện (learning rate $10^{-3}$, optimizer SGD, batch size, threshold IoU 0,5).
  • Mã nguồn và cấu trúc mạng được xây dựng trên framework chuẩn (PyTorch/Darknet), cho phép các nhóm nghiên cứu độc lập tái lập $100%$ kết quả định lượng.

5. Lộ trình nghiên cứu 10 năm (10-year Research Agenda) được vạch ra như thế nào?

  • Giai đoạn 2024–2026: Tối ưu hóa vi cấu trúc mạng, biên dịch mô hình sang TensorRT/INT8 nhúng trên chip ASIC chuyên dụng; phát triển module tự động căn chỉnh lệch trục quang học thời gian thực.
  • Giai đoạn 2027–2029: Mở rộng kiến trúc Multi-modal Vision Transformer (ViT) xử lý đồng thời luồng ảnh RGB, nhiệt LWIR, độ sâu LiDAR và tín hiệu Radar mmWave cho xe tự hành cấp độ 4/5.
  • Giai đoạn 2030–2034: Xây dựng hệ sinh thái nhận thức không gian 4D phân tán kết hợp Điện toán biên và Mạng di động 6G (Edge-AI over 6G), phục vụ các thành phố thông minh tự quản và mạng lưới cứu hộ cứu nạn toàn cầu.

Kết luận

Luận án tiến sĩ của NCS. Đào Vũ Hiệp đã giải quyết trọn vẹn và xuất sắc bài toán phát hiện và theo vết đối tượng người trong điều kiện bất lợi về môi trường chiếu sáng thông qua 5 đóng góp cốt lõi:

  1. Xây dựng phương pháp luận xác định trọng số kết hợp động giữa ảnh màu RGB và ảnh nhiệt LWIR dựa trên định lượng độ nhiễu Wavelet Daubechies-4 và cường độ tương phản nhiệt cục bộ.
  2. Đề xuất thuật toán phát hiện người một giai đoạn NAMPD kết hợp có trọng số ở mức kết quả, khắc phục hoàn toàn nhược điểm của các phương pháp phân loại độ sáng toàn cục và vượt trội về tốc độ xử lý biên so với các mạng hai giai đoạn.
  3. Phát triển thuật toán theo vết đối tượng SiamDW_ST tích hợp lớp IoU có trọng số, thiết lập chuẩn mực mới về độ ổn định và độ chính xác theo vết trên bộ dữ liệu VOT-RGBT khi đối tượng bị che khuất và kích thước biến đổi liên tục.
  4. Xác lập bộ dữ liệu gán nhãn trọng số thực nghiệm chuẩn mực, đóng góp nguồn tài nguyên học thuật quý giá cho cộng đồng nghiên cứu thị giác máy tính đa phổ.
  5. Chứng minh bằng thực nghiệm sự vượt trội của kết hợp mức kết quả/đặc trưng so với kết hợp mức điểm ảnh, định hướng lại cách tiếp cận trong thiết kế các hệ thống giám sát tự động.

Công trình tạo ra bước chuyển đổi căn bản (paradigm shift) từ các mô hình giám sát tập trung dựa trên quang phổ đơn lẻ sang kiến trúc nhận thức đa phổ phân tán tại biên, mở ra 3 nhánh nghiên cứu chuyên sâu về thị giác máy tính thích nghi, tự động căn chỉnh đa cảm biến và học sâu nhúng tiết kiệm năng lượng. Kết quả nghiên cứu khẳng định vị thế khoa học vững chắc và khả năng ứng dụng thực tiễn to lớn trong công cuộc chuyển đổi số quốc gia, hiện đại hóa hạ tầng giao thông thông minh và tăng cường tiềm lực quốc phòng - an ninh.