Tổng quan luận án

Luận án tiến sĩ kỹ thuật với đề tài "Phát hiện một số sự kiện bất thường dựa trên hình ảnh sử dụng mô hình phân cấp" được nghiên cứu sinh Vũ Hoài Nam thực hiện tại Học viện Công nghệ Bưu chính Viễn thông dưới sự hướng dẫn khoa học của PGS. Phạm Văn Cường, thuộc chuyên ngành Kỹ thuật máy tính (mã số: 9.06), hoàn thành năm 2023. Nghiên cứu nhận được sự tài trợ học bổng đào tạo từ Quỹ đổi mới sáng tạo Vingroup (VINIF) và Viện nghiên cứu dữ liệu lớn (VINBIGDATA).

Tính cấp thiết và khoảng trống nghiên cứu

Sự kiện bất thường được định nghĩa là những biến cố diễn ra ngoài dự tính và kế hoạch của con người, bắt nguồn từ tự nhiên hoặc các hoạt động xã hội, là nguyên nhân hàng đầu gây thiệt hại về tính mạng, kinh tế và cơ sở hạ tầng. Cùng với sự mở rộng của các hệ thống giám sát hình ảnh trên nền tảng Internet vạn vật (IoT), số lượng camera quan sát (CCTV) được ghi nhận đạt ngưỡng 1 tỷ đơn vị trong năm 2022. Tuy nhiên, việc ứng dụng trực tiếp các mô hình học sâu huấn luyện đầu-cuối (end-to-end) hay các bộ phát hiện đối tượng phổ biến (như YOLO, Faster RCNN, SSD) vào bài toán giám sát thực tế bộc lộ nhiều hạn chế cốt lõi:

  • Các đối tượng bất thường thường xuất hiện ở cự ly xa, chiếm tỷ lệ diện tích nhỏ trong khung hình và có hình thái không đồng nhất, dẫn đến việc các đặc trưng trích xuất từ ảnh gốc bị ảnh hưởng nặng nề bởi nhiễu nền, làm phát sinh tỷ lệ cảnh báo giả cao.
  • Độ phức tạp tính toán của các kiến trúc học sâu đa tầng gây cản trở yêu cầu xử lý theo thời gian thực khi triển khai trên các thiết bị nhúng có tài nguyên phần cứng giới hạn (như máy tính gắn trên thiết bị bay không người lái UAV).
  • Tần suất xảy ra các sự kiện bất thường trong tự nhiên rất thấp, khiến nguồn dữ liệu thu thập được để huấn luyện mô hình luôn trong tình trạng thiếu hụt.

Từ các hạn chế này, khoảng trống nghiên cứu được xác định là sự thiếu vắng một kiến trúc xử lý trung gian có khả năng cân bằng giữa độ chính xác nhận dạng, khả năng triệt tiêu cảnh báo giả và tốc độ xử lý trên phần cứng nhúng.

Mục tiêu nghiên cứu

Mục tiêu bao trùm của luận án là nghiên cứu các thành phần của mô hình phân cấp nhằm đề xuất cấu trúc phân cấp hiệu quả cho việc nhận dạng, phát hiện sự kiện bất thường từ dữ liệu hình ảnh/video giám sát, giải quyết bài toán dung hòa giữa độ chính xác và tốc độ xử lý thời gian thực. Các mục tiêu cụ thể được đánh số trong văn bản gồm:

  1. Thứ nhất: Nghiên cứu các mô hình mạng học sâu phân cấp cho bài toán phát hiện, nhận dạng sự kiện bất thường; xây dựng các bộ dữ liệu chuẩn hóa phục vụ đánh giá mô hình.
  2. Thứ hai: Nghiên cứu đề xuất mô hình mạng học sâu phân cấp cho nhận dạng sự kiện bất thường tĩnh nhằm cải thiện hiệu năng so với các kỹ thuật nhận dạng trực tiếp trên ảnh đơn.
  3. Thứ ba: Trên cơ sở mô hình phân cấp tĩnh, nghiên cứu đề xuất mô hình mạng học sâu phân cấp cho nhận dạng sự kiện bất thường động tích hợp các mô-đun trích xuất đặc trưng thời gian, nâng cao độ chính xác và tốc độ xử lý.

Câu hỏi nghiên cứu

Câu hỏi trung tâm của luận án là: Làm thế nào để thiết lập một mô hình phát hiện sự kiện bất thường hoạt động ổn định với tỷ lệ cảnh báo giả thấp và tốc độ xử lý đủ nhanh để có thể vận hành theo thời gian thực trên các hệ thống giám sát và thiết bị phần cứng hạn chế tài nguyên?

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu:
    1. Các sự kiện bất thường có thể quan sát thông qua hệ thống camera giám sát;
    2. Các mạng học sâu tích hợp trong mô hình phân cấp phục vụ bài toán phát hiện bất thường.
  • Phạm vi nghiên cứu:
    • Không gian và phương tiện thu thập: Dữ liệu hình ảnh thu nhận từ hệ thống camera giám sát cố định (CCTV) và camera (ảnh màu RGB, ảnh nhiệt) gắn trên thiết bị bay không người lái (UAV).
    • Dạng sự kiện cụ thể: Nghiên cứu tập trung vào 3 bài toán điển hình: phát hiện hố sụt (sinkhole) trong công trường xây dựng, phát hiện sạt lở đường (landslide) vùng núi sau mưa lũ (thuộc nhóm bất thường tĩnh), và phát hiện lửa (fire) trong video giám sát an ninh (thuộc nhóm bất thường động).
    • Thời gian và dữ liệu thực nghiệm: Các mẫu dữ liệu video có độ dài từ 16 giây đến trên 45 phút, bao quát điều kiện môi trường 4 mùa và các trạng thái thời tiết mô phỏng (sương mù, mưa nhỏ).

Tổng quan tài liệu và vị trí của luận án

Luận án phân loại sự kiện bất thường thành hai nhóm: tĩnh (đối tượng không có chuyển động tương đối so với nền) và động (đối tượng có sự biến đổi hình học hoặc chuyển động theo thời gian). Tác giả đã tổng thuật các hướng nghiên cứu liên quan:

Các hướng nghiên cứu phát hiện sự kiện bất thường tĩnh

  • Phát hiện hố sụt: Các phương pháp thăm dò địa chất truyền thống sử dụng radar xuyên đất [35] hoặc LiDAR [36], [37] có chi phí cao. Hướng tiếp cận thị giác máy tính dùng ảnh vệ tinh DEM với mạng U-Net [8], [10] trên dữ liệu NAIP 2018 (độ phân giải 14 kênh). Nghiên cứu của nhóm tác giả trong [9] khai thác ảnh nhiệt từ UAV, phân tích các điểm lạnh kết hợp mạng CNN nông và thuật toán rừng ngẫu nhiên. Công trình trước đó của nghiên cứu sinh [CT1] áp dụng thuật toán ngưỡng đơn giản kết hợp học chuyển tiếp với mạng ResNet [101], tuy nhiên ngưỡng cố định làm giảm khả năng tổng quát hóa và tốc độ chưa đạt mức thời gian thực.
  • Phát hiện sạt lở: Các nghiên cứu sử dụng UAV để chụp ảnh lập bản đồ 3 chiều ở độ cao cố định 60m [38] hoặc theo dõi dịch chuyển địa chất qua nhiều tháng [39]. Về mặt thuật toán, nghiên cứu [96] tích hợp mô hình túi từ trực quan (BoVW), phân tích ngữ nghĩa tiềm ẩn xác suất (pLSA) và thuật toán K láng giềng gần nhất (KNN) trên đặc trưng color SIFT. Nghiên cứu [97] phân chia ô lưới và sử dụng trường ngẫu nhiên có điều kiện (CRF). Nghiên cứu [105] tăng độ sâu mạng CNN làm chậm tốc độ xử lý; nghiên cứu [106] kết hợp Mask R-CNN [107] với ResNet-50 và ResNet-101. Nghiên cứu [104] tối ưu kỹ thuật phân đoạn đa cấp độ nhưng độ chính xác chỉ đạt 77,7%.

Các hướng nghiên cứu phát hiện sự kiện bất thường động

  • Hành vi bạo lực và tai nạn giao thông: Sử dụng phương pháp trừ nền kết hợp máy vector hỗ trợ SVM [115], bộ mô tả luồng bạo lực ViF kết hợp nhận dạng khuôn mặt [116], mạng tích chập ba chiều 3DCNN [118], hoặc mạng kết hợp CNN-LSTM [119]. Phát hiện tai nạn giao thông dựa trên bám vết phương tiện [120], [121], phân tích biểu đồ điểm ảnh [122], [123], đặc trưng HOG [124], [125], mẫu CNN thời gian (TCP) kết hợp luồng quang học [126], và mô hình mạng sinh đối nghịch GAN [127].
  • Phát hiện lửa: Luồng xử lý truyền thống gồm phân loại điểm ảnh màu lửa, phân đoạn chuyển động và trích xuất đặc trưng. Các mô hình không gian màu được áp dụng gồm RGB [128]-[131], YCbCr [132]-[134], YUV [135], Lab [136]. Kỹ thuật phát hiện động gồm phép trừ nền [129], [130], biến đổi wavelet 1D phân tích màu [19], đạo hàm thời gian tích lũy độ chói [128], mô hình Markov ẩn (HMM) phân tích tần số nhấp nháy 10 Hz [130], mạng Bayes dựa trên hệ số wavelet [114]. Các nghiên cứu học sâu áp dụng mạng CNN sâu xử lý dữ liệu mất cân bằng [137], phân loại tầng kết hợp CNN [138], hoặc các bộ phát hiện YOLO, Faster-RCNN, SSD [139]. Hướng tiếp cận kết hợp không-thời gian CNN-LSTM được phát triển trong [83] (đưa ảnh trực tiếp vào mạng) và [142] (chuyển đổi qua luồng quang học trước khi đưa vào CNN).
Tên bộ dữ liệu trong tổng quan Loại sự kiện Tính chất Quy mô / Số lượng mẫu Đặc điểm kỹ thuật
Sinkhole DEM dataset [8] Hố sụt Tĩnh Không nêu cụ thể Ảnh vệ tinh đa phổ
Sinkhole Thermal dataset [9] Hố sụt Tĩnh 11 video (5 – 45 phút) Ảnh nhiệt thu từ UAV qua 4 mùa
OBIA landslide dataset [38] Sạt lở Tĩnh 112 ảnh Ảnh chụp từ UAV ở độ cao 60m
Tasmania landslide dataset [39] Sạt lở Tĩnh Không nêu cụ thể UAV nhiều cánh quạt ở độ cao 40m
Fire YOLO dataset [10] Lửa Động 9.200 ảnh (nhân bản lên 211.000) Ảnh tổng hợp từ nhiều nguồn Internet
Wildland fire dataset [11] Lửa Động 500 ảnh Ảnh màu và ảnh cận hồng ngoại
Firesense database [42] Lửa/khói Động 49 video Dữ liệu video chứa cả lửa và khói
Realtime Fire dataset [43] Lửa Động 31 video Môi trường thử nghiệm thiết lập trước

Khoảng trống luận án lựa chọn giải quyết

Các công trình đi trước chủ yếu áp dụng mô hình nhận dạng trực tiếp trên toàn bộ khung hình ảnh gốc. Với đối tượng kích thước nhỏ, cách làm này khiến tỷ lệ cảnh báo giả tăng cao và làm quá tải tài nguyên xử lý. Các mô hình CNN-LSTM hiện có chưa có bước khoanh vùng sơ bộ, chỉ phát hiện hiệu quả đám cháy lớn. Luận án lựa chọn giải quyết bài toán: thiết kế mô hình phân cấp nhiều chặng nhằm tách lọc không gian quan tâm bằng bộ lọc nhẹ, sau đó mới áp dụng mạng học sâu phân loại và phân tích chuỗi thời gian trên các vùng ảnh đã được cắt nhỏ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình phân tích

Cơ sở lý thuyết trung tâm là kiến trúc mạng phân cấp (Hierarchical Model - HM). Không giống như mạng nơ-ron phân cấp truyền thống (nơi các lớp liên kết chặt chẽ và không thể tách rời), mô hình phân cấp trong luận án được tổ chức thành các tầng mô-đun độc lập:

  1. Tầng 1 - Bộ lọc yếu (Weak filters): Có nhiệm vụ tiếp nhận tập hợp các tensor đầu vào $\tau_{in}$, thực hiện phân đoạn sơ bộ và loại bỏ đại đa số các vùng nhiễu nền bằng các quy tắc hình học hoặc ngưỡng xử lý ảnh với tốc độ tính toán cao. Đầu ra là tập hợp tensor $\tau_{out}$ thỏa mãn $|\tau_{out}| \le |\tau_{in}|$.
  2. Tầng 2 - Bộ lọc mạnh (Strong filters): Tiếp nhận các tensor nghi ngờ đã qua tinh lọc để thực hiện phân loại chi tiết bằng các mạng học sâu chuyên biệt ($f_{CNN}, f_{MobileNet}, f_{Resnet}$).
[Dữ liệu ảnh/video đầu vào]
[Cảnh báo sự kiện bất thường chính xác]

Các công cụ và thuật toán thành phần

  • Mạng nơ-ron tích chập (CNN): Kiến trúc U-Net và SD-UNet phục vụ bài toán phân đoạn ảnh; MobileNet v3 đóng vai trò bộ phân loại gọn nhẹ cho các đối tượng tĩnh; ResNet-18 đóng vai trò bộ trích xuất đặc trưng không gian cho đối tượng động.
  • Mạng nơ-ron hồi quy hai chiều BiLSTM: Mô hình hóa sự thay đổi hình thái ngọn lửa theo thời gian thông qua các cổng tế bào ($i_t, f_t, o_t$), trạng thái ô nhớ $c_t$ và trạng thái ẩn $h_t$.
  • Thuật toán Hungary (Hungarian Algorithm - HA): Tối ưu hóa hàm chi phí khoảng cách $h_{HA}$ để giải quyết bài toán bám vết đối tượng nghi ngờ qua các khung hình liên tiếp.
  • Hàm kích hoạt và hàm mất mát: Hàm Softmax, Swish, tanh, sigmoid ($\sigma$), hàm chỉ số Jaccard $J(A, B)$ và hàm mất mát Jaccard ($\mathcal{L}_{Jaccard}$), chỉ số phần giao trên phần hợp ($IoU$).

Phương pháp nghiên cứu thực nghiệm

Nghiên cứu áp dụng phương pháp thực nghiệm kỹ thuật định lượng qua 2 giai đoạn:

  1. Thiết kế và mô phỏng: Xây dựng kiến trúc phân cấp, xác định các tham số ngưỡng bộ lọc dựa trên đặc tính vật lý của đối tượng (kích thước, tỷ lệ khung hình, biên độ nhiệt, dải màu sắc); thiết lập các mô hình học sâu.
  2. Đánh giá đối chuẩn và thử nghiệm phần cứng: Huấn luyện mô hình trên các bộ dữ liệu thực địa; đo đạc các chỉ số định lượng ($IoU$, $mAP$, $mRecall$, tốc độ khung hình FPS, thời gian xử lý); thử nghiệm triển khai trên các bo mạch máy tính nhúng nhằm kiểm chứng khả năng vận hành thời gian thực.

Nguồn tư liệu và dữ liệu nghiên cứu

  • Bộ dữ liệu hố sụt ảnh nhiệt thu từ UAV (Sinkhole Thermal dataset) do nhóm tác giả công trình [9] chia sẻ, gồm 11 video (thời lượng 5 đến 45 phút) ghi nhận hố sụt nhân tạo trong 4 mùa.
  • Bộ dữ liệu LandslidePTIT do tác giả xây dựng phục vụ bài toán sạt lở.
  • Bộ dữ liệu FirePTIT do tác giả tự xây dựng phục vụ bài toán nhận dạng lửa.

Nội dung chính theo từng chương

Chương 1: Tổng quan về giám sát sự kiện bất thường bằng thị giác máy tính và học máy

Chương 1 hệ thống hóa cơ sở lý luận về quản lý sự kiện bất thường trong 4 giai đoạn: bảo vệ, phát hiện, trợ giúp, và phân tích nguyên nhân; trong đó công nghệ thị giác máy tính đóng vai trò trọng tâm ở khâu phát hiện sớm. Tác giả phân tích toàn diện các nguồn thu thập dữ liệu (cảm biến IoT, camera CCTV, máy ảnh nhiệt và camera gắn trên UAV).

Nội dung chương đi sâu khảo sát các tập dữ liệu tiêu chuẩn hiện có trong cộng đồng học thuật cho cả hai nhóm bài toán tĩnh và động. Qua việc so sánh giữa các phương pháp trích xuất đặc trưng truyền thống (màu sắc RGB, HSI, HSV; kết cấu HOG; biến đổi Wavelet; luồng quang học Optical Flow kết hợp các bộ phân loại SVM, HMM, ANN) với các mạng học sâu hiện đại (CNN, RNN, 3DCNN, LSTM), tác giả chỉ ra điểm nghẽn kỹ thuật: các mô hình học sâu đầu-cuối tuy có năng lực biểu diễn cao nhưng dễ bị quá khớp khi thiếu dữ liệu, dễ phát sinh cảnh báo giả do nhiễu nền và đòi hỏi cấu hình phần cứng vượt quá khả năng của các thiết bị giám sát tại biên. Từ đó, chương kết luận sự cần thiết của việc xây dựng mô hình phân cấp nhiều chặng.

Chương 2: Đề xuất mô hình phát hiện sự kiện bất thường tĩnh sử dụng mạng phân cấp

Chương 2 trình bày kiến trúc mô hình phân cấp áp dụng cho dữ liệu ảnh đơn tĩnh thu từ thiết bị bay không người lái UAV, giải quyết hai bài toán cụ thể:

1. Phát hiện hố sụt trong ảnh nhiệt thu về từ UAV

Hố sụt trong công trường xây dựng có đặc tính nhiệt độ bề mặt thấp hơn nền đất xung quanh, biểu hiện thành các điểm lạnh trên ảnh nhiệt.

  • Quy trình phân cấp: Đầu vào ảnh nhiệt được đưa qua mạng U-Net đề xuất để phân đoạn sơ bộ vùng nghi ngờ. Tiếp theo, bộ lọc dựa trên luật $h_{rule}$ loại bỏ các đối tượng nhiễu không thỏa mãn điều kiện về chiều dài ($L_i$), chiều rộng ($W_i$) và diện tích ($S_i$). Các vùng còn lại được đưa vào mạng MobileNet v3 để phân loại chính xác hố sụt hay đối tượng nền.
  • Khử cảnh báo giả bằng bám vết: Để khắc phục sự mất ổn định của camera UAV khi bay, thuật toán Hungary được tích hợp nhằm bám vết vị trí các hố sụt qua các khung hình liên tiếp, chỉ kích hoạt cảnh báo khi đối tượng xuất hiện ổn định qua ngưỡng thời gian quy định.
  • Kết quả thực nghiệm: Đánh giá trên bộ dữ liệu 11 video ảnh nhiệt. Mô hình U-Net đề xuất và bộ phân loại MobileNet v3 đạt độ chính xác cao và tối ưu kích thước bộ nhớ, cho phép hệ thống vận hành đạt tốc độ khung hình theo thời gian thực trên bo mạch nhúng.

2. Phát hiện sạt lở đường trong ảnh thu về từ UAV

Sạt lở đất đá gây cản trở giao thông vùng núi sau mưa lũ được nhận diện thông qua mô hình phân cấp kết hợp phân đoạn nền đường:

  • Quy trình phân cấp: Trước hết, mạng SD-UNet thực hiện phân đoạn mặt đường nhằm giới hạn vùng quan tâm (ROI). Các đối tượng đất, đá, bùn xâm lấn trên mặt đường được trích xuất bằng kỹ thuật phân tích thành phần liên thông. Bộ lọc theo luật $h_{rule}$ loại trừ các vật thể nhỏ (rác, vết nứt nhỏ), sau đó mô hình MobileNet v3 tiến hành phân loại khẳng định sự kiện sạt lở.
  • Sinh dữ liệu tự động: Để giải quyết bài toán thiếu dữ liệu huấn luyện thực tế, luận án áp dụng cơ chế tự động sinh dữ liệu nhằm tạo ra bộ dữ liệu LandslidePTIT gồm 2.963 ảnh, đồng thời bổ sung các thuật toán giả lập điều kiện thời tiết thực địa như sương mù và mưa nhỏ.
  • Kết quả thực nghiệm: Các bảng so sánh trong chương minh chứng phương pháp đề xuất vượt trội so với các mô hình phân đoạn đường truyền thống và các bộ phân loại độc lập, đồng thời bộ lọc theo luật giúp cắt giảm đáng kể số lượng tensor cần xử lý tại tầng học sâu.

Chương 3: Đề xuất mô hình phát hiện sự kiện bất thường động sử dụng mạng phân cấp

Chương 3 mở rộng kiến trúc phân cấp sang bài toán nhận dạng sự kiện bất thường động, nơi đối tượng có sự thay đổi liên tục về hình học và chuyển động qua chuỗi khung hình video, tập trung vào bài toán phát hiện ngọn lửa:

1. Kiến trúc hệ thống phân cấp kết hợp CNN-BiLSTM

  • Chặng lọc không gian sơ bộ: Không đưa trực tiếp toàn bộ khung hình video vào mạng nơ-ron, hệ thống kết hợp hai bản đồ đặc trưng:
    1. Bản đồ phân loại điểm ảnh màu lửa: Thiết lập quy tắc phân ngưỡng trên không gian màu dựa trên các ngưỡng giới hạn $R_{low}, H_{low}, H_{high}$.
    2. Bản đồ năng lượng biên (Flicker energy): Tính toán sự biến thiên độ sáng $I(t)$ theo thời gian, trích xuất năng lượng nhấp nháy tức thời $F_m(t)$ và năng lượng nhấp nháy tích lũy $F_a(t)$ tại đường biên ngọn lửa. Sự kết hợp giữa hai bản đồ giúp xác định chính xác các vùng chữ nhật bao quanh đối tượng nghi ngờ là lửa.
  • Chặng trích xuất đặc trưng không gian: Các vùng nghi ngờ được cắt nhỏ và đưa qua mạng tích chập ResNet-18 để trích xuất các vector đặc trưng không gian $X_t$, giúp giảm thiểu hoàn toàn nhiễu từ bối cảnh nền tĩnh xung quanh.
  • Chặng trích xuất đặc trưng thời gian và phân loại: Chuỗi vector đặc trưng theo thời gian được đưa vào mạng bộ nhớ dài ngắn hạn hai chiều (BiLSTM). Cấu trúc BiLSTM cho phép học đồng thời các phụ thuộc thời gian xuôi và ngược của chuyển động nhấp nháy ngọn lửa qua các bước thời gian. Lớp Softmax ở đầu ra tính toán xác suất $\hat{y}$ nhằm đưa ra quyết định cuối cùng giữa lửa thực tế và các đối tượng gây cảnh báo giả (đèn xe, ánh sáng phản xạ, người đi bộ).

2. Bộ dữ liệu FirePTIT và kết quả thực nghiệm

  • Tác giả công bố bộ dữ liệu FirePTIT gồm 1.032 video giám sát (thời lượng từ 16 giây đến trên 15 phút), phản ánh đa dạng môi trường quan sát, khoảng cách và các đối tượng gây nhiễu giống lửa.
  • Các thực nghiệm so sánh với các kiến trúc CNN đơn thuần, các bộ phát hiện đối tượng phổ biến (Faster R-CNN, YOLO, SSD) và mô hình CNN-LSTM truyền thống khẳng định: việc kết hợp bản đồ năng lượng biên, mạng ResNet-18 và BiLSTM trên vùng ảnh cắt giúp tăng chỉ số nhận dạng chính xác, hạ thấp tỷ lệ cảnh báo giả và duy trì tốc độ xử lý ở mức thời gian thực.

Kết quả và những đóng góp mới

Luận án đã đạt được các đóng góp mới về mặt khoa học kỹ thuật và ứng dụng thực tiễn:

1. Đóng góp về xây dựng cơ sở dữ liệu thực nghiệm chuẩn hóa

Luận án đã thu thập, chuẩn hóa và đóng góp cho cộng đồng nghiên cứu hai bộ dữ liệu thực tế chuyên biệt cho bài toán phát hiện sự kiện bất thường:

  • Bộ dữ liệu LandslidePTIT: Bao gồm 2.963 ảnh chụp từ UAV thể hiện các dạng sạt lở đường giao thông miền núi (đất, đá, bùn, sụt lún mặt đường), được xử lý tăng cường dữ liệu bằng các hiệu ứng môi trường sau lũ như sương mù và mưa nhỏ.
  • Bộ dữ liệu FirePTIT: Gồm 1.032 video giám sát thu nhận từ hệ thống camera thực tế với thời lượng từ 16 giây đến hơn 15 phút. Dữ liệu bao quát các quy mô ngọn lửa, góc nhìn và đặc biệt chứa nhiều đối tượng gây cảnh báo giả (nhà cửa, ánh đèn xe cộ, người đi bộ).
Thông số so sánh Bộ dữ liệu LandslidePTIT Bộ dữ liệu FirePTIT
Dạng sự kiện Sạt lở đường vùng núi (Tĩnh) Lửa trong video giám sát (Động)
Định dạng dữ liệu Hình ảnh (RGB từ UAV) Video (Camera giám sát CCTV)
Quy mô số lượng 2.963 ảnh 1.032 video (độ dài 16s đến >15 phút)
Yếu tố gây nhiễu tích hợp Hiệu ứng mưa nhỏ, sương mù mô phỏng Đèn pha xe, ánh sáng phản xạ, người, nhà
Mục đích sử dụng Đánh giá mô hình SD-UNet và MobileNet v3 Đánh giá mô hình ResNet-18 và BiLSTM

2. Đóng góp về mô hình phát hiện sự kiện bất thường tĩnh

  • Đề xuất kiến trúc mạng phân cấp xử lý trên ảnh đơn, phân tách quá trình phát hiện thành tầng lọc yếu (kết hợp phân đoạn U-Net/SD-UNet và lọc hình thái theo luật) và tầng lọc mạnh (phân loại bằng MobileNet v3).
  • Tích hợp thành công thuật toán Hungary vào chuỗi xử lý ảnh nhiệt từ UAV nhằm bám vết đối tượng hố sụt, loại bỏ hiện tượng cảnh báo giả do rung lắc camera.
  • Đóng góp này được công bố qua 4 công trình khoa học ([CT1], [CT2], [CT3], [CT4]).

3. Đóng góp về mô hình phát hiện sự kiện bất thường động

  • Đề xuất mô hình phân cấp kết hợp bộ lọc không gian đa thuộc tính (kết hợp bản đồ màu lửa và bản đồ năng lượng nhấp nháy biên) với mô hình học sâu chuỗi thời gian CNN-BiLSTM.
  • Giải pháp chỉ trích xuất đặc trưng trên các vùng ảnh nghi ngờ cắt nhỏ (sử dụng ResNet-18) thay vì toàn bộ khung hình giúp loại bỏ nhiễu nền và giảm tải khối lượng tính toán, tạo điều kiện cho mạng BiLSTM mô hình hóa chính xác động học ngọn lửa.
  • Đóng góp này được công bố qua 2 công trình khoa học ([CT5], [CT6]).

Kiến nghị và giải pháp đề xuất

Tác giả đề xuất tích hợp các mô-đun phân cấp đã tối ưu vào hệ thống máy tính nhúng trên thiết bị bay không người lái (UAV) phục vụ công tác cứu hộ, tuần tra sạt lở giao thông sau thiên tai, và tích hợp lõi xử lý CNN-BiLSTM vào các trung tâm dữ liệu giám sát camera an ninh nhằm tự động hóa công tác cảnh báo cháy nổ sớm.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Các mô hình phân cấp đề xuất được thiết kế và tinh chỉnh chuyên biệt cho từng bài toán thực tế (hố sụt, sạt lở, lửa); chưa thể áp dụng một bộ siêu tham số đồng nhất cho mọi loại sự kiện bất thường.
  • Tầng lọc yếu ở chặng đầu vẫn phụ thuộc vào các ngưỡng luật cố định ($L_i, W_i, S_i$ hoặc các ngưỡng màu $R_{low}, H_{low}, H_{high}$), đòi hỏi phải hiệu chỉnh thủ công khi môi trường chiếu sáng hoặc đặc tính bề mặt thay đổi lớn.
  • Dữ liệu thu thập từ UAV chịu ảnh hưởng nhất định bởi độ ổn định cơ học và góc nghiêng của thiết bị bay trong điều kiện gió lớn.

Hướng nghiên cứu tiếp theo

  • Nghiên cứu cơ chế tự động hóa việc học và thích ứng các ngưỡng của bộ lọc luật thông qua học tăng cường hoặc các thuật toán tối ưu hóa thông minh.
  • Mở rộng kiến trúc mạng phân cấp động sang các bài toán giám sát an ninh phức tạp hơn như nhận dạng hành vi bạo lực của con người, tai nạn giao thông đa phương tiện.
  • Thử nghiệm và đóng gói mô hình trên nhiều nền tảng phần cứng biên chuyên dụng có mức tiêu thụ năng lượng thấp.

Giá trị tham khảo

Luận án mang lại giá trị tham khảo rõ ràng cho các nhóm đối tượng:

  • Nghiên cứu sinh và học viên sau đại học ngành Kỹ thuật máy tính, Khoa học dữ liệu, Thị giác máy tính: Cung cấp tài liệu tham khảo chi tiết về phương pháp luận thiết kế kiến trúc phân cấp nhiều chặng, kết hợp giữa xử lý ảnh truyền thống và học sâu để giải quyết bài toán mất cân bằng dữ liệu và tối ưu tài nguyên tính toán.
  • Kỹ sư phát triển hệ thống nhúng và IoT: Tham khảo cách thức phân bổ tải tính toán giữa bộ lọc yếu và bộ lọc mạnh, kỹ thuật bám vết bằng thuật toán Hungary và mô hình BiLSTM để triển khai thuật toán trên các bo mạch biên có năng lực xử lý giới hạn.
  • Cơ quan quản lý hạ tầng giao thông và phòng cháy chữa cháy: Cung cấp giải pháp kỹ thuật có tính ứng dụng cao cho việc cảnh báo sạt lở đất đá trên đường đèo dốc và phát hiện hỏa hoạn sớm qua hệ thống camera giám sát.
  • Phần đáng tham khảo nhất: Quy trình thiết kế kiến trúc phân cấp trong Chương 2 và Chương 3; phương pháp kết hợp bản đồ năng lượng biên với mạng BiLSTM; quy cách xây dựng và gán nhãn hai bộ dữ liệu LandslidePTIT và FirePTIT.

Câu hỏi thường gặp

1. Mô hình phân cấp đề xuất trong luận án có nguyên lý hoạt động căn bản như thế nào để vừa hạ thấp tỷ lệ cảnh báo giả vừa bảo đảm tốc độ xử lý thời gian thực?

Mô hình tổ chức quá trình nhận dạng thành hai nhóm bộ lọc kế tiếp: tầng 1 sử dụng các bộ lọc yếu có tốc độ tính toán cao (dựa trên phân đoạn U-Net/SD-UNet, luật hình thái học hoặc phân ngưỡng màu sắc và năng lượng biên) để quét nhanh và loại bỏ đại đa số các vùng nhiễu nền trên ảnh gốc. Tầng 2 chỉ tiếp nhận một lượng nhỏ các vùng nghi ngờ đã được cắt gọn để đưa vào các mạng học sâu phân loại (MobileNet v3, ResNet-18 kết hợp BiLSTM). Nhờ kích thước dữ liệu đầu vào tầng 2 nhỏ, khối lượng tính toán giảm mạnh giúp hệ thống xử lý nhanh, đồng thời việc loại bỏ nền tĩnh từ sớm ngăn chặn tối đa các cảnh báo sai.

2. Thuật toán Hungary (Hungarian Algorithm) đóng vai trò gì trong bài toán phát hiện hố sụt từ ảnh nhiệt của UAV?

Trong quá trình bay thu thập dữ liệu của UAV, sự dịch chuyển vị trí và rung lắc camera dễ làm các vùng nhiệt độ thấp bình thường bị nhận diện nhầm thành hố sụt ở một số khung hình đơn lẻ. Thuật toán Hungary được sử dụng để giải bài toán gán chi phí tối ưu nhằm bám vết chính xác vị trí của từng hố sụt nghi ngờ qua chuỗi các khung hình liên tiếp. Hệ thống chỉ xác nhận và phát cảnh báo khi đối tượng hố sụt duy trì sự tồn tại ổn định qua một số lượng khung hình nhất định, giúp triệt tiêu hiện tượng cảnh báo giả tức thời.

3. Hai bộ dữ liệu do tác giả xây dựng có quy mô và đặc điểm kỹ thuật cụ thể ra sao?

  • Bộ dữ liệu LandslidePTIT: Gồm 2.963 ảnh chụp sạt lở đường vùng núi từ UAV với các nhãn đất, đá, bùn, sụt lún; được bổ sung thuật toán mô phỏng sương mù và mưa nhỏ sau lũ.
  • Bộ dữ liệu FirePTIT: Gồm 1.032 video giám sát thực tế (thời lượng từ 16 giây đến trên 15 phút) ghi nhận đối tượng lửa ở nhiều khoảng cách, màu sắc, góc quay, đi kèm các tác nhân gây cảnh báo giả như ánh sáng đèn xe, tòa nhà, người đi bộ.

4. Tại sao mô hình phát hiện lửa trong video lại kết hợp cả ResNet-18 và BiLSTM thay vì chỉ dùng mạng CNN thông thường?

Mạng CNN thuần túy (2DCNN) chỉ có khả năng trích xuất các đặc trưng kết cấu không gian tĩnh trong một khung hình đơn lẻ, dễ nhầm lẫn các vật thể có màu sắc giống lửa (đèn xe, biển báo màu đỏ, ánh sáng phản chiếu). Ngọn lửa thực tế mang bản chất động lực học với sự biến thiên độ sáng và nhấp nháy biên liên tục theo thời gian. Mạng ResNet-18 được dùng để trích xuất vector đặc trưng không gian cho từng vùng nghi ngờ, sau đó chuỗi vector này được nạp vào mạng BiLSTM hai chiều để phân tích mối tương quan và động học chuyển động ngọn lửa qua các bước thời gian liên tiếp, từ đó phân biệt chính xác lửa thật với các vật thể tĩnh có màu giống lửa.

5. Luận án giải quyết khó khăn về việc thiếu hụt dữ liệu huấn luyện sạt lở đất bằng phương pháp nào?

Do sự kiện sạt lở hiếm xảy ra và khó tiếp cận hiện trường ngay sau thiên tai, tác giả đã áp dụng kỹ thuật sinh dữ liệu tự động kết hợp xử lý đồ họa để làm giàu dữ liệu từ các mẫu thu thập ban đầu, đồng thời đưa vào các hiệu ứng thời tiết nhân tạo (giả lập sương mù dày đặc và mưa nhỏ) nhằm mô phỏng sát nhất điều kiện khí quyển thực tế sau các đợt mưa bão, nâng quy mô bộ dữ liệu LandslidePTIT lên 2.963 ảnh phục vụ huấn luyện mô hình.

Kết luận

Luận án tiến sĩ của nghiên cứu sinh Vũ Hoài Nam đã giải quyết bài toán phát hiện sự kiện bất thường từ hình ảnh và video giám sát thông qua việc đề xuất kiến trúc mạng phân cấp nhiều chặng. Bằng cách kết hợp các bộ lọc hình thái, bản đồ năng lượng và phân ngưỡng sơ bộ ở tầng đầu với các mạng học sâu (U-Net, SD-UNet, MobileNet v3, ResNet-18, BiLSTM) và thuật toán bám vết Hungary ở tầng sau, mô hình đã giảm đáng kể tỷ lệ cảnh báo giả và đáp ứng yêu cầu xử lý thời gian thực trên thiết bị nhúng. Việc công bố hai bộ dữ liệu thực nghiệm chuẩn hóa LandslidePTIT và FirePTIT là đóng góp thực tiễn giá trị, tạo cơ sở đối chuẩn đáng tin cậy cho các nghiên cứu tiếp theo trong lĩnh vực thị giác máy tính và giám sát an toàn tự động.