Giới thiệu dự án

Bối cảnh và thực trạng ngành

Trong kỷ nguyên đô thị hóa và chuyển đổi số hạ tầng giao thông - an ninh, hệ thống camera giám sát (CCTV) đang chứng kiến sự bùng nổ mạnh mẽ về số lượng. Theo các báo cáo thống kê ngành an ninh thông minh toàn cầu, có hơn 1 tỷ camera giám sát đang vận hành trên toàn thế giới. Tuy nhiên, việc vận hành thủ công các mạng lưới camera giám sát quy mô lớn bộc lộ những lỗ hổng nghiêm trọng: nhân viên an ninh chỉ có thể duy trì sự tập trung tối đa trong khoảng 20 phút đầu tiên khi theo dõi nhiều màn hình cùng lúc, dẫn đến tỷ lệ bỏ sót các sự kiện an ninh lên tới 45%.

Tại Việt Nam, hạ tầng giám sát tại các đô thị lớn, khu công nghiệp, bệnh viện, trường học và sân bay đang mở rộng nhanh chóng. Dẫu vậy, phần lớn các hệ thống này vẫn hoạt động phân mảnh: mỗi camera chỉ theo dõi một góc nhìn độc lập, không có khả năng liên kết nhận thức để tự động bám vết một đối tượng khi họ di chuyển qua các vùng không gian bị che khuất hoặc góc mù giữa các camera không có tầm nhìn trùng lặp (non-overlapping field of view).

Bài toán nghiên cứu và các điểm nghẽn kỹ thuật

Đề tài "Xây dựng hệ thống định danh đối tượng thông qua nhiều camera" (Khóa luận tốt nghiệp ngành Khoa học Máy tính, Trường Đại học Sư phạm TP.HCM; Thực hiện: Nguyễn A Đam, Nguyễn Văn Phong; GVHD: TS. Nguyễn Viết Hưng) giải quyết bài toán cốt lõi: Làm thế nào để tự động phát hiện, theo dõi liên tục và tái định danh chính xác một cá nhân (Person Re-Identification - Re-ID) khi đối tượng di chuyển qua mạng lưới nhiều camera giám sát khác nhau.

Các điểm nghẽn kỹ thuật (pain points) chính gồm:

  • Biến thiên diện mạo phức tạp (Appearance Variation): Cùng một người nhưng khi xuất hiện ở các camera khác nhau sẽ bị thay đổi góc nhìn (viewpoint), tư thế (pose), độ phân giải và đặc biệt là điều kiện ánh sáng (illumination changes).
  • Hiện tượng che khuất (Occlusion): Đối tượng bị che khuất một phần hoặc toàn phần bởi chướng ngại vật hoặc người đi cùng, làm gián đoạn quỹ đạo bám vết.
  • Sự chuyển đổi định danh (ID Switches): Các thuật toán theo dõi truyền thống dễ gán nhầm ID khi hai người đi giao cắt nhau.
  • Tính toán liên kết đặc trưng đa camera: Không gian tìm kiếm mở rộng theo cấp số nhân khi số lượng camera và số người tăng lên.

Mục tiêu dự án

  1. Xây dựng module phát hiện con người (Pedestrian Detection): Ứng dụng mô hình thị giác máy tính hiện đại YOLOv8 nhằm phát hiện chính xác vị trí cơ thể người trong từng khung hình video với độ trễ thấp.
  2. Xây dựng module theo dõi đơn camera (Single-Camera Tracking): Triển khai thuật toán Deep SORT kết hợp bộ lọc Kalman (Kalman Filter) và thuật toán Hungarian để duy trì quỹ đạo và định danh cục bộ (Local ID) của đối tượng.
  3. Xây dựng module tái định danh đa camera (Multi-Camera Person Re-ID): Huấn luyện mạng trích xuất đặc trưng sâu (Deep Cosine Metric Learning với mạng Wide Residual Network - WRN và ResNet-50) để tạo vector nhúng đặc trưng (feature embeddings), cho phép so khớp nhận dạng đối tượng qua nhiều góc máy khác nhau.
  4. Tích hợp hệ thống và giao diện Web: Xây dựng ứng dụng hoàn chỉnh cho phép tiếp nhận nguồn cấp video từ nhiều camera, tự động xử lý và cung cấp giao diện trực quan hóa kết quả hành trình đối tượng.
[Nguồn cấp Video Đa Camera] 
           │
           ▼
┌────────────────────────────────────────┐
│ 1. Phát hiện đối tượng (YOLOv8)        │ ──► Trích xuất Bounding Box người
└────────────────────────────────────────┘
           │
           ▼
┌────────────────────────────────────────┐
│ 2. Theo dõi đơn camera (Deep SORT)     │ ──► Kalman Filter + Hungarian Matching
└────────────────────────────────────────┘
           │
           ▼
┌────────────────────────────────────────┐
│ 3. Tái định danh (ResNet-50 / WRN)     │ ──► Trích xuất Vector đặc trưng (128-d)
└────────────────────────────────────────┘
           │
           ▼
┌────────────────────────────────────────┐
│ 4. So khớp toàn cục (Global Matching)  │ ──► Cosine Distance + Gán Global ID
└────────────────────────────────────────┘
           │
           ▼
[Giao diện Dashboard Quản trị & Truy vết]

Phương pháp tiếp cận và phạm vi nghiên cứu

  • Phương pháp tiếp cận: Kết hợp hướng tiếp cận dựa trên diện mạo (Appearance-based) và quỹ đạo (Trajectory-based). Diện mạo giúp nhận diện các đặc trưng tổng thể (màu áo, quần, giới tính) và chi tiết (giày dép, phụ kiện), trong khi quỹ đạo hỗ trợ dự đoán chuyển động ngắn hạn.
  • Chỉ tiêu kỳ vọng: Tối ưu hóa độ chính xác theo dõi nhiều đối tượng (MOTA), giảm tỷ lệ hoán đổi định danh (ID Switches) xuống trên 40% so với phương pháp SORT cổ điển, và đạt độ chính xác Rank-1 cao trên các tập dữ liệu tiêu chuẩn Re-ID (Market-1501, MARS).
  • Phạm vi & Giới hạn: Hệ thống tập trung định danh đối tượng người đi bộ (human pedestrian), xử lý dữ liệu theo cơ chế phân đoạn lô (batch processing) và cung cấp giao diện điều khiển web phục vụ công tác giám sát, điều tra hồi cứu.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng và khoảng trống kỹ thuật

Phương pháp Nguyên lý hoạt động Ưu điểm Nhược điểm
Giám sát thủ công (Human Operator) Con người quan sát màn hình đa kênh Linh hoạt nhận biết bối cảnh ngữ nghĩa Giới hạn sinh học, quá tải khi > 4 kênh, sai sót cao khi phân tích kéo dài
SORT cổ điển (Bewley et al.) Detector + Kalman Filter + Hungarian (chỉ dùng IoU) Tốc độ xử lý cực nhanh (>60 FPS) Không trích xuất đặc trưng diện mạo, ID switch rất cao khi bị che khuất
Hệ thống đề xuất (YOLOv8 + Deep SORT + ResNet/WRN) Detector không anchor + Trích xuất đặc trưng sâu + Matching Cascade + Cosine Distance Bám vết chính xác, giảm triệt để ID switch, hỗ trợ liên kết xuyên camera Yêu cầu tài nguyên tính toán GPU cho việc trích xuất đặc trưng sâu

Phân loại yêu cầu hệ thống theo mô hình MoSCoW

  • Must have (Bắt buộc phải có):
    • Tách luồng video từ định dạng MP4 thành các khung hình riêng lẻ.
    • Nhận diện chính xác bounding box của con người qua YOLOv8.
    • Gán ID tạm thời và duy trì theo dõi đơn camera với Deep SORT.
    • Trích xuất vector diện mạo và liên kết danh tính xuyên suốt các camera.
  • Should have (Nên có):
    • Giao diện web trực quan hiển thị video kết quả kèm bounding box và Global ID.
    • Bộ lọc Non-Maximum Suppression (NMS) tối ưu nhằm triệt tiêu các hộp nhận diện trùng lặp.
  • Could have (Có thể có):
    • Khả năng xuất nhật ký lịch sử di chuyển của từng ID dưới dạng báo cáo thời gian thực.
    • Tích hợp thêm các bộ trích xuất đặc trưng nhẹ cho thiết bị nhúng (Edge AI).
  • Won't have (Chưa thực hiện trong phiên bản này):
    • Xử lý luồng trực tiếp thời gian thực không độ trễ trên hàng trăm camera 4K đồng thời.
    • Nhận diện khuôn mặt ở khoảng cách siêu xa với độ phân giải cực thấp.

Thiết kế kiến trúc hệ thống

Hệ thống được thiết kế theo mô hình phân lớp phân tán với 4 khối chức năng chính:

┌────────────────────────────────────────────────────────────────────────┐
│                        TẦNG ỨNG DỤNG & GIAO DIỆN                      │
│            Web Dashboard (Giao diện tải video, cấu hình & xem vết)     │
└───────────────────────────────────┬────────────────────────────────────┘
                                    │ HTTP / REST API
┌───────────────────────────────────▼────────────────────────────────────┐
│                        TẦNG DỊCH VỤ XỬ LÝ TRUNG TÂM                     │
│  ┌───────────────────────┐ ┌──────────────────────┐ ┌────────────────┐ │
│  │ Video Decoding Engine │ │ Model Pipeline Sched │ │ Result Caching │ │
│  └───────────────────────┘ └──────────────────────┘ └────────────────┘ │
└───────────────────────────────────┬────────────────────────────────────┘
                                    │
┌───────────────────────────────────▼────────────────────────────────────┐
│                        TẦNG SUY LUẬN AI (AI INFERENCE)                 │
│  ┌─────────────────────────┐  ┌─────────────────────────────────────┐  │
│  │ YOLOv8 Detection Engine │  │ Deep SORT + Kalman Tracker          │  │
│  └────────────┬────────────┘  └──────────────────┬──────────────────┘  │
│               │ Bounding Boxes                   │ Local Tracks        │
│               └─────────────────► ┌──────────────▼──────────────────┐  │
│                                   │ Re-ID Metric Extractor (WRN/50) │  │
│                                   │ Global Cross-Camera Associator  │  │
│                                   └─────────────────────────────────┘  │
└───────────────────────────────────┬────────────────────────────────────┘
                                    │
┌───────────────────────────────────▼────────────────────────────────────┐
│                        TẦNG LƯU TRỮ VÀ DỮ LIỆU                         │
│       File Storage (Video/Frames) │ Embedding Vector Store / Metadata   │
└────────────────────────────────────────────────────────────────────────┘

Ngăn xếp công nghệ (Technology Stack)

  • Framework Học sâu: PyTorch v2.0.1, Torchvision v0.15.2
  • Mô hình Thị giác máy tính: Ultralytics YOLOv8 (v8.0.x), Deep SORT, ResNet-50 / Wide Residual Network (WRN-16-4)
  • Thư viện Xử lý dữ liệu & Ảnh: OpenCV Python v4.7.0, NumPy v1.24.3, SciPy v1.10.1, Scikit-learn v1.2.2
  • Tầng Backend & API: Python 3.9+, Flask v2.3.2 / FastAPI v0.95.2
  • Tầng Frontend: HTML5, CSS3, JavaScript (ES6+), Bootstrap v5.3

Thiết kế giao diện lập trình ứng dụng (RESTful API Design)

  • POST /api/v1/video/upload: Tiếp nhận các tệp tin video từ các camera khác nhau.
  • POST /api/v1/pipeline/process: Khởi tạo tiến trình phân tích: Detection -> Tracking -> Re-ID.
  • GET /api/v1/pipeline/status/<task_id>: Truy vấn tiến độ thực thi của tác vụ.
  • GET /api/v1/reid/results/<task_id>: Truy xuất kết quả danh sách các Global ID, tọa độ bounding box theo từng khung hình và video đã xử lý kèm nhãn.

Phương pháp luận phát triển (Methodology)

Dự án áp dụng mô hình phát triển linh hoạt (Agile Scrum) được chia thành 4 sprint chính trong thời gian 16 tuần:

  • Sprint 1 (Tuần 1 - 4): Nghiên cứu lý thuyết & Thu thập dữ liệu. Khảo cứu các công trình khoa học (SORT, Deep SORT, YOLOv5/v8, OSNet), chuẩn bị tập dữ liệu Market-1501 và MARS.
  • Sprint 2 (Tuần 5 - 8): Xây dựng lõi Detection & Tracking. Huấn luyện và tinh chỉnh mô hình YOLOv8 trên tập dữ liệu người; tích hợp module lọc Kalman và giải thuật Hungarian cho Deep SORT.
  • Sprint 3 (Tuần 9 - 12): Triển khai mô hình Person Re-ID. Huấn luyện bộ trích xuất Deep Cosine Metric Learning với kiến trúc WRN và ResNet-50; thiết kế chiến lược Matching Cascade liên camera.
  • Sprint 4 (Tuần 13 - 16): Tích hợp toàn diện & Kiểm thử hệ thống. Xây dựng Web App, kiểm thử hồi quy, đo lường benchmark hiệu năng và tối ưu hóa hệ thống.

Implementation và kết quả

Chi tiết các thuật toán cốt lõi

1. Kiến trúc mô hình YOLOv8 trong bài toán phát hiện người

YOLOv8 mang lại những cải tiến vượt bậc so với phiên bản tiền nhiệm YOLOv5:

  • Mô-đun C2f (Cross-Stage Partial with 2 Convolutions): Thay thế cho khối C3, C2f tăng cường kết nối tắt (skip connections) phong phú hơn, giúp luồng gradient truyền trực tiếp qua nhiều nhánh mà vẫn duy trì trọng số nhẹ.
  • Cơ chế Anchor-free: YOLOv8 loại bỏ hoàn toàn các anchor box được định nghĩa trước. Mô hình dự đoán trực tiếp tọa độ tâm của đối tượng và độ lệch bounding box, giúp tăng khả năng tổng quát hóa với các kích thước người khác nhau và loại bỏ bước tính toán cụm k-means anchor phức tạp.
  • Khối SPPF (Spatial Pyramid Pooling - Fast): Sử dụng các tầng pooling nối tiếp với kernel size $5 \times 5$ cố định thay vì các nhánh song song kích thước lớn, tối ưu hóa tốc độ gom đặc trưng đa tỷ lệ.

2. Thuật toán theo dõi Deep SORT và chiến lược Matching Cascade

Deep SORT biểu diễn trạng thái của một track tại thời điểm $t$ bằng không gian 8 chiều: $$x = [u, v, \gamma, h, \dot{u}, \dot{v}, \dot{\gamma}, \dot{h}]^T$$ Trong đó $(u, v)$ là tọa độ tâm của bounding box, $\gamma$ là tỷ lệ khung hình (aspect ratio), $h$ là chiều cao, và các biến có dấu chấm đại diện cho vận tốc tương ứng được ước lượng thông qua bộ lọc Kalman.

Để giải quyết bài toán liên kết dữ liệu (Data Association), Deep SORT kết hợp hai độ đo:

  1. Khoảng cách Mahalanobis giữa phân phối dự đoán của Kalman và vector đo lường $d_j$: $$d^{(1)}(i, j) = (d_j - y_i)^T S_i^{-1} (d_j - y_i)$$ (Trong đó $(y_i, S_i)$ là kỳ vọng và ma trận hiệp phương sai của track thứ $i$. Độ đo này giúp loại trừ các liên kết không khả thi dựa trên ngưỡng kiểm định chi bình phương $\chi^2_{0.95} = 9.4877$ với bậc tự do bằng 4).

  2. Khoảng cách Cosine trên không gian vector diện mạo: $$d^{(2)}(i, j) = \min { 1 - r_j^T r_k^{(i)} \mid r_k^{(i)} \in \mathcal{R}_i }$$ (Với $r_j$ là vector đặc trưng chuẩn hóa $(|r_j| = 1)$ trích xuất từ detection thứ $j$, và $\mathcal{R}_i$ là tập hợp 100 vector đặc trưng gần nhất của track $i$).

Chi phí liên kết tổng hợp được tính theo công thức: $$c_{i,j} = \lambda d^{(1)}(i, j) + (1 - \lambda) d^{(2)}(i, j)$$

Chiến lược Matching Cascade ưu tiên so khớp các track có tần suất xuất hiện gần nhất (missing age nhỏ) trước, giải quyết triệt để vấn đề phân tán phương sai của bộ lọc Kalman khi đối tượng bị che khuất trong thời gian dài.

import numpy as np
import cv2
import torch
from ultralytics import YOLO

class MultiCameraReIDPipeline:
    """
    Pipeline tích hợp Phát hiện (YOLOv8) -> Theo dõi (Deep SORT) -> Tái định danh (Re-ID)
    """
    def __init__(self, detector_model_path: str, reid_extractor, conf_threshold: float = 0.5):
        # 1. Khởi tạo mô hình YOLOv8 Anchor-Free
        self.detector = YOLO(detector_model_path)
        self.conf_threshold = conf_threshold
        self.reid_extractor = reid_extractor
        self.global_gallery = {}  # Lưu trữ {global_id: [feature_vectors]}
        self.next_global_id = 1
        self.cosine_similarity_threshold = 0.65

    def process_frame(self, frame: np.ndarray, camera_id: int):
        # Bước 1: Tiền xử lý & Dự đoán với YOLOv8
        results = self.detector(frame, verbose=False)[0]
        detections = []
        
        for box in results.boxes:
            cls_id = int(box.cls[0].item())
            conf = float(box.conf[0].item())
            # Lọc riêng lớp con người (class 0 trong COCO dataset)
            if cls_id == 0 and conf >= self.conf_threshold:
                x1, y1, x2, y2 = map(int, box.xyxy[0].tolist())
                detections.append([x1, y1, x2 - x1, y2 - y1, conf])

        # Bước 2: Trích xuất đặc trưng diện mạo cho từng Bounding Box
        tracked_objects = []
        for det in detections:
            x, y, w, h, score = det
            # Cắt bounding box an toàn trong biên khung hình
            crop = frame[max(0, y):max(0, y + h), max(0, x):max(0, x + w)]
            if crop.size == 0:
                continue
            
            # Trích xuất vector đặc trưng 128 chiều từ mạng ResNet-50 / WRN
            feature_vector = self.reid_extractor.extract_feature(crop)
            
            # Bước 3: So khớp toàn cục với Global Gallery (Cross-Camera Association)
            matched_global_id = self._match_global_id(feature_vector)
            tracked_objects.append({
                "bbox": [x, y, w, h],
                "confidence": score,
                "global_id": matched_global_id,
                "camera_id": camera_id
            })

        return tracked_objects

    def _match_global_id(self, query_feat: np.ndarray) -> int:
        best_id = None
        min_cosine_dist = float('inf')

        for gid, feat_list in self.global_gallery.items():
            # Tính khoảng cách cosine nhỏ nhất giữa query và lịch sử gallery
            for gallery_feat in feat_list:
                dist = 1.0 - np.dot(query_feat, gallery_feat) / (
                    np.linalg.norm(query_feat) * np.linalg.norm(gallery_feat) + 1e-6
                )
                if dist < min_cosine_dist:
                    min_cosine_dist = dist
                    best_id = gid

        # Nếu độ sai dị nhỏ hơn ngưỡng -> Trùng khớp danh tính
        if min_cosine_dist < (1.0 - self.cosine_similarity_threshold) and best_id is not None:
            self.global_gallery[best_id].append(query_feat)
            if len(self.global_gallery[best_id]) > 50:
                self.global_gallery[best_id].pop(0)  # Giữ kích thước gallery ổn định
            return best_id
        else:
            # Tạo Global ID mới cho đối tượng mới xuất hiện
            new_id = self.next_global_id
            self.global_gallery[new_id] = [query_feat]
            self.next_global_id += 1
            return new_id

Kiểm thử và Đánh giá thực nghiệm

Hệ thống được huấn luyện và đánh giá trên các tập dữ liệu chuẩn quốc tế dành cho bài toán giám sát và Person Re-ID:

  • Tập dữ liệu huấn luyện Re-ID: Market-1501 (1,501 danh tính, 32,668 hình ảnh chụp từ 6 camera khác nhau) và MARS (Motion Analysis and Re-identification Set với 1,261 danh tính và hơn 1.1 triệu bounding box từ chuỗi video).
  • Môi trường phần cứng: CPU Intel Core i7 / Intel Xeon, GPU NVIDIA Geforce RTX / T4, RAM 16GB+.
  • Môi trường phần mềm: Ubuntu 20.04 LTS / Windows 11, CUDA Toolkit 11.8, Python 3.9.

Bảng 1: Kết quả thực nghiệm của các mô hình phát hiện (Object Detection)

Mô hình Detector Kích thước ảnh đầu vào Precision (%) Recall (%) mAP@0.5 (%) Tốc độ suy luận (ms/frame)
YOLOv5s $640 \times 640$ 86.4 82.1 85.3 8.2 ms
YOLOv5m $640 \times 640$ 88.7 84.6 88.1 14.5 ms
YOLOv8s (Lựa chọn đề xuất) $640 \times 640$ 91.2 87.5 90.4 6.8 ms
Faster R-CNN (VGG16) $800 \times 600$ 84.1 80.3 82.5 45.0 ms

Nhận xét: YOLOv8s vượt trội về độ chính xác mAP@0.5 (đạt 90.4%) và tối ưu hóa thời gian xử lý chỉ còn 6.8 ms/frame nhờ cấu trúc C2f và cơ chế Anchor-free.

Bảng 2: Kết quả thực nghiệm theo dõi và tái định danh (Tracking & Re-ID)

Phương pháp Pipeline Tập dữ liệu MOTA (%) ↑ MOTP (%) ↑ Số lần ID Switches (IDSW) ↓ Rank-1 Acc (%) ↑ mAP Re-ID (%) ↑
SORT chuẩn (Hungarian + IoU) Video Test Suite 59.8 74.2 1,423 - -
Deep SORT (Cosine Metric Learning) Video Test Suite 69.4 78.6 781 82.4 68.7
Hệ thống đề xuất (YOLOv8 + Deep SORT + ResNet50 Re-ID) Market-1501 + Test 73.5 81.2 695 88.6 74.3

Phân tích chỉ số đột phá:

  • Giảm tỷ lệ hoán đổi danh tính (ID Switches): Deep SORT giúp giảm lượng ID switches từ 1,423 xuống 781 trường hợp (giảm 45.1%). Khi kết hợp mạng trích xuất tinh chỉnh ResNet-50/WRN, con số này giảm tiếp tục xuống 695 (giảm tổng cộng 51.1% so với SORT gốc).
  • Chỉ số MOTA (Multiple Object Tracking Accuracy): Đạt mức 73.5%, tăng 13.7 điểm phần trăm so với phương pháp tracking truyền thống không có nhận dạng diện mạo.

Đổi mới và đóng góp kỹ thuật

  1. Ứng dụng cấu trúc mạng YOLOv8 tiên tiến cho bài toán giám sát: Thay vì sử dụng các thế hệ mạng cũ (YOLOv3, YOLOv5), việc áp dụng YOLOv8 với mô-đun C2f và cơ chế tách nhánh dự đoán rời (decoupled head) giúp tăng khả năng nhận diện người ở khoảng cách xa hoặc bị che khuất một phần trong môi trường thiếu sáng.

  2. Triển khai kiến trúc Deep Cosine Metric Learning với mạng nơ-ron nông (WRN): Thay vì phụ thuộc vào các mạng trích xuất cực sâu gây nghẽn cổ chai tính toán, mô hình sử dụng kiến trúc Wide Residual Network (WRN-16-4) gồm 16 tầng kết hợp hàm mất mát Cosine Softmax. Mô hình tạo ra vector biểu diễn chuẩn hóa 128 chiều với tốc độ suy luận nhanh gấp 3 lần so với các kiến trúc ResNet-152 truyền thống, nhưng vẫn duy trì độ phân giải đặc trưng tốt.

  3. Cơ chế liên kết danh tính đa camera theo mô hình tầng (Matching Cascade Integration): Hệ thống thiết lập ma trận liên kết động hai cấp: Cấp 1 sử dụng khoảng cách Cosine trên tập các vector diện mạo lịch sử; Cấp 2 sử dụng khoảng cách hình học IoU để bù đắp các sai số khi đối tượng có trang phục đồng màu.

  4. Đóng góp vào nghiên cứu ứng dụng thực tế tại Việt Nam: Hệ thống hóa toàn bộ quy trình từ khâu thu thập dữ liệu, huấn luyện mô hình đến xây dựng ứng dụng web điều khiển, tạo tiền đề cho việc nội địa hóa các giải pháp giám sát an ninh thông minh tại Việt Nam với chi phí phần cứng hợp lý.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong đời sống

           ┌──────────────────────────────────────────────┐
           │     CÁC KỊCH BẢN ỨNG DỤNG TRONG THỰC TẾ       │
           └──────────────────────┬───────────────────────┘
                                  │
      ┌───────────────────────────┼───────────────────────────┐
      ▼                           ▼                           ▼
┌───────────────┐         ┌───────────────┐           ┌───────────────┐
│ AN NINH ĐÔ THỊ│         │ GIAO THÔNG &  │           │ BỆNH VIỆN &   │
│ & TÒA NHÀ     │         │ SÂN BAY       │           │ HẠ TẦNG KÍN   │
├───────────────┤         ├───────────────┤           ├───────────────┤
│ • Truy vết    │         │ • Giám sát lộ │           │ • Quản lý bệnh│
│   nghi phạm   │         │   trình khách │           │   nhân đặc biệt│
│ • Kiểm soát   │         │ • Cảnh báo di │           │ • Chống thất  │
│   vùng cấm    │         │   chuyển ngược│           │   lạc trẻ em  │
└───────────────┘         └───────────────┘           └───────────────┘
  • An ninh đô thị và tòa nhà thông minh: Tự động định vị và dựng lại lộ trình di chuyển của các đối tượng khả nghi hoặc đối tượng cần bảo vệ đặc biệt xuyên qua hàng chục tầng và các sảnh chung cư.
  • Sân bay và nhà ga hành khách: Theo dõi dòng di chuyển của hành khách, phát hiện các trường hợp đi lạc vào khu vực hạn chế hoặc bỏ quên hành lý.
  • Bệnh viện và cơ sở y tế: Giám sát bệnh nhân mất trí nhớ (Alzheimer) hoặc bệnh nhân cần cách ly, đảm bảo họ không rời khỏi khu vực điều trị an toàn mà không cần gắn vòng định vị cứng.

Yêu cầu phần cứng và triển khai hệ thống

Cấu hình tối thiểu đề xuất (Hệ thống xử lý biên / Máy chủ)

  • Bộ vi xử lý (CPU): Intel Core i7-10700 / AMD Ryzen 7 3700X (8 lõi, 16 luồng)
  • Bộ nhớ trong (RAM): 16 GB DDR4 3200MHz
  • Card đồ họa (GPU): NVIDIA RTX 3060 12GB VRAM hoặc NVIDIA Tesla T4 (yêu cầu hỗ trợ CUDA Compute Capability $\ge 7.5$)
  • Dung lượng lưu trữ: 512 GB NVMe SSD (tốc độ đọc/ghi $\ge 2000$ MB/s phục vụ việc trích xuất frame video độ phân giải cao)
  • Hệ điều hành: Ubuntu Linux 20.04/22.04 LTS

Phân tích hiệu quả kinh tế (Cost-Benefit & ROI Analysis)

  • Tiết kiệm nhân lực: Giảm thiểu 65% số lượng nhân viên trực tiếp giám sát màn hình tại các phòng điều hành trung tâm.
  • Tốc độ truy vết: Giảm thời gian tìm kiếm hành trình của một đối tượng từ vài giờ (rà soát video thủ công) xuống còn dưới 3 phút (suy luận tự động dựa trên truy vấn đặc trưng).
  • Thời gian hoàn vốn (ROI): Ước tính từ 6 - 9 tháng đối với các doanh nghiệp quản lý tòa nhà, trung tâm thương mại hoặc khu công nghiệp quy mô trung bình.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Chế độ xử lý theo lô (Batch Processing): Hệ thống hiện tại nhận đầu vào là các tệp video đã ghi lại và xử lý tuần tự, chưa tối ưu hóa hoàn toàn cho việc tiếp nhận hàng trăm luồng RTSP trực tiếp với độ trễ dưới 200ms.
  • Hiện tượng tương đồng trang phục cực đoan: Khi nhiều người trong cùng một khung cảnh mặc đồng phục giống hệt nhau (ví dụ: công nhân trong nhà máy, học sinh trong trường học), mô hình chỉ dựa vào đặc trưng màu sắc diện mạo sẽ gặp khó khăn trong việc phân biệt chính xác.
  • Điều kiện ánh sáng biến đổi mạnh: Độ chính xác Re-ID suy giảm khi đối tượng di chuyển từ khu vực ngoài trời có nắng gắt vào hành lang tối có bóng đổ mạnh.

Hướng phát triển trong tương lai

  1. Tối ưu hóa thời gian thực bằng TensorRT & DeepStream: Biên dịch lại các mô hình PyTorch sang định dạng TensorRT Engine chạy trên NVIDIA DeepStream SDK nhằm đạt tốc độ xử lý trên 30 FPS cho nhiều luồng camera 1080p đồng thời.
  2. Tích hợp mô hình đồ thị không-thời gian (Spatial-Temporal Graph Neural Networks): Kết hợp sơ đồ vị trí hình học của các camera trong không gian thực để giới hạn vùng tìm kiếm đối tượng theo xác suất di chuyển hợp lý theo thời gian.
  3. Mở rộng nhận diện đa đối tượng (Multi-Class Tracking): Nâng cấp hệ thống để định danh và truy vết đồng thời cả phương tiện giao thông (ô tô, xe máy) và con người phục vụ bài toán Thành phố thông minh (Smart City).

Đối tượng hưởng lợi

  • Sinh viên & Học viên Cao học ngành CNTT/AI: Nguồn tài liệu tham khảo hoàn chỉnh về cách kết hợp ba bài toán lớn của thị giác máy tính: Detection, Multi-Object Tracking và Metric Learning Re-Identification trong một đề tài tốt nghiệp đạt chuẩn.
  • Kỹ sư AI & Lập trình viên: Cung cấp mẫu kiến trúc mã nguồn (code pattern), phương pháp xử lý ma trận chi phí trong Deep SORT và kỹ thuật tối ưu hóa vector đặc trưng diện mạo.
  • Doanh nghiệp & Đơn vị tích hợp giải pháp an ninh: Bộ giải pháp tham chiếu có tính khả thi cao, có thể tùy biến để đóng gói thành sản phẩm thương mại phục vụ quản lý an ninh tòa nhà và phân tích hành vi khách hàng.
  • Nhà nghiên cứu (Researchers): Nền tảng thực nghiệm đối sánh (benchmark baseline) rõ ràng trên các bộ dữ liệu Market-1501 và MARS để tiếp tục phát triển các thuật toán Re-ID tiên tiến hơn.

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật tối thiểu để triển khai và chạy thử nghiệm hệ thống là gì?

Hệ thống yêu cầu máy tính chạy hệ điều hành Linux (Ubuntu 20.04/22.04 khuyến nghị) hoặc Windows 10/11, cài đặt sẵn môi trường Python 3.8+, CUDA Toolkit 11.7/11.8 và ít nhất một card đồ họa rời NVIDIA có tối thiểu 6GB VRAM (như GTX 1660 Ti, RTX 2060 hoặc tốt hơn) để thực thi pipeline nhận diện và trích xuất vector đặc trưng.

2. Giới hạn mở rộng (Scalability limits) của hệ thống khi tăng số lượng camera là bao nhiêu?

Khi mở rộng từ 2 camera lên $N$ camera, độ phức tạp so khớp vector diện mạo tăng theo cấp số $O(N \cdot M)$ với $M$ là số lượng người xuất hiện trong mỗi camera. Với kiến trúc hiện tại sử dụng vector 128 chiều, hệ thống có thể quản lý cơ sở dữ liệu lên đến 10,000 danh tính trong bộ nhớ đệm RAM mà không làm suy giảm đáng kể tốc độ so khớp. Đối với quy mô lớn hơn (>50 camera), cần triển khai thêm thư viện tìm kiếm vector chuyên dụng như FAISS (Facebook AI Similarity Search).

3. Hệ thống có thể tích hợp với các camera IP sẵn có trên thị trường không?

Hoàn toàn có thể. Hệ thống được thiết kế theo module hóa. Module tiền xử lý có thể tiếp nhận luồng video chuẩn thông qua giao thức RTSP (Real-Time Streaming Protocol) từ bất kỳ camera an ninh IP nào (Hikvision, Dahua, Axis, Kbvision) hỗ trợ chuẩn nén H.264 hoặc H.265.

4. Chi phí vận hành và bảo trì hệ thống bao gồm những gì?

Chi phí chính bao gồm: Điện năng tiêu thụ cho máy chủ GPU, chi phí bảo trì định kỳ hệ thống mạng truyền dẫn video, và chi phí tinh chỉnh mô hình (fine-tuning) định kỳ khi môi trường ánh sáng hoặc góc đặt camera có sự thay đổi vật lý lớn.

5. Tại sao hệ thống lại kết hợp cả khoảng cách Mahalanobis và khoảng cách Cosine trong Deep SORT?

Khoảng cách Mahalanobis tận dụng thông tin chuyển động tức thời được lọc qua bộ lọc Kalman, rất hiệu quả để phân biệt các đối tượng ở vị trí xa nhau trong ngắn hạn. Tuy nhiên, khi đối tượng bị che khuất lâu hoặc chuyển động phi tuyến tính, sai số Kalman tăng cao; lúc này khoảng cách Cosine (đo lường sự giống nhau về đặc trưng diện mạo sâu) sẽ đóng vai trò quyết định để tái kết nối chính xác track cũ mà không bị gán nhầm ID.

Kết luận

Đề tài "Xây dựng hệ thống định danh đối tượng thông qua nhiều camera" đã hoàn thành xuất sắc các mục tiêu nghiên cứu đề ra:

  • Làm chủ và ứng dụng thành công các công nghệ thị giác máy tính hàng đầu: YOLOv8 (phát hiện đối tượng không anchor), Deep SORT (theo dõi liên tục với Matching Cascade) và Deep Cosine Metric Learning / ResNet-50 (tái định danh diện mạo).
  • Đạt các chỉ số thực nghiệm vượt trội: mAP phát hiện đạt 90.4%, độ chính xác theo dõi MOTA đạt 73.5%, giảm thiểu 51.1% hiện tượng hoán đổi danh tính (ID Switches) so với phương pháp cơ sở.
  • Xây dựng thành công một giải pháp giám sát an ninh đa camera tích hợp hoàn chỉnh từ thuật toán lõi đến giao diện web ứng dụng.

Đây là công trình nghiên cứu ứng dụng có giá trị học thuật vững chắc và tiềm năng thương mại hóa lớn, đóng góp thiết thực vào sự phát triển của các hệ sinh thái đô thị thông minh và chuyển đổi số hạ tầng an ninh tại Việt Nam.