Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý an ninh, giám sát trật tự xã hội, điều hành giao thông và quản trị cơ sở hạ tầng, việc khai thác dữ liệu từ hệ thống camera giám sát đóng vai trò then chốt. Tuy nhiên, các giải pháp giám sát truyền thống dựa trên một camera đơn lẻ bị giới hạn nghiêm trọng về tầm nhìn, không thể bao quát các khu vực có diện tích rộng lớn, phức tạp như sân bay, nhà ga, khu đô thị, khu công nghiệp hay bệnh viện. Khi mục tiêu di chuyển ra khỏi tầm quét của một máy quay, việc theo dõi liên tục và xác định lại danh tính của đối tượng trên các góc nhìn không trùng lặp (non-overlapping camera views) trở thành một bài toán nan giải trong lĩnh vực thị giác máy tính.

Khóa luận tốt nghiệp "Xây dựng hệ thống định danh đối tượng thông qua nhiều camera" do hai sinh viên Nguyễn A Đam và Nguyễn Văn Phong (Chuyên ngành Khoa học máy tính, Khoa Công nghệ Thông tin, Trường Đại học Sư phạm TP.HCM) thực hiện dưới sự hướng dẫn khoa học của TS. Nguyễn Viết Hưng, tập trung giải quyết bài toán phát hiện, theo dõi và tái định danh con người xuyên suốt hệ thống đa camera.

Mục tiêu nghiên cứu: Đề tài hướng tới xây dựng một hệ thống hoàn chỉnh có khả năng định danh và theo vết con người thông qua việc phân tích chuỗi video thu thập từ nhiều camera giám sát khác nhau, tích hợp giao diện ứng dụng web nhằm phục vụ công tác giám sát.

Nhiệm vụ nghiên cứu: Để đạt được mục tiêu nêu trên, khóa luận xác định 3 nhiệm vụ nghiên cứu cụ thể:

  1. Tìm hiểu và nghiên cứu các bộ dữ liệu gán nhãn định danh lại con người (Person Re-ID) có sẵn để phục vụ cho việc huấn luyện và đánh giá mô hình.
  2. Tìm hiểu và nghiên cứu cách huấn luyện, triển khai mô hình nhận dạng đối tượng con người đã được công bố trong các nghiên cứu thị giác máy tính.
  3. Tìm hiểu và nghiên cứu phương pháp xây dựng mô hình định danh lại con người dựa trên mạng nơ-ron sâu.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Tín hiệu video kỹ thuật số từ các camera giám sát và bài toán định danh đối tượng con người trong không gian đa chiều.
  • Phạm vi nghiên cứu:
    • Giới hạn về tốc độ xử lý: Hệ thống tập trung xử lý dữ liệu theo cơ chế khối (batch processing), chưa hỗ trợ xử lý luồng trực tiếp theo thời gian thực (real-time).
    • Giới hạn về đối tượng: Hệ thống chuyên biệt nhận diện và định danh đối tượng là con người, loại bỏ các lớp đối tượng khác như phương tiện hay vật dụng.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán giám sát đa camera bằng cách phân tách thành ba bài toán con: Nhận dạng đối tượng (Human Detection), Theo dõi đa đối tượng đơn camera (Multi-Object Tracking - MOT) và Tái định danh đối tượng đa camera (Person Re-Identification - Re-ID).

Khung lý thuyết và công nghệ cốt lõi

  1. Mô hình nhận dạng con người YOLOv8 (You Only Look Once v8): Mô hình được kế thừa và phát triển từ kiến trúc YOLOv5 với các cải tiến kỹ thuật chính:

    • Thay thế mô-đun C3 bằng mô-đun C2f (Cross-Stage Partial with two convolutions) giúp tăng cường khả năng trích xuất và dung hợp đặc trưng đa tỉ lệ.
    • Thay thế lớp tích chập khởi đầu 6x6 bằng tích chập 3x3 trong tầng Stem.
    • Cấu trúc Head dạng tách rời (Decoupled Head) và áp dụng cơ chế phát hiện không sử dụng hộp neo (Anchor-free Detection), dự đoán trực tiếp tâm của đối tượng giúp giảm thiểu độ phức tạp tính toán và linh hoạt với các kích thước đối tượng khác nhau.
    • Sử dụng mô-đun SPPF (Spatial Pyramid Pooling Fast) nhằm tăng cường trường thụ cảm mà không làm tăng chi phí tính toán.
    • Áp dụng thuật toán Non-Maximum Suppression (NMS) để loại bỏ các khung giới hạn (bounding box) trùng lặp dựa trên ngưỡng IoU (Intersection over Union).

  2. Thuật toán theo dõi đối tượng Deep SORT (Simple Online and Realtime Tracking with Deep Association Metric): Deep SORT giải quyết bài toán liên kết dữ liệu (Data Association) và quản lý vòng đời theo vết (Track Life Cycle Management) bằng cách kết hợp:

    • Bộ lọc Kalman tuyến tính (Linear Kalman Filter): Dự đoán vị trí chuyển động của khung giới hạn dựa trên trạng thái vị trí, vận tốc và tỉ lệ khung hình trong quá khứ.
    • Khoảng cách Mahalanobis ($d^{(1)}$): Đo lường độ lệch chuẩn chuyển động giữa trạng thái dự đoán và phát hiện mới, kết hợp ngưỡng tin cậy 95% từ phân phối $\chi^2$.
    • Khoảng cách Cosine ($d^{(2)}$): Đo lường độ tương đồng giữa các vector đặc trưng diện mạo trích xuất từ mạng học sâu Cosine Metric Learning (sử dụng kiến trúc Wide Residual Network - WRN 16 lớp), lưu trữ lịch sử 100 vector đặc trưng gần nhất ($L_k = 100$).
    • Chiến lược đối sánh phân tầng (Matching Cascade): Ưu tiên đối sánh các track xuất hiện thường xuyên để giảm thiểu sự không chắc chắn khi đối tượng bị che khuất.
    • Thuật toán Hungarian: Giải bài toán tối ưu phân công (Assignment Problem) dựa trên ma trận chi phí kết hợp giữa khoảng cách chuyển động và đặc trưng diện mạo.

  3. Mô hình tái định danh con người ResNet50: Kiến trúc mạng nơ-ron tích chập sâu 50 lớp với các khối phần dư (Residual Blocks) và liên kết tắt (skip connections) giúp triệt tiêu hiện tượng biến mất đạo hàm (vanishing gradient). Mô hình được sử dụng để trích xuất vector đặc trưng toàn cục (global-scale: màu áo, giới tính) và cục bộ (local-scale: giày dép, chi tiết trang phục) từ các ảnh cắt đối tượng nhằm so khớp danh tính giữa các camera khác nhau.

Thành phần hệ thống Công nghệ / Thuật toán Vai trò kỹ thuật chính
Nhận dạng đối tượng YOLOv8 (Anchor-free, C2f, SPPF) Trích xuất bounding box và xác suất lớp con người từ từng khung hình (frame 640x640)
Theo dõi đơn camera Deep SORT (Kalman Filter, Hungarian, WRN) Duy trì ID đối tượng liên tục trong một góc quay, xử lý che khuất ngắn hạn
Đặc trưng Re-ID Deep Cosine Metric Learning & ResNet50 Trích xuất vector đặc trưng diện mạo để đối sánh khoảng cách Cosine
Tái định danh đa camera So khớp đặc trưng đa quy mô (Global/Local) Gom các ID cục bộ từ nhiều camera về một danh tính thống nhất
Giao diện người dùng Web Application Tiếp nhận file video đầu vào (MP4), xử lý batch và hiển thị kết quả tracking

Phương pháp nghiên cứu

  • Phương pháp nghiên cứu lý thuyết: Tổng hợp tài liệu chuyên ngành về thị giác máy tính, xử lý ảnh số, các kiến trúc mạng CNN, mạng trích xuất đặc trưng và các thuật toán theo dõi đa đối tượng.
  • Phương pháp nghiên cứu thực nghiệm: Thiết kế quy trình xử lý luồng video; chuẩn bị dữ liệu huấn luyện; cấu hình tham số mô hình; thực nghiệm đánh giá độ chính xác nhận dạng và khả năng liên kết danh tính trên các tập dữ liệu chuẩn.

Nguồn dữ liệu

  • Dữ liệu huấn luyện nhận dạng: Tập dữ liệu gán nhãn đối tượng con người tiêu chuẩn.
  • Dữ liệu huấn luyện và đánh giá Re-ID: Tập dữ liệu Market-1501 và MARS (Motion Analysis and Re-identification Set).
  • Dữ liệu thử nghiệm hệ thống: Chuỗi video thực nghiệm định dạng MP4 từ nhiều góc quay camera.

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc pipeline tuần tự bốn giai đoạn xử lý khép kín, kết nối từ tầng tiếp nhận dữ liệu đến tầng hiển thị ứng dụng:

  1. Tiền xử lý và Nhận dạng con người:

    • Dữ liệu video MP4 đầu vào được phân rã thành chuỗi các khung hình (frames).
    • Khung hình được chuyển đổi sang không gian màu RGB, điều chỉnh kích thước chuẩn 640x640 pixel, chuẩn hóa giá trị pixel về khoảng [0, 1] và đưa vào định dạng tensor.
    • Mô hình YOLOv8 tiến hành suy luận, trích xuất tọa độ bounding box kèm điểm số tin cậy (confidence score) của lớp người, loại bỏ các dự đoán dưới ngưỡng và áp dụng NMS để lọc khung trùng lặp.

  2. Theo dõi đối tượng cục bộ (Local Tracking):

    • Các bounding box phát hiện được chuyển qua bộ lọc Kalman của Deep SORT để ước lượng quỹ đạo di chuyển.
    • Mạng trích xuất đặc trưng Cosine Metric Learning (WRN) tạo vector biểu diễn diện mạo cho từng đối tượng trong khung hình.
    • Chiến lược Matching Cascade kết hợp khoảng cách Mahalanobis và khoảng cách Cosine liên kết các detection với các track hiện có thông qua thuật toán Hungarian.
    • Quản lý vòng đời track: Trạng thái khởi tạo là tentative; nếu duy trì liên tục qua 3 khung hình sẽ chuyển thành confirmed; nếu mất dấu, hệ thống duy trì tìm kiếm trong tối đa 30 khung hình (max_age = 30) trước khi chuyển sang trạng thái deleted.

  3. Trích xuất đặc trưng và Tái định danh liên camera (Person Re-Identification):

    • Cắt các vùng ảnh chứa đối tượng theo bounding box đã được gán ID cục bộ từ từng camera.
    • Đưa các mẫu ảnh qua mạng ResNet50 để trích xuất không gian đặc trưng diện mạo hoàn chỉnh.
    • Tính toán ma trận độ tương đồng Cosine giữa các vector đặc trưng của các đối tượng thu được từ các camera khác nhau. Các ID cục bộ có độ tương đồng vượt ngưỡng xác định sẽ được hợp nhất về cùng một định danh chung.

  4. Tích hợp ứng dụng Web (Web Application):

    • Xây dựng giao diện web cho phép người dùng tải lên các tập tin video đầu vào từ nhiều nguồn camera khác nhau.
    • Hệ thống thực thi tiến trình xử lý theo lô (batch processing), lưu trữ vết chuyển động và tạo video đầu ra trực quan hóa khung giới hạn kèm ID đồng nhất của từng người để người dùng theo dõi.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương này trình bày tính cấp thiết của đề tài trong bối cảnh nhu cầu giám sát an ninh xã hội ngày càng tăng cao, chỉ ra hạn chế của các hệ thống camera đơn lẻ và sự cần thiết của hệ thống giám sát đa camera. Tác giả xác định rõ mục tiêu xây dựng hệ thống định danh con người đa camera, vạch ra ba nhiệm vụ nghiên cứu, giới hạn phạm vi đề tài (xử lý dạng batch, tập trung vào đối tượng người), nêu bật ý nghĩa khoa học và thực tiễn trong công tác an ninh, giao thông, y tế, đồng thời tóm lược bố cục 5 chương của khóa luận.

Chương 2: Tổng quan và cơ sở lý thuyết

Chương 2 cung cấp bức tranh tổng quan về tình hình nghiên cứu hệ thống giám sát đa camera trong và ngoài nước, phân tích các công trình tiêu biểu (như mạng OSNet của Zhou và cộng sự năm 2019, nghiên cứu của Đinh Xuân Hồng năm 2019). Tác giả phân tích 8 thách thức kỹ thuật lớn: độ chính xác, hiệu suất, bảo mật, tính đa dạng môi trường, sự đồng bộ thiết bị, độ tin cậy, thuật toán học máy và tính tương thích.

Chương phân loại hai hướng tiếp cận chính:

  • Hướng tiếp cận dựa trên diện mạo (Appearance-based): Trích xuất màu sắc, trang phục, dáng đi qua CNN, so khớp độ tương đồng.
  • Hướng tiếp cận dựa trên quỹ đạo (Trajectory-based): Khai thác đồ thị không gian - thời gian của đường đi.

Về mặt kỹ thuật, chương trình bày chi tiết:

  • Kiến trúc YOLOv5 (Backbone CSP, Neck PANet, Head SPP, NMS) và các nâng cấp trên YOLOv8 (mô-đun C2f, Stem Conv 3x3, Anchor-free detection).
  • Nguyên lý theo dõi đối tượng Tracking-by-detection, các chỉ số đánh giá (FP, FN, ID Switches, MOTA, MOTP, FPS).
  • Thuật toán SORT (Kalman Filter, giải thuật Hungarian, IOU metric) cùng các hạn chế về giả định tuyến tính và số lượng ID switches cao.
  • Thuật toán Deep SORT: Khắc phục nhược điểm của SORT bằng Cosine Metric Learning (mạng Wide Residual Network 16 lớp), khoảng cách Mahalanobis, khoảng cách Cosine, cơ chế Matching Cascade và máy trạng thái quản lý vòng đời track (tentative, confirmed, deleted).
  • Kiến trúc ResNet50 trong bài toán Re-ID: Cấu trúc 50 lớp gồm Convolutional Layer, Residual Blocks, Global Average Pooling, Fully Connected và Softmax; cơ chế skip connection giảm vanishing gradient.

Chương 3: Phương pháp xây dựng hệ thống giám sát con người với nhiều camera

Chương 3 mô tả chi tiết phương pháp đề xuất kết hợp ba mô hình kỹ thuật. Tác giả trình bày sơ đồ luồng dữ liệu tổng thể của hệ thống từ video đầu vào, qua khối nhận dạng YOLOv8 (chuẩn hóa ảnh 640x640 RGB tensor, lọc bounding box), khối theo dõi Deep SORT (gán ID và lưu vết chuyển động), khối tái định danh Re-ID (cắt ảnh bounding box, trích xuất đặc trưng đa quy mô bằng ResNet50, so khớp tương đồng liên camera) đến tầng ứng dụng web app. Chương cũng giới thiệu cấu trúc các tập dữ liệu phục vụ huấn luyện gồm Market-1501 và MARS.

Chương 4: Thử nghiệm và đánh giá

Chương 4 thiết lập môi trường thử nghiệm phần cứng, môi trường lập trình và thiết lập các siêu tham số huấn luyện cho các mô hình YOLOv8, Deep Cosine Metric Learning và Person Re-ID ResNet50. Chương trình bày các bảng số liệu thực nghiệm đánh giá hiệu năng của từng mô hình phát hiện (Detection) và mô hình tái định danh (Re-ID), đồng thời minh họa các hình ảnh kết quả thử nghiệm thực tế của hệ thống trên giao diện web.

Chương 5: Kết luận và hướng phát triển

Chương cuối tổng kết toàn bộ kết quả đạt được của khóa luận: xây dựng thành công pipeline tích hợp nhận dạng, theo dõi và tái định danh đối tượng con người qua nhiều camera; chỉ ra các hạn chế tồn tại (xử lý dạng batch chưa đạt thời gian thực); từ đó đề xuất các hướng nghiên cứu tiếp theo nhằm nâng cấp hệ thống trong tương lai.

Kết quả và đóng góp

Kết quả chính

  • Khắc phục hiện tượng nhảy định danh (ID Switches): Bằng việc áp dụng Deep SORT kết hợp Cosine Metric Learning và Matching Cascade thay vì chỉ dựa vào IoU đơn thuần như SORT, hệ thống đã giảm số lượng ID Switches từ 1.423 lần xuống còn 781 lần (tương đương mức giảm 45%), duy trì theo dõi ổn định khi đối tượng bị che khuất hoặc biến mất tạm thời trong 30 khung hình.
  • Xây dựng hoàn chỉnh chuỗi xử lý thị giác máy tính đa nhiệm: Kết hợp thành công mô hình phát hiện YOLOv8 (cơ chế Anchor-free), mô hình theo dõi Deep SORT và mô hình tái định danh ResNet50.
  • Hiện thực hóa giải pháp ứng dụng: Tích hợp pipeline thuật toán vào giao diện ứng dụng web, cho phép nạp nhiều nguồn video MP4, tự động phân tích và kết xuất video theo dõi trực quan hóa danh tính đối tượng.

Giải pháp và đóng góp của đề tài

  • Khóa luận đề xuất một giải pháp thực nghiệm hoàn chỉnh giải quyết bài toán tái định danh con người trong điều kiện các camera không trùng lặp tầm nhìn (non-overlapping views) dựa trên việc khai thác các đặc trưng diện mạo đa quy mô.
  • Đóng góp tài liệu tổng hợp chuyên sâu và mã nguồn thử nghiệm cho các nghiên cứu tiếp theo trong lĩnh vực thị giác máy tính và hệ thống giám sát đa camera tại Việt Nam.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Tốc độ xử lý: Hệ thống hiện chỉ hoạt động theo cơ chế xử lý ngoại tuyến/theo đợt (batch processing), chưa tối ưu hóa để đáp ứng yêu cầu xử lý luồng trực tiếp theo thời gian thực (real-time streaming).
  • Phạm vi đối tượng: Hệ thống mới chỉ tập trung xử lý đối tượng con người, chưa mở rộng cho các thực thể chuyển động khác.
  • Môi trường thực tế phức tạp: Hiệu năng tái định danh vẫn chịu ảnh hưởng bởi các yếu tố biến đổi mạnh về ánh sáng môi trường, góc quay camera quá dốc hoặc sự thay đổi trang phục của đối tượng.

Hướng nghiên cứu tiếp theo

  • Tối ưu hóa thuật toán và cấu hình phần cứng (tăng tốc GPU) để nâng cao tốc độ suy luận, hướng tới khả năng xử lý thời gian thực.
  • Nghiên cứu thay thế bộ lọc Kalman tuyến tính bằng các mô hình phi tuyến (như Extended Kalman Filter, Unscented Kalman Filter) nhằm ước lượng chuyển động chính xác hơn trong các tình huống đổi hướng đột ngột.
  • Nâng cao độ chính xác của mô hình Re-ID bằng cách kết hợp đồng thời phương pháp dựa trên diện mạo (Appearance-based) và phân tích biểu đồ không gian - thời gian (Trajectory-based).

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo thiết thực cho:

  • Sinh viên, học viên ngành Khoa học máy tính, Công nghệ thông tin và Kỹ thuật phần mềm: Là tài liệu tham khảo có cấu trúc rõ ràng về phương pháp luận kết hợp các bài toán Object Detection, Multi-Object Tracking và Person Re-Identification.
  • Người nghiên cứu ứng dụng thị giác máy tính: Phần cơ sở lý thuyết tại Chương 2 trình bày chi tiết toán học và cơ chế hoạt động của Kalman Filter, Hungarian Algorithm, khoảng cách Mahalanobis, Cosine Metric Learning trong Deep SORT và kiến trúc Anchor-free của YOLOv8.
  • Kỹ sư phát triển hệ thống an ninh giám sát: Cung cấp mô hình kiến trúc tham chiếu cho việc xây dựng các ứng dụng quản lý video đa camera kết hợp giao diện web.

Câu hỏi thường gặp

1. Hệ thống trong khóa luận xử lý video theo thời gian thực (real-time) hay xử lý theo đợt (batch)?
Theo công bố trong phạm vi nghiên cứu (Chương 1), hệ thống hiện chỉ hỗ trợ xử lý dữ liệu theo đợt (batch processing) đối với các tệp video MP4 được tải lên và chưa hỗ trợ xử lý trực tiếp theo thời gian thực.

2. Tại sao tác giả chọn Deep SORT thay vì thuật toán SORT truyền thống?
Thuật toán SORT truyền thống chỉ dựa vào độ đo IoU của khung giới hạn và bộ lọc Kalman, dẫn đến số lượng ID Switches rất cao khi đối tượng bị che khuất hoặc giao cắt quỹ đạo. Deep SORT bổ sung mạng trích xuất đặc trưng Cosine Metric Learning và cơ chế Matching Cascade, giúp giảm 45% số lượng ID Switches (từ 1.423 xuống 781 lần) trong các thử nghiệm.

3. Mô hình YOLOv8 có những điểm cải tiến kỹ thuật chính nào so với YOLOv5 trong khóa luận?
YOLOv8 thay thế khối C3 bằng khối C2f, thay lớp tích chập 6x6 ở Stem bằng 3x3, xóa hai lớp tích chập trung gian, thay Conv 1x1 ở bottleneck bằng Conv 3x3, sử dụng đầu phân bố tách rời (Decoupled Head) và áp dụng cơ chế phát hiện không sử dụng hộp neo (Anchor-free Detection).

4. Mạng ResNet50 đóng vai trò gì trong bài toán tái định danh con người (Person Re-ID)?
ResNet50 nhận đầu vào là các ảnh cắt đối tượng từ khung giới hạn đã được gán ID cục bộ, trích xuất các vector đặc trưng diện mạo toàn cục (màu áo, giới tính) và cục bộ (loại giày, kiểu áo) nhằm tính toán độ tương đồng Cosine, từ đó liên kết danh tính của cùng một người qua nhiều camera khác nhau.

5. Các tập dữ liệu nào được sử dụng để phục vụ bài toán tái định danh trong nghiên cứu?
Nghiên cứu sử dụng hai bộ dữ liệu Re-ID chuẩn được công bố là Market-1501 và MARS (Motion Analysis and Re-identification Set) để huấn luyện và đánh giá mô hình trích xuất đặc trưng.

Kết luận

Khóa luận tốt nghiệp "Xây dựng hệ thống định danh đối tượng thông qua nhiều camera" của tác giả Nguyễn A Đam và Nguyễn Văn Phong đã giải quyết thành công bài toán giám sát đối tượng người liên camera bằng việc kết hợp ba mô hình YOLOv8, Deep SORT và ResNet50. Công trình đã xây dựng hoàn chỉnh pipeline xử lý dữ liệu từ tiếp nhận video, phát hiện, theo dõi, trích xuất đặc trưng tái định danh đến hiển thị trên giao diện web app, đồng thời chứng minh hiệu quả giảm 45% lỗi chuyển đổi danh tính so với phương pháp theo dõi truyền thống. Dù còn hạn chế về khả năng xử lý thời gian thực, khóa luận là tài liệu tham khảo học thuật có giá trị cao cho các nghiên cứu phát triển hệ thống thị giác máy tính giám sát đa camera trong tương lai.