Bối cảnh và vấn đề nghiên cứu

Bối cảnh thực tiễn và lý do chọn đề tài

Trong những năm gần đây, cùng với sự phát triển của đô thị và nhu cầu đảm bảo an ninh trật tự, việc lắp đặt các hệ thống camera giám sát ngày càng trở nên phổ biến. Điển hình tại Thành phố Hồ Chí Minh, số lượng camera giám sát phục vụ quản lý an ninh trên các tuyến đường giao thông đã được tăng cường lên đến 762 camera.

Hầu hết các hệ thống camera giám sát truyền thống hiện nay được thiết kế để phục vụ việc quan sát thời gian thực (real-time). Tuy nhiên, trên thực tế, con người không thể luôn túc trực để phát hiện và xử lý kịp thời mọi biến cố phát sinh. Khi có sự cố an ninh hoặc các vụ việc cần điều tra, người vận hành buộc phải xem lại toàn bộ kho dữ liệu video đã lưu trữ để thực hiện truy vết. Công việc rà soát thủ công này đòi hỏi người giám sát phải tập trung cao độ trong một khoảng thời gian dài, gây tiêu tốn đáng kể tài nguyên con người và thời gian xử lý.

Xét về mặt kiến trúc, các hệ thống camera giám sát được phân chia thành hai nhánh chính:

  1. Xử lý thời gian thực: Bao gồm hệ thống truyền thống (truyền hình ảnh trực tiếp đến màn hình cho nhân viên giám sát) và hệ thống thông minh (tích hợp trí tuệ nhân tạo để phát hiện xâm nhập, cảnh báo cháy nổ, đếm đối tượng).
  2. Xử lý ngoại tuyến (offline): Bao gồm cách tiếp cận truyền thống (người dùng xem lại video thủ công) và cách tiếp cận thông minh. Trong nhánh thông minh, có hai hướng kỹ thuật:
    • Hướng 1: Chạy các mô hình trí tuệ nhân tạo để phân tích và tìm kiếm trực tiếp trên tệp video mỗi khi có yêu cầu truy vấn. Cách tiếp cận này lặp lại toàn bộ quá trình giải mã, trích xuất đặc trưng và so khớp cho mỗi lần tìm kiếm, dẫn đến lãng phí năng lực tính toán.
    • Hướng 2: Tiến hành phân tích video một lần duy nhất để trích xuất và xây dựng cơ sở dữ liệu siêu dữ liệu (metadata), sau đó thực hiện các truy vấn tìm kiếm trực tiếp trên metadata.

Nhóm tác giả lựa chọn hướng tiếp cận thứ hai nhằm loại bỏ sự trùng lặp trong xử lý dữ liệu, cho phép thực hiện nhiều truy vấn tìm kiếm một cách nhanh chóng trên kho video giám sát lớn.

Mục tiêu và nhiệm vụ nghiên cứu

Đề tài xác định 5 mục tiêu nghiên cứu cụ thể như sau:

  1. Xây dựng một bộ dữ liệu nhận diện vật thể chuyên biệt dành cho dữ liệu thu thập từ camera giám sát.
  2. Tìm hiểu, huấn luyện, đánh giá và so sánh các thuật toán nhận diện vật thể thời gian thực dựa trên các độ đo tiêu chuẩn học thuật.
  3. Tìm hiểu và thử nghiệm các thuật toán phát hiện và xác thực khuôn mặt, thuật toán nhận diện màu sắc bằng phân cụm, cùng kỹ thuật so khớp mẫu (Template Matching) để phục vụ cho các tiêu chí tìm kiếm khác nhau.
  4. Thiết kế và chuẩn hóa quy trình xử lý 2 giai đoạn phục vụ bài toán truy vấn và tìm kiếm đối tượng.
  5. Xây dựng một chương trình ứng dụng hoàn chỉnh có giao diện người dùng (Desktop GUI), cho phép người dùng lựa chọn lớp đối tượng, lọc theo màu sắc, hoặc tìm kiếm dựa trên ảnh mẫu và ảnh khuôn mặt.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các thuật toán học sâu và thị giác máy tính phục vụ bài toán nhận diện vật thể (YOLOv4, EfficientDet), phát hiện khuôn mặt (Haar-Cascade, HoG, Cascade CNN, TinaFace), xác thực khuôn mặt (FaceNet, ArcFace), phân cụm màu sắc (K-means) và thuật toán so khớp mẫu (Template Matching).
  • Phạm vi dữ liệu: Khóa luận tập trung vào dữ liệu video thu thập từ hệ thống camera giám sát tại Việt Nam. Không gian đối tượng nhận diện được giới hạn trong 6 lớp phương tiện và người phổ biến: Người, xe máy, xe đạp, xe buýt, xe tải, xe hơi.
  • Đầu vào và đầu ra của hệ thống:
    • Đầu vào: Video lưu trữ từ camera giám sát và các mô tả đối tượng cần tìm (mô tả chung: lớp đối tượng; mô tả chi tiết: màu sắc, ảnh mẫu, ảnh khuôn mặt đối với người).
    • Đầu ra: Danh sách các khung hình (frames) trong video chứa đối tượng khớp với các tiêu chí mô tả.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình sử dụng

Khóa luận tiếp cận bài toán tổng thể bằng cách chia nhỏ thành các bài toán thành phần, tương ứng với các khung lý thuyết chuyên biệt:

1. Nhận diện vật thể (Object Detection)

Nhóm tác giả tập trung khảo sát các bộ nhận diện một giai đoạn (one-stage detectors) nhằm đảm bảo tốc độ trích xuất nhanh cho dữ liệu video:

  • Họ thuật toán YOLO:
    • YOLOv1: Mô hình hóa bài toán phát hiện đối tượng thành bài toán hồi quy trên lưới ô kích thước $S \times S$, dự đoán trực tiếp tọa độ hộp giới hạn (bounding box), chỉ số tin cậy (confidence score) và xác suất lớp có điều kiện $\text{Pr}(\text{Class}i | \text{Object})$. Hàm mất mát sử dụng tổng bình phương sai số kết hợp các trọng số phạt $\lambda{\text{coord}} = 5$ và $\lambda_{\text{noobj}} = 0.5$.
    • YOLOv2 / YOLO9000: Bổ sung kỹ thuật chuẩn hóa theo lô (Batch Normalization), tinh chỉnh bộ phân lớp ở độ phân giải cao $448 \times 448$, chuyển sang cơ chế hộp neo (anchor boxes) với số chiều khởi tạo được tối ưu bằng phân cụm K-means trên tập huấn luyện, cùng mạng trích xuất đặc trưng Darknet-19 (19 lớp tích chập, 5 lớp maxpooling).
    • YOLOv3: Cải tiến mạng xương sống lên Darknet-53 với các kết nối thặng dư (residual connections), dự đoán vật thể ở 3 tỉ lệ khác nhau.
    • YOLOv4: Ứng dụng mạng xương sống CSPDarknet53 kết hợp các kỹ thuật tăng cường độ chính xác không làm tăng chi phí suy luận (Bag of Freebies - BoF như biến đổi photometric/geometric, CutMix, Mosaic, hàm mất mát CIoU) và các khối kiến trúc bổ sung chi phí thấp (Bag of Specials - BoS như hàm kích hoạt Mish, khối DropBlock, BiFPN/PANet).
  • Mô hình EfficientDet: Sử dụng mạng xương sống EfficientNet kết hợp mạng trích xuất đặc trưng đa tầng BiFPN (Weighted Bi-directional Feature Pyramid Network) cho phép hợp nhất đặc trưng hai chiều có trọng số, cùng cơ chế mở rộng đồng thời (compound scaling) giữa độ phân giải đầu vào, độ sâu và độ rộng của mạng.
       [Video Camera Giám Sát]
       [Trích Xuất Frame Ảnh]
      [Nhận Diện Vật Thể (YOLOv4/EfficientDet)]
[Đối Tượng Phương Tiện]     [Đối Tượng Người]
                [Siêu Dữ Liệu: Class, BBox, Color, Face Embedding]

2. Phát hiện và xác thực khuôn mặt (Face Detection & Verification)

  • Phát hiện khuôn mặt: Khảo sát từ các phương pháp truyền thống như Haar-Cascade Classifier (kết hợp biểu diễn tích phân integral image, bộ phân loại yếu AdaBoost và mô hình phân tầng cascade) và HoG kết hợp bộ phân lớp SVM, đến các mô hình học sâu như Cascade CNN (chuỗi mạng tích chập 12-net) và TinaFace (mô hình phát hiện khuôn mặt dựa trên mạng xương sống ResNet-50).
  • Xác thực khuôn mặt:
    • FaceNet: Mã hóa khuôn mặt thành vector đặc trưng 128 chiều sử dụng hàm mất mát Triplet Loss để tối ưu khoảng cách Euclidean giữa các cặp ảnh cùng danh tính và khác danh tính.
    • ArcFace (Additive Angular Margin Loss): Chuẩn hóa vector trọng số và vector đặc trưng về siêu cầu bán kính $s$, thêm hệ số phạt góc $m$ vào hàm cosine: $$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^{N} \log \frac{e^{s(\cos(\theta_{y_i} + m))}}{e^{s(\cos(\theta_{y_i} + m))} + \sum_{j \neq y_i}^{n} e^{s \cos \theta_j}}$$ nhằm thu hẹp phương sai nội lớp và mở rộng khoảng cách giữa các lớp danh tính.

3. Trích xuất màu sắc bằng K-means

Thuật toán phân cụm không giám sát K-means được áp dụng trên tập hợp các giá trị pixel nằm bên trong bounding box của đối tượng. Dữ liệu màu của các điểm ảnh được phân vào $k$ cụm màu đại diện. Tác giả sử dụng biểu đồ tần suất (histogram) để đếm số lượng điểm ảnh thuộc từng cụm, từ đó xác định cụm có mật độ phân bố lớn nhất làm màu sắc chủ đạo của vật thể.

4. So khớp ảnh mẫu (Template Matching)

Sử dụng cửa sổ trượt để so sánh độ tương đồng giữa ảnh mẫu $T$ (kích thước $w \times h$) và ảnh đích $I$ (kích thước $W \times H$). Các phương thức toán học được khảo sát bao gồm:

  • Sai số bình phương cơ bản (Naive Template Matching) có chuẩn hóa và không chuẩn hóa: $$R_{\text{SqDiff-Normed}}(x, y) = \frac{\sum_{x', y'} (T(x', y') - I(x+x', y+y'))^2}{\sqrt{\sum_{x', y'} T(x', y')^2 \cdot \sum_{x', y'} I(x+x', y+y')^2}}$$
  • So khớp tương quan (Image Correlation Matching): $$R_{\text{CCorr-Normed}}(x, y) = \frac{\sum_{x', y'} (T(x', y') \cdot I(x+x', y+y'))}{\sqrt{\sum_{x', y'} T(x', y')^2 \cdot \sum_{x', y'} I(x+x', y+y')^2}}$$
  • Hệ số tương quan (Correlation Coefficient) đo lường sự tương quan sau khi đã trừ giá trị trung bình cường độ sáng.

Phương pháp nghiên cứu thực nghiệm và dữ liệu

  • Dữ liệu nghiên cứu: Khóa luận tiến hành thu thập và gán nhãn tập dữ liệu video camera giám sát thực tế tại Việt Nam (gọi là tập dữ liệu CameraVN), tập trung vào các bối cảnh giao thông phức tạp.
  • Tiêu chí đánh giá mô hình: Sử dụng độ đo độ trùng khớp hộp giới hạn IoU (Intersection Over Union), độ chính xác trung bình mAP (Mean Average Precision) tại các ngưỡng IoU khác nhau (như $AP_{50}$), và tốc độ xử lý tính bằng số khung hình trên giây (FPS).

Thiết kế hệ thống và quy trình triển khai

Do đề tài hướng đến việc xây dựng hệ thống phần mềm ứng dụng thực tế, khóa luận trình bày kiến trúc phân tách rõ rệt thành hai phân hệ độc lập:

Phân hệ (Module) Đầu vào Quy trình xử lý chính Đầu ra
Module 1: Trích xuất siêu dữ liệu (Offline Metadata Extraction) Video camera giám sát lưu trữ 1. Tách chuỗi video thành các khung hình.
2. Chạy mô hình phát hiện đối tượng (YOLOv4 / EfficientDet) để lấy tọa độ hộp giới hạn, lớp đối tượng và độ tin cậy.
3. Chạy thuật toán K-means trên vùng hộp giới hạn để xác định màu chủ đạo.
4. Nếu đối tượng là Người: chạy mô hình phát hiện khuôn mặt và trích xuất vector đặc trưng khuôn mặt (ArcFace / FaceNet).		 Bản ghi cơ sở dữ liệu Metadata (Frame ID, Bounding Box, Lớp đối tượng, Mã màu, Vector khuôn mặt)
Module 2: Truy vấn tìm kiếm (Search Processing) Yêu cầu truy vấn từ người dùng (Lớp + Màu sắc, hoặc Ảnh mẫu, hoặc Ảnh khuôn mặt) 1. Tìm kiếm theo màu: So khớp điều kiện lọc lớp và màu sắc trực tiếp trên cơ sở dữ liệu metadata.
2. Tìm kiếm bằng ảnh mẫu: Áp dụng xoay ảnh mẫu và thực hiện thuật toán Template Matching có chuẩn hóa trên các khung hình tương ứng.
3. Tìm kiếm bằng khuôn mặt: Trích xuất vector đặc trưng từ ảnh khuôn mặt đầu vào, tính toán khoảng cách vector so với các vector khuôn mặt lưu trong metadata.		 Danh sách các khung hình chứa đối tượng thỏa mãn điều kiện để hiển thị cho người dùng

Thiết kế ứng dụng minh họa (Desktop Application)

Hệ thống được đóng gói thành một ứng dụng desktop với giao diện đồ họa trực quan (GUI), chia thành các khu vực chức năng:

  • Khu vực tải dữ liệu: Cho phép người dùng chọn tệp video cần phân tích hoặc nạp tập dữ liệu metadata đã trích xuất trước đó.
  • Bảng điều khiển truy vấn:
    • Chế độ 1 - Tìm kiếm đối tượng kèm màu sắc: Cho phép người dùng đánh dấu chọn (checkbox) các lớp đối tượng mục tiêu (Người, xe máy, xe đạp, xe buýt, xe tải, xe hơi) và chọn bảng màu mong muốn.
    • Chế độ 2 - Tìm kiếm với ảnh mẫu: Cung cấp công cụ tải lên một bức ảnh mẫu (crop từ ảnh đối tượng cần tìm) và chọn phương thức so khớp tương quan.
    • Chế độ 3 - Tìm kiếm khuôn mặt: Cung cấp khung tải ảnh chân dung đối tượng cần truy vết, hệ thống tự động nhận diện khuôn mặt đầu vào và so khớp đặc trưng.
  • Khu vực hiển thị kết quả: Hiển thị danh sách các khung hình tìm được cùng thông tin vị trí bounding box của đối tượng trên màn hình quan sát.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập nền tảng cho đề tài thông qua việc phân tích thực trạng mạng lưới 762 camera giám sát tại TP.HCM. Tác giả chỉ ra nhược điểm của các phương pháp giám sát trực tiếp bằng con người và so sánh hai trường phái hệ thống: thời gian thực và ngoại tuyến. Khóa luận định vị giải pháp nghiên cứu thuộc nhánh xử lý ngoại tuyến thông minh dựa trên việc tạo lập metadata một lần duy nhất. Chương này cũng công bố mục tiêu, đối tượng, phạm vi nghiên cứu 6 lớp phương tiện/người, đồng thời tóm tắt các đóng góp chính và cấu trúc 6 chương của toàn văn khóa luận.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày chi tiết cơ sở toán học và kiến trúc của các mô hình học sâu và thuật toán thị giác máy tính:

  • Phân tích chi tiết quá trình tiến hóa của họ YOLO từ YOLOv1 (hồi quy lưới), YOLOv2 (anchor boxes, Darknet-19, k-means clustering), YOLOv3 (Darknet-53, residual blocks) đến YOLOv4 (CSPDarknet53, Bag of Freebies, Bag of Specials).
  • Trình bày kiến trúc EfficientDet, nhấn mạnh vào cơ chế mạng đặc trưng BiFPN và phương pháp compound scaling.
  • Khảo sát các kỹ thuật nhận diện khuôn mặt: Haar-Cascade với bộ phân loại tầng, HoG + SVM, Cascade CNN 12-net và TinaFace (ResNet-50 backbone).
  • Trình bày nguyên lý trích xuất vector đặc trưng và các hàm mất mát cho xác thực khuôn mặt: Triplet Loss trong FaceNet (vector 128 chiều) và Additive Angular Margin Loss trong ArcFace (chuẩn hóa siêu cầu và thêm lề góc).
  • Trình bày thuật toán phân cụm K-means cho điểm ảnh và các biến thể toán học của kỹ thuật Template Matching.

Chương 3: Phương pháp

Chương 3 đi sâu vào thiết kế kỹ thuật của hệ thống tìm kiếm:

  • Định nghĩa chi tiết quy trình 2 module (Module trích xuất metadata và Module tìm kiếm).
  • Mô tả phương pháp xây dựng tập dữ liệu CameraVN: quá trình thu thập video thực tế từ camera đường phố, kỹ thuật tiền xử lý, chuẩn hóa kích thước, và quy trình gán nhãn thủ công cho 6 lớp đối tượng.
  • Xác định các tiêu chuẩn đánh giá mô hình bao gồm IoU, mAP ($AP_{50}$) và tốc độ FPS.
  • Mô tả giải pháp kết hợp thuật toán K-means trên vùng bounding box để phân loại màu sắc và quy trình trích xuất vector khuôn mặt khi lớp đối tượng được xác định là Người.

Chương 4: Kết quả thực nghiệm

Chương 4 ghi nhận và phân tích các số liệu thực nghiệm:

  • Quá trình cấu hình huấn luyện các mô hình phát hiện đối tượng YOLOv4 và EfficientDet trên tập dữ liệu thu thập CameraVN.
  • So sánh hiệu năng phát hiện giữa YOLOv4 và EfficientDet trên dữ liệu camera thực tế (độ chính xác phát hiện từng lớp đối tượng, khả năng phát hiện vật thể nhỏ, khả năng chịu nhiễu ánh sáng).
  • Đánh giá kết quả phân cụm màu sắc bằng K-means trên các vùng cắt đối tượng: thuật toán nhận diện chính xác các nhóm màu cơ bản trong điều kiện chiếu sáng ngoài trời.

Chương 5: Ứng dụng minh họa

Chương 5 giới thiệu chi tiết về sản phẩm phần mềm hoàn chỉnh:

  • Trình bày kiến trúc phần mềm và luồng điều khiển của ứng dụng desktop.
  • Mô tả giao diện người dùng và minh họa các chuỗi thao tác thực tế:
    • Thao tác lọc đối tượng theo lớp và bảng màu sắc đã chọn.
    • Thao tác nạp ảnh mẫu và kết quả định vị bounding box thông qua Template Matching.
    • Thao tác nạp ảnh khuôn mặt mẫu và danh sách khung hình chứa người cần tìm tương ứng.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được đối chiếu với các mục tiêu ban đầu, đồng thời chỉ ra các hạn chế kỹ thuật chưa giải quyết trọn vẹn và đề xuất các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Kết quả nghiên cứu chính

  1. Xây dựng bộ dữ liệu: Nhóm tác giả đã thu thập, xử lý và gán nhãn thành công tập dữ liệu ảnh camera giám sát thực tế (CameraVN) tập trung vào 6 lớp đối tượng quan trọng trong bài toán an ninh đô thị: Người, xe đạp, xe máy, xe hơi, xe buýt, xe tải.
  2. Khảo sát và huấn luyện mô hình phát hiện đối tượng: Huấn luyện thành công hai mô hình mạng nơ-ron học sâu tiên tiến là YOLOv4 và EfficientDet trên tập dữ liệu thực tế; kiểm chứng được năng lực phát hiện thời gian thực và trích xuất bounding box chính xác làm đầu vào cho các module tiếp theo.
  3. Hiện thực hóa trích xuất thuộc tính mở rộng: Ứng dụng thành công thuật toán K-means để rút trích màu sắc chủ đạo của vật thể từ dữ liệu pixel của bounding box; tích hợp luồng phát hiện khuôn mặt và trích xuất vector đặc trưng đối với lớp người.
  4. Phát triển phần mềm ứng dụng: Xây dựng hoàn chỉnh ứng dụng Desktop hỗ trợ cả 3 phương thức tìm kiếm ngoại tuyến trên metadata, đáp ứng yêu cầu thực tế trong việc truy vết nhanh đối tượng từ camera an ninh.
Thuộc tính phân tích YOLOv4 EfficientDet
Mạng xương sống (Backbone) CSPDarknet53 EfficientNet
Kiến trúc dung hợp đặc trưng PANet / Modified BiFPN BiFPN (Weighted Bi-directional)
Kỹ thuật tối ưu chính Bag of Freebies (Mosaic, CIoU) + Bag of Specials (Mish) Compound Scaling (Độ phân giải, độ sâu, độ rộng)
Đặc thù triển khai Tối ưu hóa cho GPU đơn lẻ, tốc độ suy luận cao Cân bằng linh hoạt giữa số lượng tham số và độ chính xác
Ứng dụng trong khóa luận Trích xuất bounding box thời gian thực cho video Đánh giá so sánh hiệu năng trên tập dữ liệu CameraVN

Đóng góp thực tiễn của đề tài

  • Đề xuất quy trình truy vấn hai pha: Thay thế mô hình tìm kiếm quét lại video (vốn tốn kém tài nguyên) bằng quy trình trích xuất metadata một lần và tìm kiếm tức thì trên metadata, giải quyết được bài toán thắt nút cổ chai về thời gian xử lý khi khối lượng video giám sát gia tăng.
  • Tập dữ liệu chuyên biệt: Đóng góp tập dữ liệu gán nhãn camera giám sát mang đặc thù giao thông Việt Nam (phương tiện xe máy chiếm đa số, mật độ lưu thông dày đặc).
  • Tính tích hợp hệ thống cao: Kết hợp hài hòa nhiều mô hình học máy và xử lý ảnh (Object Detection, K-means Clustering, Face Verification, Template Matching) vào trong một kiến trúc phần mềm duy nhất, có giao diện trực quan phục vụ người dùng không chuyên.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế kỹ thuật

Dựa trên các ghi nhận thực nghiệm trong toàn văn, đề tài còn tồn tại một số hạn chế:

  1. Hạn chế của phương pháp Template Matching: Thuật toán so khớp mẫu truyền thống rất nhạy cảm với tỉ lệ kích thước và góc xoay. Trong trường hợp ảnh mẫu có kích thước lớn hơn ảnh vùng tìm kiếm hoặc đối tượng trong video bị xoay góc lớn so với ảnh mẫu, thuật toán không thể định vị chính xác vị trí. Tác giả mới chỉ khắc phục bước đầu bằng các phép biến đổi xoay ảnh cơ bản.
  2. Chất lượng dữ liệu camera: Hình ảnh từ camera an ninh thực tế thường có độ phân giải không đồng đều, bị ảnh hưởng lớn bởi điều kiện thời tiết, ánh sáng ban đêm, góc quay từ trên cao gây biến dạng tỉ lệ, cũng như hiện tượng che khuất giữa các phương tiện trong giờ cao điểm.
  3. Ràng buộc tài nguyên huấn luyện: Quá trình huấn luyện các mô hình phát hiện đối tượng sâu đòi hỏi năng lực tính toán phần cứng lớn, gây khó khăn nhất định trong việc tinh chỉnh siêu tham số trên toàn bộ tập dữ liệu mở rộng.

Hướng nghiên cứu tiếp

  • Mở rộng tập dữ liệu: Tăng cường quy mô và độ đa dạng của tập dữ liệu CameraVN, bổ sung thêm nhiều góc quay, điều kiện thời tiết (mưa, sương mù, ban đêm) và các hành vi tương tác phức tạp.
  • Nâng cấp thuật toán so khớp mẫu: Thay thế phương pháp Template Matching cổ điển bằng các mạng nơ-ron so khớp đặc trưng sâu (Deep Metric Learning / Siamese Networks) nhằm đạt khả năng bất biến với góc nhìn, tỉ lệ và biến dạng hình học.
  • Tối ưu hóa pipeline xử lý: Áp dụng các kỹ thuật nén mô hình, lượng tử hóa (quantization) để tăng tốc độ trích xuất metadata từ chuỗi video lớn, đồng thời mở rộng thêm các thuộc tính nhận dạng chi tiết khác (loại phương tiện chi tiết, hướng di chuyển, biển số xe).

Giá trị tham khảo

Đối tượng thụ hưởng

  • Sinh viên và học viên chuyên ngành: Tài liệu học thuật hữu ích cho sinh viên các ngành Khoa học Máy tính, Kỹ thuật Phần mềm, Trí tuệ Nhân tạo, Công nghệ Thông tin đang thực hiện đồ án, khóa luận tốt nghiệp về thị giác máy tính và ứng dụng học sâu trên dữ liệu video.
  • Kỹ sư phát triển hệ thống giám sát an ninh: Các nhà phát triển hệ thống camera thông minh (Smart Surveillance / Smart City) cần tham khảo giải pháp kiến trúc hệ thống truy vết ngoại tuyến dựa trên cơ chế lưu trữ metadata.

Các nội dung đáng tham khảo

  1. Phương pháp luận thiết kế hệ thống 2 module: Cách thức tách biệt pha trích xuất metadata ngoại tuyến và pha truy vấn tìm kiếm giúp giải quyết triệt để bài toán hiệu năng xử lý trên khối lượng video lớn.
  2. Kỹ thuật trích xuất thuộc tính màu sắc bằng K-means: Giải pháp chi tiết về việc kết hợp phân cụm màu trên tọa độ bounding box và lập biểu đồ histogram để suy luận màu chủ đạo của vật thể.
  3. Tổng quan cơ sở lý thuyết có chiều sâu: Phần trình bày chi tiết về sự tiến hóa của các kiến trúc YOLO (từ YOLOv1 đến YOLOv4), kiến trúc EfficientDet, và các hàm mất mát cho bài toán nhận diện khuôn mặt (ArcFace, Triplet Loss) được hệ thống hóa rõ ràng, dễ tiếp cận.

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại lựa chọn cách tiếp cận trích xuất và tìm kiếm trên metadata thay vì tìm kiếm trực tiếp trên dữ liệu video?

Tìm kiếm trực tiếp trên video đòi hỏi mỗi lần người dùng gửi một yêu cầu truy vấn, hệ thống phải thực hiện lại toàn bộ quy trình giải mã video, trích xuất khung hình và chạy mô hình học sâu qua từng ảnh, gây lãng phí tài nguyên tính toán và tốn rất nhiều thời gian chờ đợi. Cách tiếp cận trích xuất và xây dựng metadata của nhóm tác giả chỉ thực hiện phân tích video một lần duy nhất. Toàn bộ thông tin về lớp đối tượng, tọa độ bounding box, màu sắc và vector khuôn mặt được lưu trữ sẵn, giúp các lần tìm kiếm tiếp theo diễn ra tức thì thông qua việc quét cơ sở dữ liệu metadata.

2. Hệ thống tìm kiếm của khóa luận hỗ trợ những lớp đối tượng nào và bao gồm những chức năng tìm kiếm cụ thể nào?

Hệ thống giới hạn nhận diện 6 lớp đối tượng phổ biến trong giao thông: Người, xe máy, xe đạp, xe buýt, xe tải và xe hơi. Trên nền tảng đó, hệ thống cung cấp 3 chức năng tìm kiếm cụ thể:

  • Tìm kiếm theo lớp đối tượng và màu sắc: Người dùng chọn lớp vật thể kèm thuộc tính màu sắc mong muốn.
  • Tìm kiếm bằng ảnh mẫu (Template Matching): Người dùng cung cấp một ảnh mẫu của đối tượng để hệ thống so khớp trên các khung hình.
  • Tìm kiếm dựa trên khuôn mặt: Áp dụng riêng cho đối tượng người, hệ thống so khớp vector đặc trưng khuôn mặt đầu vào với dữ liệu khuôn mặt đã lưu trữ.

3. Thuật toán K-means được áp dụng như thế nào để xác định màu sắc của vật thể?

Sau khi mô hình phát hiện đối tượng đưa ra tọa độ bounding box của vật thể, hệ thống sẽ cắt vùng ảnh tương ứng và lấy toàn bộ các điểm ảnh (pixels) bên trong làm dữ liệu đầu vào cho thuật toán K-means. Thuật toán tiến hành phân cụm các điểm ảnh có giá trị màu tương đồng thành $k$ cụm. Sau đó, một biểu đồ tần suất (histogram) được sử dụng để đếm số lượng điểm ảnh thuộc về từng cụm. Màu đại diện của cụm chiếm số lượng điểm ảnh lớn nhất sẽ được chọn làm màu sắc chủ đạo của vật thể đó.

4. Khóa luận đã khảo sát những mô hình nào cho bài toán nhận diện vật thể và xác thực khuôn mặt?

  • Đối với nhận diện vật thể: Nhóm tác giả khảo sát chi tiết quá trình phát triển của họ thuật toán YOLO (YOLOv1, YOLOv2, YOLOv3, YOLOv4) và mô hình EfficientDet với mạng BiFPN.
  • Đối với phát hiện khuôn mặt: Khảo sát các phương pháp Haar-Cascade Classifier, HoG Face Detector, Cascade CNN và TinaFace.
  • Đối với xác thực khuôn mặt: Khảo sát hai mô hình và hàm mất mát tiêu biểu là FaceNet sử dụng Triplet Loss (tạo vector đặc trưng 128 chiều) và ArcFace sử dụng Additive Angular Margin Loss trên siêu cầu.

5. Phương pháp Template Matching gặp phải những hạn chế kỹ thuật nào khi áp dụng vào dữ liệu video theo ghi nhận của tác giả?

Phương pháp Template Matching hoạt động dựa trên cơ chế trượt cửa sổ kích thước cố định của ảnh mẫu trên ảnh đích. Khi áp dụng vào video, phương pháp gặp hai hạn chế lớn: thứ nhất, nếu ảnh mẫu có kích thước lớn hơn vùng ảnh đích, thuật toán sẽ mất tính hiệu quả; thứ hai, thuật toán rất nhạy cảm với các biến đổi hình học, khi đối tượng trong video bị xoay góc hoặc thay đổi tỉ lệ kích thước so với ảnh mẫu, thuật toán không thể tìm ra kết quả chính xác. Nhóm tác giả đã đề xuất bước xử lý bổ sung là xoay ảnh mẫu để cải thiện độ tương đồng khi tìm kiếm.

Kết luận

Khóa luận tốt nghiệp của sinh viên Trần Thị Phương Thảo và Nguyễn Trần Trung đã giải quyết thành công bài toán truy vết đối tượng ngoại tuyến trên dữ liệu camera giám sát thông qua kiến trúc xử lý dựa trên metadata. Đề tài đã xây dựng bộ dữ liệu CameraVN phục vụ cho 6 lớp đối tượng thực tế, khảo sát và đánh giá các mô hình học sâu tiên tiến (YOLOv4, EfficientDet), đồng thời tích hợp linh hoạt các kỹ thuật phân cụm màu sắc K-means, phát hiện khuôn mặt và so khớp mẫu. Toàn bộ quy trình được đóng gói hoàn chỉnh thành một ứng dụng desktop có giao diện trực quan, mang lại giá trị thực tiễn cao trong công tác quản lý an ninh trật tự và cung cấp tài liệu tham khảo chi tiết cho các nghiên cứu tiếp theo trong lĩnh vực thị giác máy tính.