Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp của tác giả Phùng Tiến Đạt và Võ Minh Quốc Việt (ngành Khoa học máy tính, Khoa Công nghệ thông tin, Trường Đại học Sư phạm TP. Hồ Chí Minh, năm 2023) đặt vấn đề nghiên cứu xuất phát từ thực trạng tai nạn giao thông nghiêm trọng trên phạm vi toàn cầu và tại Việt Nam. Theo báo cáo của Tổ chức Y tế Thế giới (WHO) được trích dẫn trong văn bản, mỗi năm thế giới ghi nhận khoảng 1,2 triệu người tử vong và từ 20 đến 50 triệu người bị thương hoặc tàn tật do tai nạn giao thông. Tại Việt Nam, số liệu thống kê của Bộ Công an năm 2022 cho thấy toàn quốc xảy ra 11.450 vụ tai nạn giao thông, làm 6.384 người tử vong và nhiều người bị thương. Tai nạn xe hơi không chỉ gây thiệt hại về tính mạng và tài sản mà còn dẫn đến tình trạng ùn tắc giao thông nghiêm trọng nếu không có biện pháp ứng phó khẩn cấp kịp thời.

Trong thực tế, việc phát hiện tai nạn chủ yếu phụ thuộc vào tin báo của người dân xung quanh hiện trường hoặc nhân viên giám sát thủ công hệ thống camera giao thông (CCTV). Phương thức này bộc lộ hạn chế lớn khi tai nạn xảy ra tại các cung đường vắng người, ban đêm, đường đèo hoặc trong hầm; đồng thời việc quan sát liên tục qua màn hình CCTV gây tốn kém nhân lực và thời gian. Do đó, tác giả xác định việc tự động hóa quá trình nhận diện tai nạn từ camera giám sát là nhu cầu thực tiễn cấp bách.

Mục đích nghiên cứu của đề tài được tác giả xác định cụ thể qua các nhiệm vụ sau:

  1. Phát triển các thuật toán và công nghệ nhận dạng hình ảnh, video để phát hiện kịp thời các tình huống tai nạn xe hơi.
  2. Xây dựng mô hình học máy phục vụ bài toán phát hiện tai nạn xe hơi.
  3. Hỗ trợ cơ quan chức năng tiếp nhận thông tin nhanh chóng để xử lý hiện trường, cấp cứu nạn nhân kịp thời, giảm thiểu thiệt hại tài sản và hỗ trợ người tham gia giao thông chủ động đổi hướng di chuyển tránh ùn tắc.
  4. Nghiên cứu các ứng dụng của công nghệ nhận dạng hình ảnh, video trong lĩnh vực giao thông, an ninh; khảo sát chi tiết các thuật toán và công đoạn thực hiện.

Đối tượng nghiên cứu của khóa luận là các tình huống tai nạn giao thông của xe hơi được ghi nhận qua dữ liệu video. Phạm vi tiếp cận tập trung vào các mô hình học sâu (Deep Learning) kết hợp phương pháp phân tích kỹ thuật. Kết quả đầu ra của hệ thống là hình ảnh được đánh dấu vị trí xảy ra tai nạn xe hơi trích xuất từ chuỗi video theo thời gian thực.

Cơ sở lý thuyết và phương pháp

Khóa luận tổng hợp và xây dựng nền tảng lý thuyết dựa trên các mô hình thị giác máy tính và học sâu hiện đại, bao gồm:

  • Mạng nơ-ron nhân tạo (ANN) và Mạng nơ-ron tích chập (CNN): Trình bày nguyên lý hoạt động của nơ-ron sinh học và nơ-ron nhân tạo với các thành phần cơ bản gồm trọng số $w_i$, độ lệch bias $\theta_i$, hàm kích hoạt phi tuyến (Tanh, ReLU). Cấu trúc mạng CNN được phân tích chi tiết qua các lớp tích chập (Convolution Layer), kích thước bộ lọc (filter/kernel), bước trượt (Stride), lớp đệm (Zero Padding), lớp tổng hợp (Pooling) và lớp kết nối đầy đủ (Fully Connected Layer) nhằm trích xuất bản đồ đặc trưng (feature map).
  • Họ mô hình YOLO (You Only Look Once): Phân tích cơ chế phát hiện đối tượng một giai đoạn (one-stage detector) dựa trên việc chia khung hình thành lưới $S \times S$, dự đoán bounding box $(x, y, w, h)$, điểm tin cậy (confidence score) và hàm đo độ trùng khớp IoU (Intersection over Union). Tác giả trình bày chi tiết hàm mất mát tổng hợp gồm lỗi phân loại (Classification loss), lỗi định vị (Localization loss) và lỗi tin cậy (Confidence loss).
  • Các phiên bản cải tiến YOLOv4, YOLOv5 và YOLOv7: Khảo sát các kỹ thuật tối ưu hóa huấn luyện không tăng chi phí suy luận (Bag of Freebies - BoF) như CutMix, Mosaic, DropBlock, Class-label smoothing, CmBN; và các khối nâng cao hiệu năng suy luận (Bag of Specials - BoS) như hàm kích hoạt Mish, khối CSP, SPP, SAM, PAN. Nghiên cứu phân tích các điểm mới của YOLOv5 (khối C3, SPPF, hàm SiLU, cơ chế Auto Anchor với giải thuật di truyền GA) và YOLOv7 (kiến trúc ELAN, E-ELAN, kỹ thuật gán nhãn SimOTA).
  • Kỹ thuật theo dõi đối tượng (Object Tracking): Phân biệt bài toán theo dõi đơn đối tượng (SOT) và đa đối tượng (MOT). Phân tích thuật toán SORT (Simple Online Realtime Object Tracking) ứng dụng bộ lọc Kalman và giải thuật Hungary để liên kết định danh (ID) qua các frame, cùng mô hình DeepSORT tích hợp trích xuất đặc trưng sâu.

Phương pháp nghiên cứu thực nghiệm được tác giả áp dụng bao gồm: thực nghiệm huấn luyện mô hình học sâu, đánh giá định lượng bằng các chỉ số đo lường hiệu năng thị giác máy tính.

Nguồn dữ liệu sử dụng trong nghiên cứu là bộ dữ liệu giám sát giao thông thực tế UA-DETRAC, được tác giả chuyển đổi định dạng và tiền xử lý phục vụ bài toán nhận diện xe cộ và phát hiện va chạm.

Thiết kế và triển khai mô hình

Khóa luận đề xuất mô hình tích hợp hai thành phần: mạng phát hiện đối tượng YOLO và thuật toán theo dõi đa đối tượng DeepSORT. Hệ thống hoạt động theo chuỗi xử lý liên tục trên luồng dữ liệu video đầu vào:

  1. Lớp YOLO: Đóng vai trò bộ phát hiện (detector). Mô hình tiếp nhận từng khung hình từ video, trích xuất đặc trưng không gian và dự đoán các bounding box chứa phương tiện xe hơi cùng nhãn trạng thái và điểm tin cậy.
  2. Lớp DeepSORT: Đóng vai trò bộ theo dõi (tracker). Module này tiếp nhận các bounding box từ lớp YOLO, sử dụng bộ lọc Kalman để ước lượng vị trí tiếp theo của xe và áp dụng giải thuật Hungary để gán định danh (ID) nhất quán cho từng phương tiện giữa các khung hình liên tiếp. Khi xảy ra va chạm, sự thay đổi bất thường về quỹ đạo, vận tốc hoặc sự giao cắt của các bounding box sẽ kích hoạt cảnh báo tai nạn.

Bảng dưới đây tổng hợp các khối kiến trúc và công nghệ được triển khai trong hệ thống:

Khối chức năng Mô hình / Kỹ thuật sử dụng Chi tiết cấu trúc và tham số Vai trò trong hệ thống
Backbone (Bộ trích xuất) E-ELAN / CSPDarknet Các kết nối tắt residual, mở rộng receptive field Trích xuất các biểu đồ đặc trưng đa tỷ lệ từ khung hình video
Neck (Bộ kết hợp đặc trưng) CSP-SPP / PAN SPPF kết hợp tuần tự, top-down và bottom-up pathway Hợp nhất đặc trưng mức cao (ngữ nghĩa) và mức thấp (định vị)
Head (Bộ dự đoán) YOLOR / Auxiliary head SimOTA (Dynamic k estimation) Dự đoán bounding box, nhãn phân loại và gán nhãn tích cực khi huấn luyện
Theo dõi quỹ đạo (Tracking) DeepSORT Bộ lọc Kalman, giải thuật Hungary, trích xuất đặc trưng sâu Duy trì ID phương tiện, theo dõi chuyển động và xác định bất thường
Tăng cường dữ liệu BoF (Data Augmentation) CutMix, Mosaic, Copy-paste, MixUp Tăng tính đa dạng của tập huấn luyện, giảm hiện tượng quá khớp

Quá trình huấn luyện mô hình thành phần YOLOv7 được thiết lập trên môi trường thực nghiệm với các siêu tham số kỹ thuật, trong đó tốc độ học (learning rate) được khảo sát ở mức $5 \times 10^{-4}$ cùng các giá trị hệ số $\alpha$ khác nhau nhằm tối ưu hóa khả năng hội tụ.

Nội dung chính theo từng chương

Chương 1: Tổng quan về bài toán phát hiện vật thể trong tai nạn xe hơi

Chương này phân tích tính cấp thiết của công tác quản lý giao thông và hệ thống ứng phó khẩn cấp. Tác giả luận giải việc phát hiện tai nạn tự động từ CCTV giúp khắc phục triệt để các nhược điểm của phương pháp quan sát thủ công. Phần tổng quan tài liệu điểm lại các công trình tiêu biểu:

  • Trong nước: Nghiên cứu của Thanh-Nghi Doan và Minh-Tuyen Truong kết hợp YOLOv4 và DeepSORT, đạt tốc độ thời gian thực ~32 FPS, cải thiện ít nhất 11% AP và 12% AP50 trên tập dữ liệu thực nghiệm.
  • Ngoài nước: Công trình của Chen Wang và cộng sự sử dụng Decision Tree kết hợp thuật toán tăng cường ảnh Retinex; Feng Yang và cộng sự kết hợp YOLOv7 với DeepSORT; Machaca Arceda và cộng sự kết hợp YOLOv7 với SVM đạt độ trễ 0,5 giây và độ chính xác 89%.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày có hệ thống toàn bộ cơ sở toán học và kiến trúc mô hình:

  • Trình bày kỹ thuật tiền xử lý dữ liệu và cấu trúc mạng ANN (đơn vị tính toán, hàm Tanh, ReLU).
  • Trình bày kiến trúc CNN: cơ chế trích xuất qua bộ lọc kernel, bước trượt Stride, đệm Zero Padding và lớp Fully Connected.
  • Phân tích chi tiết mô hình YOLOv1 với các công thức tính IoU, Classification loss, Localization loss, Confidence loss và Total loss.
  • Phân tích YOLOv4 cùng hệ thống kỹ thuật BoF (Mosaic, CutMix, DropBlock, CmBN, CIoU) và BoS (hàm kích hoạt Mish: $f(x) = x \tanh(\ln(1 + e^x))$, khối CSP, SPP, SAM, PAN).
  • Trình bày cải tiến của YOLOv5: module C3, hàm kích hoạt SiLU, khối SPPF (MaxPooling kích thước kernel 5 theo chuỗi), công thức loại bỏ Grid Sensitivity ($b_x = 2\sigma(t_x) - 0.5$) và Auto Anchor.
  • Phân tích YOLOv7: kiến trúc mở rộng E-ELAN, cơ chế gán nhãn SimOTA dựa trên tối ưu hóa ma trận chi phí vận chuyển; kèm theo so sánh hiệu năng trên tập COCO (đạt 56,8% AP, dải tốc độ từ 5 đến 160 FPS).
  • Trình bày bài toán Object Tracking: quy trình ba bước Detect - Predict - Associate của SORT thông qua bộ lọc Kalman và thuật toán Hungary, cùng cấu trúc mở rộng của DeepSORT.

Chương 3: Mô hình đề xuất

Chương này đặc tả thiết kế mô hình nhận dạng tai nạn tích hợp:

  • Cấu trúc hai tầng gồm Lớp YOLO nhận nhiệm vụ phát hiện bounding box và Lớp DeepSORT nhận nhiệm vụ gán nhãn định danh và theo dõi liên tục.
  • Hệ thống hóa các phương pháp và chỉ số đo lường hiệu năng mô hình, bao gồm: độ chính xác trung bình mAP (Mean Average Precision), Accuracy, Precision, Recall và F1-score.

Chương 4: Thực nghiệm

Chương 4 mô tả toàn bộ quá trình thử nghiệm thực tế:

  • Giới thiệu bộ dữ liệu UA-DETRAC và quy trình chuẩn hóa dữ liệu đầu vào.
  • Thiết lập môi trường huấn luyện và môi trường thực nghiệm phần cứng/phần mềm.
  • Trình bày kết quả huấn luyện mô hình YOLOv7 với tốc độ học $5 \times 10^{-4}$.
  • Khảo sát sự thay đổi của các chỉ số hiệu năng theo các mức tham số $\alpha = 0.3$ và $\alpha = 0.4$, đánh giá sự tương quan giữa Precision, Recall và F1-score.

Chương 5: Kết luận và hướng phát triển

Chương cuối tổng kết lại các mục tiêu nghiên cứu đã đạt được của đồ án, chỉ ra các mặt hạn chế còn tồn tại trong quá trình thực nghiệm và gợi mở hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

Khóa luận đã thu được các kết quả thực nghiệm và đóng góp cụ thể như sau:

  • Kết quả thực nghiệm: Tác giả đã huấn luyện và kiểm thử thành công mô hình YOLOv7 trên tập dữ liệu giám sát giao thông UA-DETRAC với thiết lập tốc độ học $5 \times 10^{-4}$. Mô hình được kiểm tra định lượng qua các bảng thử nghiệm tương ứng với hệ số $\alpha = 0.3$ và $\alpha = 0.4$, sử dụng thang đo F1-score để xác định điểm cân bằng tối ưu giữa Precision và Recall. Kết quả chứng minh mô hình phát hiện được các phương tiện và hỗ trợ lớp DeepSORT duy trì định danh để ghi nhận sự cố.
  • Đóng góp học thuật và kỹ thuật:
    • Hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron tích chập và quá trình tiến hóa của các kiến trúc YOLO từ phiên bản đầu tiên đến YOLOv4, YOLOv5 và YOLOv7; làm rõ cơ chế toán học của các hàm kích hoạt (Mish, SiLU), kỹ thuật gán nhãn SimOTA và các khối chức năng BoF/BoS.
    • Xây dựng mô hình phối hợp giữa thuật toán phát hiện đối tượng hiện đại (YOLO) và giải thuật theo dõi đối tượng thời gian thực (DeepSORT) áp dụng vào bài toán chuyên biệt là phát hiện tai nạn xe hơi.
  • Khả năng ứng dụng thực tế: Đề xuất giải pháp có thể tích hợp trực tiếp vào hạ tầng camera giám sát giao thông (CCTV) sẵn có tại các đô thị, giúp giảm bớt sự phụ thuộc vào giám sát thủ công, cảnh báo kịp thời cho lực lượng chức năng và cơ sở y tế khi có va chạm xảy ra.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung khóa luận, các hạn chế và hướng phát triển được xác định như sau:

  • Hạn chế: Quá trình huấn luyện và đánh giá thực nghiệm chủ yếu thực hiện trên bộ dữ liệu UA-DETRAC, chưa bao quát được toàn diện các kịch bản thời tiết khắc nghiệt thực tế tại Việt Nam (mưa bão lớn, sương mù dày đặc hoặc các đoạn đường đèo ban đêm không có đèn chiếu sáng). Khóa luận cũng chưa khảo sát độ trễ tính toán khi triển khai đồng thời trên hệ thống quy mô lớn gồm nhiều camera phân tán.
  • Hướng nghiên cứu tiếp:
    • Bổ sung và đa dạng hóa tập dữ liệu huấn luyện bằng các nguồn video giao thông thực tế tại Việt Nam, đặc biệt là các tình huống va chạm đa dạng giữa xe hơi với các loại phương tiện khác.
    • Tối ưu hóa kích thước mô hình để triển khai hiệu quả trên các thiết bị nhúng và camera thông minh tại biên (Edge AI) với tài nguyên phần cứng giới hạn.

Giá trị tham khảo

Khóa luận có giá trị tham khảo thiết thực cho:

  • Đối tượng người đọc: Sinh viên, học viên chuyên ngành Khoa học máy tính, Công nghệ thông tin, Trí tuệ nhân tạo, Kỹ thuật dữ liệu đang thực hiện đồ án hoặc nghiên cứu chuyên đề về Thị giác máy tính (Computer Vision) và Hệ thống giao thông thông minh (ITS).
  • Phần nội dung đáng tham khảo nhất:
    • Toàn bộ nội dung Chương 2 với phần tổng hợp lý thuyết chi tiết, chuẩn xác về các hàm mất mát của YOLO, cơ chế tính toán của các hàm kích hoạt Swish/Mish/SiLU, cấu trúc SPP/SPPF/PAN và thuật toán gán nhãn SimOTA.
    • Thiết kế phối hợp giữa bộ phát hiện đối tượng (YOLO) và bộ theo dõi quỹ đạo (DeepSORT) trong Chương 3, cung cấp phương pháp mẫu cho bài toán xử lý video thời gian thực.

Câu hỏi thường gặp

1. Khóa luận sử dụng bộ dữ liệu nào để thực nghiệm mô hình?
Nghiên cứu sử dụng bộ dữ liệu giám sát giao thông UA-DETRAC. Dữ liệu này được nhóm tác giả tiền xử lý và chuyển đổi định dạng nhãn để huấn luyện mô hình phát hiện xe hơi và xác định va chạm.

2. Mô hình nhận diện tai nạn trong khóa luận gồm những khối thành phần nào?
Hệ thống kết hợp hai thành phần chính: Lớp YOLO (sử dụng mô hình họ YOLO, cụ thể khảo sát YOLOv7) chịu trách nhiệm phát hiện vị trí các phương tiện trong từng khung hình, và Lớp DeepSORT chịu trách nhiệm theo dõi quỹ đạo, gán định danh (ID) liên tục cho phương tiện qua chuỗi khung hình.

3. Cơ chế gán nhãn SimOTA trong YOLOv7 được tác giả giải thích có ưu điểm gì?
SimOTA (Simple Optimal Transport Assignment) là phiên bản rút gọn của bài toán vận chuyển tối ưu (OTA). Thay vì phải giải bài toán lặp Sinkhorn-Knopp làm tăng 20% thời gian huấn luyện như OTA, SimOTA chỉ tập trung tính ma trận chi phí vận chuyển mẫu tích cực từ ground-truth sang anchor box và sử dụng phương pháp Dynamic k estimation để gán top-k anchor có chi phí thấp nhất làm positive samples.

4. Thuật toán DeepSORT theo dõi phương tiện dựa trên những nguyên lý nào?
DeepSORT phát triển từ thuật toán SORT, thực hiện quy trình gồm ba bước: Detect (nhận diện bounding box từ YOLO), Predict (dự đoán vị trí tiếp theo bằng bộ lọc Kalman) và Associate (liên kết vị trí dự đoán với bounding box thực tế bằng giải thuật Hungary để gán ID nhất quán), kết hợp thêm mạng trích xuất đặc trưng sâu để duy trì nhận dạng khi đối tượng bị che khuất.

5. Khóa luận sử dụng các số liệu thực tế nào để chứng minh tính cấp thiết của đề tài?
Tác giả trích dẫn thống kê năm 2022 của Bộ Công an Việt Nam với 11.450 vụ tai nạn giao thông làm 6.384 người chết; đồng thời dẫn báo cáo của Tổ chức Y tế Thế giới (WHO) ghi nhận khoảng 1,2 triệu người tử vong và 20-50 triệu người bị thương/tàn tật hàng năm trên toàn cầu do tai nạn giao thông.

Kết luận

Khóa luận tốt nghiệp của tác giả Phùng Tiến Đạt và Võ Minh Quốc Việt đã giải quyết bài toán phát hiện tai nạn xe hơi từ video giám sát thông qua việc kết hợp mạng nơ-ron học sâu YOLO và thuật toán theo dõi đa đối tượng DeepSORT. Đề tài cung cấp hệ thống cơ sở lý thuyết chi tiết về các thế hệ mô hình phát hiện vật thể và kỹ thuật tối ưu hóa hiện đại, đồng thời kiểm chứng tính khả thi của giải pháp trên bộ dữ liệu UA-DETRAC. Kết quả nghiên cứu mang lại giá trị học thuật rõ ràng cho chuyên ngành Khoa học máy tính và mở ra khả năng ứng dụng thực tiễn trong công tác tự động hóa giám sát an toàn giao thông đô thị.