Phát hiện, Theo dõi và Phân tích Hành vi Xe cộ Tăng Cường Thông Tin Độ Sâu

Hệ thống phát hiện và phân tích hành vi xe cộ là một trụ cột quan trọng trong việc… 71 trang · Ho Chi Minh City University of Technology and Education · 2023.

• Tác giả: Ha Phan Ngoc Quan
• Người hướng dẫn: MSc. Nguyen Trung Hieu
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Automotive Engineering
• Đề tài: Vehicle Detection, Tracking and Behavior Analysis with Enhancing Depth Information
• Loại tài liệu: graduation project
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• Abstract
• 1. Chapter 1: INTRODUCTION
• 1.1. Topic Reasoning
• 1.2. Objectives
• 1.3. Project Content
• 1.3.1. Research and Literature Review
• 1.3.2. Data Collection and Preprocessing
• 1.3.3. Vehicle Detection and Driving Scene Recognition
• 1.3.4. Vehicle Tracking
• 1.3.5. Behavior Analysis and Warning
• 1.3.6. Warning and Alert System
• 1.3.7. Documentation and Reporting
• 1.3.8. Iterative Development and Enhancement
• 1.4. Vehicle Detection
• 1.5. Vehicle Tracking
• 2. Chapter 2: LITERATURE REVIEW
• 2.1. Data Fusion Mechanism
• 2.2. Stereo Disparity Block Matching
• 2.3. Distance Estimation based on Depth Information
• 2.4. Multi-tasking Detection Model
• 2.5. Motion-based Tracking
• 2.6. Feature-based Tracking
• 2.7. Vehicle Behavior Analysis/Trajectory Prediction
• 2.8. Behavior Analysis Problem Statement
• 2.9. Evaluation Metrics and Losses
• 3. Chapter 3: MULTI-TASKING MODEL FOR PANOPTIC DRIVING PERCEPTION
• 3.1. Network Model Selection
• 4. Chapter 4: VEHICLE TRACKING
• 4.1. Feature-based Tracker
• 4.2. Data Association and Track Management
• 5. Chapter 5: VEHICLE BEHAVIOR ANALYSIS AND DRIVER WARNING
• 5.1. Post Processing of Multitasking Detection Model output
• 5.2. Line merging and filtering
• 5.3. Establish Warning Region of Interest
• 5.4. Predict Future State using Kalman Filter
• 5.5. Analyzing and Warning
• 5.5.1. Case 1: Warning of Decelerating
• 5.6. Warning of Lane-changing
• 5.7. Warning at Intersection
• 5.8. Behavior Analysis and Warning
• 7. Chapter 7: CONCLUSION AND FUTURE WORK

Tóm tắt

I. Toàn cảnh Phát hiện và Phân tích Hành vi Xe cộ trong ITS

Hệ thống phát hiện và phân tích hành vi xe cộ là một trụ cột quan trọng trong việc phát triển các Hệ thống Hỗ trợ Lái xe Tiên tiến (ADAS) và Hệ thống Giao thông Thông minh (ITS). Mục tiêu cốt lõi là nâng cao an toàn giao thông và hiệu quả vận hành. Các hệ thống này sử dụng công nghệ tiên tiến để giám sát, diễn giải và dự đoán hành động của các phương tiện trong môi trường giao thông phức tạp. Bằng cách cung cấp cảnh báo kịp thời cho người lái về các hành vi bất thường, công nghệ này giúp giảm thiểu rủi ro tai nạn. Theo một nghiên cứu, sai lầm của con người khi chuyển làn, chạy quá tốc độ và bám đuôi gây ra tới 41% tổng số vụ va chạm nghiêm trọng. Điều này nhấn mạnh vai trò không thể thiếu của các giải pháp tự động hóa. Một khung làm việc toàn diện bao gồm ba giai đoạn chính: phát hiện, theo dõi và phân tích hành vi. Giai đoạn phát hiện sử dụng các thuật toán thị giác máy tính để xác định vị trí của các phương tiện trong luồng video. Giai đoạn theo dõi duy trì định danh cho từng phương tiện qua các khung hình liên tiếp. Cuối cùng, giai đoạn phân tích sử dụng dữ liệu quỹ đạo và bối cảnh để nhận dạng hành vi lái xe và đưa ra cảnh báo. Việc tích hợp thông tin từ nhiều cảm biến, như camera và dữ liệu độ sâu, cho phép hệ thống có cái nhìn toàn cảnh và chính xác hơn, đặt nền móng cho các ứng dụng từ cảnh báo va chạm đến hỗ trợ xe tự hành điều hướng an toàn.

1.1. Vai trò của ADAS và ITS đối với an toàn giao thông hiện đại

Hệ thống Hỗ trợ Lái xe Tiên tiến (ADAS) và Hệ thống Giao thông Thông minh (ITS) đóng vai trò trung tâm trong việc cải thiện an toàn giao thông. Các hệ thống này được thiết kế để bù đắp cho những hạn chế của con người, như thời gian phản ứng chậm hoặc mất tập trung. ADAS cung cấp các tính năng như cảnh báo chệch làn đường, phanh khẩn cấp tự động và giám sát điểm mù. ITS mở rộng quy mô này ra toàn bộ hạ tầng giao thông, cho phép quản lý luồng giao thông hiệu quả và trao đổi thông tin giữa các phương tiện (V2V) và giữa phương tiện với cơ sở hạ tầng (V2I). Việc phát hiện và phân tích hành vi xe cộ là công nghệ nền tảng cho cả ADAS và ITS, cung cấp dữ liệu đầu vào cần thiết để các hệ thống này đưa ra quyết định thông minh và kịp thời, góp phần giảm thiểu tai nạn và ùn tắc.

1.2. Các thành phần cốt lõi trong một hệ thống phân tích xe cộ

Một hệ thống phân tích hành vi xe cộ hiệu quả được xây dựng dựa trên các thành phần công nghệ tích hợp chặt chẽ. Thành phần đầu tiên là thu thập dữ liệu, sử dụng các cảm biến như camera, cảm biến Lidar và Radar để ghi lại môi trường xung quanh. Thành phần thứ hai là nhận thức (Perception), nơi các thuật toán học sâu cho giao thông thực hiện xử lý ảnh video giao thông để phát hiện và phân loại các đối tượng. Tiếp theo là theo dõi đối tượng (object tracking), có nhiệm vụ duy trì một định danh nhất quán cho mỗi phương tiện theo thời gian. Cuối cùng, mô-đun phân tích và dự đoán sẽ mô hình hóa hành vi giao thông từ dữ liệu quỹ đạo đã thu thập, xác định các hành vi tiềm ẩn rủi ro và dự đoán quỹ đạo xe trong tương lai gần để đưa ra cảnh báo. Mỗi thành phần đều phải hoạt động chính xác và hiệu quả để đảm bảo tính tin cậy của toàn bộ hệ thống.

II. Thách thức trong Phân tích Hành vi Xe cộ Thời gian thực

Việc triển khai hệ thống phát hiện và phân tích hành vi xe cộ trong thực tế phải đối mặt với nhiều thách thức kỹ thuật đáng kể. Một trong những rào cản lớn nhất là yêu cầu xử lý thời gian thực. Các thuật toán phải có khả năng phân tích luồng video độ phân giải cao và đưa ra cảnh báo gần như tức thời, điều này đòi hỏi năng lực tính toán khổng lồ mà các hệ thống nhúng trên xe thường bị giới hạn. Vấn đề sai số tích lũy cũng là một thách thức nghiêm trọng; lỗi nhỏ trong giai đoạn phát hiện có thể bị khuếch đại trong giai đoạn theo dõi và dẫn đến kết quả phân tích hành vi lái xe sai lệch. Hơn nữa, môi trường giao thông vốn rất đa dạng và khó lường. Các điều kiện thời tiết xấu, ánh sáng thay đổi đột ngột, hoặc các tình huống giao thông phức tạp như nút giao đông đúc có thể làm giảm đáng kể độ chính xác của các mô hình thị giác máy tính. Các mô hình được huấn luyện trên một tập dữ liệu nhất định có thể hoạt động kém hiệu quả khi gặp các kịch bản chưa từng thấy, đặt ra bài toán về khả năng tổng quát hóa. Cuối cùng, việc cân bằng giữa tỷ lệ cảnh báo sai (false positives) và bỏ lọt nguy hiểm (false negatives) là một bài toán tối ưu tinh vi, ảnh hưởng trực tiếp đến sự tin tưởng và trải nghiệm của người dùng.

2.1. Vấn đề độ trễ và hiệu suất tính toán khi xử lý video

Hiệu suất tính toán là yếu tố then chốt. Việc xử lý ảnh video giao thông để phát hiện, theo dõi và phân tích đòi hỏi các mô hình học sâu cho giao thông phức tạp. Các mô hình này, dù chính xác, thường tiêu tốn nhiều tài nguyên xử lý. Việc triển khai chúng trên các nền tảng phần cứng có nguồn lực hạn chế trên xe là một thách thức lớn. Độ trễ giữa thời điểm sự kiện xảy ra và thời điểm cảnh báo được đưa ra phải được giữ ở mức tối thiểu để người lái có đủ thời gian phản ứng. Tối ưu hóa thuật toán và sử dụng các bộ xử lý chuyên dụng là những hướng đi cần thiết để giải quyết bài toán này, đảm bảo khả năng giám sát giao thông thời gian thực.

2.2. Độ phức tạp của mô hình hóa hành vi giao thông đa phương thức

Hành vi của một phương tiện không phải lúc nào cũng tuân theo một quỹ đạo duy nhất. Tại một ngã tư, một chiếc xe có thể đi thẳng, rẽ trái, hoặc rẽ phải. Đây là đặc tính đa phương thức (multi-modal) của hành vi giao thông. Việc mô hình hóa hành vi giao thông đa phương thức đòi hỏi các thuật toán phải có khả năng dự đoán nhiều kịch bản có thể xảy ra và gán xác suất cho từng kịch bản. Thách thức nằm ở việc xây dựng các mô hình có thể nắm bắt được sự tương tác phức tạp giữa các phương tiện và ảnh hưởng của bối cảnh giao thông đến quyết định của người lái, từ đó đưa ra dự đoán quỹ đạo xe chính xác và bao quát.

2.3. Sai số tích lũy từ các mô đun nhận dạng và theo dõi

Hệ thống phân tích hành vi hoạt động theo chuỗi: nhận dạng, rồi đến theo dõi đối tượng, và cuối cùng là phân tích. Một sai sót nhỏ ở giai đoạn đầu có thể lan truyền và khuếch đại ở các giai đoạn sau. Ví dụ, nếu mô-đun nhận dạng bỏ lỡ một phương tiện trong vài khung hình, mô-đun theo dõi có thể mất dấu hoặc gán sai định danh (identity switch). Điều này dẫn đến dữ liệu quỹ đạo không chính xác, làm cho việc phân loại kiểu lái xe và phát hiện lái xe bất thường trở nên không đáng tin cậy. Việc thiết kế các thuật toán theo dõi mạnh mẽ, có khả năng xử lý các trường hợp bị che khuất hoặc nhận dạng không ổn định, là rất quan trọng để giảm thiểu sai số tích lũy.

III. Phương pháp Tiếp cận Đa nhiệm cho Nhận thức Lái xe Toàn cảnh

Để giải quyết các yêu cầu phức tạp của việc phát hiện và phân tích hành vi xe cộ, một phương pháp tiếp cận hiệu quả là sử dụng các mô hình học sâu đa nhiệm. Thay vì xây dựng các mô hình riêng biệt cho từng tác vụ như phát hiện đối tượng, phân khúc làn đường và phân loại khu vực có thể lái, một mô hình đa nhiệm duy nhất có thể xử lý đồng thời tất cả các tác vụ này. Cách tiếp cận này mang lại nhiều lợi ích. Thứ nhất, nó hiệu quả về mặt tính toán vì các tác vụ có thể chia sẻ một bộ mã hóa (encoder) chung để trích xuất đặc trưng từ ảnh đầu vào. Thứ hai, việc học đồng thời nhiều tác vụ liên quan có thể cải thiện hiệu suất tổng thể, vì mô hình học được các biểu diễn đặc trưng phong phú và tổng quát hơn. Một ví dụ tiêu biểu là mô hình YOLOPv2, được thiết kế đặc biệt cho các ứng dụng nhận thức lái xe toàn cảnh (panoptic driving perception). Mô hình này sử dụng một bộ mã hóa chung và ba bộ giải mã (decoder) riêng biệt cho từng tác vụ. Cách tiếp cận này đảm bảo rằng mỗi tác vụ được tối ưu hóa bằng một cấu trúc mạng phù hợp, trong khi vẫn tận dụng được sức mạnh của việc học hỏi chung. Việc huấn luyện các mô hình như vậy đòi hỏi các bộ phân tích dữ liệu lớn như BDD100K, cung cấp dữ liệu đa dạng về các tình huống giao thông, điều kiện thời tiết và thời gian khác nhau.

3.1. Tích hợp thị giác máy tính và học sâu cho giao thông

Sự kết hợp giữa thị giác máy tính và học sâu cho giao thông đã tạo ra một cuộc cách mạng. Các kỹ thuật thị giác máy tính truyền thống cung cấp nền tảng về xử lý ảnh, trong khi học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), mang lại khả năng tự động học các đặc trưng phức tạp từ dữ liệu hình ảnh. Trong bối cảnh giao thông, các mô hình học sâu có thể nhận dạng phương tiện, người đi bộ, biển báo và vạch kẻ đường với độ chính xác cao. Việc tích hợp này cho phép hệ thống không chỉ "nhìn thấy" mà còn "hiểu" được bối cảnh giao thông, một yếu tố thiết yếu để phân tích hành vi một cách chính xác.

3.2. Kiến trúc YOLOPv2 Tối ưu phát hiện xe và phân khúc làn đường

Mô hình YOLOPv2 là một kiến trúc tiên tiến được tối ưu hóa cho nhận thức lái xe. Nó bao gồm một bộ mã hóa (encoder) chung dựa trên thiết kế E-ELAN để trích xuất các đặc trưng mạnh mẽ từ hình ảnh đầu vào. Điểm nổi bật của YOLOPv2 là việc sử dụng ba đầu giải mã (decoder) riêng biệt, mỗi đầu dành cho một nhiệm vụ cụ thể: phát hiện đối tượng, phân khúc khu vực có thể lái và phân khúc làn đường. Cấu trúc này cho phép tinh chỉnh từng nhánh mạng để đạt hiệu suất tốt nhất cho từng tác vụ. Ví dụ, nhánh phân khúc làn đường được kết nối ở các lớp sâu hơn của mạng để nắm bắt các chi tiết nhỏ, trong khi nhánh phân khúc khu vực lái xe lại lấy đặc trưng từ các lớp nông hơn để có cái nhìn tổng quan. Cách tiếp cận này giúp YOLOPv2 đạt được sự cân bằng xuất sắc giữa tốc độ và độ chính xác.

IV. Cách Theo dõi và Dự đoán Quỹ đạo Xe với Thông tin Độ sâu

Sau khi phát hiện các phương tiện, bước tiếp theo trong quy trình phân tích hành vi xe cộ là theo dõi chúng qua các khung hình và dự đoán hành động trong tương lai. Парадигма theo dõi theo phát hiện (tracking-by-detection) là phương pháp phổ biến nhất, trong đó kết quả phát hiện từ mỗi khung hình được liên kết với các quỹ đạo đã có. Quá trình liên kết dữ liệu này có thể sử dụng các phương pháp dựa trên chuyển động hoặc dựa trên đặc trưng. Các phương pháp dựa trên chuyển động, như bộ lọc Kalman, sử dụng trạng thái trước đó của đối tượng để dự đoán quỹ đạo xe ở vị trí tiếp theo. Các phương pháp dựa trên đặc trưng, như DeepSORT, sử dụng một mạng học sâu để trích xuất một "dấu vân tay" trực quan của mỗi phương tiện, giúp duy trì việc theo dõi ngay cả khi đối tượng bị che khuất tạm thời. Một sự cải tiến quan trọng được đề xuất trong nghiên cứu là tăng cường thông tin độ sâu. Bằng cách sử dụng hệ thống camera stereo để tính toán bản đồ chênh lệch (disparity map), hệ thống có thể ước tính khoảng cách chính xác đến các phương tiện khác. Thông tin khoảng cách này cực kỳ giá trị cho việc nhận dạng hành vi lái xe nguy hiểm, chẳng hạn như phanh gấp hoặc bám đuôi quá gần, giúp hệ thống cảnh báo trở nên nhạy bén và đáng tin cậy hơn.

4.1. Kỹ thuật theo dõi đối tượng object tracking dựa trên đặc trưng

Kỹ thuật theo dõi đối tượng (object tracking) dựa trên đặc trưng mang lại độ tin cậy cao hơn so với chỉ dựa vào chuyển động. Các thuật toán như DeepSORT kết hợp bộ lọc Kalman với một mạng nơ-ron học sâu. Mạng này được huấn luyện để tạo ra một vector đặc trưng (embedding) độc nhất cho mỗi đối tượng được phát hiện. Khi liên kết các phát hiện mới với các quỹ đạo hiện có, hệ thống không chỉ so khớp vị trí dự đoán mà còn so sánh cả vector đặc trưng. Điều này giúp giải quyết hiệu quả vấn đề chuyển đổi định danh (identity switch), đặc biệt trong các cảnh giao thông đông đúc nơi các phương tiện thường xuyên che khuất lẫn nhau.

4.2. Ứng dụng bộ lọc Kalman để dự đoán quỹ đạo xe chính xác

Bộ lọc Kalman là một công cụ toán học mạnh mẽ để ước tính trạng thái của một hệ thống động. Trong theo dõi đối tượng, nó được sử dụng để dự đoán quỹ đạo xe. Bộ lọc hoạt động theo một chu trình hai bước: dự đoán và cập nhật. Trong bước dự đoán, nó sử dụng mô hình chuyển động (ví dụ: vận tốc không đổi) để ước tính vị trí và vận tốc của xe ở khung hình tiếp theo. Trong bước cập nhật, nó kết hợp vị trí dự đoán này với vị trí được đo lường thực tế từ bộ phát hiện đối tượng. Quá trình này giúp làm mịn quỹ đạo, giảm nhiễu và cung cấp một ước tính ổn định về trạng thái của phương tiện, ngay cả khi bộ phát hiện hoạt động không hoàn hảo trong một vài khung hình.

4.3. Tăng cường phân tích bằng dữ liệu độ sâu từ camera stereo

Việc bổ sung thông tin độ sâu từ camera stereo là một bước đột phá. Hệ thống hai camera song song cho phép tính toán độ chênh lệch (disparity) của các điểm ảnh giữa hai ảnh. Từ độ chênh lệch này, khoảng cách đến đối tượng có thể được suy ra bằng phép đạc tam giác. Dữ liệu khoảng cách chính xác này cho phép hệ thống phát hiện lái xe bất thường một cách đáng tin cậy hơn. Ví dụ, hệ thống có thể xác định một phương tiện phía trước đang giảm tốc đột ngột không chỉ dựa trên sự thay đổi kích thước của nó trong ảnh, mà còn dựa trên sự thay đổi khoảng cách đo được. Điều này làm tăng độ chính xác và giảm thiểu các cảnh báo sai, nâng cao hiệu quả của hệ thống hỗ trợ lái xe.

V. Ứng dụng Thực tiễn của Phân tích Hành vi Xe cộ trong ADAS

Công nghệ phát hiện và phân tích hành vi xe cộ là xương sống của nhiều ứng dụng thực tiễn trong Hệ thống Hỗ trợ Lái xe Tiên tiến (ADAS). Ứng dụng phổ biến nhất là hệ thống cảnh báo va chạm phía trước. Bằng cách liên tục theo dõi vị trí, tốc độ và khoảng cách của các phương tiện phía trước, hệ thống có thể tính toán thời gian đến va chạm (Time-to-Collision) và đưa ra cảnh báo bằng âm thanh hoặc hình ảnh nếu phát hiện nguy cơ. Một ứng dụng quan trọng khác là phát hiện lái xe bất thường, như chuyển làn đột ngột không có tín hiệu hoặc lạng lách. Hệ thống có thể xác định các mẫu hành vi này và cảnh báo người lái hoặc thậm chí ghi lại để phân tích sau này. Đối với lĩnh vực xe tự hành, công nghệ này là không thể thiếu. Một chiếc xe tự lái cần phải hiểu và dự đoán hành động của tất cả các phương tiện xung quanh để có thể lập kế hoạch đường đi an toàn và hiệu quả. Ngoài ra, dữ liệu tổng hợp từ nhiều phương tiện có thể được sử dụng cho mục đích quản lý luồng giao thông thông minh, giúp các nhà quản lý đô thị tối ưu hóa tín hiệu đèn và giảm ùn tắc. Về lâu dài, việc phân tích dữ liệu lớn về hành vi giao thông sẽ mở đường cho các hệ thống có khả năng dự báo tai nạn tại các điểm nóng, cho phép can thiệp phòng ngừa trước khi tai nạn xảy ra.

5.1. Hệ thống cảnh báo va chạm và phát hiện lái xe bất thường

Các hệ thống cảnh báo trong xe là ứng dụng trực tiếp và hữu ích nhất. Dựa trên dữ liệu từ camera và các cảm biến khác, thuật toán liên tục phân tích các hành vi như giảm tốc đột ngột của xe phía trước, chuyển làn nguy hiểm hoặc một phương tiện khác đi vào vùng giao cắt tại ngã tư. Khi một hành vi được phân loại là tiềm ẩn rủi ro, hệ thống sẽ ngay lập tức kích hoạt cảnh báo cho người lái. Việc phát hiện lái xe bất thường không chỉ giúp người lái xe an toàn hơn mà còn có thể được sử dụng trong các ứng dụng quản lý đội xe thương mại để giám sát và nâng cao ý thức của tài xế.

5.2. Hỗ trợ quản lý luồng giao thông và tối ưu hóa cho xe tự hành

Ở quy mô lớn hơn, dữ liệu về hành vi xe cộ từ hàng ngàn phương tiện có thể được tổng hợp để phục vụ quản lý luồng giao thông. Các trung tâm điều hành có thể sử dụng thông tin này để xác định các khu vực ùn tắc, phát hiện sự cố và điều chỉnh chu kỳ đèn tín hiệu một cách linh hoạt. Đối với xe tự hành, khả năng hiểu và dự đoán hành vi của các phương tiện do con người điều khiển là cực kỳ quan trọng. Nó cho phép xe tự hành đưa ra các quyết định lái xe mang tính phòng ngừa, chẳng hạn như giữ khoảng cách xa hơn với một chiếc xe đang có biểu hiện lạng lách, đảm bảo một hành trình an toàn và êm ái.

VI. Tương lai của Phân tích Hành vi Xe cộ Tích hợp V2X và AI

Tương lai của lĩnh vực phát hiện và phân tích hành vi xe cộ hứa hẹn những bước tiến vượt bậc nhờ vào sự hội tụ của Trí tuệ Nhân tạo (AI) và các công nghệ kết nối. Các mô hình học sâu cho giao thông sẽ ngày càng phức tạp và chính xác hơn, có khả năng hiểu được những sắc thái tinh tế trong tương tác giữa các phương tiện mà các mô hình hiện tại còn bỏ sót. Một trong những hướng phát triển quan trọng nhất là tích hợp công nghệ tương tác xe-với-mọi-thứ (V2X). V2X cho phép các phương tiện giao tiếp trực tiếp với nhau (V2V), với cơ sở hạ tầng giao thông (V2I), và với người đi bộ (V2P). Sự kết nối này sẽ cung cấp một lượng dữ liệu vô giá mà các cảm biến trên xe không thể thu thập được, chẳng hạn như ý định của một chiếc xe ở góc khuất hoặc trạng thái của đèn tín hiệu phía trước. Hệ thống phân tích hành vi sẽ không còn chỉ dựa vào quan sát (perception) mà còn dựa vào thông tin hợp tác (cooperation). Điều này sẽ tạo ra một hệ sinh thái giao thông kết nối, nơi các phương tiện có thể phối hợp với nhau để di chuyển an toàn và hiệu quả hơn, biến mục tiêu dự báo tai nạn và xây dựng hệ thống giao thông thông minh thực sự chủ động thành hiện thực.

6.1. Tiềm năng của công nghệ tương tác xe với mọi thứ V2X

Công nghệ tương tác xe-với-mọi-thứ (V2X) sẽ thay đổi hoàn toàn cuộc chơi. Thay vì chỉ phân tích những gì camera nhìn thấy, một chiếc xe có thể nhận được thông tin trực tiếp từ các phương tiện khác về tốc độ, hướng đi và ý định của chúng. Ví dụ, một chiếc xe có thể nhận được cảnh báo về việc một phương tiện khác sắp phanh gấp, ngay cả khi phương tiện đó đang bị một chiếc xe tải che khuất. V2X cho phép tầm nhìn vượt ra ngoài giới hạn của cảm biến vật lý, tạo ra một lớp nhận thức tình huống hợp tác, giúp các hệ thống ADAS và xe tự hành đưa ra quyết định an toàn hơn và sớm hơn.

6.2. Xu hướng phát triển các mô hình học sâu cho giao thông phức tạp

Nghiên cứu về học sâu cho giao thông đang không ngừng tiến triển. Các kiến trúc mạng nơ-ron trong tương lai sẽ có khả năng mô hình hóa hành vi giao thông ở mức độ sâu hơn, có thể tính đến các yếu tố tâm lý và xã hội của người lái. Các mô hình này có thể học cách nhận biết các dấu hiệu của việc lái xe mất tập trung hoặc mệt mỏi chỉ qua cách điều khiển phương tiện. Hơn nữa, việc sử dụng các kỹ thuật như học tăng cường (Reinforcement Learning) có thể giúp các hệ thống tự động học các chiến lược lái xe tối ưu trong các tình huống phức tạp. Sự phát triển này sẽ làm cho việc phân tích hành vi xe cộ trở nên chính xác và toàn diện hơn bao giờ hết.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ ô tô phát triển nhanh chóng, việc tích hợp các Hệ thống hỗ trợ người lái nâng cao (Advanced Driver Assistance Systems - ADAS) trở thành giải pháp then chốt nhằm nâng cao an toàn giao thông và giảm thiểu tai nạn đường bộ. Thực tiễn giao thông đô thị cho thấy nguy cơ va chạm luôn ở mức cao do mật độ phương tiện dày đặc và các tình huống phức tạp. Tác giả dẫn chứng số liệu thực tế cho thấy sai sót của con người trong quá trình chuyển làn, chạy quá tốc độ và bám đuôi phương tiện phía trước quá sát chiếm tới 41,0% tổng số các vụ tai nạn giao thông nghiêm trọng. Để giải quyết thách thức này, hệ thống ADAS cần khả năng giám sát, phân tích theo thời gian thực và phát cảnh báo sớm nhằm bù đắp độ trễ trong nhận thức cũng như phản xạ xử lý của người điều khiển phương tiện.

Đồ án tốt nghiệp ngành Kỹ thuật Ô tô tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE) tập trung giải quyết bài toán tích hợp phát hiện, bám vết và phân tích hành vi phương tiện dựa trên thông tin độ sâu tăng cường từ camera stereo. Hệ thống hướng đến các mục tiêu và nhiệm vụ cụ thể sau:

1. Thực hiện kết hợp dữ liệu đa cảm biến (cụ thể là camera stereo) nhằm bổ sung thông tin khoảng cách/độ sâu phục vụ trực tiếp cho thuật toán phân tích hành vi.
2. Tích hợp mô hình học sâu đa nhiệm (multitasking model) cho nhận thức lái xe toàn cảnh (panoptic driving perception), cho phép phát hiện phương tiện đồng thời với việc nhận diện làn đường và phân đoạn vùng di chuyển.
3. Thiết kế khung bám vết phương tiện dựa trên đặc trưng (feature-based tracking framework) tin cậy, khai thác diện mạo phương tiện để duy trì tính liên tục của đối tượng qua các khung hình, khắc phục hạn chế của các bộ bám vết chuyển động thuần túy khi gặp hiện tượng che khuất (occlusion).
4. Tích hợp nhận thức môi trường lái xe toàn cảnh, bám vết phương tiện và phân tích hành vi vào một hệ thống hợp nhất nhằm cung cấp hỗ trợ thông minh và đưa ra cảnh báo kịp thời cho tài xế khi xuất hiện hành vi bất thường.

Đối tượng nghiên cứu của đồ án là các phương tiện tham gia giao thông trên đường, ranh giới vạch kẻ làn xe, làn xe chủ (ego-lane), vùng di chuyển an toàn (drivable area) và các trạng thái chuyển động bất thường (giảm tốc gấp, chuyển làn cắt đầu, xung đột quỹ đạo tại giao lộ). Phạm vi không gian nghiên cứu tập trung vào góc nhìn người lái (egocentric view) kết hợp không gian ảnh độ sâu stereo trong các điều kiện ánh sáng ngày/đêm và bối cảnh giao thông đô thị. Phạm vi thời gian thực hiện nghiên cứu từ tháng 03/2023 đến tháng 07/2023.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng nghiên cứu dựa trên các lý thuyết thị giác máy tính, ước lượng trạng thái và mạng nơ-ron tích chập đa nhiệm:

• Thị giác hai mắt và ước lượng độ sâu: Sử dụng mô hình hình học tam giác đạc (triangulation) trên hệ thống hai camera đặt song song với khoảng cách trục cơ sở (baseline) ký hiệu là $B$, tiêu cự thấu kính $f$. Độ sâu $Z$ từ điểm thực tế $P$ tới camera tỉ lệ nghịch với thị sai (disparity) $(x - x')$ theo công thức: $$Z = \frac{f \cdot B}{x - x'}$$ Thuật toán khớp khối bán toàn cục (Semi-Global Block Matching - SGBM) với 64 mức thị sai (disparity levels) được ứng dụng để tạo bản đồ thị sai từ cặp ảnh stereo.
• Mô hình nhận thức lái xe toàn cảnh: Lý thuyết mạng học sâu đa nhiệm dựa trên kiến trúc YOLOPv2, thay thế việc sử dụng các mạng đơn lẻ bằng một mạng thống nhất có bộ mã hóa dùng chung (shared encoder) và ba nhánh giải mã (decoder heads) độc lập.
• Bám vết đối tượng theo chuỗi thời gian (Tracking-by-Detection - TBD):
  • Chỉ số tương đồng vùng giao trên vùng hợp (Intersection over Union - IoU) để tính ma trận chi phí sai khác giữa hộp bao phát hiện ($D$) và hộp bao bám vết ($T$).
  • Thuật toán tối ưu Hungarian giải quyết bài toán phân công (assignment problem) tối ưu trong liên kết dữ liệu.
  • Bộ lọc Kalman (Kalman Filter) thực hiện đệ quy hai bước dự báo (predict) và cập nhật (update) trạng thái vị trí, vận tốc của phương tiện trong không gian tọa độ.
  • Mô hình trích xuất đặc trưng ngoại quan sâu (deep appearance feature) kế thừa nguyên lý của DeepSORT nhằm giảm thiểu hiện tượng nhảy định danh (identity switch).

Phương pháp nghiên cứu kết hợp thiết kế kiến trúc hệ thống, tinh chỉnh mô hình học sâu và kiểm thử thực nghiệm trên các bộ dữ liệu chuẩn quốc tế:

• Nguồn dữ liệu huấn luyện và kiểm thử:
  • Tập dữ liệu BDD100K (Berkeley DeepDrive 100K) gồm hơn 100.000 hình ảnh và video độ phân giải cao tại nhiều điều kiện thời tiết, ánh sáng, cung cấp nhãn phát hiện vật thể, phân đoạn vùng lái xe và phân đoạn làn đường.
  • Tập dữ liệu KITTI cung cấp dữ liệu chuỗi ảnh từ camera màu gắn trên nóc xe kết hợp thông tin mây điểm và nhãn bám vết thực tế để đánh giá hiệu năng bám vết phương tiện.
• Hệ thống chỉ số đánh giá:
  • Phát hiện vật thể: Độ chính xác (Precision), độ thu hồi (Recall), Độ chính xác trung bình (Average Precision - AP) theo chuẩn Pascal VOC qua phương pháp nội suy 11 điểm.
  • Phân đoạn ngữ nghĩa: Hệ số Dice (Dice coefficient) và chỉ số Jaccard (IoU).
  • Bám vết phương tiện: Bộ chỉ số đánh giá bám vết nhiều đối tượng MOTA (Multiple Object Tracking Accuracy), IDF1 (đo lường mức độ duy trì định danh), và HOTA (Higher Order Tracking Accuracy) kết hợp giữa độ chính xác phát hiện (DetA) và độ chính xác liên kết (AssA).

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo cấu trúc module hóa phân tầng, vận hành đồng bộ từ khâu thu nhận dữ liệu đến khâu cảnh báo:

[Camera Stereo] -> [Tiền xử lý & SGBM (64 levels)] -> [Ước lượng khoảng cách Z]
       |
       v
[Ảnh đơn sắc RGB] -> [Mạng đa nhiệm YOLOPv2 (E-ELAN)]
                           |
       +-------------------+-------------------+
       |                   |                   |
[Nhánh phát hiện xe] [Nhánh vùng lái xe] [Nhánh vạch làn xe]
       |                   |                   |
       v                   |                   |
[Bộ bám vết DeepSORT + Kalman Filter]          |
       |                   |                   |
       +-------------------+-------------------+
                           |
                           v
          [Khối hậu xử lý & Phân tích hành vi]
                           |
                           v
        [Phát cảnh báo: Giảm tốc | Chuyển làn | Ngã tư]

Kiến trúc mạng nơ-ron đa nhiệm YOLOPv2

• Shared Encoder: Sử dụng thiết kế E-ELAN (Extended Efficient Layer Aggregation Networks) kết hợp tích chập nhóm (group convolution) giúp mô hình học các tập đặc trưng đa dạng hơn mà vẫn tối ưu chi phí tính toán. Tích hợp khối Spatial Pyramid Pooling (SPP) và Feature Pyramid Network (FPN) để hợp nhất đặc trưng ở nhiều thang đo và mức độ ngữ nghĩa khác nhau.
• Task Decoder Heads:
  1. Nhánh phát hiện phương tiện: Cấu trúc Path Aggregation Network (PAN) kết hợp FPN từ dưới lên để trích xuất đặc trưng vị trí; mỗi ô lưới gán 3 anchor có tỉ lệ khung hình khác nhau, dự đoán tọa độ hộp bao, độ tin cậy và phân loại.
  2. Nhánh phân đoạn vùng có thể lái (Drivable Area): Kết nối trước khối FPN (ở tầng nông hơn) do đặc trưng vùng lái không yêu cầu tầng ngữ nghĩa quá sâu, sử dụng 4 phép nội suy up-sampling lân cận gần nhất (nearest interpolation) trong bộ giải mã nhằm tăng tốc độ hội tụ.
  3. Nhánh phân đoạn vạch kẻ làn đường (Lane Segmentation): Kết nối tại cuối tầng FPN để tận dụng đặc trưng ngữ nghĩa sâu (phù hợp với các đường kẻ mảnh, mờ), kết hợp phép giải tích chập (deconvolution) để tái tạo biên vạch kẻ chính xác.

Khung bám vết và liên kết dữ liệu

Quy trình bám vết vận hành theo chu trình khép kín gồm hai khối khởi tạo (Initialize) và duy trì vết (Track). Dữ liệu vị trí từ bộ phát hiện được ánh xạ với các vết hiện có qua ma trận chi phí IoU và thuật toán Hungarian. Trạng thái chuyển động của xe được bộ lọc Kalman liên tục ước lượng và ngoại suy để xác định vị trí tương lai ($T_{pred}$) dưới dạng các hộp bao dự đoán.

Khối hậu xử lý và quy tắc phân tích hành vi

1. Hậu xử lý: Tiến hành hợp nhất và lọc các đường kẻ làn (Line merging and filtering), thiết lập Vùng quan tâm cảnh báo (Warning Region of Interest - ROI) và xác định làn xe chủ (ego-lane).
2. Dự báo trạng thái: Áp dụng bộ lọc Kalman tính toán vị trí tiếp theo của các xe mục tiêu.
3. Phân tích và kích hoạt cảnh báo theo 3 kịch bản:
   • Cảnh báo giảm tốc (Warning of Decelerating): Nhận diện phương tiện chạy cùng làn xe chủ đang giảm tốc độ đột ngột dựa trên sự suy giảm khoảng cách chiều sâu $Z$ từ dữ liệu stereo theo thời gian.
   • Cảnh báo chuyển làn (Warning of Lane-changing): Phát hiện phương tiện ở làn bên cạnh đang thực hiện thao tác chuyển làn hoặc hộp bao dự đoán của phương tiện đó giao cắt vào vùng làn xe chủ.
   • Cảnh báo tại giao lộ/ngã tư (Warning at Intersection): Tại các khu vực giao cắt phức tạp, hệ thống tự động gán nhãn cảnh báo đối với mọi phương tiện xuất hiện hoặc di chuyển cắt ngang bên trong vùng có thể lái xe (drivable area).

Nội dung chính theo từng chương

Chapter 1: INTRODUCTION

Chương này đặt nền móng cho nghiên cứu thông qua việc phân tích tầm quan trọng của hệ thống ADAS trong giao thông hiện đại. Tác giả trình bày các nguyên nhân gây tai nạn do lỗi người lái, chỉ ra sự cần thiết của việc kết hợp phân tích hành vi và nhận thức môi trường. Nội dung chương khái quát các mục tiêu nghiên cứu, cấu trúc phân chia công việc từ thu thập dữ liệu, phát hiện, bám vết đến phát triển hệ thống cảnh báo. Đồng thời, chương 1 cũng thẳng thắn nêu ra các giới hạn kỹ thuật ban đầu về ràng buộc phần cứng, tốc độ xử lý thời gian thực, độ biến thiên môi trường và các yếu tố tương tác người - máy.

Chapter 2: LITERATURE REVIEW

Chương tổng quan tài liệu phân tích có hệ thống các công trình nghiên cứu tiền nhiệm:

• Cơ chế kết hợp dữ liệu (Data Fusion): So sánh giải pháp kết hợp cảm biến LiDAR - Vision truyền thống với giải pháp thị giác hai mắt (stereo vision). Tác giả lựa chọn hướng tiếp cận dựa trên camera stereo nhờ ưu thế chi phí thấp và khả năng cung cấp trực tiếp bản đồ độ sâu dày đặc.
• Mô hình phát hiện đa nhiệm: Đánh giá các kiến trúc từ Mask R-CNN, MultiNet, LSNet, YOLOP, HyBridNet đến YOLOPv2, nhấn mạnh sự đánh đổi giữa độ chính xác và hiệu quả tính toán thời gian thực.
• Bám vết phương tiện: Phân loại hai trường phái bám vết dựa trên chuyển động (SORT với Kalman Filter) và dựa trên đặc trưng ngoại quan (DeepSORT), phân tích bài toán liên kết dữ liệu thông qua IoU và thuật toán Hungarian.
• Phân tích hành vi và dự báo quỹ đạo: Trình bày bài toán dự báo ý định và dự báo quỹ đạo trong không gian góc nhìn người lái (egocentric view) và góc nhìn từ trên cao (Bird's Eye View - BEV), chỉ ra hạn chế của các phương pháp phụ thuộc LiDAR 3D đắt tiền hoặc các hệ thống cảnh báo thụ động không có dự báo trước.

Chapter 3: MULTI-TASKING MODEL FOR PANOPTIC DRIVING PERCEPTION

Chương 3 mô tả chi tiết việc lựa chọn và xây dựng mô hình mạng nơ-ron đa nhiệm YOLOPv2 cho bài toán nhận thức lái xe toàn cảnh. Tác giả trình bày sơ đồ tổng thể toàn bộ framework, cấu trúc chi tiết của Shared Encoder dựa trên khối E-ELAN, SPP, FPN và cách thức bố trí 3 nhánh giải mã chuyên biệt cho phát hiện vật thể, phân đoạn vùng lái và phân đoạn làn đường. Kết quả nhận thức được minh chứng qua các thực nghiệm trong điều kiện ban ngày lẫn ban đêm trên tập dữ liệu BDD100K.

Chapter 4: VEHICLE TRACKING

Chương 4 tập trung vào khung bám vết phương tiện kết hợp thông tin đặc trưng ngoại quan và mô hình chuyển động. Nội dung chương trình bày chi tiết thuật toán liên kết dữ liệu, cơ chế khởi tạo và quản lý vết (track management) nhằm xử lý hiện tượng mất dấu khi xe bị che khuất tạm thời hoặc thay đổi tỉ lệ hình học trong chuỗi khung hình video.

Chapter 5: VEHICLE BEHAVIOR ANALYSIS AND DRIVER WARNING

Chương 5 trình bày khâu xử lý cấp cao nhất của hệ thống:

• Chuỗi xử lý hậu kỳ (post-processing pipeline) cho các đầu ra của mô hình đa nhiệm, bao gồm thuật toán lọc và hợp nhất đường kẻ làn.
• Phương pháp xác lập vùng quan tâm cảnh báo (ROI) trên làn xe chủ.
• Ứng dụng bộ lọc Kalman dự đoán tọa độ khung bao kế tiếp của phương tiện.
• Phân tích chi tiết ba kịch bản nguy hiểm thực tế: xe cùng làn giảm tốc gấp, xe làn lân cận chuyển làn tạt đầu, và cảnh báo phương tiện xung đột trong vùng lái xe tại các ngã tư.

Chapter 7: CONCLUSION AND FUTURE WORK

Chương tổng kết lại toàn bộ kết quả nghiên cứu đã đạt được của đồ án, khẳng định tính khả thi của việc tích hợp thị giác stereo, mạng đa nhiệm và bám vết đối tượng vào bài toán ADAS. Đồng thời, chương vạch ra các hướng cải tiến kỹ thuật cần thiết để hoàn thiện hệ thống trong tương lai.

Kết quả và đóng góp

Đồ án đã thiết kế và triển khai thành công một khung làm việc (framework) hợp nhất cho bài toán phát hiện, bám vết và phân tích hành vi phương tiện trên ô tô với các kết quả cụ thể:

Thành phần hệ thống	Phương pháp / Mô hình triển khai	Đặc điểm kỹ thuật chính
Đo khoảng cách / Độ sâu	Stereo Disparity Block Matching (SGBM)	Sử dụng 64 mức thị sai (disparity levels), công thức tam giác đạc $Z = \frac{f \cdot B}{x - x'}$
Nhận thức lái xe toàn cảnh	Mạng học sâu đa nhiệm YOLOPv2	Backbone E-ELAN, SPP, FPN/PAN với 3 nhánh decoder độc lập
Bám vết phương tiện	Tracking-by-Detection (TBD)	Kết hợp Hungarian Algorithm, ma trận khoảng cách mIoU và Kalman Filter
Dự báo & Cảnh báo	Rule-based & Trạng thái Kalman Filter	Xử lý 3 ca cảnh báo: Giảm tốc cùng làn, Chuyển làn cắt đầu, Xung đột tại ngã tư

Các đóng góp khoa học và kỹ thuật chính của đồ án gồm:

• Đề xuất giải pháp tăng cường thông tin độ sâu bằng camera stereo với chi phí hợp lý, loại bỏ sự phụ thuộc vào các hệ thống 3D-LiDAR đắt đỏ mà vẫn đảm bảo khả năng đo khoảng cách phương tiện.
• Tận dụng hiệu quả kiến trúc mạng đa nhiệm YOLOPv2 với thiết kế nhánh phân tách độc lập, cho phép trích xuất đồng thời thông tin hình thái xe cộ, vạch làn và vùng di chuyển trong một lượt suy luận (single forward pass).
• Xây dựng cơ chế cảnh báo chủ động dựa trên mô hình dự báo trạng thái tương lai của phương tiện bằng bộ lọc Kalman, khắc phục nhược điểm của các hệ thống cảnh báo thụ động truyền thống chỉ phản ứng khi rủi ro đã xảy ra.

Hạn chế và hướng nghiên cứu tiếp

Tác giả đã chỉ ra 6 hạn chế kỹ thuật thực tế của hệ thống trong báo cáo:

1. Ràng buộc tài nguyên phần cứng: Độ phức tạp tính toán của việc kết hợp mạng nơ-ron đa nhiệm và thuật toán khớp khối stereo SGBM đòi hỏi năng lực xử lý cao, vượt quá khả năng của các vi điều khiển nhúng công suất thấp thông thường trên ô tô thương mại.
2. Tốc độ xử lý: Khả năng xử lý thời gian thực chưa thực sự tối ưu khi đối mặt với luồng video độ phân giải cao hoặc các kịch bản giao thông thay đổi quá nhanh, có thể tạo ra độ trễ trong việc đưa ra cảnh báo.
3. Hiện tượng dương tính giả và âm tính giả: Hệ thống cảnh báo hành vi bất thường đôi khi vẫn gặp lỗi cảnh báo sai (false positive) hoặc bỏ sót nguy cơ (false negative), gây nhiễu loạn thông tin cho người lái.
4. Tính nhạy cảm với điều kiện môi trường: Hiệu năng ước lượng độ sâu stereo và phân đoạn ngữ nghĩa bị suy giảm trong các điều kiện thời tiết bất lợi (mưa lớn, sương mù) hoặc ánh sáng thay đổi quá gắt.
5. Khả năng khái quát hóa: Khung làm việc bộc lộ hạn chế khi vận hành trong các kịch bản giao thông hoàn toàn mới lạ, chưa xuất hiện trong tập dữ liệu huấn luyện (BDD100K).
6. Yếu tố tương tác người - máy: Hiệu quả thực tế của hệ thống cảnh báo còn phụ thuộc vào mức độ tập trung và phản xạ của tài xế; đồ án chưa đánh giá sâu khía cạnh tâm lý học hành vi người lái.

Hướng nghiên cứu tiếp theo bao gồm: Tối ưu hóa cấu trúc mạng để triển khai trên phần cứng nhúng biên (Edge AI); mở rộng tập dữ liệu huấn luyện cho các điều kiện thời tiết khắc nghiệt; hoàn thiện thuật toán phân tích hành vi đa phương thức và tối ưu hóa giao diện tương tác HMI cho người lái.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo giá trị cho:

• Sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Kỹ thuật Ô tô, Kỹ thuật Cơ điện tử, Kỹ thuật Điều khiển & Tự động hóa, và Khoa học Máy tính / Trí tuệ Nhân tạo định hướng ADAS và xe tự hành.
• Những người nghiên cứu bài toán thị giác máy tính ứng dụng trên ô tô: Tham khảo chi tiết phương pháp xây dựng pipeline xử lý kết hợp giữa xử lý ảnh stereo truyền thống (SGBM) và mô hình học sâu đa nhiệm hiện đại (YOLOPv2).
• Các đề tài phát triển hệ thống an toàn chủ động: Giá trị tham khảo cao ở phương pháp thiết lập vùng ROI làn xe chủ, giải thuật lọc/hợp nhất vạch kẻ làn và các quy tắc logic xác định hành vi nguy hiểm phục vụ cảnh báo va chạm.

Câu hỏi thường gặp

1. Vì sao đồ án sử dụng camera stereo để đo khoảng cách thay vì cảm biến LiDAR?
Nghiên cứu lựa chọn camera stereo nhằm xây dựng giải pháp có chi phí hợp lý, khả thi khi triển khai trên các dòng xe phổ thông. Dữ liệu từ hai camera sau khi qua thuật toán khớp khối SGBM cung cấp thông tin thị sai để tính toán trực tiếp độ sâu $Z = \frac{f \cdot B}{x - x'}$, đáp ứng tốt yêu cầu ước lượng khoảng cách cho module phân tích hành vi mà không cần phần cứng LiDAR đắt tiền.

2. Kiến trúc mạng YOLOPv2 trong đồ án xử lý 3 tác vụ nhận thức như thế nào?
Mạng sử dụng chung một bộ mã hóa (Shared Encoder) cấu trúc E-ELAN với các khối SPP và FPN để trích xuất đặc trưng chung. Sau đó, mạng phân tách thành 3 nhánh giải mã độc lập: nhánh phát hiện xe sử dụng cấu trúc PAN/FPN với các anchor đa tỉ lệ; nhánh phân đoạn vùng lái kết nối trước FPN với 4 phép nội suy lân cận gần nhất; nhánh phân đoạn làn đường kết nối cuối FPN kết hợp giải tích chập (deconvolution) để bắt chính xác các vạch kẻ mảnh.

3. Khung bám vết trong đồ án khắc phục hiện tượng mất dấu xe khi bị che khuất bằng cách nào?
Khung bám vết áp dụng nguyên lý TBD (Tracking-by-Detection) kết hợp giữa trích xuất đặc trưng ngoại quan sâu (tương tự DeepSORT) và mô hình chuyển động của bộ lọc Kalman. Khi xe bị che khuất hoặc biến đổi tỉ lệ, các đặc trưng ngoại quan kết hợp cùng thuật toán Hungarian giúp duy trì định danh (ID) chính xác hơn so với việc chỉ dựa thuần túy vào hộp bao chuyển động IoU.

4. Ba tình huống giao thông nguy hiểm chính được hệ thống nhận diện và cảnh báo là gì?
Hệ thống nhận diện và cảnh báo 3 tình huống cụ thể: (1) Phương tiện chạy phía trước trên cùng làn xe chủ giảm tốc đột ngột (nhận biết qua biến thiên khoảng cách độ sâu); (2) Phương tiện ở làn bên cạnh chuyển làn cắt ngang đầu xe chủ (dựa trên hộp bao dự đoán quỹ đạo của Kalman Filter); (3) Mọi phương tiện xuất hiện hoặc di chuyển cắt ngang trong vùng có thể lái xe tại các nút giao/ngã tư.

5. Đồ án sử dụng những bộ dữ liệu chuẩn nào để huấn luyện và kiểm thử?
Nghiên cứu sử dụng tập dữ liệu BDD100K (chứa hơn 100.000 ảnh/video độ phân giải cao đa dạng về thời tiết, ánh sáng, địa lý) để huấn luyện và đánh giá mô hình nhận thức đa nhiệm; đồng thời sử dụng tập dữ liệu chuẩn KITTI để kiểm thử và đánh giá hiệu năng của thuật toán bám vết phương tiện.

Kết luận

Đồ án tốt nghiệp của sinh viên Hà Phan Ngọc Quân và Trương Thanh Nguyên (ngành Kỹ thuật Ô tô, HCMUTE) đã nghiên cứu và tích hợp thành công hệ thống phát hiện, bám vết và phân tích hành vi phương tiện phục vụ ADAS. Bằng việc kết hợp hài hòa giữa thị giác stereo ước lượng độ sâu, mô hình học sâu đa nhiệm YOLOPv2 và bộ lọc Kalman, hệ thống đã giải quyết trọn vẹn chu trình từ nhận thức toàn cảnh đến cảnh báo chủ động các tình huống giảm tốc, chuyển làn và xung đột tại giao lộ. Công trình là tài liệu tham khảo kỹ thuật hữu ích cho việc nghiên cứu và phát triển các hệ thống hỗ trợ lái xe an toàn trong thực tiễn.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT AUTOMOTIVE ENGINEERING VEHICLE DETECTION, TRACKING AND BEHAVIOR ANALYSIS WITH ENHANCING DEPTH INFORMATION ADVISOR: MSc. NGUYEN TRUNG HIEU STUDENT: HA PHAN NGOC QUAN TRUONG THANH NGUYEN SKL010782 Ho Chi Minh city, July 2023 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT VEHICLE DETECTION, TRACKING AND BEHAVIOR ANALYSIS WITH ENHANCING DEPTH INFORMATION HA PHAN NGOC QUAN Student ID: 19145008 TRUONG THANH NGUYEN Student ID: 19145158 Major: AUTOMOTIVE ENGINEERING Advisor: NGUYEN TRUNG HIEU, MSc. Ho Chi Minh City, July 2023 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT VEHICLE DETECTION, TRACKING AND BEHAVIOR ANALYSIS WITH ENHANCING DEPTH INFORMATION HA PHAN NGOC QUAN Student ID: 19145008 TRUONG THANH NGUYEN Student ID: 19145158 Major: AUTOMOTIVE ENGINEERING Advisor: NGUYEN TRUNG HIEU, MSc. Ho Chi Minh City, July 2023 THE SOCIALIST REPUBLIC OF VIETNAM Independence :.

Freedom- Happiness Ho Chi Minh City, July OJ, 2023 GRADUATION PROJECT ASSIGNMENT Student name: Ha Phan Ngoc Quan Student ID: 19145008 Student name: Truong Thanh Nguyen Student ID: 19145158 Major: Automotive Engineering Class: 19145CLA Advisor: Nguyen Trung Hieu, MSc. Phone number: 096 2497 102 Date of assignment: March 3, 2023 Date of submission: July 1, 2023 1. Project title: Vehicle Detection, Tracking and Behavior Analysis with Enhancing Depth. Initial materials provided by the advisor: _______ ___ ___ 3.

Content of the project: Desel -:p IL JJgd. Final product: -�Oud:1._, -------- CHAIR OF THE PROGRAM ADVISOR (Sign withfull name) (Sign withfull name) THE SOCIALIST REPUBLIC OF VIETNAM Independence - Freedom- Happiness Ho Chi Minh City, July OJ, 2023 ADVISOR'S EVALUATION SHEET Student name: Ha Phan Ngoc Quan Student ID: 19145008 Student name: Truong Thanh Nguyen Student ID: 19145158 Major: Automotive Engineering Project title: Vehicle Detection, Tracking and Behavior Analysis with Enhancing Depth Information Advisor: Nguyen Trung Hieu, MSc. Content of the project: �\�. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, month day, year ADVISOR (Sign with full name) ./_\,,/ THE SOCIALIST REPUBLIC OF VIETNAM Independence - Freedom- Happiness Ho Chi Minh City, July 01, 2023 PRE-DEFENSE EVALUATION SHEET Student name: Ha Phan Ngoc Quan Student ID: 19145008 Student name: Truong Thanh Nguyen Student ID: 19145158 Major: Automotive Engineering Project title: Vehicle Detection, Tracking and Behavior Analysis with Enhancing Depth Information Name of Reviewer:.

Content and workload of the project .fui✓• js,0:;i ••••fl. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, month day, year Jil,_JlJ1 zoL!:, REVIEWER d (Sign withfull name) Acknowledgment We would like to express our sincere gratitude to our advisors, Mr. Nguyen Trung Hieu, MSc. Tran Vu Hoang, PhD.

for their invaluable guidance and support throughout the research process. We also wish to thank the Vehicle Automatic Control Laboratory, HCMUTE for facility support, as well as the Lab’s collaborators for providing us the best conditions to accomplish our project. i Table of Contents Abstract. viii Chapter 1: INTRODUCTION.

Research and Literature Review. Data Collection and Preprocessing. Vehicle Detection and Driving Scene Recognition. Behavior Analysis and Warning.

Warning and Alert System. Documentation and Reporting. Iterative Development and Enhancement. False Positives and False Negatives.

Generalization to Unseen Scenarios. Human Factors and Driver Interaction. 7 Chapter 2: LITERATURE REVIEW. Data Fusion Mechanism.

Stereo Disparity Block Matching. Distance Estimation based on Depth Information. Multi-tasking Detection Model. Motion-based Tracking.

Feature-based Tracking. Vehicle Behavior Analysis/Trajectory Prediction. Behavior Analysis Problem Statement. Evaluation Metrics and Losses.

29 Chapter 3: MULTI-TASKING MODEL FOR PANOPTIC DRIVING PERCEPTION. Network Model Selection. 35 Chapter 4: VEHICLE TRACKING. Feature-based Tracker.

Data Association and Track Management. 41 Chapter 5: VEHICLE BEHAVIOR ANALYSIS AND DRIVER WARNING. Post Processing of Multitasking Detection Model output. Line merging and filtering.

Establish Warning Region of Interest. Predict Future State using Kalman Filter. Analyzing and Warning. Case 1: Warning of Decelerating.

Warning of Lane-changing. Warning at Intersection. Behavior Analysis and Warning. 50 Chapter 7: CONCLUSION AND FUTURE WORK.

53 iv List of Figures Fig. 1 Pixel level disparity between left and right image. 2 Stereo disparity matching output of SGBM. 3 Distance estimation model.

4 The data sources are geographically distributed across various cities and regions in highly populated areas of the United States. Each dot on the map represents the starting location of a video clip in BDD100K dataset. 5 Overview of BDD100K dataset for multitasking purpose. 6 Instance statistics of our object categories.

(a) Number of instances of each category, which follows a long-tail distribution. (b)Roughly half of the instances are occluded. (c) About 7% of the instances are truncated. 7 The confusion matrix.

8 Dice coefficient and IoU (Jaccard index) can be calculated based on the overlapping area between the two circles and the total area covered by the circles. 9 Schematic Description of the Kalman Filter Algorithm [20]. 10 Mounting position of sensors with respect to the vehicle body [2]. 11 In reference to [30], the modeling of trajectory predictions for dynamic agents on the road involves considering their interaction-awareness and road awareness.

The trajectory of one vehicle, referred to as Veh.2, is dependent on the trajectory of another vehicle, denoted as Veh.3, and vice versa. 12 Lane Coordinate System. The diagram explains the setup of three coordinate systems: global map coordinate system, ego-vehicle body-fixed coordinate system, and lane coordinate system. 13 Illustration of future vehicle localization.

Location and scale are represented as bounding boxes in predictions. 14 At each time step t, the precision and coherence of the predicted bounding boxes for all traffic participants from preceding frames are assessed. Based on this evaluation, anomaly score for the scene is given. 15 Overview of the complete framework: vehicle detection and scene recognition, vehicle tracking and behavior analysis with enhancing depth information.

16 Day time perception result comparison. 17 Night time perceptive result comparison. 18 The network architecture of YOLOPv2. 19 Methodology flow chart.

20 System Overview of Tracking Framework. 21 Initialize component of tracker. 22 Track component of Tracker. 23 Overview of the Behavior Analysis and Warning component.

24 Post-processing pipeline for the output of the Multitasking Detection Model. 25 Applying Kalman Filter prediction to determine the next positions of tracked vehicles. Estimated positions are shown in white bounding boxes, while the current state in yellow ones. 26 The vehicle with decelerating action in the ego-lane is marked as warning.

27 The vehicle performing lane-changing to ego-lane is marked as warning. 28 At intersections, all the vehicles in any drivable area are marked as warning. 29 A tracked vehicle is marked as warning due to its deceleration based on distance data. 30 Additional results of behavior analysis and warning.

31 A vehicle whose predicted position intersects ego-lane area is being warned. 32 At intersection, any vehicle inside drivable area is warned. 51 vi List of Tables TABLE I. Performance Comparison among Panoptic Driving Perception Networks [14].

Evaluation Results Of Three Methods On MOTA Metric. Evaluation Results Of Three Methods On IDF1 Metric. Evaluation Results Of Three Methods On HOTA Metric. 49 vii Abstract Vehicle behavior analysis and warning systems play a crucial role in Advanced Driver Assistance Systems (ADAS) applications to enhance road safety and driver awareness.

This project presents a comprehensive overview of vehicle behavior analysis techniques and their application in ADAS. It explores various sensors and data sources used to collect information about the vehicle and its surrounding environment. Additionally, the project discusses different algorithms and models employed to detect, track and analyze vehicle behavior, as well as traffic scenes; including lane departure detection, collision prediction, and abnormal maneuver identification. Furthermore, the integration of these techniques into a warning system is examined, focusing on the generation of timely and effective alerts to the driver.

The paper concludes with a discussion on the challenges and future directions in vehicle behavior analysis and warning systems for ADAS, highlighting the potential for advancements in sensor technology, deep learning, and human-machine interaction to further improve road safety and driver assistance. Keywords: ADAS, Advanced Driver Assistance Systems, data-fusion, panoptic driving perception, vehicle tracking, vehicle behavior analysis viii Chapter 1: INTRODUCTION 1. Topic Reasoning As automotive technology continues to advance, the integration of Advanced Driver Assistance Systems (ADAS) has become increasingly vital in the pursuit of safer and more efficient transportation. ADAS applications are revolutionizing the way vehicles interact with their surroundings, providing drivers with enhanced safety features and intelligent assistance.

These systems are designed to mitigate risks, reduce accidents, and enhance the overall driving experience. In this context, the need for ADAS arises from the pressing demand to improve road safety, optimize vehicle behavior, and pave the way for a future of autonomous driving. The primary driving force behind the need for ADAS applications is the paramount goal of enhancing safety on the roads. With millions of vehicles navigating complex traffic scenarios daily, the risk of accidents and collisions remains a significant concern.

For instance, as reported in [1], human error during lane change, speeding and tailgating caused 41.0% of total severe crashes. Ultimately, ADAS technologies step in to address this challenge by providing real-time monitoring, analysis, and intervention capabilities. These systems employ a variety of sensors, cameras, and algorithms to detect potential hazards, warn the driver, and even autonomously intervene when necessary. By augmenting human perception and reaction times, ADAS applications aim to prevent accidents, minimize their severity, and ultimately save lives.

Furthermore, the need for vehicle behavior analysis reinforces the importance of ADAS applications. Understanding and optimizing the behavior of vehicles on the road is crucial for ensuring both safety and efficiency. Vehicle behavior analysts play a vital role in studying and evaluating the dynamic interactions between vehicles, road conditions, and drivers. By leveraging ADAS technologies, these analysts can gather real-world data, analyze driving patterns, and identify areas for improvement.

This analysis can inform the development and refinement of ADAS algorithms, leading to more accurate detection of potential risks and more effective interventions. Ultimately, this synergy between ADAS applications and vehicle behavior analysis helps to create a safer and more intelligent driving environment for all road users. Our framework for vehicle detection, tracking, and behavior analysis is a comprehensive solution that addresses the demands for enhanced road safety and intelligent driver assistance. By leveraging advanced computer vision and machine learning techniques, our framework is capable of accurately detecting and tracking vehicles in real-time, while also analyzing their behavior.

This enables us to provide timely warnings to drivers about abnormal behavior exhibited by other cars on the road. 1 By integrating vehicle detection, tracking, and behavior analysis into a unified framework, we provide drivers with a comprehensive tool to enhance their situational awareness and safety on the road. Our system's ability to identify and notify drivers about abnormal behaviors exhibited by other cars can significantly reduce the risk of accidents and improve overall road safety. Objectives The aim of the project is to develop a robust and intelligent framework for vehicle detection, tracking, and behavior analysis that addresses the need for enhanced road safety and driver assistance.

The primary goal is to combine the data availability from various sensors and leverage advanced computer vision and machine learning techniques to accurately detect and track vehicles in real-time, while also analyzing their behavior in recognized traffic scene to identify abnormal patterns. By achieving this aim, we aim to provide timely warnings and alerts to drivers about potential risks and hazards posed by other vehicles on the road. Furthermore, the project aims to enhance overall road safety by utilizing state-of-the-art algorithms and methodologies for panoptic driving perception.