Luận văn thạc sĩ kỹ thuật ô tô study on camera based real time car speed monitor using yolov5 multiple object detection model

Luận văn về giám sát tốc độ xe thời gian thực dùng camera và YOLOv5. Nghiên cứu mô hình nhận diện vật thể, ứng dụng trong kỹ thuật ô tô hiện đại.

• Tác giả: Nguyễn Ngọc Trực
• Người hướng dẫn: Trần Đăng Long, Ph.D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Vehicle Engineering
• Đề tài: Study on camera-based real-time car speed monitor using YOLOv5 multiple object detection model
• Loại tài liệu: Master’s Thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENT
• ABSTRACT
• TÓM TẮT LUẬN VĂN THẠC SĨ
• THE COMMITMENT OF THE THESIS’ AUTHOR
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Speed Warning Systems
• 1.2. Traffic Sign Detection
• 1.3. Scope of Research
• 2. CHAPTER 2: CONVOLUTIONAL NEURAL NETWORKS
• 2.1. Fully Connected Layer
• 2.2. Introduce to YOLO
• 2.3. Intersection over Union
• 2.4. Precision and Recall
• 2.5. Mean Average Precision
• 3. CHAPTER 3: DESIGN A SPEED LIMIT SIGNS DETECTION MODEL
• 3.1. Training Model Parameters
• 3.2. Hardware Circuit Diagram
• 3.3. Software Algorithm Flowchart
• 3.4. Speed Limit Caching Algorithm
• 3.5. Finite State Machine Based Speed Warning Algorithm
• 4. CHAPTER 4: HARDWARE AND SOFTWARE IMPLEMENTATION
• 4.1. Camera Raspberry Pi V2
• 4.2. DC-DC Converter
• 4.3. OBD-II Adapter
• 4.4. Deploy on Jetson Nano
• 4.4.1. Build Model Engine
• 4.4.2. Run Model Engine
• 5. CHAPTER 5: RESULTS AND DISCUSSIONS
• 5.1. Speed Limit Detection
• 5.2. Speed Warning Applications
• 6. CHAPTER 6: CONCLUSIONS AND FUTURE WORKS
• References
• Appendix

Tóm tắt

I. Tổng Quan Giám Sát Tốc Độ Xe Thời Gian Thực YOLOv5 55K

Trong những năm gần đây, các hệ thống hỗ trợ lái xe nâng cao (ADAS) đã nổi lên như một giải pháp đầy hứa hẹn để tăng cường an toàn giao thông và giảm thiểu số lượng tai nạn trên đường. ADAS sử dụng nhiều công nghệ khác nhau, chẳng hạn như cảm biến, camera và hệ thống liên lạc, để cung cấp cho người lái cảnh báo trước và hỗ trợ trong các tình huống lái xe quan trọng. Một trong những tính năng ADAS phổ biến nhất là Kiểm soát hành trình thích ứng (ACC), giúp người lái duy trì khoảng cách an toàn với xe phía trước bằng cách tự động điều chỉnh tốc độ của xe. Một tính năng ADAS quan trọng khác là Cảnh báo chệch làn đường (LDW), cảnh báo người lái khi họ đi chệch khỏi làn đường của mình. Ngoài ra, ADAS cũng có thể hỗ trợ người lái đỗ xe, với các tính năng như cảm biến đỗ xe và hệ thống đỗ xe tự động. Các hệ thống phát hiện điểm mù cũng có thể cung cấp cho người lái các cảnh báo bằng hình ảnh hoặc âm thanh khi có xe hoặc vật cản trong điểm mù của họ. Hệ thống cảnh báo tốc độ (SWS) cũng là một tính năng quan trọng của ADAS, vì vượt quá tốc độ là một nguyên nhân phổ biến gây ra tai nạn. Các hệ thống này có thể được triển khai bằng nhiều công nghệ khác nhau, chẳng hạn như Hệ thống định vị toàn cầu (GPS), phát hiện đối tượng dựa trên camera và liên lạc với cơ sở hạ tầng ven đường. Một số nghiên cứu đã chỉ ra rằng các hệ thống cảnh báo giới hạn tốc độ có thể có hiệu quả trong việc giảm hành vi lái xe quá tốc độ và cải thiện an toàn đường bộ. Những tiến bộ gần đây trong Trí tuệ nhân tạo (AI) và Thị giác máy tính (CV) đã dẫn đến những cải tiến đáng kể về độ chính xác và độ tin cậy của ADAS. Các phương pháp dựa trên học sâu, chẳng hạn như mạng nơ-ron tích chập (CNN), đã cho thấy những kết quả đầy hứa hẹn trong các nhiệm vụ phát hiện và nhận dạng đối tượng, vốn rất quan trọng đối với ADAS. Phát hiện đối tượng dựa trên camera đã nổi lên như một công nghệ đầy hứa hẹn cho các hệ thống cảnh báo giới hạn tốc độ. Mô hình phát hiện đối tượng You Only Look Once (YOLO) là một thuật toán hiện đại đã cho thấy hiệu quả trong việc phát hiện và theo dõi các đối tượng trong thời gian thực. Bằng cách sử dụng mô hình YOLOv5 để phát hiện và theo dõi các biển báo giới hạn tốc độ trên đường, một hệ thống cảnh báo giới hạn tốc độ có thể cung cấp thông tin chính xác và đáng tin cậy cho người lái về giới hạn tốc độ hiện tại.

1.1. Giới Thiệu Tổng Quan về Hệ Thống Giám Sát Tốc Độ

Chương giới thiệu này bao gồm 8 phần. Bắt đầu với phần giải thích về lý do chọn phát hiện biển báo giao thông làm chủ đề nghiên cứu. Sau đó, chương này đi sâu vào tổng quan về Hệ thống hỗ trợ lái xe nâng cao (ADAS) và nhấn mạnh tầm quan trọng của hệ thống cảnh báo tốc độ trong bối cảnh này. Chương này giải thích rằng việc phát triển một hệ thống cảnh báo tốc độ đòi hỏi một mô hình đáng tin cậy để phát hiện các biển báo giới hạn tốc độ. Các mục tiêu của luận án sau đó được trình bày, vạch ra các mục tiêu cụ thể cần đạt được. Phương pháp nghiên cứu và những đóng góp của nghiên cứu được thảo luận, cùng với phạm vi điều tra đã được xác định. Cuối cùng, chương này cung cấp một phác thảo về từng chương tiếp theo, cho phép người đọc xem trước các chủ đề được đề cập trong luận án.

1.2. Vai Trò Của YOLOv5 Trong Giám Sát Giao Thông Thông Minh

Ngoài việc phát hiện đối tượng, một thành phần quan trọng khác của hệ thống cảnh báo giới hạn tốc độ là khả năng xác định tốc độ hiện tại của xe. Hệ thống chẩn đoán trên xe II (OBD-II) là một tính năng tiêu chuẩn trong các xe hiện đại, cung cấp thông tin theo thời gian thực về hiệu suất của xe. Bằng cách lấy thông tin dữ liệu từ hệ thống OBD-II vào hệ thống cảnh báo giới hạn tốc độ, hệ thống có thể so sánh chính xác tốc độ xe với các biển báo giới hạn tốc độ được phát hiện và cảnh báo người lái nếu họ vượt quá giới hạn. Một số nghiên cứu đã đánh giá hiệu quả của các hệ thống cảnh báo tốc độ trong môi trường lái xe thực tế. Những nghiên cứu này đã chỉ ra rằng các hệ thống cảnh báo tốc độ có thể giảm hành vi lái xe quá tốc độ và cải thiện an toàn cho người lái.

II. Vấn Đề Tại Sao Giám Sát Tốc Độ Xe Thực Tế Lại Cần Thiết 58K

Vượt quá tốc độ là một nguyên nhân chính gây ra tai nạn giao thông và gây ra những rủi ro đáng kể cho cả người lái xe và người đi bộ. Để giải quyết vấn đề này, các nhà nghiên cứu và kỹ sư đã phát triển nhiều hệ thống cảnh báo tốc độ khác nhau cho ô tô. Các hệ thống này nhằm mục đích cảnh báo người lái xe khi họ vượt quá giới hạn tốc độ, từ đó thúc đẩy hành vi lái xe an toàn hơn. Trong đánh giá tài liệu này, chúng ta khám phá ba phương pháp thường được sử dụng để triển khai SWS: hệ thống dựa trên GPS, hệ thống giao tiếp với cơ sở hạ tầng ven đường và hệ thống dựa trên camera. SWS bao gồm hai thành phần chính. Thứ nhất, nó phát hiện giới hạn tốc độ tương ứng với cơ sở hạ tầng đường bộ cụ thể. Thứ hai, nó liên tục theo dõi tốc độ thực tế của xe. Bằng cách so sánh giới hạn tốc độ được phát hiện với tốc độ thực tế của xe, hệ thống xác định xem người lái xe có vượt quá giới hạn tốc độ hay không. Nếu phát hiện vi phạm, hệ thống sẽ tạo ra các thông báo cảnh báo tốc độ thích hợp để cảnh báo người lái xe. Các SWS dựa trên GPS dựa vào công nghệ GPS để xác định vị trí hiện tại của xe và tính toán giới hạn tốc độ tương ứng. Các hệ thống này thường sử dụng dữ liệu từ các vệ tinh GPS để xác định vị trí và tốc độ của xe, đồng thời đối chiếu thông tin này với bản đồ kỹ thuật số để xác định giới hạn tốc độ cho đoạn đường cụ thể đó. Các nghiên cứu gần đây đã đánh giá hiệu quả của SWS trong việc cải thiện hành vi của người lái xe và giảm số lượng tai nạn trên đường.

2.1. Phân Tích Các Phương Pháp Giám Sát Tốc Độ Hiện Tại

Một nghiên cứu được thực hiện bởi Song Wang et al. [5] cho thấy rằng SWS có hiệu quả trong việc giảm hành vi lái xe quá tốc độ giữa những người lái xe và đặc biệt hiệu quả ở những khu vực có tỷ lệ tai nạn cao. Hơn nữa, có một số SWS phổ biến có sẵn ở các quốc gia khác nhau, chẳng hạn như tính năng cảnh báo giới hạn tốc độ trong Google Maps [6], hiện có sẵn ở hơn 40 quốc gia không bao gồm Việt Nam. Tại thị trường Việt Nam, cũng có các hệ thống cảnh báo tốc độ như Vietmap [7], sử dụng GPS và được tích hợp trực tiếp vào camera hành trình của họ. Một phần mềm mới được giới thiệu gần đây là GSpeed của iCar [8], được ra mắt vào tháng 6 năm 2023 và có thể được tích hợp vào màn hình của xe. Việc sử dụng các phương pháp dựa trên GPS là phổ biến rộng rãi, nhưng nó đòi hỏi một cơ sở dữ liệu đáng kể. Tuy nhiên, cách tiếp cận này có một số nhược điểm, chẳng hạn như thiếu cập nhật theo thời gian thực. Trong một số trường hợp, giới hạn tốc độ có thể đã thay đổi, nhưng hệ thống vẫn dựa vào thông tin lỗi thời từ cơ sở dữ liệu của nó. Ngoài ra, khi có hai tuyến đường song song tồn tại, hệ thống có thể gặp khó khăn trong việc phát hiện chính xác con đường đang đi.

2.2. Hạn Chế Của GPS và Nhu Cầu Giám Sát Tốc Độ Thực Tế

Một cách tiếp cận khác để SWS liên quan đến giao tiếp giữa xe và cơ sở hạ tầng ven đường. Các hệ thống này dựa trên việc trao đổi thông tin giữa xe và cơ sở hạ tầng, chẳng hạn như biển báo giao thông hoặc hệ thống giao thông thông minh. Bằng cách nhận dữ liệu giới hạn tốc độ từ cơ sở hạ tầng, chẳng hạn như biển báo đường thông minh, hệ thống có thể kịp thời cảnh báo người lái xe nếu họ đang lái xe trên p...

III. Giải Pháp Ứng Dụng YOLOv5 Giám Sát Tốc Độ Xe Hướng Dẫn 59K

Luận án này trình bày nghiên cứu về một hệ thống phát hiện biển báo giao thông thời gian thực cho ô tô, tập trung đặc biệt vào biển báo giới hạn tốc độ, bằng cách sử dụng mô hình YOLOv5. Nghiên cứu này cũng bao gồm đánh giá về tính khả thi của việc tích hợp hệ thống này với một hệ thống cảnh báo tốc độ có thể triển khai trên xe ô tô. Một số nhiệm vụ chính được thực hiện trong quá trình nghiên cứu này. Đầu tiên, một nghiên cứu sâu rộng được thực hiện để xác định các phương pháp phát hiện theo thời gian thực phù hợp cho biển báo giao thông. Thứ hai, một tập dữ liệu toàn diện về biển báo giới hạn tốc độ được chuẩn bị, bao gồm 3200 hình ảnh. Thứ ba, một mô hình đã được huấn luyện để phát hiện các biển báo giới hạn tốc độ này, đạt được kết quả mAP là 0.922 trên 10 loại biển báo giao thông. Thứ tư, mô hình đã được triển khai trên máy tính nhúng Jetson Nano. Thứ năm, một vi điều khiển ESP32 đã được sử dụng để trích xuất dữ liệu tốc độ thực tế của xe từ hệ thống OBD-II. Cuối cùng, hệ thống phát hiện biển báo giới hạn tốc độ và thông tin tốc độ xe thực tế đã được tích hợp để phát triển một hệ thống cảnh báo tốc độ. Các kết quả thử nghiệm cho thấy tính hiệu quả của hệ thống phát hiện biển báo giao thông được đề xuất. Mô hình YOLOv5 đạt được 4 khung hình/giây (FPS) trên máy tính Jetson Nano trong quá trình phát hiện theo thời gian thực. Hơn nữa, bằng cách tích hợp hệ thống phát hiện biển báo giới hạn tốc độ với việc giám sát tốc độ thực tế của xe, hệ thống cho phép cảnh báo kịp thời cho người lái trong trường hợp vượt quá giới hạn tốc độ.

3.1. Quy Trình Xây Dựng Mô Hình Phát Hiện Biển Báo với YOLOv5

Nghiên cứu này nhằm đạt được hai mục tiêu chính. Thứ nhất, thiết kế một hệ thống nhận diện biển báo giao thông theo thời gian thực cho ô tô, tập trung đặc biệt vào biển báo giới hạn tốc độ, bằng cách sử dụng mô hình YOLOv5. Thứ hai, nghiên cứu bao gồm việc đánh giá khả năng ứng dụng thực tế của hệ thống nhận diện biển báo giao thông bằng cách tích hợp với một hệ thống cảnh báo tốc độ có thể sử dụng trên xe ô tô. Nghiên cứu này bao gồm một số nhiệm vụ chính. Đầu tiên, nghiên cứu xác định được các phương pháp nhận diện biển báo giao thông theo thời gian thực. Sau đó, đã chuẩn bị tập dữ liệu về biển báo giới hạn tốc độ, bao gồm 3200 hình ảnh. Bước tiếp theo, huấn luyện một mô hình để nhận diện các biển hạn chế tốc độ này với kết quả mAP là 0.922 trên 10 loại biển báo giao thông. Sau đó, mô hình đã được triển khai trên máy tính nhúng Jetson Nano.

3.2. Tích Hợp YOLOv5 và OBD II Cảnh Báo Vượt Tốc Độ

Đồng thời, đã sử dụng vi điều khiển ESP32 để trích xuất dữ liệu tốc độ thực tế của xe từ hệ thống OBD-II. Cuối cùng, hệ thống nhận diện biển hạn chế tốc độ và thông tin tốc độ xe thực tế đã được tích hợp để phát triển thành một hệ thống cảnh báo tốc độ. Kết quả thử nghiệm thể hiện tính ứng dụng của hệ thống nhận diện biển báo giao thông được trình bày trong nghiên cứu này. Mô hình YOLOv5 đạt được 4 khung hình/giây (FPS) trên máy tính Jetson Nano trong quá trình nhận diện với thời gian thực. Hơn nữa, bằng cách tích hợp hệ thống nhận diện biển báo giới hạn tốc độ với việc giám sát tốc độ thực tế của xe, hệ thống cho phép cảnh báo kịp thời cho người lái trong trường hợp vượt quá giới hạn tốc độ.

3.3. Các Bước Triển Khai YOLOv5 Trên Jetson Nano Để Giám Sát Tốc Độ Xe

Để triển khai YOLOv5 trên Jetson Nano để giám sát tốc độ xe, cần thực hiện các bước sau:

1. Chuẩn bị môi trường: Cài đặt các thư viện và công cụ cần thiết trên Jetson Nano, bao gồm CUDA, cuDNN, TensorRT, PyTorch, OpenCV.
2. Chuyển đổi mô hình: Chuyển đổi mô hình YOLOv5 từ định dạng PyTorch sang định dạng TensorRT để tối ưu hóa hiệu suất trên Jetson Nano.
3. Xây dựng engine: Xây dựng một TensorRT engine từ mô hình đã chuyển đổi.
4. Triển khai: Viết mã để đọc video từ camera, xử lý video bằng YOLOv5, và hiển thị kết quả.
5. Tối ưu hóa: Tinh chỉnh các tham số của mô hình và engine để đạt được hiệu suất tốt nhất.

IV. Kết Quả Ứng Dụng Thực Nghiệm Hệ Thống Giám Sát Tốc Độ 57K

Ngoài ra, kết quả thử nghiệm cũng cho thấy những hạn chế của hệ thống. Một trong những hạn chế đó là khả năng không thể nhận diện số làn đường trên đường, điều này ảnh hưởng đến độ chính xác của hệ thống trong việc xác định giới hạn tốc độ chính xác, đặc biệt là trong khu vực dân cư. Hơn nữa, có những trường hợp biển báo giao thông chưa được huấn luyện bị nhận diện nhầm là biển báo giới hạn tốc độ. Để khắc phục các vấn đề này, tập dữ liệu huấn luyện cần được đa dạng hơn cho các loại biển báo giao thông khác, không chỉ giới hạn ở biển báo giới hạn tốc độ. Tóm lại, hệ thống được phát triển cho thấy tiềm năng đáng kể cho các ứng dụng trong ngành công nghiệp ô tô, đặc biệt là trong lĩnh vực Hệ thống hỗ trợ lái xe nâng cao (ADAS). Chương này giới thiệu kết quả và thảo luận. Nó trình bày kết quả của việc triển khai hệ thống đề xuất trong các môi trường khác nhau, cũng như những hạn chế và ứng dụng của hệ thống giám sát tốc độ xe.

4.1. Đánh Giá Hiệu Quả của Hệ Thống trong Các Điều Kiện Khác Nhau

Trong chương này, chúng ta sẽ đi sâu vào các khía cạnh khác nhau của việc phát triển hệ thống giám sát tốc độ xe dựa trên camera và YOLOv5. Bắt đầu bằng cách khám phá các tùy chọn phát hiện biển báo tốc độ khác nhau và chọn phương pháp phù hợp nhất cho các yêu cầu cụ thể của chúng ta. Sau đó, chúng ta sẽ nghiên cứu các chi tiết phức tạp của việc chuẩn bị một tập dữ liệu toàn diện cho biển báo giới hạn tốc độ, đảm bảo độ chính xác và độ tin cậy của mô hình. Sau đó, chúng ta sẽ tiếp tục đào tạo mô hình để phát hiện hiệu quả các biển báo giới hạn tốc độ, sử dụng các kỹ thuật và thuật toán tiên tiến. Ngoài ra, chúng ta sẽ xem xét việc triển khai mô hình trên máy tính nhúng Jetson Nano, tối ưu hóa hiệu suất của nó cho xử lý theo thời gian thực. Để thu được thêm thông tin chi tiết, chúng ta sẽ tận dụng vi điều khiển ESP32 để trích xuất dữ liệu tốc độ xe chính xác từ hệ thống OBD-II. Cuối cùng, chúng ta sẽ tích hợp liền mạch hệ thống phát hiện biển báo giới hạn tốc độ và thông tin tốc độ xe thực tế để tạo ra một hệ thống cảnh báo tốc độ hoàn chỉnh. Các kết quả thử nghiệm sẽ chứng minh hiệu quả và hiệu quả của hệ thống giám sát tốc độ xe được đề xuất, nêu bật tiềm năng của nó cho các ứng dụng trong thế giới thực.

4.2. Thảo Luận về Hạn Chế và Giải Pháp Cải Thiện Hệ Thống

Để khắc phục các vấn đề này, tập dữ liệu huấn luyện cần được đa dạng hơn cho các loại biển báo giao thông khác, không chỉ giới hạn ở biển báo giới hạn tốc độ. Tóm lại, hệ thống được phát triển cho thấy tiềm năng đáng kể cho các ứng dụng trong ngành công nghiệp ô tô, đặc biệt là trong lĩnh vực Hệ thống hỗ trợ lái xe nâng cao (ADAS). Chương này giới thiệu kết quả và thảo luận. Nó trình bày kết quả của việc triển khai hệ thống đề xuất trong các môi trường khác nhau, cũng như những hạn chế và ứng dụng của hệ thống giám sát tốc độ xe.

V. Kết Luận Tiềm Năng và Hướng Phát Triển Giám Sát Tốc Độ 55K

Tóm lại, luận văn này đã trình bày một hệ thống hiệu quả để giám sát tốc độ xe thời gian thực dựa trên camera và YOLOv5. Hệ thống này có tiềm năng to lớn để ứng dụng trong các lĩnh vực như giao thông thông minh, an toàn giao thông và hệ thống hỗ trợ lái xe nâng cao (ADAS). Mặc dù vẫn còn một số hạn chế, nhưng những kết quả đạt được cho thấy hướng đi đầy hứa hẹn cho các nghiên cứu trong tương lai. Cụ thể, việc mở rộng tập dữ liệu huấn luyện và cải thiện khả năng nhận diện các loại biển báo giao thông khác nhau sẽ giúp nâng cao độ chính xác và độ tin cậy của hệ thống. Ngoài ra, việc tích hợp hệ thống với các công nghệ khác như GPS và bản đồ số cũng có thể mang lại những cải tiến đáng kể. Luận văn này đã cung cấp một nền tảng vững chắc cho việc phát triển các hệ thống giám sát tốc độ xe thông minh và hiệu quả hơn, góp phần vào việc xây dựng một môi trường giao thông an toàn và bền vững.

5.1. Tóm Tắt Những Đóng Góp Chính Của Nghiên Cứu

Luận văn này trình bày một phương pháp hiệu quả để phát hiện biển báo giao thông sử dụng YOLOv5 và một máy tính nhúng Jetson Nano. Kết quả cho thấy rằng hệ thống có thể phát hiện biển báo giao thông trong thời gian thực với độ chính xác cao. Luận văn này cũng trình bày một phân tích so sánh về các phương pháp khác nhau để phát hiện biển báo giao thông và thảo luận về những ưu điểm và nhược điểm của từng phương pháp. Luận văn này cũng trình bày một thảo luận về những thách thức liên quan đến việc triển khai một hệ thống phát hiện biển báo giao thông trong một môi trường thực tế.

5.2. Hướng Nghiên Cứu Tiếp Theo và Ứng Dụng Tiềm Năng

Các hướng nghiên cứu tiếp theo có thể bao gồm: * Nghiên cứu có thể được mở rộng để bao gồm việc phát hiện các loại biển báo giao thông khác. * Hệ thống có thể được tích hợp với các hệ thống an toàn xe hơi khác, chẳng hạn như hệ thống cảnh báo va chạm. * Hệ thống có thể được triển khai trên một loạt các nền tảng phần cứng khác nhau. Nghiên cứu này có tiềm năng cải thiện an toàn giao thông và cứu sống người. Nghiên cứu này cũng có tiềm năng cải thiện hiệu quả giao thông và giảm tắc nghẽn.

Nội dung chính

Tổng quan nghiên cứu

Tốc độ xe vượt quá giới hạn quy định là nguyên nhân chính dẫn đến nhiều vụ tai nạn giao thông nghiêm trọng trên toàn cầu. Theo ước tính, việc kiểm soát và cảnh báo tốc độ có thể giảm thiểu khoảng 30% các vụ tai nạn liên quan đến tốc độ. Trong bối cảnh đó, hệ thống cảnh báo tốc độ (Speed Warning Systems - SWS) đóng vai trò quan trọng trong việc nâng cao an toàn giao thông. Nghiên cứu này tập trung phát triển một hệ thống giám sát tốc độ xe theo thời gian thực dựa trên camera, sử dụng mô hình nhận diện đa vật thể YOLOv5 để phát hiện biển báo giới hạn tốc độ. Mục tiêu cụ thể là thiết kế và triển khai hệ thống nhận diện biển báo giới hạn tốc độ với độ chính xác cao, đồng thời tích hợp với dữ liệu tốc độ thực tế lấy từ hệ thống OBD-II của xe để cảnh báo kịp thời khi xe vượt quá giới hạn. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2023, tại thành phố Hồ Chí Minh, với phạm vi tập trung vào 10 loại biển báo giới hạn tốc độ phổ biến tại Việt Nam. Ý nghĩa của nghiên cứu được thể hiện qua khả năng ứng dụng trong các hệ thống hỗ trợ lái xe tiên tiến (ADAS), góp phần giảm thiểu tai nạn giao thông và nâng cao trải nghiệm lái xe an toàn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng của các lý thuyết và mô hình sau:

• Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN): Là thuật toán học sâu chủ đạo trong lĩnh vực thị giác máy tính, CNN giúp trích xuất đặc trưng hình ảnh hiệu quả, phục vụ cho việc nhận diện đối tượng trong ảnh.
• Mô hình YOLOv5 (You Only Look Once version 5): Là mô hình nhận diện đa vật thể một giai đoạn, nổi bật với khả năng phát hiện nhanh và chính xác trong thời gian thực. YOLOv5 sử dụng kiến trúc CSPDarknet-53 làm backbone, kết hợp với Spatial Pyramid Pooling (SPP) và các lớp convolutional để tối ưu hóa hiệu suất.
• Các khái niệm chính: Intersection over Union (IoU) để đánh giá độ chồng lấp giữa dự đoán và thực tế; Mean Average Precision (mAP) làm chỉ số tổng hợp đo lường độ chính xác của mô hình; các thành phần của mạng CNN như lớp convolutional, pooling, fully connected và hàm kích hoạt (ReLU, sigmoid, tanh).

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm 3200 hình ảnh biển báo giới hạn tốc độ được trích xuất từ video quay thực tế bằng camera gắn trên xe. Quá trình chuẩn bị dữ liệu bao gồm: trích xuất ảnh từ video, lọc ảnh chứa biển báo, chú thích vùng biển báo bằng công cụ Roboflow, và tăng cường dữ liệu (data augmentation) để đa dạng hóa mẫu. Mô hình YOLOv5 được huấn luyện trên nền tảng Google Colaboratory với cỡ mẫu 3200 ảnh, sử dụng phương pháp học sâu với tối ưu hóa tham số qua 100 epoch. Hệ thống được triển khai trên máy tính nhúng Jetson Nano để đánh giá khả năng nhận diện trong điều kiện thực tế. Dữ liệu tốc độ xe được thu thập qua vi điều khiển ESP32 kết nối với hệ thống OBD-II của xe. Thời gian nghiên cứu kéo dài từ tháng 2 đến tháng 6 năm 2023, với các bước chính: chuẩn bị dữ liệu, huấn luyện mô hình, triển khai hệ thống và thử nghiệm thực địa.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Mô hình YOLOv5 đạt độ chính xác mAP 0.922 trên 10 loại biển báo giới hạn tốc độ, thể hiện khả năng nhận diện chính xác trong điều kiện đa dạng.
• Tốc độ xử lý của hệ thống trên Jetson Nano đạt khoảng 4 khung hình/giây (FPS), đủ để ứng dụng trong giám sát tốc độ xe theo thời gian thực.
• Hệ thống tích hợp thành công dữ liệu tốc độ thực tế từ OBD-II, cho phép so sánh và cảnh báo kịp thời khi xe vượt quá giới hạn tốc độ. Ví dụ, cảnh báo được kích hoạt khi tốc độ vượt từ 1-5 km/h hoặc trên 5 km/h so với giới hạn.
• Một số hạn chế được ghi nhận: hệ thống chưa nhận diện được số làn đường, ảnh hưởng đến độ chính xác trong khu vực dân cư; một số biển báo chưa được huấn luyện bị nhận diện nhầm là biển báo giới hạn tốc độ (ví dụ biển báo giới hạn 80 km/h bị nhầm thành 60 km/h trong vài khung hình).

Thảo luận kết quả

Nguyên nhân chính của các hạn chế là do tập dữ liệu huấn luyện chưa đa dạng đủ các loại biển báo phụ trợ và điều kiện môi trường phức tạp như ánh sáng yếu, mưa, hoặc biển báo bị che khuất. So với các nghiên cứu trước đây sử dụng YOLOv4 hoặc Faster R-CNN, YOLOv5 thể hiện sự cân bằng tốt hơn giữa tốc độ và độ chính xác, phù hợp với ứng dụng nhúng trên thiết bị có tài nguyên hạn chế như Jetson Nano. Việc tích hợp dữ liệu OBD-II giúp hệ thống không chỉ dựa vào nhận diện biển báo mà còn có thể so sánh trực tiếp với tốc độ xe, nâng cao tính thực tiễn và hiệu quả cảnh báo. Kết quả có thể được trình bày qua biểu đồ mAP theo từng loại biển báo và bảng so sánh FPS giữa các thiết bị thử nghiệm, giúp minh họa rõ ràng hiệu suất của hệ thống.

Đề xuất và khuyến nghị

• Mở rộng tập dữ liệu huấn luyện: Thu thập và chú thích thêm các loại biển báo giao thông khác, đặc biệt là biển báo phụ trợ và biển báo tạm thời, nhằm giảm thiểu sai sót nhận diện.
• Phát triển module nhận diện số làn đường: Tích hợp thêm cảm biến hoặc thuật toán phân tích hình ảnh để xác định số làn đường, giúp cải thiện độ chính xác cảnh báo tốc độ trong khu vực dân cư.
• Tối ưu hóa thuật toán xử lý: Nâng cấp mô hình YOLOv5 hoặc thử nghiệm các phiên bản nhẹ hơn như YOLOv5-tiny để tăng tốc độ xử lý trên thiết bị nhúng, đảm bảo khả năng vận hành mượt mà trong mọi điều kiện.
• Triển khai thử nghiệm thực tế kéo dài: Thực hiện các chuyến đi thử nghiệm trong nhiều điều kiện thời tiết và địa hình khác nhau trong vòng 6-12 tháng để thu thập dữ liệu phản hồi, từ đó điều chỉnh và hoàn thiện hệ thống.
• Chủ thể thực hiện: Các nhà phát triển phần mềm ADAS, các công ty sản xuất thiết bị nhúng ô tô, và các cơ quan quản lý giao thông có thể phối hợp triển khai và áp dụng các giải pháp trên.

Đối tượng nên tham khảo luận văn

• Nhà nghiên cứu và sinh viên ngành kỹ thuật ô tô, công nghệ thông tin: Có thể sử dụng luận văn làm tài liệu tham khảo về ứng dụng deep learning trong hệ thống hỗ trợ lái xe.
• Các công ty phát triển hệ thống ADAS: Tham khảo để phát triển hoặc cải tiến các sản phẩm cảnh báo tốc độ dựa trên camera và dữ liệu OBD-II.
• Cơ quan quản lý giao thông và an toàn đường bộ: Áp dụng kết quả nghiên cứu để xây dựng các giải pháp giám sát và cảnh báo tốc độ hiệu quả, góp phần giảm thiểu tai nạn.
• Nhà sản xuất thiết bị nhúng và phần cứng ô tô: Tham khảo kiến trúc hệ thống và phương pháp tích hợp phần mềm-hardware để phát triển các thiết bị giám sát tốc độ thông minh.

Câu hỏi thường gặp

1. Hệ thống có thể nhận diện được bao nhiêu loại biển báo giới hạn tốc độ?
   Hệ thống được huấn luyện để nhận diện 10 loại biển báo giới hạn tốc độ phổ biến, bao gồm các mức 50, 60, 70, 80, 100, 120 km/h và các biển báo khu dân cư.

2. Tốc độ xử lý của hệ thống trên thiết bị Jetson Nano là bao nhiêu?
   Hệ thống đạt khoảng 4 khung hình/giây, đủ để giám sát tốc độ xe theo thời gian thực trong điều kiện giao thông bình thường.

3. Làm thế nào hệ thống cảnh báo khi xe vượt quá tốc độ?
   Hệ thống so sánh tốc độ thực tế lấy từ OBD-II với giới hạn tốc độ nhận diện được từ biển báo, nếu vượt quá, cảnh báo sẽ được hiển thị trực tiếp trên màn hình cho người lái.

4. Hệ thống có hoạt động tốt trong điều kiện ánh sáng yếu hoặc mưa không?
   Hiện tại, hệ thống có một số hạn chế trong điều kiện môi trường phức tạp như ánh sáng yếu hoặc mưa, do ảnh hưởng đến chất lượng hình ảnh và khả năng nhận diện biển báo.

5. Có thể mở rộng hệ thống để nhận diện các loại biển báo khác không?
   Có thể, bằng cách mở rộng tập dữ liệu huấn luyện và điều chỉnh mô hình, hệ thống có thể được phát triển để nhận diện nhiều loại biển báo giao thông khác nhau.

Kết luận

• Nghiên cứu đã phát triển thành công hệ thống giám sát tốc độ xe theo thời gian thực dựa trên mô hình YOLOv5, đạt độ chính xác mAP 0.922 và tốc độ xử lý 4 FPS trên Jetson Nano.
• Hệ thống tích hợp dữ liệu tốc độ thực tế từ OBD-II, cho phép cảnh báo kịp thời khi xe vượt quá giới hạn tốc độ.
• Một số hạn chế như nhận diện sai biển báo và không xác định được số làn đường đã được xác định, đề xuất mở rộng tập dữ liệu và phát triển thêm module hỗ trợ.
• Kết quả nghiên cứu có tiềm năng ứng dụng cao trong lĩnh vực ADAS, góp phần nâng cao an toàn giao thông.
• Các bước tiếp theo bao gồm mở rộng thử nghiệm thực tế, tối ưu hóa thuật toán và phát triển các tính năng bổ sung để hoàn thiện hệ thống.

Khuyến khích các nhà nghiên cứu và doanh nghiệp trong ngành ô tô tiếp cận và ứng dụng kết quả nghiên cứu nhằm thúc đẩy phát triển các giải pháp hỗ trợ lái xe thông minh và an toàn hơn.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY NGUYEN NGOC TRUC STUDY ON CAMERA-BASED REAL-TIME CAR SPEED MORNITOR USING YOLOv5 MULTIPLE OBJECT DETECTION MODEL Major: Vehicle Engineering Major code: 8520116 MASTER’S THESIS HO CHI MINH CITY, July 2023 THIS THESIS IS COMPLETED AT HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY – VNU-HCM Supervisor: Trần Đăng Long, Ph.D Examiner 1: Trần Hữu Nhân, Ph.D Examiner 2: Nguyễn Văn Trạng, Ph.D This master’s thesis is defended at HCM City University of Technology, VNU- HCM City on July 15th, 2023 Master’s Thesis Committee: 1. Chairman: Lê Tất Hiển Assoc. Member: Võ Tấn Châu, Ph. Secretary: Hồng Đức Thông, Ph.

Reviewer 1: Trần Hữu Nhân, Ph. Reviewer 2: Nguyễn Văn Trạng, Ph.D Approval of the Chairman of Master’s Thesis Committee and Dean of Faculty of Transportation Engineering after the thesis being corrected (If any). CHAIRMAN OF THESIS COMMITTEE HEAD OF FACULTY OF TRANSPORTATION ENGINEERING i VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY Independence – Freedom - Happiness UNIVERSITY OF TECHNOLOGY THE TASK SHEET OF MASTER’S THESIS Full name: Nguyễn Ngọc Trực Studen code: 2170108 Date of Birth: 30/07/1996 Place of birth: Đăk Lăk Major: Vehicle Engineering Major code: 8520116 I. THESIS TOPIC: Study on camera-based real-time car speed monitor using YOLOv5 multiple object detection model.

ĐỀ TÀI LUẬN VĂN : Nghiên cứu ứng dụng mô hình YOLOv5 nhận diện đa vật thể trong ảnh cho hệ thống giám sát tốc độ xe bằng camera theo thời gian thực. TASKS AND CONTENTS: - Develop a traffic sign recognition system, specifically for speed limit signs, from images captured by cameras on the road. - Employ the Jetson Nano embedded computer as the central processing unit to run the YOLOv5 model for detecting speed limit signs. Simultaneously, compare the sign recognition results with the vehicle's current speed accessed from the OBD-II system.

Subsequently, the system provides a direct alert to the driver on the screen if the speed limit is exceeded. TASKS STARTING DATE: February 06th, 2023. TASKS ENDING DATE: June 12th 2023. INSTRUCTOR: Trần Đăng Long, Ph.

Ho Chi Minh City, July 15th 2023. INSTRUCTOR HEAD OF DEPARTMENT (Full name & Signature) (Full name & Signature) DEAN - FACULTY OF TRANSPORTATION ENGINEERING (Full name & Signature) ii ACKNOWLEDGEMENT I would like to express my heartfelt gratitude to my thesis advisor, Ph.D Tran Dang Long, for his invaluable guidance, unwavering support, and continuous encouragement throughout the entire duration of this thesis. His expertise, insightful feedback, and constructive criticism have immensely contributed to the success of this research endeavor. I am also deeply grateful to Ho Nam Hoa, for his assistance and collaboration in helping me establish the OBD-II CAN communication.

His technical knowledge, dedication, and willingness to share his expertise have been instrumental in overcoming challenges and achieving significant milestones in this project. Furthermore, I extend my sincere appreciation to my friend, Bui Huu Nghia, for his valuable contribution in collecting the dataset. His commitment, attention to detail, and assistance in data acquisition have greatly enriched the quality of this research. I would also like to acknowledge the support and encouragement received from my family and friends throughout this academic journey.

Lastly, I am grateful to all the individuals who have directly or indirectly contributed to the completion of this thesis. Their support, guidance, and encouragement have been indispensable in shaping my research and personal growth. Ho Chi Minh City, 15th July, 2023 Researcher, Nguyen Ngoc Truc iii ABSTRACT This study aims to two objectives. Firstly, the design of a real-time traffic sign detection system for automobiles, with a specific focus on speed limit signs, using the YOLOv5 model.

Secondly, the study includes an assessment of the practical implementation of the traffic sign detection system by integrating it with a speed warning system that can be integrated into vehicles. This study includes several key tasks. Firstly, extensive research was conducted to identify real-time detection methods suitable for traffic signs. Subsequently, a comprehensive dataset of speed limit traffic signs was prepared, consists of 3200 images.

The next step involved training a model for the detection of these speed limit signs with the result of mAP 0. The model was then implemented on a Jetson Nano embedded computer. Parallelly, an ESP32 microcontroller was utilized to extract actual vehicle speed data from the OBD-II system. Lastly, the speed limit traffic sign detection system and the actual vehicle speed information were seamlessly integrated to develop a speed warning system.

The experimental results demonstrate the efficiency of the proposed traffic sign detection system in this study. The YOLOv5 model achieves 4 frames per second (FPS) on Jetson Nano computer in real-time detection speed. Moreover, by integrating the speed limit sign detection system with real-time monitoring of the actual vehicle speed, it enables timely warnings to the driver in the event of exceeding the speed limit. Additionally, the experimental results showed limitations of the speed limit traffic sign detection system.

One such limitation is its inability to detect the number of lanes on the road, which affects its accuracy in providing the precise speed limit, particularly in residential areas. Furthermore, there were instances where untrained traffic signs were mistakenly detected as speed limit signs. To address these issues, it is recommended to expand the training dataset to include a wider range of traffic signs, not limited to speed limit signs alone. In summary, the developed system exhibits significant potential for applications in the automotive industry, particularly in the field of Advanced Driver Assistance Systems (ADAS).

iv TÓM TẮT LUẬN VĂN THẠC SĨ Nghiên cứu này nhằm đạt được hai mục tiêu chính. Thứ nhất, thiết kế một hệ thống nhận diện biển báo giao thông theo thời gian thực cho ô tô, tập trung đặc biệt vào biển báo giới hạn tốc độ, bằng cách sử dụng mô hình YOLOv5. Thứ hai, nghiên cứu bao gồm việc đánh giá khả năng ứng dụng thực tế của hệ thống nhận diện biển báo giao thông bằng cách tích hợp với một hệ thống cảnh báo tốc độ có thể sử dụng trên xe ô tô. Nghiên cứu này bao gồm một số nhiệm vụ chính.

Đầu tiên, nghiên cứu xác định được các phương pháp nhận diện biển báo giao thông theo thời gian thực. Sau đó, đã chuẩn bị tập dữ liệu về biển báo giới hạn tốc độ, bao gồm 3200 hình ảnh. Bước tiếp theo, huấn luyện một mô hình để nhận diện các biển hạn chế tốc độ này với kết quả mAP là 0.922 trên 10 loại biển báo giao thông. Sau đó, mô hình đã được triển khai trên máy tính nhúng Jetson Nano.

Đồng thời, đã sử dụng vi điều khiển ESP32 để trích xuất dữ liệu tốc độ thực tế của xe từ hệ thống OBD-II. Cuối cùng, hệ thống nhận diện biển hạn chế tốc độ và thông tin tốc độ xe thực tế đã được tích hợp để phát triển thành một hệ thống cảnh báo tốc độ. Kết quả thử nghiệm thể hiện tính ứng dụng của hệ thống nhận diện biển báo giao thông được trình bày trong nghiên cứu này. Mô hình YOLOv5 đạt được 4 khung hình/giây (FPS) trên máy tính Jetson Nano trong quá trình nhận diện với thời gian thực.

Hơn nữa, bằng cách tích hợp hệ thống nhận diện biển báo giới hạn tốc độ với việc giám sát tốc độ thực tế của xe, hệ thống cho phép cảnh báo kịp thời cho người lái trong trường hợp vượt quá giới hạn tốc độ. Ngoài ra, kết quả thử nghiệm cũng cho thấy những hạn chế của hệ thống. Một trong những hạn chế đó là khả năng không thể nhận diện số làn đường trên đường, điều này ảnh hưởng đến độ chính xác của hệ thống trong việc xác định giới hạn tốc độ chính xác, đặc biệt là trong khu vực dân cư. Hơn nữa, có những trường hợp biển báo giao thông chưa được huấn luyện bị nhận diện nhầm là biển báo giới hạn tốc độ.

Để khắc phục các vấn đề này, tập dữ liệu huấn luyện cần được đa dạng hơn cho các loại biển báo giao thông khác, không chỉ giới hạn ở biển báo giới hạn tốc độ. Tóm lại, hệ thống được phát triển cho thấy tiềm năng đáng kể cho các ứng dụng trong ngành công nghiệp ô tô, đặc biệt là trong lĩnh vực Advanced Driver Assistance Systems (ADAS). v THE COMMITMENT OF THE THESIS’ AUTHOR I am Nguyen Ngoc Truc, Master’s student of Department of Vehicle Engineering, Faculty of Transportation, class 2021, at Ho Chi Minh City University of Technology. I guarantee that the information below is accurate: (i) I conducted all of the work for this research study by myself.

(ii) This thesis uses actual, reliable, and highly precise sources for its references and citations. (iii) The information and findings of this study were produced independently by me and honesty. Ho Chi Minh City, 15th July, 2023 Researcher, Nguyen Ngoc Truc vi Contents 1 Introduction 1 1.1 Speed Warning Systems .2 Traffic Sign Detection .6 Scope of Research .1 Convolutional Neural Networks .3 Fully Connected Layer .1 Introduce to YOLO .2 Intersection over Union .3 Precision and Recall .4 Mean Average Precision. 32 3 Design A Speed Limit Signs Detection Model 33 3.3 Training Model Parameters .1 Hardware Circuit Diagram .2 Software Algorithm Flowchart .3 Speed Limit Caching Algorithm .4 Finite State Machine Based Speed Warning Algorithm .2 Camera Raspberry Pi V2 .5 DC-DC Converter .6 OBD-II Adapter .3 Deploy on Jetson Nano .1 Build Model Engine .2 Run Model Engine.

64 5 Results and Discussions 66 5.2 Speed Limit Detection .3 Speed Warning Applications. 75 6 Conclusions and Future Works 78 References 80 Appendix 84 ix List of Figures 1.1 Types of ADAS .2 GSpeed, based on GPS and developed by iCar .3 Concept of Smart Road Signs communicate to vehicles .4 The comparison of YOLOv3 on performance .5 Research Contents and Workflows .1 An example of CNN architecture to classify handwritten digits .2 The Convolution Operation .3 An example of convolution with stride equal to 2 .4 An example of padding in convolutional .5 An example of max pooling and average pooling .6 An example of the fully connected layer’s input multiplied by the weights matrix to receive the output vector .7 Plot of sigmoid activation function .8 Plot of tanh activation function .9 Plot of ReLU activation function .10 How YOLO works .12 (a) DenseNet and (b) Cross Stage Partial DenseNet .13 YOLOv5 Network Architecture .14 Confusion Matrix Definition .15 Computing the Intersection over Union. 28 x LIST OF FIGURES 2.16 Define TP, FP base on IoU .17 The computer vision workflow on Roboflow .1 Dataset Preparation Workflows .2 Recorded Traffic Signs at Day and Night .3 Data annotating on roboflow .4 Image before and after augmentation .5 Dataset Health Check before Augment .6 Export Dataset with Download Code .7 The YOLOv5s Model Training Architecture .8 Training Results over 100 Epochs .10 Precision and Recall Curve .1 Concept of Experimental System .2 Hardware Circuit Diagram .3 Software Algorithm Flowchart .4 Speed Limit Caching Algorithm .5 FSM based speed warning algorithm .6 Jetson Nano Developer Kit B01 .7 Camera Raspberry Pi V2 .9 Module CAN Transceiver SN65HVD230 .10 DC-DC Buck Converter .11 OBD-II Male Adapter .1 The system setup for experiment .2 The system implemented on vehicle .3 The system was tested on vehicle .4 Speed detection system being tested in afternoon environments. 69 xi LIST OF FIGURES 5.5 Speed detection system being tested in nighttime environments .6 Speed detection system being tested in various environments .7 Speed detection system being tested in various environments .8 The width limit signs mistaken by speed limit 50 km/h .9 Speed limit 80 km/h mistaken by speed limit 60 km/h in few frames .