Nghiên cứu hệ thống giám sát tốc độ xe ô tô bằng camera và mô hình YOLOv5

Luận văn thạc sĩ nghiên cứu kỹ thuật ô tô study on camerabased realtime car speed monitor using yolov5 multiple object, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp

• Tác giả: Nguyễn Ngọc Trực
• Người hướng dẫn: Trần Đăng Long, Ph.D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Vehicle Engineering
• Đề tài: Nghiên cứu hệ thống giám sát tốc độ xe ô tô thời gian thực bằng camera sử dụng mô hình phát hiện đối tượng YOLOv5
• Loại tài liệu: master’s thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENT
• ABSTRACT
• TÓM TẮT LUẬN VĂN THẠC SĨ
• THE COMMITMENT OF THE THESIS’ AUTHOR
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Speed Warning Systems
• 1.2. Traffic Sign Detection
• 1.3. Scope of Research
• 1.4. Convolutional Neural Networks
• 1.5. Fully Connected Layer
• 1.6. Introduce to YOLO
• 1.7. Intersection over Union
• 1.8. Precision and Recall
• 1.9. Mean Average Precision
• 3. CHAPTER 3: DESIGN A SPEED LIMIT SIGNS DETECTION MODEL
• 3.1. Hardware Circuit Diagram
• 3.2. Software Algorithm Flowchart
• 3.3. Training Model Parameters
• 3.4. Speed Limit Caching Algorithm
• 3.5. Finite State Machine Based Speed Warning Algorithm
• 3.6. Camera Raspberry Pi V2
• 3.7. DC-DC Converter
• 3.8. OBD-II Adapter
• 3.9. Deploy on Jetson Nano
• 3.9.1. Build Model Engine
• 3.9.2. Run Model Engine
• 5. CHAPTER 5: RESULTS AND DISCUSSIONS
• 5.1. Speed Limit Detection
• 5.2. Speed Warning Applications
• 6. CHAPTER 6: CONCLUSIONS AND FUTURE WORKS
• References
• Appendix

Tóm tắt

I. Tổng quan về hệ thống giám sát tốc độ xe ô tô bằng camera

Hệ thống giám sát tốc độ xe ô tô thời gian thực bằng camera đang trở thành một giải pháp quan trọng trong việc nâng cao an toàn giao thông. Sử dụng công nghệ hiện đại, hệ thống này không chỉ giúp phát hiện tốc độ xe mà còn cảnh báo người lái khi vượt quá giới hạn cho phép. Mô hình phát hiện đối tượng YOLOv5 đã được áp dụng để cải thiện độ chính xác trong việc nhận diện biển báo tốc độ. Việc tích hợp công nghệ này vào các phương tiện giao thông sẽ mang lại nhiều lợi ích cho người lái và cộng đồng.

1.1. Giới thiệu về công nghệ camera giám sát xe ô tô

Công nghệ camera giám sát xe ô tô sử dụng các cảm biến và thuật toán để theo dõi tốc độ và hành vi của phương tiện. Hệ thống này có khả năng nhận diện biển báo giao thông và cảnh báo người lái khi cần thiết.

1.2. Lợi ích của việc sử dụng mô hình YOLOv5 trong giám sát

Mô hình YOLOv5 cho phép phát hiện đối tượng trong thời gian thực với độ chính xác cao. Điều này giúp hệ thống giám sát tốc độ xe ô tô hoạt động hiệu quả hơn, giảm thiểu tai nạn giao thông.

II. Vấn đề và thách thức trong giám sát tốc độ xe ô tô

Mặc dù hệ thống giám sát tốc độ xe ô tô bằng camera mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần giải quyết. Các vấn đề như độ chính xác trong việc nhận diện biển báo, điều kiện ánh sáng và thời tiết có thể ảnh hưởng đến hiệu suất của hệ thống. Ngoài ra, việc tích hợp dữ liệu từ hệ thống OBD-II cũng gặp khó khăn trong một số trường hợp.

2.1. Độ chính xác trong phát hiện biển báo giao thông

Độ chính xác trong việc phát hiện biển báo giao thông là một yếu tố quan trọng. Các nghiên cứu cho thấy rằng mô hình YOLOv5 có thể đạt được độ chính xác cao, nhưng vẫn cần cải thiện để xử lý các tình huống phức tạp.

2.2. Ảnh hưởng của điều kiện môi trường đến hệ thống

Điều kiện ánh sáng và thời tiết có thể làm giảm hiệu suất của hệ thống giám sát. Việc phát hiện biển báo trong điều kiện ánh sáng yếu hoặc mưa có thể gặp khó khăn, ảnh hưởng đến độ tin cậy của cảnh báo.

III. Phương pháp phát triển hệ thống giám sát tốc độ xe ô tô

Để phát triển hệ thống giám sát tốc độ xe ô tô hiệu quả, cần áp dụng các phương pháp hiện đại trong việc nhận diện và xử lý dữ liệu. Việc sử dụng mô hình YOLOv5 kết hợp với các thiết bị nhúng như Jetson Nano sẽ giúp cải thiện khả năng xử lý và phản hồi của hệ thống.

3.1. Thiết kế mô hình phát hiện biển báo tốc độ

Mô hình phát hiện biển báo tốc độ được thiết kế dựa trên YOLOv5, cho phép nhận diện nhanh chóng và chính xác các biển báo trên đường. Quá trình huấn luyện mô hình sử dụng tập dữ liệu lớn để cải thiện độ chính xác.

3.2. Tích hợp hệ thống OBD II vào giám sát

Hệ thống OBD-II cung cấp dữ liệu tốc độ thực tế của xe, cho phép so sánh với biển báo tốc độ đã phát hiện. Việc tích hợp này giúp hệ thống đưa ra cảnh báo kịp thời cho người lái.

IV. Ứng dụng thực tiễn của hệ thống giám sát tốc độ

Hệ thống giám sát tốc độ xe ô tô bằng camera có thể được ứng dụng rộng rãi trong các lĩnh vực như giao thông đô thị, quản lý an toàn giao thông và hỗ trợ lái xe. Kết quả nghiên cứu cho thấy hệ thống này có khả năng giảm thiểu tai nạn giao thông và nâng cao ý thức của người lái.

4.1. Kết quả thử nghiệm hệ thống giám sát

Kết quả thử nghiệm cho thấy mô hình YOLOv5 đạt được 4 khung hình/giây trên Jetson Nano, cho phép phát hiện biển báo tốc độ trong thời gian thực. Hệ thống đã chứng minh được tính hiệu quả trong việc cảnh báo người lái.

4.2. Tiềm năng ứng dụng trong ngành công nghiệp ô tô

Hệ thống giám sát tốc độ có tiềm năng lớn trong ngành công nghiệp ô tô, đặc biệt trong việc phát triển các hệ thống hỗ trợ lái xe tiên tiến (ADAS). Việc áp dụng công nghệ này sẽ giúp cải thiện an toàn giao thông.

V. Kết luận và tương lai của hệ thống giám sát tốc độ

Hệ thống giám sát tốc độ xe ô tô bằng camera sử dụng mô hình YOLOv5 đã cho thấy nhiều tiềm năng trong việc nâng cao an toàn giao thông. Tuy nhiên, cần tiếp tục nghiên cứu và phát triển để khắc phục các hạn chế hiện tại và mở rộng ứng dụng của hệ thống trong tương lai.

5.1. Đánh giá hiệu quả của hệ thống

Đánh giá hiệu quả của hệ thống giám sát tốc độ cho thấy sự cải thiện rõ rệt trong việc giảm thiểu tai nạn giao thông. Hệ thống đã chứng minh được khả năng cảnh báo kịp thời cho người lái.

5.2. Hướng phát triển trong tương lai

Trong tương lai, cần mở rộng tập dữ liệu huấn luyện và cải thiện thuật toán để nâng cao độ chính xác của hệ thống. Việc tích hợp thêm các công nghệ mới sẽ giúp hệ thống hoạt động hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Tốc độ xe vượt quá giới hạn quy định là một trong những nguyên nhân chính gây ra tai nạn giao thông nghiêm trọng trên toàn cầu. Theo ước tính, việc kiểm soát và cảnh báo tốc độ hiệu quả có thể giảm thiểu khoảng 30% các vụ tai nạn liên quan đến tốc độ. Trong bối cảnh đó, hệ thống cảnh báo tốc độ (Speed Warning Systems - SWS) đóng vai trò quan trọng trong việc nâng cao an toàn giao thông. Nghiên cứu này tập trung phát triển một hệ thống giám sát tốc độ xe theo thời gian thực dựa trên camera, sử dụng mô hình nhận diện đa vật thể YOLOv5 để phát hiện biển báo giới hạn tốc độ. Mục tiêu cụ thể của luận văn là thiết kế và triển khai hệ thống nhận diện biển báo giới hạn tốc độ với độ chính xác cao, đồng thời tích hợp với dữ liệu tốc độ thực tế lấy từ hệ thống OBD-II của xe để cảnh báo kịp thời khi xe vượt quá giới hạn. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2023, tại thành phố Hồ Chí Minh, với phạm vi tập trung vào 10 loại biển báo giới hạn tốc độ phổ biến tại Việt Nam. Kết quả nghiên cứu không chỉ góp phần nâng cao hiệu quả của các hệ thống hỗ trợ lái xe tiên tiến (ADAS) mà còn có ý nghĩa thực tiễn trong việc giảm thiểu tai nạn giao thông do vi phạm tốc độ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng của các lý thuyết và mô hình sau:

• Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN): Là thuật toán học sâu chủ đạo trong lĩnh vực thị giác máy tính, CNN giúp trích xuất đặc trưng hình ảnh hiệu quả, phục vụ cho việc nhận diện đối tượng trong ảnh.
• Mô hình YOLOv5 (You Only Look Once version 5): Là mô hình nhận diện đa vật thể một giai đoạn, nổi bật với khả năng phát hiện nhanh và chính xác các đối tượng trong ảnh, phù hợp cho ứng dụng thời gian thực trên thiết bị nhúng.
• Các chỉ số đánh giá mô hình: Bao gồm Mean Average Precision (mAP), Intersection over Union (IoU), Precision, Recall và F1 Score, giúp đánh giá toàn diện hiệu suất nhận diện của mô hình.

Ba khái niệm chính được sử dụng trong nghiên cứu là: nhận diện biển báo giao thông, giám sát tốc độ xe, và hệ thống cảnh báo tốc độ.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm 3200 hình ảnh biển báo giới hạn tốc độ được thu thập từ các video quay thực tế bằng camera gắn trên xe ô tô. Quá trình thu thập dữ liệu diễn ra tại nhiều địa điểm khác nhau trong thành phố Hồ Chí Minh, đảm bảo đa dạng về điều kiện ánh sáng và môi trường. Dữ liệu được chú thích thủ công bằng công cụ Roboflow, sau đó được chia thành tập huấn luyện và tập kiểm tra theo tỷ lệ phù hợp.

Mô hình YOLOv5 được huấn luyện trên nền tảng Google Colaboratory với các tham số tối ưu nhằm đạt mAP cao nhất. Thiết bị Jetson Nano được sử dụng để triển khai mô hình trên hệ thống nhúng, đảm bảo khả năng nhận diện thời gian thực với tốc độ khoảng 4 khung hình/giây (FPS). Dữ liệu tốc độ xe được thu thập đồng thời qua vi điều khiển ESP32 kết nối với hệ thống OBD-II của xe. Hệ thống tích hợp này cho phép so sánh tốc độ thực tế với giới hạn tốc độ phát hiện được để cảnh báo người lái kịp thời.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất nhận diện biển báo: Mô hình YOLOv5 đạt mAP 0.922 trên 10 loại biển báo giới hạn tốc độ, thể hiện độ chính xác cao trong việc phát hiện và phân loại biển báo. Tốc độ xử lý thực tế trên Jetson Nano đạt 4 FPS, đủ đáp ứng yêu cầu thời gian thực.
2. Tích hợp cảnh báo tốc độ: Hệ thống cảnh báo dựa trên so sánh tốc độ thực tế từ OBD-II và biển báo phát hiện cho phép cảnh báo kịp thời khi xe vượt quá giới hạn, với độ trễ thấp, giúp nâng cao an toàn lái xe.
3. Hạn chế trong nhận diện: Hệ thống chưa thể nhận diện số làn đường, dẫn đến sai số trong xác định giới hạn tốc độ chính xác tại các khu vực dân cư. Ngoài ra, một số biển báo chưa được huấn luyện bị nhận diện nhầm thành biển giới hạn tốc độ, gây cảnh báo sai.
4. Khả năng ứng dụng: Hệ thống có tiềm năng ứng dụng rộng rãi trong lĩnh vực ADAS, góp phần giảm thiểu vi phạm tốc độ và tai nạn giao thông.

Thảo luận kết quả

Nguyên nhân chính của hạn chế nhận diện số làn đường xuất phát từ việc dữ liệu huấn luyện chưa bao gồm thông tin về làn đường và các biển báo phụ trợ. So với các nghiên cứu trước đây sử dụng YOLOv4 hoặc Faster R-CNN, YOLOv5 cho thấy sự cải thiện rõ rệt về tốc độ xử lý mà vẫn duy trì độ chính xác cao, phù hợp với yêu cầu vận hành trên thiết bị nhúng. Việc tích hợp dữ liệu OBD-II giúp hệ thống cảnh báo chính xác hơn so với các hệ thống chỉ dựa vào GPS hoặc cơ sở dữ liệu bản đồ, vốn có thể lỗi thời hoặc không cập nhật kịp thời. Kết quả có thể được minh họa qua biểu đồ so sánh mAP và FPS giữa các mô hình, cũng như bảng thống kê tỷ lệ cảnh báo đúng/sai trong các điều kiện thử nghiệm khác nhau.

Đề xuất và khuyến nghị

1. Mở rộng tập dữ liệu huấn luyện: Thu thập và chú thích thêm các loại biển báo giao thông khác, đặc biệt là biển báo phụ trợ và thông tin làn đường, nhằm nâng cao độ chính xác nhận diện và giảm sai sót.
2. Cải tiến thuật toán xử lý hậu kỳ: Phát triển các thuật toán lọc và xác thực cảnh báo dựa trên ngữ cảnh đường xá và dữ liệu cảm biến bổ sung để giảm thiểu cảnh báo sai.
3. Tối ưu hóa phần cứng: Nâng cấp thiết bị nhúng hoặc sử dụng các mô hình YOLOv5 phiên bản nhẹ hơn để tăng tốc độ xử lý, đảm bảo vận hành mượt mà trong mọi điều kiện.
4. Triển khai thử nghiệm thực tế: Hợp tác với các đơn vị vận tải để thử nghiệm hệ thống trên nhiều loại xe và điều kiện giao thông khác nhau, thu thập phản hồi để hoàn thiện sản phẩm trước khi thương mại hóa.

Các giải pháp trên nên được thực hiện trong vòng 12 tháng tới, với sự phối hợp giữa nhóm nghiên cứu, nhà sản xuất thiết bị và các cơ quan quản lý giao thông.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành kỹ thuật ô tô và trí tuệ nhân tạo: Có thể ứng dụng kiến thức và phương pháp trong luận văn để phát triển các hệ thống hỗ trợ lái xe thông minh.
2. Các công ty phát triển hệ thống ADAS và phần mềm xe hơi: Tham khảo để tích hợp công nghệ nhận diện biển báo giao thông và cảnh báo tốc độ vào sản phẩm của mình.
3. Cơ quan quản lý giao thông và an toàn đường bộ: Sử dụng kết quả nghiên cứu để xây dựng các chính sách và giải pháp nâng cao an toàn giao thông.
4. Nhà sản xuất thiết bị nhúng và cảm biến: Tham khảo thiết kế hệ thống và yêu cầu phần cứng để phát triển các thiết bị phù hợp cho ứng dụng giám sát tốc độ xe.

Câu hỏi thường gặp

1. Hệ thống có thể nhận diện được bao nhiêu loại biển báo giới hạn tốc độ?
   Hệ thống hiện nhận diện 10 loại biển báo giới hạn tốc độ phổ biến, bao gồm các mức 50, 60, 70, 80, 100, 120 km/h và các biển báo khu dân cư.

2. Tốc độ xử lý của hệ thống trên thiết bị nhúng là bao nhiêu?
   Mô hình YOLOv5 chạy trên Jetson Nano đạt khoảng 4 khung hình/giây, đủ để nhận diện biển báo trong thời gian thực.

3. Hệ thống cảnh báo khi nào sẽ phát tín hiệu cho người lái?
   Khi tốc độ thực tế của xe vượt quá giới hạn tốc độ được phát hiện từ biển báo, hệ thống sẽ cảnh báo ngay lập tức trên màn hình.

4. Hệ thống có thể hoạt động tốt trong điều kiện ánh sáng yếu hay mưa không?
   Hệ thống có thể nhận diện trong nhiều điều kiện ánh sáng khác nhau, tuy nhiên hiệu suất có thể giảm khi biển báo bị mờ hoặc che khuất do thời tiết xấu.

5. Làm thế nào để giảm thiểu cảnh báo sai do nhận diện nhầm biển báo?
   Cần mở rộng tập dữ liệu huấn luyện và cải tiến thuật toán xử lý hậu kỳ để lọc các cảnh báo không chính xác, đồng thời bổ sung dữ liệu ngữ cảnh đường xá.

Kết luận

• Đã phát triển thành công hệ thống nhận diện biển báo giới hạn tốc độ theo thời gian thực sử dụng mô hình YOLOv5 với độ chính xác mAP đạt 0.922.
• Hệ thống tích hợp dữ liệu tốc độ thực tế từ OBD-II để cảnh báo kịp thời khi xe vượt quá giới hạn tốc độ.
• Tốc độ xử lý trên thiết bị Jetson Nano đạt 4 FPS, phù hợp cho ứng dụng thực tế trong ADAS.
• Hệ thống còn tồn tại hạn chế về nhận diện số làn đường và nhầm lẫn biển báo chưa được huấn luyện.
• Đề xuất mở rộng dữ liệu và cải tiến thuật toán nhằm nâng cao độ chính xác và giảm cảnh báo sai trong tương lai.

Tiếp theo, nghiên cứu sẽ tập trung vào mở rộng tập dữ liệu, thử nghiệm thực tế trên nhiều loại xe và điều kiện giao thông khác nhau. Độc giả và các nhà phát triển được khuyến khích áp dụng và phát triển thêm dựa trên nền tảng nghiên cứu này để góp phần nâng cao an toàn giao thông.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY NGUYEN NGOC TRUC STUDY ON CAMERA-BASED REAL-TIME CAR SPEED MORNITOR USING YOLOv5 MULTIPLE OBJECT DETECTION MODEL Major: Vehicle Engineering Major code: 8520116 MASTER’S THESIS HO CHI MINH CITY, July 2023 THIS THESIS IS COMPLETED AT HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY – VNU-HCM Supervisor: Trần Đăng Long, Ph.D Examiner 1: Trần Hữu Nhân, Ph.D Examiner 2: Nguyễn Văn Trạng, Ph.D This master’s thesis is defended at HCM City University of Technology, VNU- HCM City on July 15th, 2023 Master’s Thesis Committee: 1. Chairman: Lê Tất Hiển Assoc. Member: Võ Tấn Châu, Ph. Secretary: Hồng Đức Thông, Ph.

Reviewer 1: Trần Hữu Nhân, Ph. Reviewer 2: Nguyễn Văn Trạng, Ph.D Approval of the Chairman of Master’s Thesis Committee and Dean of Faculty of Transportation Engineering after the thesis being corrected (If any). CHAIRMAN OF THESIS COMMITTEE HEAD OF FACULTY OF TRANSPORTATION ENGINEERING i VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY Independence – Freedom - Happiness UNIVERSITY OF TECHNOLOGY THE TASK SHEET OF MASTER’S THESIS Full name: Nguyễn Ngọc Trực Studen code: 2170108 Date of Birth: 30/07/1996 Place of birth: Đăk Lăk Major: Vehicle Engineering Major code: 8520116 I. THESIS TOPIC: Study on camera-based real-time car speed monitor using YOLOv5 multiple object detection model.

ĐỀ TÀI LUẬN VĂN : Nghiên cứu ứng dụng mô hình YOLOv5 nhận diện đa vật thể trong ảnh cho hệ thống giám sát tốc độ xe bằng camera theo thời gian thực. TASKS AND CONTENTS: - Develop a traffic sign recognition system, specifically for speed limit signs, from images captured by cameras on the road. - Employ the Jetson Nano embedded computer as the central processing unit to run the YOLOv5 model for detecting speed limit signs. Simultaneously, compare the sign recognition results with the vehicle's current speed accessed from the OBD-II system.

Subsequently, the system provides a direct alert to the driver on the screen if the speed limit is exceeded. TASKS STARTING DATE: February 06th, 2023. TASKS ENDING DATE: June 12th 2023. INSTRUCTOR: Trần Đăng Long, Ph.

Ho Chi Minh City, July 15th 2023. INSTRUCTOR HEAD OF DEPARTMENT (Full name & Signature) (Full name & Signature) DEAN - FACULTY OF TRANSPORTATION ENGINEERING (Full name & Signature) ii ACKNOWLEDGEMENT I would like to express my heartfelt gratitude to my thesis advisor, Ph.D Tran Dang Long, for his invaluable guidance, unwavering support, and continuous encouragement throughout the entire duration of this thesis. His expertise, insightful feedback, and constructive criticism have immensely contributed to the success of this research endeavor. I am also deeply grateful to Ho Nam Hoa, for his assistance and collaboration in helping me establish the OBD-II CAN communication.

His technical knowledge, dedication, and willingness to share his expertise have been instrumental in overcoming challenges and achieving significant milestones in this project. Furthermore, I extend my sincere appreciation to my friend, Bui Huu Nghia, for his valuable contribution in collecting the dataset. His commitment, attention to detail, and assistance in data acquisition have greatly enriched the quality of this research. I would also like to acknowledge the support and encouragement received from my family and friends throughout this academic journey.

Lastly, I am grateful to all the individuals who have directly or indirectly contributed to the completion of this thesis. Their support, guidance, and encouragement have been indispensable in shaping my research and personal growth. Ho Chi Minh City, 15th July, 2023 Researcher, Nguyen Ngoc Truc iii ABSTRACT This study aims to two objectives. Firstly, the design of a real-time traffic sign detection system for automobiles, with a specific focus on speed limit signs, using the YOLOv5 model.

Secondly, the study includes an assessment of the practical implementation of the traffic sign detection system by integrating it with a speed warning system that can be integrated into vehicles. This study includes several key tasks. Firstly, extensive research was conducted to identify real-time detection methods suitable for traffic signs. Subsequently, a comprehensive dataset of speed limit traffic signs was prepared, consists of 3200 images.