Nghiên cứu hệ thống giám sát tốc độ xe ô tô bằng camera và mô hình YOLOv5

• Tác giả: Nguyễn Ngọc Trực
• Người hướng dẫn: Trần Đăng Long, Ph.D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Vehicle Engineering
• Đề tài: Nghiên cứu hệ thống giám sát tốc độ xe ô tô thời gian thực bằng camera sử dụng mô hình phát hiện đối tượng YOLOv5
• Loại tài liệu: master’s thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

• ACKNOWLEDGEMENT
• ABSTRACT
• TÓM TẮT LUẬN VĂN THẠC SĨ
• THE COMMITMENT OF THE THESIS’ AUTHOR
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Speed Warning Systems
• 1.2. Traffic Sign Detection
• 1.3. Scope of Research
• 1.4. Convolutional Neural Networks
• 1.5. Fully Connected Layer
• 1.6. Introduce to YOLO
• 1.7. Intersection over Union
• 1.8. Precision and Recall
• 1.9. Mean Average Precision
• 3. CHAPTER 3: DESIGN A SPEED LIMIT SIGNS DETECTION MODEL
• 3.1. Hardware Circuit Diagram
• 3.2. Software Algorithm Flowchart
• 3.3. Training Model Parameters
• 3.4. Speed Limit Caching Algorithm
• 3.5. Finite State Machine Based Speed Warning Algorithm
• 3.6. Camera Raspberry Pi V2
• 3.7. DC-DC Converter
• 3.8. OBD-II Adapter
• 3.9. Deploy on Jetson Nano
• 3.9.1. Build Model Engine
• 3.9.2. Run Model Engine
• 5. CHAPTER 5: RESULTS AND DISCUSSIONS
• 5.1. Speed Limit Detection
• 5.2. Speed Warning Applications
• 6. CHAPTER 6: CONCLUSIONS AND FUTURE WORKS
• References
• Appendix

I. Tổng quan về hệ thống giám sát tốc độ xe ô tô bằng camera

Hệ thống giám sát tốc độ xe ô tô thời gian thực bằng camera đang trở thành một giải pháp quan trọng trong việc nâng cao an toàn giao thông. Sử dụng công nghệ hiện đại, hệ thống này không chỉ giúp phát hiện tốc độ xe mà còn cảnh báo người lái khi vượt quá giới hạn cho phép. Mô hình phát hiện đối tượng YOLOv5 đã được áp dụng để cải thiện độ chính xác trong việc nhận diện biển báo tốc độ. Việc tích hợp công nghệ này vào các phương tiện giao thông sẽ mang lại nhiều lợi ích cho người lái và cộng đồng.

1.1. Giới thiệu về công nghệ camera giám sát xe ô tô

Công nghệ camera giám sát xe ô tô sử dụng các cảm biến và thuật toán để theo dõi tốc độ và hành vi của phương tiện. Hệ thống này có khả năng nhận diện biển báo giao thông và cảnh báo người lái khi cần thiết.

1.2. Lợi ích của việc sử dụng mô hình YOLOv5 trong giám sát

Mô hình YOLOv5 cho phép phát hiện đối tượng trong thời gian thực với độ chính xác cao. Điều này giúp hệ thống giám sát tốc độ xe ô tô hoạt động hiệu quả hơn, giảm thiểu tai nạn giao thông.

II. Vấn đề và thách thức trong giám sát tốc độ xe ô tô

Mặc dù hệ thống giám sát tốc độ xe ô tô bằng camera mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần giải quyết. Các vấn đề như độ chính xác trong việc nhận diện biển báo, điều kiện ánh sáng và thời tiết có thể ảnh hưởng đến hiệu suất của hệ thống. Ngoài ra, việc tích hợp dữ liệu từ hệ thống OBD-II cũng gặp khó khăn trong một số trường hợp.

2.1. Độ chính xác trong phát hiện biển báo giao thông

Độ chính xác trong việc phát hiện biển báo giao thông là một yếu tố quan trọng. Các nghiên cứu cho thấy rằng mô hình YOLOv5 có thể đạt được độ chính xác cao, nhưng vẫn cần cải thiện để xử lý các tình huống phức tạp.

2.2. Ảnh hưởng của điều kiện môi trường đến hệ thống

Điều kiện ánh sáng và thời tiết có thể làm giảm hiệu suất của hệ thống giám sát. Việc phát hiện biển báo trong điều kiện ánh sáng yếu hoặc mưa có thể gặp khó khăn, ảnh hưởng đến độ tin cậy của cảnh báo.

III. Phương pháp phát triển hệ thống giám sát tốc độ xe ô tô

Để phát triển hệ thống giám sát tốc độ xe ô tô hiệu quả, cần áp dụng các phương pháp hiện đại trong việc nhận diện và xử lý dữ liệu. Việc sử dụng mô hình YOLOv5 kết hợp với các thiết bị nhúng như Jetson Nano sẽ giúp cải thiện khả năng xử lý và phản hồi của hệ thống.

3.1. Thiết kế mô hình phát hiện biển báo tốc độ

Mô hình phát hiện biển báo tốc độ được thiết kế dựa trên YOLOv5, cho phép nhận diện nhanh chóng và chính xác các biển báo trên đường. Quá trình huấn luyện mô hình sử dụng tập dữ liệu lớn để cải thiện độ chính xác.

3.2. Tích hợp hệ thống OBD II vào giám sát

Hệ thống OBD-II cung cấp dữ liệu tốc độ thực tế của xe, cho phép so sánh với biển báo tốc độ đã phát hiện. Việc tích hợp này giúp hệ thống đưa ra cảnh báo kịp thời cho người lái.

IV. Ứng dụng thực tiễn của hệ thống giám sát tốc độ

Hệ thống giám sát tốc độ xe ô tô bằng camera có thể được ứng dụng rộng rãi trong các lĩnh vực như giao thông đô thị, quản lý an toàn giao thông và hỗ trợ lái xe. Kết quả nghiên cứu cho thấy hệ thống này có khả năng giảm thiểu tai nạn giao thông và nâng cao ý thức của người lái.

4.1. Kết quả thử nghiệm hệ thống giám sát

Kết quả thử nghiệm cho thấy mô hình YOLOv5 đạt được 4 khung hình/giây trên Jetson Nano, cho phép phát hiện biển báo tốc độ trong thời gian thực. Hệ thống đã chứng minh được tính hiệu quả trong việc cảnh báo người lái.

4.2. Tiềm năng ứng dụng trong ngành công nghiệp ô tô

Hệ thống giám sát tốc độ có tiềm năng lớn trong ngành công nghiệp ô tô, đặc biệt trong việc phát triển các hệ thống hỗ trợ lái xe tiên tiến (ADAS). Việc áp dụng công nghệ này sẽ giúp cải thiện an toàn giao thông.

V. Kết luận và tương lai của hệ thống giám sát tốc độ

Hệ thống giám sát tốc độ xe ô tô bằng camera sử dụng mô hình YOLOv5 đã cho thấy nhiều tiềm năng trong việc nâng cao an toàn giao thông. Tuy nhiên, cần tiếp tục nghiên cứu và phát triển để khắc phục các hạn chế hiện tại và mở rộng ứng dụng của hệ thống trong tương lai.

5.1. Đánh giá hiệu quả của hệ thống

Đánh giá hiệu quả của hệ thống giám sát tốc độ cho thấy sự cải thiện rõ rệt trong việc giảm thiểu tai nạn giao thông. Hệ thống đã chứng minh được khả năng cảnh báo kịp thời cho người lái.

5.2. Hướng phát triển trong tương lai

Trong tương lai, cần mở rộng tập dữ liệu huấn luyện và cải thiện thuật toán để nâng cao độ chính xác của hệ thống. Việc tích hợp thêm các công nghệ mới sẽ giúp hệ thống hoạt động hiệu quả hơn.

Tổng quan nghiên cứu

Tốc độ xe vượt quá giới hạn quy định là một trong những nguyên nhân chính gây ra tai nạn giao thông nghiêm trọng trên toàn cầu. Theo ước tính, việc kiểm soát và cảnh báo tốc độ hiệu quả có thể giảm thiểu khoảng 30% các vụ tai nạn liên quan đến tốc độ. Trong bối cảnh đó, hệ thống cảnh báo tốc độ (Speed Warning Systems - SWS) đóng vai trò quan trọng trong việc nâng cao an toàn giao thông. Nghiên cứu này tập trung phát triển một hệ thống giám sát tốc độ xe theo thời gian thực dựa trên camera, sử dụng mô hình nhận diện đa vật thể YOLOv5 để phát hiện biển báo giới hạn tốc độ. Mục tiêu cụ thể của luận văn là thiết kế và triển khai hệ thống nhận diện biển báo giới hạn tốc độ với độ chính xác cao, đồng thời tích hợp với dữ liệu tốc độ thực tế lấy từ hệ thống OBD-II của xe để cảnh báo kịp thời khi xe vượt quá giới hạn. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2023, tại thành phố Hồ Chí Minh, với phạm vi tập trung vào 10 loại biển báo giới hạn tốc độ phổ biến tại Việt Nam. Kết quả nghiên cứu không chỉ góp phần nâng cao hiệu quả của các hệ thống hỗ trợ lái xe tiên tiến (ADAS) mà còn có ý nghĩa thực tiễn trong việc giảm thiểu tai nạn giao thông do vi phạm tốc độ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng của các lý thuyết và mô hình sau:

• Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN): Là thuật toán học sâu chủ đạo trong lĩnh vực thị giác máy tính, CNN giúp trích xuất đặc trưng hình ảnh hiệu quả, phục vụ cho việc nhận diện đối tượng trong ảnh.
• Mô hình YOLOv5 (You Only Look Once version 5): Là mô hình nhận diện đa vật thể một giai đoạn, nổi bật với khả năng phát hiện nhanh và chính xác các đối tượng trong ảnh, phù hợp cho ứng dụng thời gian thực trên thiết bị nhúng.
• Các chỉ số đánh giá mô hình: Bao gồm Mean Average Precision (mAP), Intersection over Union (IoU), Precision, Recall và F1 Score, giúp đánh giá toàn diện hiệu suất nhận diện của mô hình.

Ba khái niệm chính được sử dụng trong nghiên cứu là: nhận diện biển báo giao thông, giám sát tốc độ xe, và hệ thống cảnh báo tốc độ.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm 3200 hình ảnh biển báo giới hạn tốc độ được thu thập từ các video quay thực tế bằng camera gắn trên xe ô tô. Quá trình thu thập dữ liệu diễn ra tại nhiều địa điểm khác nhau trong thành phố Hồ Chí Minh, đảm bảo đa dạng về điều kiện ánh sáng và môi trường. Dữ liệu được chú thích thủ công bằng công cụ Roboflow, sau đó được chia thành tập huấn luyện và tập kiểm tra theo tỷ lệ phù hợp.

Mô hình YOLOv5 được huấn luyện trên nền tảng Google Colaboratory với các tham số tối ưu nhằm đạt mAP cao nhất. Thiết bị Jetson Nano được sử dụng để triển khai mô hình trên hệ thống nhúng, đảm bảo khả năng nhận diện thời gian thực với tốc độ khoảng 4 khung hình/giây (FPS). Dữ liệu tốc độ xe được thu thập đồng thời qua vi điều khiển ESP32 kết nối với hệ thống OBD-II của xe. Hệ thống tích hợp này cho phép so sánh tốc độ thực tế với giới hạn tốc độ phát hiện được để cảnh báo người lái kịp thời.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất nhận diện biển báo: Mô hình YOLOv5 đạt mAP 0.922 trên 10 loại biển báo giới hạn tốc độ, thể hiện độ chính xác cao trong việc phát hiện và phân loại biển báo. Tốc độ xử lý thực tế trên Jetson Nano đạt 4 FPS, đủ đáp ứng yêu cầu thời gian thực.
2. Tích hợp cảnh báo tốc độ: Hệ thống cảnh báo dựa trên so sánh tốc độ thực tế từ OBD-II và biển báo phát hiện cho phép cảnh báo kịp thời khi xe vượt quá giới hạn, với độ trễ thấp, giúp nâng cao an toàn lái xe.
3. Hạn chế trong nhận diện: Hệ thống chưa thể nhận diện số làn đường, dẫn đến sai số trong xác định giới hạn tốc độ chính xác tại các khu vực dân cư. Ngoài ra, một số biển báo chưa được huấn luyện bị nhận diện nhầm thành biển giới hạn tốc độ, gây cảnh báo sai.
4. Khả năng ứng dụng: Hệ thống có tiềm năng ứng dụng rộng rãi trong lĩnh vực ADAS, góp phần giảm thiểu vi phạm tốc độ và tai nạn giao thông.

Thảo luận kết quả

Nguyên nhân chính của hạn chế nhận diện số làn đường xuất phát từ việc dữ liệu huấn luyện chưa bao gồm thông tin về làn đường và các biển báo phụ trợ. So với các nghiên cứu trước đây sử dụng YOLOv4 hoặc Faster R-CNN, YOLOv5 cho thấy sự cải thiện rõ rệt về tốc độ xử lý mà vẫn duy trì độ chính xác cao, phù hợp với yêu cầu vận hành trên thiết bị nhúng. Việc tích hợp dữ liệu OBD-II giúp hệ thống cảnh báo chính xác hơn so với các hệ thống chỉ dựa vào GPS hoặc cơ sở dữ liệu bản đồ, vốn có thể lỗi thời hoặc không cập nhật kịp thời. Kết quả có thể được minh họa qua biểu đồ so sánh mAP và FPS giữa các mô hình, cũng như bảng thống kê tỷ lệ cảnh báo đúng/sai trong các điều kiện thử nghiệm khác nhau.

Đề xuất và khuyến nghị

1. Mở rộng tập dữ liệu huấn luyện: Thu thập và chú thích thêm các loại biển báo giao thông khác, đặc biệt là biển báo phụ trợ và thông tin làn đường, nhằm nâng cao độ chính xác nhận diện và giảm sai sót.
2. Cải tiến thuật toán xử lý hậu kỳ: Phát triển các thuật toán lọc và xác thực cảnh báo dựa trên ngữ cảnh đường xá và dữ liệu cảm biến bổ sung để giảm thiểu cảnh báo sai.
3. Tối ưu hóa phần cứng: Nâng cấp thiết bị nhúng hoặc sử dụng các mô hình YOLOv5 phiên bản nhẹ hơn để tăng tốc độ xử lý, đảm bảo vận hành mượt mà trong mọi điều kiện.
4. Triển khai thử nghiệm thực tế: Hợp tác với các đơn vị vận tải để thử nghiệm hệ thống trên nhiều loại xe và điều kiện giao thông khác nhau, thu thập phản hồi để hoàn thiện sản phẩm trước khi thương mại hóa.

Các giải pháp trên nên được thực hiện trong vòng 12 tháng tới, với sự phối hợp giữa nhóm nghiên cứu, nhà sản xuất thiết bị và các cơ quan quản lý giao thông.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành kỹ thuật ô tô và trí tuệ nhân tạo: Có thể ứng dụng kiến thức và phương pháp trong luận văn để phát triển các hệ thống hỗ trợ lái xe thông minh.
2. Các công ty phát triển hệ thống ADAS và phần mềm xe hơi: Tham khảo để tích hợp công nghệ nhận diện biển báo giao thông và cảnh báo tốc độ vào sản phẩm của mình.
3. Cơ quan quản lý giao thông và an toàn đường bộ: Sử dụng kết quả nghiên cứu để xây dựng các chính sách và giải pháp nâng cao an toàn giao thông.
4. Nhà sản xuất thiết bị nhúng và cảm biến: Tham khảo thiết kế hệ thống và yêu cầu phần cứng để phát triển các thiết bị phù hợp cho ứng dụng giám sát tốc độ xe.

Câu hỏi thường gặp

1. Hệ thống có thể nhận diện được bao nhiêu loại biển báo giới hạn tốc độ?
   Hệ thống hiện nhận diện 10 loại biển báo giới hạn tốc độ phổ biến, bao gồm các mức 50, 60, 70, 80, 100, 120 km/h và các biển báo khu dân cư.

2. Tốc độ xử lý của hệ thống trên thiết bị nhúng là bao nhiêu?
   Mô hình YOLOv5 chạy trên Jetson Nano đạt khoảng 4 khung hình/giây, đủ để nhận diện biển báo trong thời gian thực.

3. Hệ thống cảnh báo khi nào sẽ phát tín hiệu cho người lái?
   Khi tốc độ thực tế của xe vượt quá giới hạn tốc độ được phát hiện từ biển báo, hệ thống sẽ cảnh báo ngay lập tức trên màn hình.

4. Hệ thống có thể hoạt động tốt trong điều kiện ánh sáng yếu hay mưa không?
   Hệ thống có thể nhận diện trong nhiều điều kiện ánh sáng khác nhau, tuy nhiên hiệu suất có thể giảm khi biển báo bị mờ hoặc che khuất do thời tiết xấu.

5. Làm thế nào để giảm thiểu cảnh báo sai do nhận diện nhầm biển báo?
   Cần mở rộng tập dữ liệu huấn luyện và cải tiến thuật toán xử lý hậu kỳ để lọc các cảnh báo không chính xác, đồng thời bổ sung dữ liệu ngữ cảnh đường xá.

Kết luận

• Đã phát triển thành công hệ thống nhận diện biển báo giới hạn tốc độ theo thời gian thực sử dụng mô hình YOLOv5 với độ chính xác mAP đạt 0.922.
• Hệ thống tích hợp dữ liệu tốc độ thực tế từ OBD-II để cảnh báo kịp thời khi xe vượt quá giới hạn tốc độ.
• Tốc độ xử lý trên thiết bị Jetson Nano đạt 4 FPS, phù hợp cho ứng dụng thực tế trong ADAS.
• Hệ thống còn tồn tại hạn chế về nhận diện số làn đường và nhầm lẫn biển báo chưa được huấn luyện.
• Đề xuất mở rộng dữ liệu và cải tiến thuật toán nhằm nâng cao độ chính xác và giảm cảnh báo sai trong tương lai.

Tiếp theo, nghiên cứu sẽ tập trung vào mở rộng tập dữ liệu, thử nghiệm thực tế trên nhiều loại xe và điều kiện giao thông khác nhau. Độc giả và các nhà phát triển được khuyến khích áp dụng và phát triển thêm dựa trên nền tảng nghiên cứu này để góp phần nâng cao an toàn giao thông.