NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH YOLOv5 NHẬN DIỆN ĐA VẬT THỂ TRONG ẢNH CHO HỆ THỐNG GIÁM SÁT TỐC ĐỘ XE BẰNG CAMERA THEO THỜI GIAN THỰC

• Tác giả: Nguyễn Ngọc Trực
• Người hướng dẫn: Trần Đăng Long, Ph.D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Vehicle Engineering
• Đề tài: Study on camera-based real-time car speed monitor using YOLOv5 multiple object detection model
• Loại tài liệu: Master’s Thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

• ACKNOWLEDGEMENT
• ABSTRACT
• TÓM TẮT LUẬN VĂN THẠC SĨ
• THE COMMITMENT OF THE THESIS’ AUTHOR
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Speed Warning Systems
• 1.2. Traffic Sign Detection
• 1.3. Scope of Research
• 2. CHAPTER 2: CONVOLUTIONAL NEURAL NETWORKS
• 2.1. Fully Connected Layer
• 2.2. Introduce to YOLO
• 2.3. Intersection over Union
• 2.4. Precision and Recall
• 2.5. Mean Average Precision
• 3. CHAPTER 3: DESIGN A SPEED LIMIT SIGNS DETECTION MODEL
• 3.1. Training Model Parameters
• 3.2. Hardware Circuit Diagram
• 3.3. Software Algorithm Flowchart
• 3.4. Speed Limit Caching Algorithm
• 3.5. Finite State Machine Based Speed Warning Algorithm
• 4. CHAPTER 4: HARDWARE AND SOFTWARE IMPLEMENTATION
• 4.1. Camera Raspberry Pi V2
• 4.2. DC-DC Converter
• 4.3. OBD-II Adapter
• 4.4. Deploy on Jetson Nano
• 4.4.1. Build Model Engine
• 4.4.2. Run Model Engine
• 5. CHAPTER 5: RESULTS AND DISCUSSIONS
• 5.1. Speed Limit Detection
• 5.2. Speed Warning Applications
• 6. CHAPTER 6: CONCLUSIONS AND FUTURE WORKS
• References
• Appendix

I. Tổng Quan Giám Sát Tốc Độ Xe Thời Gian Thực YOLOv5 55K

Trong những năm gần đây, các hệ thống hỗ trợ lái xe nâng cao (ADAS) đã nổi lên như một giải pháp đầy hứa hẹn để tăng cường an toàn giao thông và giảm thiểu số lượng tai nạn trên đường. ADAS sử dụng nhiều công nghệ khác nhau, chẳng hạn như cảm biến, camera và hệ thống liên lạc, để cung cấp cho người lái cảnh báo trước và hỗ trợ trong các tình huống lái xe quan trọng. Một trong những tính năng ADAS phổ biến nhất là Kiểm soát hành trình thích ứng (ACC), giúp người lái duy trì khoảng cách an toàn với xe phía trước bằng cách tự động điều chỉnh tốc độ của xe. Một tính năng ADAS quan trọng khác là Cảnh báo chệch làn đường (LDW), cảnh báo người lái khi họ đi chệch khỏi làn đường của mình. Ngoài ra, ADAS cũng có thể hỗ trợ người lái đỗ xe, với các tính năng như cảm biến đỗ xe và hệ thống đỗ xe tự động. Các hệ thống phát hiện điểm mù cũng có thể cung cấp cho người lái các cảnh báo bằng hình ảnh hoặc âm thanh khi có xe hoặc vật cản trong điểm mù của họ. Hệ thống cảnh báo tốc độ (SWS) cũng là một tính năng quan trọng của ADAS, vì vượt quá tốc độ là một nguyên nhân phổ biến gây ra tai nạn. Các hệ thống này có thể được triển khai bằng nhiều công nghệ khác nhau, chẳng hạn như Hệ thống định vị toàn cầu (GPS), phát hiện đối tượng dựa trên camera và liên lạc với cơ sở hạ tầng ven đường. Một số nghiên cứu đã chỉ ra rằng các hệ thống cảnh báo giới hạn tốc độ có thể có hiệu quả trong việc giảm hành vi lái xe quá tốc độ và cải thiện an toàn đường bộ. Những tiến bộ gần đây trong Trí tuệ nhân tạo (AI) và Thị giác máy tính (CV) đã dẫn đến những cải tiến đáng kể về độ chính xác và độ tin cậy của ADAS. Các phương pháp dựa trên học sâu, chẳng hạn như mạng nơ-ron tích chập (CNN), đã cho thấy những kết quả đầy hứa hẹn trong các nhiệm vụ phát hiện và nhận dạng đối tượng, vốn rất quan trọng đối với ADAS. Phát hiện đối tượng dựa trên camera đã nổi lên như một công nghệ đầy hứa hẹn cho các hệ thống cảnh báo giới hạn tốc độ. Mô hình phát hiện đối tượng You Only Look Once (YOLO) là một thuật toán hiện đại đã cho thấy hiệu quả trong việc phát hiện và theo dõi các đối tượng trong thời gian thực. Bằng cách sử dụng mô hình YOLOv5 để phát hiện và theo dõi các biển báo giới hạn tốc độ trên đường, một hệ thống cảnh báo giới hạn tốc độ có thể cung cấp thông tin chính xác và đáng tin cậy cho người lái về giới hạn tốc độ hiện tại.

1.1. Giới Thiệu Tổng Quan về Hệ Thống Giám Sát Tốc Độ

Chương giới thiệu này bao gồm 8 phần. Bắt đầu với phần giải thích về lý do chọn phát hiện biển báo giao thông làm chủ đề nghiên cứu. Sau đó, chương này đi sâu vào tổng quan về Hệ thống hỗ trợ lái xe nâng cao (ADAS) và nhấn mạnh tầm quan trọng của hệ thống cảnh báo tốc độ trong bối cảnh này. Chương này giải thích rằng việc phát triển một hệ thống cảnh báo tốc độ đòi hỏi một mô hình đáng tin cậy để phát hiện các biển báo giới hạn tốc độ. Các mục tiêu của luận án sau đó được trình bày, vạch ra các mục tiêu cụ thể cần đạt được. Phương pháp nghiên cứu và những đóng góp của nghiên cứu được thảo luận, cùng với phạm vi điều tra đã được xác định. Cuối cùng, chương này cung cấp một phác thảo về từng chương tiếp theo, cho phép người đọc xem trước các chủ đề được đề cập trong luận án.

1.2. Vai Trò Của YOLOv5 Trong Giám Sát Giao Thông Thông Minh

Ngoài việc phát hiện đối tượng, một thành phần quan trọng khác của hệ thống cảnh báo giới hạn tốc độ là khả năng xác định tốc độ hiện tại của xe. Hệ thống chẩn đoán trên xe II (OBD-II) là một tính năng tiêu chuẩn trong các xe hiện đại, cung cấp thông tin theo thời gian thực về hiệu suất của xe. Bằng cách lấy thông tin dữ liệu từ hệ thống OBD-II vào hệ thống cảnh báo giới hạn tốc độ, hệ thống có thể so sánh chính xác tốc độ xe với các biển báo giới hạn tốc độ được phát hiện và cảnh báo người lái nếu họ vượt quá giới hạn. Một số nghiên cứu đã đánh giá hiệu quả của các hệ thống cảnh báo tốc độ trong môi trường lái xe thực tế. Những nghiên cứu này đã chỉ ra rằng các hệ thống cảnh báo tốc độ có thể giảm hành vi lái xe quá tốc độ và cải thiện an toàn cho người lái.

II. Vấn Đề Tại Sao Giám Sát Tốc Độ Xe Thực Tế Lại Cần Thiết 58K

Vượt quá tốc độ là một nguyên nhân chính gây ra tai nạn giao thông và gây ra những rủi ro đáng kể cho cả người lái xe và người đi bộ. Để giải quyết vấn đề này, các nhà nghiên cứu và kỹ sư đã phát triển nhiều hệ thống cảnh báo tốc độ khác nhau cho ô tô. Các hệ thống này nhằm mục đích cảnh báo người lái xe khi họ vượt quá giới hạn tốc độ, từ đó thúc đẩy hành vi lái xe an toàn hơn. Trong đánh giá tài liệu này, chúng ta khám phá ba phương pháp thường được sử dụng để triển khai SWS: hệ thống dựa trên GPS, hệ thống giao tiếp với cơ sở hạ tầng ven đường và hệ thống dựa trên camera. SWS bao gồm hai thành phần chính. Thứ nhất, nó phát hiện giới hạn tốc độ tương ứng với cơ sở hạ tầng đường bộ cụ thể. Thứ hai, nó liên tục theo dõi tốc độ thực tế của xe. Bằng cách so sánh giới hạn tốc độ được phát hiện với tốc độ thực tế của xe, hệ thống xác định xem người lái xe có vượt quá giới hạn tốc độ hay không. Nếu phát hiện vi phạm, hệ thống sẽ tạo ra các thông báo cảnh báo tốc độ thích hợp để cảnh báo người lái xe. Các SWS dựa trên GPS dựa vào công nghệ GPS để xác định vị trí hiện tại của xe và tính toán giới hạn tốc độ tương ứng. Các hệ thống này thường sử dụng dữ liệu từ các vệ tinh GPS để xác định vị trí và tốc độ của xe, đồng thời đối chiếu thông tin này với bản đồ kỹ thuật số để xác định giới hạn tốc độ cho đoạn đường cụ thể đó. Các nghiên cứu gần đây đã đánh giá hiệu quả của SWS trong việc cải thiện hành vi của người lái xe và giảm số lượng tai nạn trên đường.

2.1. Phân Tích Các Phương Pháp Giám Sát Tốc Độ Hiện Tại

Một nghiên cứu được thực hiện bởi Song Wang et al. [5] cho thấy rằng SWS có hiệu quả trong việc giảm hành vi lái xe quá tốc độ giữa những người lái xe và đặc biệt hiệu quả ở những khu vực có tỷ lệ tai nạn cao. Hơn nữa, có một số SWS phổ biến có sẵn ở các quốc gia khác nhau, chẳng hạn như tính năng cảnh báo giới hạn tốc độ trong Google Maps [6], hiện có sẵn ở hơn 40 quốc gia không bao gồm Việt Nam. Tại thị trường Việt Nam, cũng có các hệ thống cảnh báo tốc độ như Vietmap [7], sử dụng GPS và được tích hợp trực tiếp vào camera hành trình của họ. Một phần mềm mới được giới thiệu gần đây là GSpeed của iCar [8], được ra mắt vào tháng 6 năm 2023 và có thể được tích hợp vào màn hình của xe. Việc sử dụng các phương pháp dựa trên GPS là phổ biến rộng rãi, nhưng nó đòi hỏi một cơ sở dữ liệu đáng kể. Tuy nhiên, cách tiếp cận này có một số nhược điểm, chẳng hạn như thiếu cập nhật theo thời gian thực. Trong một số trường hợp, giới hạn tốc độ có thể đã thay đổi, nhưng hệ thống vẫn dựa vào thông tin lỗi thời từ cơ sở dữ liệu của nó. Ngoài ra, khi có hai tuyến đường song song tồn tại, hệ thống có thể gặp khó khăn trong việc phát hiện chính xác con đường đang đi.

2.2. Hạn Chế Của GPS và Nhu Cầu Giám Sát Tốc Độ Thực Tế

Một cách tiếp cận khác để SWS liên quan đến giao tiếp giữa xe và cơ sở hạ tầng ven đường. Các hệ thống này dựa trên việc trao đổi thông tin giữa xe và cơ sở hạ tầng, chẳng hạn như biển báo giao thông hoặc hệ thống giao thông thông minh. Bằng cách nhận dữ liệu giới hạn tốc độ từ cơ sở hạ tầng, chẳng hạn như biển báo đường thông minh, hệ thống có thể kịp thời cảnh báo người lái xe nếu họ đang lái xe trên p...

III. Giải Pháp Ứng Dụng YOLOv5 Giám Sát Tốc Độ Xe Hướng Dẫn 59K

Luận án này trình bày nghiên cứu về một hệ thống phát hiện biển báo giao thông thời gian thực cho ô tô, tập trung đặc biệt vào biển báo giới hạn tốc độ, bằng cách sử dụng mô hình YOLOv5. Nghiên cứu này cũng bao gồm đánh giá về tính khả thi của việc tích hợp hệ thống này với một hệ thống cảnh báo tốc độ có thể triển khai trên xe ô tô. Một số nhiệm vụ chính được thực hiện trong quá trình nghiên cứu này. Đầu tiên, một nghiên cứu sâu rộng được thực hiện để xác định các phương pháp phát hiện theo thời gian thực phù hợp cho biển báo giao thông. Thứ hai, một tập dữ liệu toàn diện về biển báo giới hạn tốc độ được chuẩn bị, bao gồm 3200 hình ảnh. Thứ ba, một mô hình đã được huấn luyện để phát hiện các biển báo giới hạn tốc độ này, đạt được kết quả mAP là 0.922 trên 10 loại biển báo giao thông. Thứ tư, mô hình đã được triển khai trên máy tính nhúng Jetson Nano. Thứ năm, một vi điều khiển ESP32 đã được sử dụng để trích xuất dữ liệu tốc độ thực tế của xe từ hệ thống OBD-II. Cuối cùng, hệ thống phát hiện biển báo giới hạn tốc độ và thông tin tốc độ xe thực tế đã được tích hợp để phát triển một hệ thống cảnh báo tốc độ. Các kết quả thử nghiệm cho thấy tính hiệu quả của hệ thống phát hiện biển báo giao thông được đề xuất. Mô hình YOLOv5 đạt được 4 khung hình/giây (FPS) trên máy tính Jetson Nano trong quá trình phát hiện theo thời gian thực. Hơn nữa, bằng cách tích hợp hệ thống phát hiện biển báo giới hạn tốc độ với việc giám sát tốc độ thực tế của xe, hệ thống cho phép cảnh báo kịp thời cho người lái trong trường hợp vượt quá giới hạn tốc độ.

3.1. Quy Trình Xây Dựng Mô Hình Phát Hiện Biển Báo với YOLOv5

Nghiên cứu này nhằm đạt được hai mục tiêu chính. Thứ nhất, thiết kế một hệ thống nhận diện biển báo giao thông theo thời gian thực cho ô tô, tập trung đặc biệt vào biển báo giới hạn tốc độ, bằng cách sử dụng mô hình YOLOv5. Thứ hai, nghiên cứu bao gồm việc đánh giá khả năng ứng dụng thực tế của hệ thống nhận diện biển báo giao thông bằng cách tích hợp với một hệ thống cảnh báo tốc độ có thể sử dụng trên xe ô tô. Nghiên cứu này bao gồm một số nhiệm vụ chính. Đầu tiên, nghiên cứu xác định được các phương pháp nhận diện biển báo giao thông theo thời gian thực. Sau đó, đã chuẩn bị tập dữ liệu về biển báo giới hạn tốc độ, bao gồm 3200 hình ảnh. Bước tiếp theo, huấn luyện một mô hình để nhận diện các biển hạn chế tốc độ này với kết quả mAP là 0.922 trên 10 loại biển báo giao thông. Sau đó, mô hình đã được triển khai trên máy tính nhúng Jetson Nano.

3.2. Tích Hợp YOLOv5 và OBD II Cảnh Báo Vượt Tốc Độ

Đồng thời, đã sử dụng vi điều khiển ESP32 để trích xuất dữ liệu tốc độ thực tế của xe từ hệ thống OBD-II. Cuối cùng, hệ thống nhận diện biển hạn chế tốc độ và thông tin tốc độ xe thực tế đã được tích hợp để phát triển thành một hệ thống cảnh báo tốc độ. Kết quả thử nghiệm thể hiện tính ứng dụng của hệ thống nhận diện biển báo giao thông được trình bày trong nghiên cứu này. Mô hình YOLOv5 đạt được 4 khung hình/giây (FPS) trên máy tính Jetson Nano trong quá trình nhận diện với thời gian thực. Hơn nữa, bằng cách tích hợp hệ thống nhận diện biển báo giới hạn tốc độ với việc giám sát tốc độ thực tế của xe, hệ thống cho phép cảnh báo kịp thời cho người lái trong trường hợp vượt quá giới hạn tốc độ.

3.3. Các Bước Triển Khai YOLOv5 Trên Jetson Nano Để Giám Sát Tốc Độ Xe

Để triển khai YOLOv5 trên Jetson Nano để giám sát tốc độ xe, cần thực hiện các bước sau:

1. Chuẩn bị môi trường: Cài đặt các thư viện và công cụ cần thiết trên Jetson Nano, bao gồm CUDA, cuDNN, TensorRT, PyTorch, OpenCV.
2. Chuyển đổi mô hình: Chuyển đổi mô hình YOLOv5 từ định dạng PyTorch sang định dạng TensorRT để tối ưu hóa hiệu suất trên Jetson Nano.
3. Xây dựng engine: Xây dựng một TensorRT engine từ mô hình đã chuyển đổi.
4. Triển khai: Viết mã để đọc video từ camera, xử lý video bằng YOLOv5, và hiển thị kết quả.
5. Tối ưu hóa: Tinh chỉnh các tham số của mô hình và engine để đạt được hiệu suất tốt nhất.

IV. Kết Quả Ứng Dụng Thực Nghiệm Hệ Thống Giám Sát Tốc Độ 57K

Ngoài ra, kết quả thử nghiệm cũng cho thấy những hạn chế của hệ thống. Một trong những hạn chế đó là khả năng không thể nhận diện số làn đường trên đường, điều này ảnh hưởng đến độ chính xác của hệ thống trong việc xác định giới hạn tốc độ chính xác, đặc biệt là trong khu vực dân cư. Hơn nữa, có những trường hợp biển báo giao thông chưa được huấn luyện bị nhận diện nhầm là biển báo giới hạn tốc độ. Để khắc phục các vấn đề này, tập dữ liệu huấn luyện cần được đa dạng hơn cho các loại biển báo giao thông khác, không chỉ giới hạn ở biển báo giới hạn tốc độ. Tóm lại, hệ thống được phát triển cho thấy tiềm năng đáng kể cho các ứng dụng trong ngành công nghiệp ô tô, đặc biệt là trong lĩnh vực Hệ thống hỗ trợ lái xe nâng cao (ADAS). Chương này giới thiệu kết quả và thảo luận. Nó trình bày kết quả của việc triển khai hệ thống đề xuất trong các môi trường khác nhau, cũng như những hạn chế và ứng dụng của hệ thống giám sát tốc độ xe.

4.1. Đánh Giá Hiệu Quả của Hệ Thống trong Các Điều Kiện Khác Nhau

Trong chương này, chúng ta sẽ đi sâu vào các khía cạnh khác nhau của việc phát triển hệ thống giám sát tốc độ xe dựa trên camera và YOLOv5. Bắt đầu bằng cách khám phá các tùy chọn phát hiện biển báo tốc độ khác nhau và chọn phương pháp phù hợp nhất cho các yêu cầu cụ thể của chúng ta. Sau đó, chúng ta sẽ nghiên cứu các chi tiết phức tạp của việc chuẩn bị một tập dữ liệu toàn diện cho biển báo giới hạn tốc độ, đảm bảo độ chính xác và độ tin cậy của mô hình. Sau đó, chúng ta sẽ tiếp tục đào tạo mô hình để phát hiện hiệu quả các biển báo giới hạn tốc độ, sử dụng các kỹ thuật và thuật toán tiên tiến. Ngoài ra, chúng ta sẽ xem xét việc triển khai mô hình trên máy tính nhúng Jetson Nano, tối ưu hóa hiệu suất của nó cho xử lý theo thời gian thực. Để thu được thêm thông tin chi tiết, chúng ta sẽ tận dụng vi điều khiển ESP32 để trích xuất dữ liệu tốc độ xe chính xác từ hệ thống OBD-II. Cuối cùng, chúng ta sẽ tích hợp liền mạch hệ thống phát hiện biển báo giới hạn tốc độ và thông tin tốc độ xe thực tế để tạo ra một hệ thống cảnh báo tốc độ hoàn chỉnh. Các kết quả thử nghiệm sẽ chứng minh hiệu quả và hiệu quả của hệ thống giám sát tốc độ xe được đề xuất, nêu bật tiềm năng của nó cho các ứng dụng trong thế giới thực.

4.2. Thảo Luận về Hạn Chế và Giải Pháp Cải Thiện Hệ Thống

Để khắc phục các vấn đề này, tập dữ liệu huấn luyện cần được đa dạng hơn cho các loại biển báo giao thông khác, không chỉ giới hạn ở biển báo giới hạn tốc độ. Tóm lại, hệ thống được phát triển cho thấy tiềm năng đáng kể cho các ứng dụng trong ngành công nghiệp ô tô, đặc biệt là trong lĩnh vực Hệ thống hỗ trợ lái xe nâng cao (ADAS). Chương này giới thiệu kết quả và thảo luận. Nó trình bày kết quả của việc triển khai hệ thống đề xuất trong các môi trường khác nhau, cũng như những hạn chế và ứng dụng của hệ thống giám sát tốc độ xe.

V. Kết Luận Tiềm Năng và Hướng Phát Triển Giám Sát Tốc Độ 55K

Tóm lại, luận văn này đã trình bày một hệ thống hiệu quả để giám sát tốc độ xe thời gian thực dựa trên camera và YOLOv5. Hệ thống này có tiềm năng to lớn để ứng dụng trong các lĩnh vực như giao thông thông minh, an toàn giao thông và hệ thống hỗ trợ lái xe nâng cao (ADAS). Mặc dù vẫn còn một số hạn chế, nhưng những kết quả đạt được cho thấy hướng đi đầy hứa hẹn cho các nghiên cứu trong tương lai. Cụ thể, việc mở rộng tập dữ liệu huấn luyện và cải thiện khả năng nhận diện các loại biển báo giao thông khác nhau sẽ giúp nâng cao độ chính xác và độ tin cậy của hệ thống. Ngoài ra, việc tích hợp hệ thống với các công nghệ khác như GPS và bản đồ số cũng có thể mang lại những cải tiến đáng kể. Luận văn này đã cung cấp một nền tảng vững chắc cho việc phát triển các hệ thống giám sát tốc độ xe thông minh và hiệu quả hơn, góp phần vào việc xây dựng một môi trường giao thông an toàn và bền vững.

5.1. Tóm Tắt Những Đóng Góp Chính Của Nghiên Cứu

Luận văn này trình bày một phương pháp hiệu quả để phát hiện biển báo giao thông sử dụng YOLOv5 và một máy tính nhúng Jetson Nano. Kết quả cho thấy rằng hệ thống có thể phát hiện biển báo giao thông trong thời gian thực với độ chính xác cao. Luận văn này cũng trình bày một phân tích so sánh về các phương pháp khác nhau để phát hiện biển báo giao thông và thảo luận về những ưu điểm và nhược điểm của từng phương pháp. Luận văn này cũng trình bày một thảo luận về những thách thức liên quan đến việc triển khai một hệ thống phát hiện biển báo giao thông trong một môi trường thực tế.

5.2. Hướng Nghiên Cứu Tiếp Theo và Ứng Dụng Tiềm Năng

Các hướng nghiên cứu tiếp theo có thể bao gồm: * Nghiên cứu có thể được mở rộng để bao gồm việc phát hiện các loại biển báo giao thông khác. * Hệ thống có thể được tích hợp với các hệ thống an toàn xe hơi khác, chẳng hạn như hệ thống cảnh báo va chạm. * Hệ thống có thể được triển khai trên một loạt các nền tảng phần cứng khác nhau. Nghiên cứu này có tiềm năng cải thiện an toàn giao thông và cứu sống người. Nghiên cứu này cũng có tiềm năng cải thiện hiệu quả giao thông và giảm tắc nghẽn.

Tổng quan nghiên cứu

Tốc độ xe vượt quá giới hạn quy định là nguyên nhân chính dẫn đến nhiều vụ tai nạn giao thông nghiêm trọng trên toàn cầu. Theo ước tính, việc kiểm soát và cảnh báo tốc độ có thể giảm thiểu khoảng 30% các vụ tai nạn liên quan đến tốc độ. Trong bối cảnh đó, hệ thống cảnh báo tốc độ (Speed Warning Systems - SWS) đóng vai trò quan trọng trong việc nâng cao an toàn giao thông. Nghiên cứu này tập trung phát triển một hệ thống giám sát tốc độ xe theo thời gian thực dựa trên camera, sử dụng mô hình nhận diện đa vật thể YOLOv5 để phát hiện biển báo giới hạn tốc độ. Mục tiêu cụ thể là thiết kế và triển khai hệ thống nhận diện biển báo giới hạn tốc độ với độ chính xác cao, đồng thời tích hợp với dữ liệu tốc độ thực tế lấy từ hệ thống OBD-II của xe để cảnh báo kịp thời khi xe vượt quá giới hạn. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2023, tại thành phố Hồ Chí Minh, với phạm vi tập trung vào 10 loại biển báo giới hạn tốc độ phổ biến tại Việt Nam. Ý nghĩa của nghiên cứu được thể hiện qua khả năng ứng dụng trong các hệ thống hỗ trợ lái xe tiên tiến (ADAS), góp phần giảm thiểu tai nạn giao thông và nâng cao trải nghiệm lái xe an toàn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng của các lý thuyết và mô hình sau:

• Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN): Là thuật toán học sâu chủ đạo trong lĩnh vực thị giác máy tính, CNN giúp trích xuất đặc trưng hình ảnh hiệu quả, phục vụ cho việc nhận diện đối tượng trong ảnh.
• Mô hình YOLOv5 (You Only Look Once version 5): Là mô hình nhận diện đa vật thể một giai đoạn, nổi bật với khả năng phát hiện nhanh và chính xác trong thời gian thực. YOLOv5 sử dụng kiến trúc CSPDarknet-53 làm backbone, kết hợp với Spatial Pyramid Pooling (SPP) và các lớp convolutional để tối ưu hóa hiệu suất.
• Các khái niệm chính: Intersection over Union (IoU) để đánh giá độ chồng lấp giữa dự đoán và thực tế; Mean Average Precision (mAP) làm chỉ số tổng hợp đo lường độ chính xác của mô hình; các thành phần của mạng CNN như lớp convolutional, pooling, fully connected và hàm kích hoạt (ReLU, sigmoid, tanh).

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm 3200 hình ảnh biển báo giới hạn tốc độ được trích xuất từ video quay thực tế bằng camera gắn trên xe. Quá trình chuẩn bị dữ liệu bao gồm: trích xuất ảnh từ video, lọc ảnh chứa biển báo, chú thích vùng biển báo bằng công cụ Roboflow, và tăng cường dữ liệu (data augmentation) để đa dạng hóa mẫu. Mô hình YOLOv5 được huấn luyện trên nền tảng Google Colaboratory với cỡ mẫu 3200 ảnh, sử dụng phương pháp học sâu với tối ưu hóa tham số qua 100 epoch. Hệ thống được triển khai trên máy tính nhúng Jetson Nano để đánh giá khả năng nhận diện trong điều kiện thực tế. Dữ liệu tốc độ xe được thu thập qua vi điều khiển ESP32 kết nối với hệ thống OBD-II của xe. Thời gian nghiên cứu kéo dài từ tháng 2 đến tháng 6 năm 2023, với các bước chính: chuẩn bị dữ liệu, huấn luyện mô hình, triển khai hệ thống và thử nghiệm thực địa.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Mô hình YOLOv5 đạt độ chính xác mAP 0.922 trên 10 loại biển báo giới hạn tốc độ, thể hiện khả năng nhận diện chính xác trong điều kiện đa dạng.
• Tốc độ xử lý của hệ thống trên Jetson Nano đạt khoảng 4 khung hình/giây (FPS), đủ để ứng dụng trong giám sát tốc độ xe theo thời gian thực.
• Hệ thống tích hợp thành công dữ liệu tốc độ thực tế từ OBD-II, cho phép so sánh và cảnh báo kịp thời khi xe vượt quá giới hạn tốc độ. Ví dụ, cảnh báo được kích hoạt khi tốc độ vượt từ 1-5 km/h hoặc trên 5 km/h so với giới hạn.
• Một số hạn chế được ghi nhận: hệ thống chưa nhận diện được số làn đường, ảnh hưởng đến độ chính xác trong khu vực dân cư; một số biển báo chưa được huấn luyện bị nhận diện nhầm là biển báo giới hạn tốc độ (ví dụ biển báo giới hạn 80 km/h bị nhầm thành 60 km/h trong vài khung hình).

Thảo luận kết quả

Nguyên nhân chính của các hạn chế là do tập dữ liệu huấn luyện chưa đa dạng đủ các loại biển báo phụ trợ và điều kiện môi trường phức tạp như ánh sáng yếu, mưa, hoặc biển báo bị che khuất. So với các nghiên cứu trước đây sử dụng YOLOv4 hoặc Faster R-CNN, YOLOv5 thể hiện sự cân bằng tốt hơn giữa tốc độ và độ chính xác, phù hợp với ứng dụng nhúng trên thiết bị có tài nguyên hạn chế như Jetson Nano. Việc tích hợp dữ liệu OBD-II giúp hệ thống không chỉ dựa vào nhận diện biển báo mà còn có thể so sánh trực tiếp với tốc độ xe, nâng cao tính thực tiễn và hiệu quả cảnh báo. Kết quả có thể được trình bày qua biểu đồ mAP theo từng loại biển báo và bảng so sánh FPS giữa các thiết bị thử nghiệm, giúp minh họa rõ ràng hiệu suất của hệ thống.

Đề xuất và khuyến nghị

• Mở rộng tập dữ liệu huấn luyện: Thu thập và chú thích thêm các loại biển báo giao thông khác, đặc biệt là biển báo phụ trợ và biển báo tạm thời, nhằm giảm thiểu sai sót nhận diện.
• Phát triển module nhận diện số làn đường: Tích hợp thêm cảm biến hoặc thuật toán phân tích hình ảnh để xác định số làn đường, giúp cải thiện độ chính xác cảnh báo tốc độ trong khu vực dân cư.
• Tối ưu hóa thuật toán xử lý: Nâng cấp mô hình YOLOv5 hoặc thử nghiệm các phiên bản nhẹ hơn như YOLOv5-tiny để tăng tốc độ xử lý trên thiết bị nhúng, đảm bảo khả năng vận hành mượt mà trong mọi điều kiện.
• Triển khai thử nghiệm thực tế kéo dài: Thực hiện các chuyến đi thử nghiệm trong nhiều điều kiện thời tiết và địa hình khác nhau trong vòng 6-12 tháng để thu thập dữ liệu phản hồi, từ đó điều chỉnh và hoàn thiện hệ thống.
• Chủ thể thực hiện: Các nhà phát triển phần mềm ADAS, các công ty sản xuất thiết bị nhúng ô tô, và các cơ quan quản lý giao thông có thể phối hợp triển khai và áp dụng các giải pháp trên.

Đối tượng nên tham khảo luận văn

• Nhà nghiên cứu và sinh viên ngành kỹ thuật ô tô, công nghệ thông tin: Có thể sử dụng luận văn làm tài liệu tham khảo về ứng dụng deep learning trong hệ thống hỗ trợ lái xe.
• Các công ty phát triển hệ thống ADAS: Tham khảo để phát triển hoặc cải tiến các sản phẩm cảnh báo tốc độ dựa trên camera và dữ liệu OBD-II.
• Cơ quan quản lý giao thông và an toàn đường bộ: Áp dụng kết quả nghiên cứu để xây dựng các giải pháp giám sát và cảnh báo tốc độ hiệu quả, góp phần giảm thiểu tai nạn.
• Nhà sản xuất thiết bị nhúng và phần cứng ô tô: Tham khảo kiến trúc hệ thống và phương pháp tích hợp phần mềm-hardware để phát triển các thiết bị giám sát tốc độ thông minh.

Câu hỏi thường gặp

1. Hệ thống có thể nhận diện được bao nhiêu loại biển báo giới hạn tốc độ?
   Hệ thống được huấn luyện để nhận diện 10 loại biển báo giới hạn tốc độ phổ biến, bao gồm các mức 50, 60, 70, 80, 100, 120 km/h và các biển báo khu dân cư.

2. Tốc độ xử lý của hệ thống trên thiết bị Jetson Nano là bao nhiêu?
   Hệ thống đạt khoảng 4 khung hình/giây, đủ để giám sát tốc độ xe theo thời gian thực trong điều kiện giao thông bình thường.

3. Làm thế nào hệ thống cảnh báo khi xe vượt quá tốc độ?
   Hệ thống so sánh tốc độ thực tế lấy từ OBD-II với giới hạn tốc độ nhận diện được từ biển báo, nếu vượt quá, cảnh báo sẽ được hiển thị trực tiếp trên màn hình cho người lái.

4. Hệ thống có hoạt động tốt trong điều kiện ánh sáng yếu hoặc mưa không?
   Hiện tại, hệ thống có một số hạn chế trong điều kiện môi trường phức tạp như ánh sáng yếu hoặc mưa, do ảnh hưởng đến chất lượng hình ảnh và khả năng nhận diện biển báo.

5. Có thể mở rộng hệ thống để nhận diện các loại biển báo khác không?
   Có thể, bằng cách mở rộng tập dữ liệu huấn luyện và điều chỉnh mô hình, hệ thống có thể được phát triển để nhận diện nhiều loại biển báo giao thông khác nhau.

Kết luận

• Nghiên cứu đã phát triển thành công hệ thống giám sát tốc độ xe theo thời gian thực dựa trên mô hình YOLOv5, đạt độ chính xác mAP 0.922 và tốc độ xử lý 4 FPS trên Jetson Nano.
• Hệ thống tích hợp dữ liệu tốc độ thực tế từ OBD-II, cho phép cảnh báo kịp thời khi xe vượt quá giới hạn tốc độ.
• Một số hạn chế như nhận diện sai biển báo và không xác định được số làn đường đã được xác định, đề xuất mở rộng tập dữ liệu và phát triển thêm module hỗ trợ.
• Kết quả nghiên cứu có tiềm năng ứng dụng cao trong lĩnh vực ADAS, góp phần nâng cao an toàn giao thông.
• Các bước tiếp theo bao gồm mở rộng thử nghiệm thực tế, tối ưu hóa thuật toán và phát triển các tính năng bổ sung để hoàn thiện hệ thống.

Khuyến khích các nhà nghiên cứu và doanh nghiệp trong ngành ô tô tiếp cận và ứng dụng kết quả nghiên cứu nhằm thúc đẩy phát triển các giải pháp hỗ trợ lái xe thông minh và an toàn hơn.