Chương 1.1 Tổng quan Với số lượng các phương tiện tham gia giao thông cũng đang ngày một gia tăng một cách chóng mặt, cùng với đó các cơ sở hạ tang và ban ngành quan lý về trật tự giao thông cũng đang không thể đáp ứng đủ với sự gia tăng đó. Chính điều này đã giúp cho nhận diện vi phạm giao thông là một lĩnh vực đang thu hút nhiều sự quan tâm, với mục tiêu cải thiện hiệu quả giám sát và xử ly các hành vi vi phạm giao thông. Với cơ hội rộng mở như vậy, Công nghệ học máy (Machine Learning) và học sâu (Deep Learning) đã tăng khả năng cho máy tính nhận diện, hiểu và xử lý hình ảnh một cách thông minh. Nhờ việc học thông qua huấn luyện mà các mô hình máy học có thể nhận diện vật thé và hiểu hình anh theo cách tự động tương tự như cách con người nhìn và xử lý chúng.
Trong hệ thống, thị giác máy tính giúp nhận diện và khoanh vùng được phạm vi hình anh cần nhận diện như đèn giao thông, tín hiệu dén giao thông, vạch dừng và biển số xe. Sự kết hợp giữa Học sâu và thị giác máy tính dé nhận diện vi phạm giao thông dựa trên tín hiệu đèn giao thông. Tuy nhiên, nghiên cứu nay đặt ra nhiều thách thức, từ việc thiết kế mô hình Học sâu phù hợp, khả năng nhận diện các vật thê, đến việc tối ưu hóa hiệu suất và độ chính xác khi ứng dụng thực tế. Tóm lại, nghiên cứu về thị giác máy tính và mô hình Học sâu dé xây dung hệ thống giao thông thông minh, khả năng nhận diện được hành vi vi phạm giao thông tại các đèn giao thông đặc biệt tại vi trí Dai học Quốc Gia TP HCM, đóng góp phần nhiều vào lĩnh vực an toàn giao thông, hạn chế tối đa các tai nạn có thê xảy ra.2 Lý do chọn đề tài Chưa được triển khai rộng rãi tại Đại học Quốc Gia — TP HCM, có thé triển khai và ứng dụng tại địa điểm này.
Giải quyết được tối đa van đề thực tế đang xảy ra: không tuân thủ luật giao thông dễ gây nên tai nạn giao thông. Tiết kiệm được sức người, hệ thống có thể tự động giám sát và phát hiện hành vi vi phạm.3 Mục tiêu nghiên cứu Mục đích chính của đề tài này là phát triển “XÂY DỰNG HỆ THÓNG NHẬN DIỆN VI PHẠM VÀ ỨNG DỤNG TRA CỨU THÔNG TIN VI PHẠM GIAO THÔNG DỰA TRÊN CÁC LOẠI MÔ HÌNH MÁY HỌC”, nhằm tự động hóa quá trình phạt nguội và giữ trật tự an toàn giao thông. Hệ thống sẽ sử dụng đa dạng các loại mô hình Deep Learning đề xử lý đữ liệu được thu thập các camera giám sát, cho phép xử lý một cách tự động.4 Đối tượng nghiên cứu Thu thập dữ liệu: Hình ảnh đèn giao thông: Dữ liệu ban đầu được thu thập hình ảnh của 3 loại đèn giao thông (go, stop, warning — xanh, đỏ, vàng). Hình ảnh biển số xe: Dữ liệu ban đầu được thu thập hình ảnh của biển số xe các loại ở nhiều nơi.
Gắn nhãn dữ liệu: Quá trình gan nhãn được thực hiện dé xác định biển số xe trong từng hình ảnh, tạo ra một bộ đữ liệu đã được gán nhãn phục vụ cho việc huấn luyện mô hình. Xây dựng và phát triển các loại mô hình Deep Learning: Sử dụng các mô hình học sâu: SSD MobileNet v2, Inceptionv3 dé nhận diện và phân loại đèn giao thông và phương tiện vi phạm. Sử dụng thuật toán Hough Line Transform: nhận diện vạch dừng chờ đèn đỏ. Sử dụng mô hình YOLOv5: nhận diện biển số xe.
Sử dung module OCR dé nhận diện ký tự trên biển số xe. 15 Phạm vi nghiên cứu Phần offline: Xây dựng bộ đữ liệu: Thu thập, gán nhãn và tăng cường đữ liệu dé tạo ra một bộ dữ liệu phong phú và đa dạng. Huấn luyện mô hình: Sử dụng bộ dữ liệu đã xây dựng đề huấn luyện và đánh giá các mô hình SSD MobileNet v2, YOLOv5 Phần online: Đánh giá và cải tiến: Liên tục đánh giá hiệu suất của hệ thống trong môi trường thực tê và cải tiên đê đảm bảo độ chính xác và hiệu quả.6 Cac nghiên cứu liên quan Phần này chúng tôi sẽ giới thiệu về các nghiên cứu liên quan đến đề tài của chúng tôi ở trong và ngoai nước.1 Trong nước: Trong nghiên cứu này, nhóm đã sử dụng các mô hình học sâu, cụ thé là YOLOv4, dé xác định vi trí biển số xe trong ảnh. Kết qua cho thấy mô hình đạt độ chính xác cao, với mAP (mean Average Precision) lên tới 91% và tốc độ xử lý đạt 31,2 FPS, cho thấy khả năng áp dụng hiệu quả của mô hình trong các hệ thống nhận diện biển số xe thời gian thực.” Đề xuất sử dụng mô hình YOLOv4 dé phát hiện và nhận diện biển báo và tín hiệu đèn giao thông.
Họ sử dụng phần cứng Jetson TX2 để tối ưu thời gian huấn luyện. Dữ liệu sử dụng bao gồm 32 lớp với hơn 1500 ảnh được thu thập từ Los Angeles. Hệ thống đạt được chỉ số mAP 91% và tốc độ 31.2 FPS trên tập dữ liệu kiểm tra.2 Ngoài nước Đề xuất một hệ thống nhận diện đèn giao thông sử dụng kỹ thuật học sâu (deep learning) và bản đồ trước (prior maps) trên nền tảng xe tự hành IARA. Họ sử dụng mô hình YOLOv3 dé phát hiện và phân loại trạng thái đèn giao 3 Ứng dụng máy học trong xác định vị trí biển số xe; Trần Văn Bình, Nguyễn Hữu Tùng, và Lê Thị Thu Hà; Tạp chí khoa học Đại học Tây Nguyên số 57; 2022.
* Nhận diện biển báo và tín hiệu đèn giao thông sử dụng Yolov4 trên phần cứng Jetson TX2; Bùi Quốc Tú, Nguyễn Huy Hoàng, Trương Quang Phúc, Lê Quang Bình, Hồ Nhut Minh; Tạp chí Khoa học Công nghệ và Thực phẩm; 2022. thông từ hình ảnh camera. Kết quả cho thấy hệ thống có thé nhận diện chính xác các đèn giao thông liên quan trong các tuyến đường được định trước tại thành phố Vitoria.Š - Trong nghiên cứu này, nhóm tác giả đã sử dụng mô hình học sâu Inception- V3 dựa trên phương pháp học chuyên giao dé phát hiện và nhận diện đèn giao thông. Quá trình thực hiện bao gồm việc huấn luyện và kiểm tra mô hình trên bộ dữ liệu LISA traffic light, được tăng cường bởi các phương pháp tiền xử lý dữ liệu.
Kết qua cho thay mô hình đạt được độ chính xác 98,6% trong việc nhận diện đèn giao thông.3 Những vấn đề còn tôn tại. - Mac dù có nhiều nghiên cứu đã được thực hiện nhằm cải thiện chất lượng và hiệu quả của các hệ thống giám sát vi phạm giao thông, vẫn còn tồn tại một số vấn đề chưa được giải quyết hoàn toàn: e Độ chính xác và hiệu suất của mô hình: Mặc dù các mô hình học sâu như CNN và YOLO đã dat được nhiều thành công, vẫn còn tồn tại vấn đề về độ chính xác và hiệu suất khi áp dụng trong môi trường thực tế, đặc biệt là với các hình ảnh có nhiễu và điều kiện ánh sáng khác nhau. e Kha năng mở rộng và tính linh hoạt: Hau hết các nghiên cứu tập trung vào một loại mô hình xử lý cho một công việc cụ thé nhất dinhhj, chưa có nhiều sự kết hợp dé tạo nên một hệ thống.4 Những vấn đề cần tập trung giải quyết. - Dựa trên các van dé còn tồn tại đã được xác định, nghiên cứu này sẽ tập trung vào việc giải quyết các vấn đề sau: e Xây dựng bộ dữ liệu đa dạng và phong phú: Thu thập và gán nhãn dữ liệu cho 2 bộ đữ liệu phân loại đèn giao thông và nhận diện biển số phương tiện vi phạm.
> Traffic Light Recognition Using Deep Learning and Prior Maps for Autonomous Cars; Lucas C. Possatti và nhóm nghiên cứu từ Universidade Federal do Espirito Santo, Brazil; 2019 International Joint Conference on Neural Networks (IJCNN); 30 September 2019. 6 Transfer Learning Based Traffic Sign Recognition Using Inception-v3 Model; Mohammed Qader Kheder, Aree Ali Mohammed; Periodica Polytechnica Transportation Engineering; August 2018 e_ Phát triển và tối ưu hoá mô hình: Nghiên cứu, huấn luyện 2 mô hình Inceptionv3 (cho nhiệm vụ phân loại đèn giao thông) và YOLOvS (cho nhiệm vụ nhận diện biên sô xe). Chương2 CƠ SỞ LÝ THUYET 2.1 SSD MobileNet v2 SSD (Single Shot MultiBox Detector) là một phương pháp hiện đại dé nhận diện vật thé trong anh, được phát triển bởi Wei Liu và các đồng nghiệp vào năm 2016.
SSD nồi bật với khả năng thực hiện nhận diện vật thể nhanh chóng và chính xác, thích hợp cho các ứng dụng yêu cầu thời gian thực. Đặc điểm: e Phat hiện đối tượng nhanh: SSD có thể phát hiện nhiều vật thể trong một ảnh mà không cần qua giai đoạn đề xuất đối tượng như các mô hình trước đây. e Sử dụng multi-scale feature maps: SSD sử dụng các feature maps ở nhiều kích thước khác nhau dé phát hiện các vật thể có kích thước và tỉ lệ đa dạng. e Direct prediction: SSD trực tiếp dự đoán bounding boxes và các nhãn phân loại từ các feature maps mà không cần thêm bước xử lý trung gian.
e Không cần giai đoạn dé xuất vùng: Tăng tốc độ xử lý và giảm độ phức tạp của mô hình.1 SSD có thé phat hiện đa dang trong một anh - _ Kiến trúc: SSD có kiến trúc bao gồm hai phan chính: Backbone va Detector. e Backbone: Phan này thường là một mạng CNN như VGG-16 hoặc ResNet, có nhiệm vụ trích xuất các đặc trưng từ ảnh đầu vào. Các đặc trưng này bao gồm ca high-resolution features và low-resolution features. e Detector: Phan này bao gồm các extra feature layers và predic-tion layers.
Cac extra feature layers duoc thém vao sau backbone dé trích xuất các đặc trưng ở các kích thước khác nhau. Prediction layers dự đoán bounding boxes và scores cho môi lớp vật thê từ các feature maps. Extra Feature Layers VGG-16 ' _ through ConvS, 3 layer Classifier : Conv: 3x3x(4x(Classes+4)) |Ì+2] CDetlpcaions:873r2 SNuopn-rMesaxim J Ì Classifier : Conv: 3x3x(6x(Classes+4)) | _ | —!§8 |z4.amAP | s9FPS | Ệ Conv: 3x3x(4x(Classes+4)) § > Conv: 3x3x1024 Conv: tx1x1024 Conv: 1x1x256 “Com:fxixf28 Con | Conv: 3x3x512-s2 Conv: 3x3x256-s2 Com Hình 2.2 Kiến trúc chung của mô hình SSD - Lotich: e Hiệu suất cao: SSD có thé đạt được độ chính xác cao trong việc nhận diện vật thể mà vẫn duy trì được tốc độ xử lý nhanh. e Linh hoạt: SSD có thé sử dụng nhiều loại backbone khác nhau tùy theo yêu cầu về độ chính xác và tốc độ, chang hạn như MobileNet cho các ứng dung di động.
e _ Thực thi trong thời gian thực: Với tốc độ xử lý nhanh, SSD có thé được sử dụng trong các ứng dụng yêu cầu thời gian thực như xe tự lái, an ninh, và robot.