ĐẠI HOC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KY THUAT MAY TINH DUONG THÀNH DAT - 20521165 KHÓA LUẬN TÓT NGHIỆP HE THONG PHAN LOẠI VÀ PHÁT HIỆN PHƯƠNG TIEN GIAO THONG DI CHUYEN SAI LAN DUONG LANE-CHANGE VIOLATION DETECTION AND CLASSIFICATION CU NHAN NGANH KY THUAT MAY TINH GIANG VIEN HUONG DAN TS. PHAM QUOC HUNG Ths. PHAN DINH DUY TP.
HO CHÍ MINH, 2024 LOI CAM ON Lời đầu tiên, xin gửi lời cảm ơn tới TS. Pham Quốc Hùng va Ths. Phan Đình Duy đã hướng dẫn tận tình để chúng em có được định hướng tốt nhất, xác định được đúng đề tài, mục tiêu, quy trình cần thiết để xây dựng và hoàn thiện khoá luận này. Bên cạnh đó, thầy còn giúp chúng em chỉnh sửa cũng như bé sung những thiếu sót trong quá trình thực hiện.
Xin được cảm ơn quý thầy cô cũng như Trường Đại học Công nghệ thông tin đã tạo điều kiện về cơ sở vật chất, hệ thống thư viện, tài liệu cũng như kiến thức cho chúng em trong quá trình tìm hiểu và làm khoá luận. Cảm ơn hội đồng cham khoá luận đã đưa ra nhiều góp ý dé giúp hoàn thiện đề tài. Cảm ơn gia đình, người thân đã tạo động lực, điều kiện để chúng em có thé hoàn toàn tập trung và nỗ lực. Cảm on bạn bè đã giúp đỡ, hỗ trợ chúng em trong quá trình thực hiện khoá luận này.
Lí do chọn để tài. Mule đích nghiên CỨU. Pham vi nghiÊn CỨU. Hạn chế để tài.
che 4 Chương 2. Tinh hình trong nưỚC. Tình hình nước ngOÀI. Vấn đề cần giải quyết.--«eeceecreeceerreceerriirererriirrtrriiritrrirrrrrrrrrrrrrrree 8 Chương3.
Phat hiện phương tiện giao thông (Vehicle Detection). Kĩ thuật xử lý ảnh. Các van đề cơ bản trong xử lý ảnh. Phát hiện và phân loại đối tượng.
KY thuật Deep LearnIng. Phương pháp phát hiện truyền thống. Thuật toán hai bước dựa trên CÍNN. _ Thuật toán một bước dựa trên CNN.
_ Khái quát về YOLUO. Thu thập dữ liệu và nhãn cho từng dữ liệu trong YOLO. Thiết kế mạng trong mô hình YOLO. Hàm tính IOU.---c<c+LithHHHHHHHHHH He rhg 27 3.
nà HA Hà Hà HA Hà HH HA HH 28 3. Theo dõi đối tượng — Object Tracking. Cách theo dõi các đối tượng. PIA OAL nh.
Các phương pháp theo dõi đối tượng. Thuật toán Byte ITack. Phát hiện và nhận diện biển số xe bằng EasyOCR. PHÂN TÍCH VA THIẾT KẾ HỆ THỐNG.
Các bước của chương trÌnh. _ Thuật toán nhận diện và phân loại phương tIỆn. Thuật toán theo dõi đối tượng và phân biệt xe chạy sai làn đường. _ Thuật toán nhận diện và hiên thị biển số xe.eces 63 Chương 5.
KẾT QUA THỰC NGHIỆM. Thong số tong thé đánh giá độ chính xác của bài toán. Thong số nhận diện phương tiện giao thông. Thông số nhận diện biển số xe.
Ma trận nhằm lẫn.--+-ccs+++ec+ttrerEvrtrrrrEtrtrrrrrrrrrrrrrrrrrtrrrrrrrrre 72 5. Kết quả khi hoàn thiện mô hình. Ưu điểm — Nhược điểm của khóa luận. Nhược điểm.cccctttttttttttttttkkkkkkkkEEEEEEEEEEEEEErrrrtrrrrrrreeeree 78 Chương 6.
_ Các kết quả đã thực hiện được. Những đóng góp, đề xuất mới.-:-::+ececcttirteesvttrirrsserrrrrrrsrerrrree 80 Chương7. HƯỚNG PHÁT TRIỂN. Về mô hình nhận diện và phân loại xe, biỂn sỐ.
Về mô hình kết hợp nhận diện và phát hiện xe vi phạm. 81 TÀI LIEU THAM KHẢO.-----c2trtccSEEEEtrrreSEEEEEtrdrEEEEtrtrrrrrtrrrirrrrrrrrrrrrrrrr 83 DANH MỤC HÌNH Hình 2.1-1: Hệ thong camera nhận diện xe va biển số của ELCOM Việt Nam.2-1: Hệ thống nhận diện phương tiện giao thông của công ty ARH[3].1-1: Các bước cơ bản trong xử lý ản [14].e----cxeec-xrxeere 9 Hình 3.2-1: Nhận diện và phân loại đối tượng bằng bounding box.2-2: Kiến trúc Deep Nets [15] .2-3: Phương pháp nhận dang và phân loại đối tượng truyền thống [15].2-4: Ví dụ về các tính toán một đặc trưng của Haar [ 16].2-5: Hiệu suất thông số của HOG [7].2-6: Kiến trúc hệ thong thuật toán hai bước [ 1S ].2-7: Mô hình mang Fast R-CNN [LÍ7].2-8: Mô hình mang Faster R-CNN [18].2-9: Kiến trúc của thuật toán một bước CNN [15].2-10: Kiến trúc mạng Darknet của YOLO.2-11: Mô hình nhận diện của YOLO [ 19].2-12: Mô hình học sâu mạng lưới thần kinh nhân tạo.2-13: Mô hình mạng của YOLO [2 Ï ].------e«--e<xx+ere+eeexeeereeereeee 26 Hình 3.2-14: Phan giao và phần hợp bouding box [2l ].2-15: Công thức tính TOU [2 [ ].-----«-cc-ee+cxecexeserxersrsrrkererkrrrrkee 28 Hình 3.2-16: Một số hình ảnh thuộc tập dữ liệu COCO.2-17: Nhận diện xe và lOạI Xe.2-18: Tệp dữ liệu COCO.yaml cho label.2-19: Classification loss YOUO.2-20: Vi dụ tọa độ bounding box [21] .2-21: Công thức tọa độ tâm của truth bounding box [21] .2-22: Công thức tính giá trị hàm lỗi sai [2 I].-ccc----+----cces 34 Hình 3.2-23: Công thức tinh Confidence Ì/OSS.2-24: Công thức tính Total ÏLOSS.e--se¿©-eecsesesrresertsetrrssrtrsrrrkerrrree 35 Hình 3.3-1: Hình ảnh minh họa cho ByteTracking Vehicle.3-2: Các bước trong việc theo đõi đối tượng.3-3: Phương pháp của MOT [22||.e--es-cs<cceerxerkttkkrrkkrirkiriirkrrrree 38 Hình 3.3-4: Phương pháp của SORT [27] .«-ec-cecerrererrrrrrrrrrrrrrrrrrrrree 39 Hình 3. --- «sex xEExEEkttrkrtkktrrktrretrktrkrrrkrrrkrrrkrrrerirsrrkerrisee 40 Hình 3.3-6: Cách thức SORT hoạt động.3-7: Dữ liệu phân tích DEEPSORT [23] .----«c-cc-ccceeereexrxe 43 Hình 3.3-8: Cải tiến trong khả năng truy vết của DeepSort [23].3-9: Cải tiến của DEEPSORT [23].3-10: Cơ chế hoạt động của DEEPSORT [23].3-11: Hình ảnh minh họa thuật toán Byte TTracK.3-12: Hiệu suất của BYTE và SORT dưới các ngưỡng điểm khác nhau.3-13: Sử dung OpenCV đề khoanh vùng phương tiện.4-1: Trích xuất văn bản từ hình ảnh của OCR.--- + c++x++Yt++EkteEtEreEterkrerkrrrketrkerretrerrreerrree 54 Hình 3.4-3: Sơ đồ giải thuật sử dụng OCR và YOLOv§ để trích xuất văn bản.1-1: Các bước chương frÌnh.1-2: Khung ảnh của video nhận diỆn .2-1: Sơ đồ giải thuật cải tiền sau khi thử nghiệm nhận diện biển báo.2-2: Sơ đồ giải thuật thử nghiệm nhận diện biển số và xuất ra tên biên số .3-1: Tao dataset cho tập training của YOLLOV8X.3-2: Custom bang cách vẽ bounding box xung quanh các phương tiện.3-3: Các label của phương tiên được chia thành màu khác nhau.---ss set gretrrrrreie 61 Hình 4.3-5: Mô hình training của YOLOV8.3-6: File YALM chứ đường dẫn đến các tập dataset.4-1: Sử dụng OpenCV dé phân biệt làn đường .5-1: Kết quả hiện thị mong muốn khi thực hiện xong chương trình.-- << + SEE+EkEEEkEEEEEEkEEEEEEkEEEkErkerkrrrkerrerrrerrkerreeee 66 Hình 5.---s-«-+ssEL+EEEEkSEExSEEEkSEEEEEEEkEEEEkEEELkEEEkeEEEkErkerrrkerrreerrke 66 Hình 5.1-3: Biểu đồ Precision Recall CUTVe. --- << ©xerkexke+keererereereexxerree 67 Hình 5.1-4: Kết quả quá trình huấn luyện .ccc---c---Scccrrrveeeeeeeerree 67 Hình 5.1-5: Thực hiện dự đoán trên video đầu vào.-------ce-+cccccerrrreccere 68 Hình 5.1-6: Kết quả nhận diện và phân loại Xe.-----:-ce<e+ceserxerererrrsrrrrrrree 69 Hình 5.1-7: Kết qua training và các chỉ số precision, recall, pr và f1-score.1-8: Precision — Confidence CUTVe.
--s-cse+xc+teererrerrrrrtrrrrtrrrrkrrrrree 70 Hình 5.1-9: Precision — Recall CUTVe.--es-ss+cssskeEkkrrttrtrtrrrrrrrrrrirrrrrrrierrree 71 Hình 5.1-10: Recall — Confidence CurVe.3-1: Ma trận nhằm lẫn nhận diện phân loại phương tiện.3-2: Ma trận nhầm lẫn nhận diện biển số xe.4-1: Kết quả sau khi nhận diện, theo dõi và phát hiện vi phạm làn đường.4-2: Hình anh xe theo chiều về đi sai làn đường.4-3: Hình anh xe theo chiều đi di chuyên sai làn đường.4-4: Hình anh xe đi chuyên đúng làn đường và phân loại đúng.4-5: Kết quả trả về nhận diện biển báo và phân loại xe.4-6: Kết quả nhận diện xe di chuyên sai và lưu trữ biển số.5-1: Detect quá nhiều phương tiện sẽ bị nhiễu có một số kết luận sai. 79 DANH MỤC BANG Bang 1: So sánh các số liệu sử dụng trong liên kết đầu tiên và thứ hai của BYTE.50 Bảng 2: So sánh các phương pháp liên kết của bộ xác thực MOT17 và BDD100K50 Bang 3: Kết quả huấn luyện mô hình nhận diện.----ci+recccertrrreccert 68 DANH MỤC TỪ VIẾT TẮT CCTV Closed-Circuit Television ANN Artificial Neural Network SVM Support Vector Machine DNN Deep Neural Network ConvNets Convolutional Networks DCNN Deep Convolutional Neural Network BB Bounding Box CNN Convolutional Neural Network HOG Histogram of Oriented Gradients LBP Local Binary Patterns SGD Stochastic Gradient Descent IOU Intersection over Union RPN Region Proposal Network FPN Feature Pyramid Network DPM Deformable Parts Model VOC Visual Object Classes SPPNet Spatial Pyramid Pooling Network PANet Path Aggregation Network SORT Simple Online and Realtime Tracking MOT Multiple Object Tracking LSTM Long Short-Term Memory GRU Gated Recurrent Unit EKF Extended Kalman Filter VGG16 Visual Geometry Group 16-layer model Re—ID Re-Identification OCR Optical Character Recognition ISR RGB-D Image Super-Resolution RGB-Depth TOM TAT KHÓA LUẬN Hiện nay, trên nhiều tuyến đường, camera giám sát (CCTV) đã được lắp đặt nhằm ghi lại quá trình đi chuyên và đo tốc độ của xe cộ. Tuy nhiên, tình trạng không chấp hành đúng luật giao thông vẫn còn phổ biến, va lực lượng cảnh sát giao thông không thé đủ nhân lực để theo dõi và xử phạt mọi hành vi vi phạm. Do đó, việc sử dụng camera và các hệ thống giám sát tự động là cần thiết dé cải thiện tình hình này.
Nhiều nơi tại Việt Nam đã áp dụng công nghệ hỗ trợ giám sát và xử phạt, như hệ thống xử lý phạt nguội vượt đèn đỏ hay hệ thống xử lý xe chạy quá tốc độ tại TP. Hồ Chí Minh, TP. Biên Hòa, và trên quốc lộ 51. Nhóm chúng tôi đã quyết định xây dựng hệ thống phân loại va phát hiện phương tiện di chuyển sai làn đường.
Hệ thống này sẽ sử dung camera giám sát và chương trình xử lý hình ảnh để phân loại xe máy, ô tô con, xe tải, và xe buýt, ghi lại số lượng xe và lưu hình ảnh phương tiện vi phạm. Nhóm sẽ tập trung vào các tuyến đường một chiều, với làn xe được phân tách bởi các hình chữ nhật màu khác nhau. Việc nhận diện phương tiện gồm hai quá trình: phát hiện và nhận dạng loại phương tiện. Đề tài sẽ áp dụng kiến thức cơ bản trong xử lý ảnh và học máy, nhằm hoàn thiện chương trình phân loại và phát hiện xe di chuyển sai làn đường.
Các phương tiện nghiên cứu bao gồm video từ camera giao thông và các phương pháp phát hiện, truy vết (tracking) và xác định đối tượng trong vùng quan sát. Phạm vi nghiên cứu bao gồm: xe ô tô con, ô tô khách, xe tải và xe máy với điều kiện ánh sáng đầy đủ. Nhóm sẽ tham khảo các nghiên cứu về phân loại và theo dõi vật thé, thị giác máy tính, học máy và học sâu, thu thập dữ liệu video từ các ứng dụng camera giao thông tại Việt Nam, và hiện thực chương trình hệ thống. Nhóm sử dụng phương pháp YOLOv8 cho việc nhận diện và phát hiện phương tiện, thuật toán ByteTracking dé truy vết và theo dõi phương tiện.
SVM sẽ được sử dụng cho nhận dạng phương tiện, vì không tốn nhiều tài nguyên như các bộ phân loại học sâu, phù hợp với máy tính cau hình hạn chế. YOLOv§ có khả năng phát hiện đối tượng ở nhiều tỷ lệ khác nhau nhờ vào mạng kim tự tháp đặc trưng, cho phép phát hiện các vật thê lớn và nhỏ trong một hình ảnh. Kết quả nhận diện sẽ giúp CCTV phát hiện và chụp lại hình ảnh các phương tiện di chuyền sai làn đường. Lí do chọn đề tài Hiện nay, tai nạn giao thông chiếm tỉ lệ khá cao, người tham gia giao thông như xe máy chiếm 21% tổng số nạn nhân tử vong do tai nạn giao thông toàn cầu và có xu hướng gia tăng ở một số khu vực, nhất là Đông Nam Á, Nam Á, châu Phi và Mỹ La- Tinh [1].