Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng vi phạm giao thông

Luận văn thạc sĩ công nghệ thông tin nghiên cứu ứng dụng máy học trong phân tích hình ảnh và nhận dạng vi phạm giao thông đường bộ.

• Tác giả: Đỗ Hữu Hiền
• Người hướng dẫn: TS. Phan Ngọc Hoàng
• Trường học: Trường Đại Học Bà Rịa - Vũng Tàu
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Ứng Dụng Kỹ Thuật Máy Học Để Phân Tích Hình Ảnh Và Nhận Dạng Vi Phạm Giao Thông
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Bà Rịa - Vũng Tàu

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC HÌNH
• DANH MỤC BẢNG
• MỞ ĐẦU
• Tính cấp thiết của đề tài
• MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI, NỘI DUNG VÀ HƯỚNG NGHIÊN CỨU
• Mục tiêu của đề tài
• Nội dung nghiên cứu
• Về nội dung
• Về mặt lý thuyết
• Về mặt thực nghiệm
• Phương pháp luận và phương pháp nghiên cứu
• TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU
• Những hướng nghiên cứu đã được thực hiện
• Những kết quả nghiên cứu đã áp dụng vào thực tế
• Những phương pháp nghiên cứu đã được áp dụng trên thế giới và Việt Nam
• Một số vấn đề còn hạn chế của những nghiên cứu trước và những vấn đề cần được tiếp tục nghiên cứu hoàn thiện
• Một số vấn đề còn hạn chế của những nghiên cứu trước
• Những vấn đề cần được tiếp tục nghiên cứu hoàn thiện
• CẤU TRÚC LUẬN VĂN
• 1. CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN VÀ PHÂN TÍCH BÀI TOÁN
• 1.1. Các khái niệm, tổng quan về trí tuệ nhân tạo, học máy, các giải thuật về học máy và kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng
• 1.1.1. Khái niệm chung [6-9, 16, 17, 31]
• 1.1.1.1. Trí tuệ nhận tạo (AI-Artificial Intelligence)
• 1.1.1.2. Mạng nơ-ron nhân tạo (Artificial Neural Network)
• 1.1.2. Tổng quan về trí tuệ nhân tạo [6-9, 21]
• 1.1.2.1. Trí tuệ nhân tạo
• 1.1.2.2. Ứng dụng trí tuệ nhân tạo trong hiện tại và tương lai
• 1.1.3. Tổng quan về máy học [6-9, 16-17, 21-23]
• 1.1.3.1. Ứng dụng học máy
• 1.1.3.2. Các phương thức về máy học
• 1.1.4. Các giải thuật về máy học [16-17, 21-23]
• 1.1.4.1. Giải thuật Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN)
• 1.1.4.2. Giải thuật dựa vào thể thức (K-nearest neighbors - KNN)
• 1.1.4.3. Giải thuật cây quyết định (Decision tree)
• 1.1.4.4. Giải thuật Random forest (RF)
• 1.1.4.5. Giải thuật máy hỗ trợ vector (Support vector machine - SVM)
• 1.1.4.6. Giải thuật Naive Bayes (NB)
• 1.1.4.7. Giải thuật phân cụm K-means clustering
• 1.1.5. Kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng [16-17, 21-23, 26-27]
• 1.1.5.1. Kỹ thuật phát hiện đối tượng kết hợp nhận dạng khuôn mặt (Viola Jones – Haar)
• 1.1.5.2. Kỹ thuật biến đổi đặc trưng bất biến theo tỷ lệ (Scale-invariant feature transform - SIFT)
• 1.1.5.3. Kỹ thuật biểu đồ độ dốc định hướng (Histogram of oriented gradients -HOG)
• 1.1.6. Kỹ thuật học sâu để nhận dạng và phân loại đối tượng [16-21]
• 1.1.6.1. Kỹ thuật mạng nơ-ron tích chập
• 1.1.6.2. Kỹ thuật tìm kiếm xác định vị trí vật thể trong ảnh sử dụng mạng CNN [35- 36]
• 1.1.7. Nhận xét, đánh giá và lựa chọn kỹ thuật áp dụng cho bài toán nhận dạng phân loại đối tượng
• 1.2. Tổng quan về giao thông. Đối tượng tham gia giao thông
• 1.2.1. Tổng quan về thực trạng giao thông
• 1.2.2. Phương pháp phát hiện, nhận dạng đối tượng tham gia giao thông [1, 29-30]
• 1.2.2.1. Nhận dạng phân loại đối tượng tham gia giao thông
• 1.2.3. Khái niệm về hệ thống nhận dạng biển số xe
• 1.2.3.1. Lịch sử và phát triển
• 1.2.3.2. Cách thức hoạt động của hệ thống nhận dạng biển số xe
• 1.2.3.3. Phân loại các ứng dụng nhận dạng biển số xe
• 1.2.3.4. Ứng dụng thực tiễn tại Việt Nam
• 1.2.3.5. Phân loại biển số xe
• 1.2.4. Phương pháp nhận dạng biển số xe từ ảnh chụp của thiết bị ghi hình
• 1.2.4.1. Phương pháp chuyển đổi Hough
• 1.2.4.2. Phương pháp hình thái học
• 1.2.4.3. Phương pháp nhận dạng ký tự trong biển số xe
• 1.2.5. Một số đặc điểm để nhận dạng biển số xe tại Việt Nam
• 2. CHƯƠNG 2: ÁP DỤNG YOLOV3 CHO BÀI TOÁN PHÁT HIỆN, NHẬN DẠNG ĐỐI TƯỢNG THAM GIA GIAO THÔNG VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG BỘ
• 2.1. Kỹ thuật đề xuất áp dụng cho bài toán
• 2.1.1. Kỹ thuật áp dụng mạng nơ-ron tích chập (Faster R-CNN)
• 2.1.2. Kỹ thuật áp dụng nhìn một lần [32-34]
• 2.2. Mô hình và chức năng hệ thống đề xuất áp dụng cho bài toán
• 2.2.1. Địa điểm áp dụng thử nghiệm mô hình cho bài toán
• 2.2.2. Thiết kế mô hình lắp đặt hệ thống cho bài toán
• 2.2.2.1. Thiết kế hệ thống trụ đỡ
• 2.2.2.2. Hệ thống Camera
• 2.2.3. Thiết kế mô hình kết nối hệ thống xử lý bài toán
• 2.2.4. Sơ đồ tổng quan hệ thống áp dụng cho bài toán
• 2.3. Hệ thống xử lý ảnh, phát hiện và nhận diện đối tượng
• 2.3.1. Quy trình xử lý ảnh áp dụng cho bài toán
• 2.3.2. Quy trình phát hiện, nhận dạng và phân loại đối tượng
• 2.3.3. Quy trình phát hiện, nhận dạng biển số xe
• 3. CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Xây dựng chương trình thực nghiệm
• 3.1.1. Cài đặt chương trình chạy [35]
• 3.1.1.1. Cài đặt thư viện mã nguồn mở Opencv
• 3.1.1.2. Cài đặt thư viện CUDA
• 3.1.1.3. Cài đặt thư viện cuDNN
• 3.1.1.4. Mô tả cài đặt thư viện
• 3.1.1.5. Chạy chương trình
• 3.2. Quy trình huấn luyện và nhận dạng đối tượng vật thể
• 3.3. Quy trình huấn luyện và nhận dạng hành vi vi phạm chở quá số người quy định
• 3.4. Quy trình huấn luyện và nhận dạng hành vi vi phạm không đội mũ bảo hiểm
• 3.5. Quy trình huấn luyện và nhận diện biển số xe của đối tượng tham gia giao thông
• KẾT LUẬN VÀ KIẾN NGHỊ
• Kiến nghị và hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu ứng dụng máy học trong phân tích hình ảnh

Nghiên cứu ứng dụng máy học trong phân tích hình ảnh và nhận dạng vi phạm giao thông đang trở thành một lĩnh vực quan trọng trong công nghệ thông tin. Sự phát triển của học sâu và các thuật toán máy học đã mở ra nhiều cơ hội mới cho việc cải thiện an toàn giao thông. Các hệ thống giám sát giao thông hiện nay có thể tự động phát hiện và phân loại các hành vi vi phạm, từ đó giúp giảm thiểu tai nạn và nâng cao hiệu quả quản lý giao thông.

1.1. Khái niệm về máy học và phân tích hình ảnh

Máy học là một nhánh của trí tuệ nhân tạo, cho phép máy tính học hỏi từ dữ liệu mà không cần lập trình cụ thể. Phân tích hình ảnh là quá trình xử lý và phân tích các hình ảnh để trích xuất thông tin hữu ích. Sự kết hợp giữa hai lĩnh vực này đã tạo ra những bước tiến vượt bậc trong việc nhận diện và phân tích các hành vi vi phạm giao thông.

1.2. Lịch sử phát triển của công nghệ nhận dạng vi phạm giao thông

Công nghệ nhận dạng vi phạm giao thông đã có từ những năm 1990, nhưng chỉ thực sự phát triển mạnh mẽ trong thập kỷ qua nhờ vào sự tiến bộ của học sâu và thuật toán máy học. Các hệ thống hiện nay có khả năng nhận diện biển số xe, phát hiện hành vi vi phạm như không đội mũ bảo hiểm hay chở quá số người quy định.

II. Thách thức trong việc ứng dụng máy học vào nhận dạng vi phạm giao thông

Mặc dù có nhiều tiềm năng, việc ứng dụng máy học trong nhận dạng vi phạm giao thông vẫn gặp phải nhiều thách thức. Các vấn đề như độ chính xác của mô hình, chất lượng dữ liệu đầu vào và khả năng xử lý thời gian thực là những yếu tố cần được giải quyết. Đặc biệt, việc thu thập và xử lý dữ liệu từ các nguồn khác nhau cũng là một thách thức lớn.

2.1. Độ chính xác của mô hình nhận dạng

Độ chính xác của các mô hình nhận dạng vi phạm giao thông phụ thuộc vào chất lượng dữ liệu huấn luyện. Nếu dữ liệu không đầy đủ hoặc không chính xác, mô hình sẽ không thể hoạt động hiệu quả. Việc cải thiện độ chính xác là một trong những ưu tiên hàng đầu trong nghiên cứu này.

2.2. Khả năng xử lý thời gian thực

Một thách thức lớn khác là khả năng xử lý dữ liệu trong thời gian thực. Các hệ thống cần phải nhanh chóng phân tích và đưa ra quyết định để có thể phát hiện vi phạm ngay lập tức. Điều này đòi hỏi các thuật toán phải được tối ưu hóa để hoạt động hiệu quả trên các thiết bị có hạn chế về tài nguyên.

III. Phương pháp chính trong nghiên cứu ứng dụng máy học

Nghiên cứu ứng dụng máy học trong phân tích hình ảnh và nhận dạng vi phạm giao thông sử dụng nhiều phương pháp khác nhau. Các thuật toán như Mạng nơ-ron tích chập (CNN), YOLO và HOG đã được áp dụng để phát hiện và phân loại các đối tượng trong hình ảnh. Những phương pháp này cho phép hệ thống nhận diện chính xác và nhanh chóng các hành vi vi phạm.

3.1. Ứng dụng Mạng nơ ron tích chập CNN

Mạng nơ-ron tích chập (CNN) là một trong những phương pháp phổ biến nhất trong phân tích hình ảnh. CNN có khả năng tự động trích xuất đặc trưng từ hình ảnh, giúp cải thiện độ chính xác trong việc nhận diện các đối tượng tham gia giao thông.

3.2. Giải thuật YOLO trong nhận dạng vi phạm

Giải thuật YOLO (You Only Look Once) cho phép phát hiện và nhận diện đối tượng trong thời gian thực. Với khả năng xử lý nhanh chóng, YOLO đã trở thành một công cụ mạnh mẽ trong việc phát hiện các hành vi vi phạm giao thông như vượt đèn đỏ hay chạy quá tốc độ.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu

Nghiên cứu đã chỉ ra rằng việc ứng dụng máy học trong nhận dạng vi phạm giao thông đã mang lại nhiều kết quả tích cực. Các hệ thống giám sát giao thông hiện đại có thể phát hiện và xử lý các hành vi vi phạm một cách hiệu quả, từ đó giảm thiểu tai nạn và nâng cao an toàn giao thông. Các ứng dụng này đã được triển khai tại nhiều thành phố lớn trên thế giới.

4.1. Kết quả thực nghiệm tại Việt Nam

Tại Việt Nam, một số dự án đã áp dụng thành công công nghệ nhận dạng vi phạm giao thông. Các hệ thống này không chỉ giúp phát hiện vi phạm mà còn cung cấp dữ liệu cho các cơ quan chức năng để cải thiện quản lý giao thông.

4.2. Tác động đến an toàn giao thông

Việc ứng dụng công nghệ máy học đã giúp giảm thiểu đáng kể số vụ tai nạn giao thông. Các hệ thống giám sát tự động đã chứng minh hiệu quả trong việc phát hiện và xử lý các hành vi vi phạm, từ đó nâng cao ý thức của người tham gia giao thông.

V. Kết luận và tương lai của nghiên cứu

Nghiên cứu ứng dụng máy học trong phân tích hình ảnh và nhận dạng vi phạm giao thông đang mở ra nhiều triển vọng mới. Với sự phát triển không ngừng của công nghệ, các hệ thống này sẽ ngày càng hoàn thiện và hiệu quả hơn. Tương lai của giao thông thông minh sẽ phụ thuộc vào khả năng áp dụng các công nghệ mới để cải thiện an toàn và hiệu quả giao thông.

5.1. Hướng phát triển trong tương lai

Trong tương lai, việc tích hợp các công nghệ mới như Internet of Things (IoT) và dữ liệu lớn sẽ giúp nâng cao khả năng nhận diện và phân tích vi phạm giao thông. Các hệ thống sẽ trở nên thông minh hơn, có khả năng tự động điều chỉnh và tối ưu hóa quy trình quản lý giao thông.

5.2. Tầm quan trọng của nghiên cứu tiếp theo

Nghiên cứu tiếp theo cần tập trung vào việc cải thiện độ chính xác và khả năng xử lý của các mô hình máy học. Việc phát triển các thuật toán mới và tối ưu hóa quy trình sẽ là chìa khóa để nâng cao hiệu quả của các hệ thống nhận dạng vi phạm giao thông trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Theo báo cáo của Liên Hợp Quốc, hiện nay khoảng 54,6% dân số thế giới (tương đương 3,6 tỷ người) đang sinh sống tại các khu vực đô thị và con số này dự kiến sẽ vượt mức 70% vào năm 2050. Quá trình đô thị hóa nhanh chóng tại Việt Nam nói chung và tỉnh Bà Rịa - Vũng Tàu nói riêng đã tạo ra áp lực nặng nề lên hạ tầng giao thông. Thống kê tại tỉnh Bà Rịa - Vũng Tàu đến cuối tháng 9/2020 ghi nhận 285 vụ tai nạn giao thông, làm 120 người chết và 213 người bị thương. Mặc dù số vụ đã giảm so với cùng kỳ năm 2018 (giảm 2 vụ tai nạn và 6 người chết), tình trạng vi phạm trật tự an toàn giao thông vẫn diễn biến hết sức phức tạp do ý thức chấp hành của người tham gia giao thông còn hạn chế.

Trước yêu cầu cấp thiết về việc hiện đại hóa công tác quản trị đô thị theo tinh thần Nghị quyết số 52-NQ/TW của Bộ Chính trị về Cách mạng công nghiệp lần thứ tư và Nghị quyết số 112/NQ-HĐND tỉnh Bà Rịa - Vũng Tàu về phát triển đô thị thông minh giai đoạn 2020-2022, định hướng đến 2030, việc xây dựng hệ thống giám sát tự động là ưu tiên hàng đầu.

Luận văn tập trung giải quyết bài toán tự động phát hiện, phân tích hình ảnh và nhận dạng phương tiện vi phạm Luật giao thông đường bộ theo thời gian thực tại các nút giao thông trọng điểm. Mục tiêu cụ thể là xây dựng mô hình học máy ứng dụng thuật toán YOLOv3 nhằm nhận dạng chính xác hai hành vi vi phạm phổ biến: không đội mũ bảo hiểm khi điều khiển xe mô tô, xe gắn máy và chở quá số người quy định, kết hợp nhận diện biển số xe vi phạm.

Nghiên cứu được triển khai thực nghiệm tại nút giao lộ đường Huỳnh Minh Thạnh và đường 27/4 thuộc thị trấn Phước Bửu, huyện Xuyên Mộc, tỉnh Bà Rịa - Vũng Tàu trong giai đoạn 2020 - 2021. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi hỗ trợ lực lượng chức năng phát hiện vi phạm với tốc độ xử lý đạt 45 khung hình/giây, giảm tải trên 50% khối lượng tuần tra thủ công và nâng cao tỷ lệ xử phạt chính xác dựa trên bằng chứng kỹ thuật số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng của các lý thuyết xử lý ảnh và học sâu (Deep Learning) hiện đại trong lĩnh vực thị giác máy tính:

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Đây là kiến trúc cốt lõi giúp tự động trích xuất các đặc trưng không gian đa cấp độ từ ảnh kỹ thuật số thông qua các lớp tích chập (Convolutional Layer) và lớp gộp (Max-pooling Layer), thay thế cho các phương pháp trích xuất thủ công truyền thống như SIFT hay HOG.
• Thuật toán nhận dạng nhìn một lần (You Only Look Once - YOLOv3): Mô hình hồi quy không gian trực tiếp dự đoán đồng thời tọa độ khung bao (Bounding Box) và xác suất phân loại lớp đối tượng chỉ qua một lần lan truyền tiến, sử dụng mạng nền tảng Darknet-53 với 53 lớp tích chập kết hợp liên kết phần dư (Residual Connections).
• Thuật toán phân cụm K-Means (K-Means Clustering): Ứng dụng để tự động tính toán và tối ưu hóa kích thước các khung mẫu neo (Anchor Boxes) ban đầu dựa trên tập dữ liệu thực tế, giúp tăng chỉ số giao thoa trên hợp (Intersection over Union - IoU).
• Các khái niệm chuyên ngành cốt lõi: Quá trình nghiên cứu vận dụng sâu sắc các khái niệm về Độ chính xác trung bình (mAP), Hàm mất mát đa nhiệm (Multi-part Loss Function), Phép biến đổi hình thái học (Morphological Operations) và Nhận dạng ký tự quang học (OCR).

Phương pháp nghiên cứu

Nghiên cứu kết hợp chặt chẽ giữa phương pháp nghiên cứu lý thuyết và thực nghiệm hệ thống:

• Nguồn dữ liệu và kích thước mẫu: Bộ dữ liệu thực nghiệm bao gồm 500 mẫu hình ảnh phương tiện giao thông thực tế được thu thập từ camera quan sát tại hiện trường để huấn luyện nhận dạng vùng biển số, cùng với 22 tập chuỗi video ghi nhận các tình huống vi phạm về mũ bảo hiểm và 10 tập mẫu tình huống chở quá số người quy định.
• Phương pháp chọn mẫu: Tác giả áp dụng phương pháp lấy mẫu có chủ đích, bao phủ đa dạng các điều kiện góc chụp phương tiện (trong phạm vi góc dưới 40 độ), mật độ phương tiện từ thưa thớt đến đông đúc và các điều kiện thời tiết khác nhau.
• Lý do lựa chọn phương pháp phân tích: Luận văn lựa chọn kiến trúc YOLOv3 kết hợp với thư viện OpenCV, CUDA và cuDNN trên hệ điều hành Ubuntu. Lý do chính là YOLOv3 khắc phục triệt để nhược điểm tốc độ chậm của các thuật toán hai giai đoạn như Faster R-CNN (vốn chỉ đạt 7 đến 15 khung hình/giây), đáp ứng trọn vẹn yêu cầu xử lý luồng video giám sát thời gian thực với tốc độ lên đến 45 khung hình/giây.
• Quy trình nghiên cứu: Được thực hiện theo quy trình chuẩn từ tháng 9/2020 đến tháng 4/2021, trải qua 4 giai đoạn: khảo sát thực địa và thiết kế mô hình trụ camera; thu thập và gán nhãn tập dữ liệu chuẩn; huấn luyện mạng học sâu; kiểm thử, đánh giá độ chính xác và tích hợp phần mềm xuất biên bản vi phạm qua giao diện website.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và thử nghiệm hệ thống trên tập dữ liệu giao thông thực tế đã mang lại các phát hiện khoa học và kỹ thuật nổi bật:

• Tốc độ xử lý vượt trội trong thời gian thực: Thuật toán YOLOv3 duy trì tốc độ xử lý ổn định ở mức 30 đến 45 khung hình/giây, nhanh gấp khoảng 3 lần so với mô hình Faster R-CNN và tối ưu hóa hơn 60% thời gian xử lý so với các thuật toán trích xuất Haar Cascades kết hợp máy học truyền thống.
• Độ chính xác cao trong nhận diện không đội mũ bảo hiểm: Trên tập mẫu 22 chuỗi ảnh vi phạm, hệ thống nhận diện chính xác người điều khiển và người ngồi sau không đội mũ bảo hiểm với tỷ lệ chính xác đạt khoảng 92,5%, phân biệt rõ ràng giữa mũ bảo hiểm đạt chuẩn với các loại mũ lưỡi trai hoặc tóc người.
• Khả năng đếm và phân loại hành vi chở quá số người: Qua kiểm nghiệm trên 10 chuỗi dữ liệu thực nghiệm, mô hình đếm số lượng người ngồi trên cùng một khung xe máy với độ chính xác đạt trên 89%, kịp thời cảnh báo các trường hợp chở từ 3 người trở lên.
• Hiệu quả phân vùng và nhận dạng biển số xe: Phương pháp hình thái học kết hợp mạng tích chập đạt tỷ lệ phát hiện vùng biển số đúng trên 88% đối với 500 mẫu ảnh đầu vào, đảm bảo đọc rõ các ký tự chữ và số khi góc nghiêng của camera không vượt quá 40 độ.

Thảo luận kết quả

Khả năng phân loại và nhận diện vượt trội của hệ thống xuất phát từ việc mạng Darknet-53 áp dụng các phép liên kết tắt (Shortcut Connections) tương tự như ResNet, giúp giải quyết triệt để hiện tượng suy giảm đạo hàm (Vanishing Gradient) trong quá trình huấn luyện mạng nơ-ron sâu. Hơn nữa, việc dự đoán đối tượng ở 3 tỷ lệ xích khác nhau (Feature Maps đa quy mô) giúp YOLOv3 phát hiện rất tốt các đối tượng có kích thước nhỏ như biển số xe máy và vùng đầu người tham gia giao thông.

So sánh với các nghiên cứu trước đây tại Việt Nam sử dụng SVM tuyến tính hoặc bộ lọc Haar đơn thuần, mô hình của luận văn thể hiện sự ổn định vượt bậc khi môi trường xuất hiện bóng đổ hoặc các phương tiện di chuyển đan xen sát nhau.

Dữ liệu kết quả thực nghiệm của nghiên cứu có thể được hệ thống hóa qua bảng so sánh hiệu năng và biểu đồ ma trận nhầm lẫn (Confusion Matrix):

Phương pháp nhận dạng	Tốc độ xử lý (FPS)	Độ chính xác nhận diện mũ bảo hiểm (%)	Độ chính xác phát hiện biển số (%)
Haar Cascade + SVM	12 - 18	Khoảng 72,0%	Khoảng 68,5%
Faster R-CNN	7 - 14	Khoảng 94,2%	Khoảng 90,1%
YOLOv3 (Đề xuất)	30 - 45	Khoảng 92,5%	Khoảng 88,0%

Biểu đồ so sánh cho thấy YOLOv3 tạo ra điểm cân bằng tối ưu nhất giữa tốc độ trích xuất khung hình và độ chính xác phân lớp đối tượng. Tuy nhiên, kết quả cũng chỉ ra một số hạn chế: độ chính xác của hệ thống giảm khoảng 15% đến 20% khi ghi hình vào ban đêm không có đèn trợ sáng hoặc khi góc nghiêng camera vượt quá 40 độ khiến biển số bị méo mó hình học.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 giải pháp trọng tâm nhằm nâng cao năng lực ứng dụng công nghệ giám sát giao thông thông minh:

• Nâng cấp phần cứng và hệ thống camera hồng ngoại chuyên dụng: Sở Giao thông Vận tải phối hợp cùng Công an tỉnh triển khai lắp đặt cụm camera độ phân giải 4K tích hợp cảm biến ban đêm và đèn flash hồng ngoại tại các nút giao trọng điểm, mục tiêu nâng tỷ lệ nhận diện vi phạm ban đêm từ 70% lên trên 90%, hoàn thành trong giai đoạn 2022-2024.
• Tối ưu hóa thuật toán và triển khai xử lý biên (Edge AI): Nhóm kỹ sư công nghệ thông tin tiến hành nén mô hình YOLOv3 và tích hợp lên các thiết bị phần cứng nhúng đặt trực tiếp tại tủ điều khiển giao lộ, rút ngắn thời gian phản hồi cảnh báo xuống dưới 100 mili-giây, thực hiện trong vòng 6 đến 12 tháng.
• Mở rộng bộ dữ liệu huấn luyện lên trên 10.000 mẫu đa dạng: Cơ sở nghiên cứu tiếp tục thu thập và dán nhãn thêm 10.000 hình ảnh bao quát các hình thái thời tiết cực đoan như sương mù, mưa bão và các loại biển số màu vàng, màu đỏ đặc thù tại Việt Nam, hướng đến mục tiêu đạt độ chính xác toàn diện trên 95% trước năm 2025.
• Xây dựng cổng thông tin quản lý và tự động hóa quy trình phạt nguội: Cơ quan quản lý nhà nước đưa vào vận hành hệ thống phần mềm nền tảng web kết nối trực tiếp cơ sở dữ liệu đăng kiểm phương tiện, tự động in biên bản xử phạt trong vòng 24 giờ kể từ thời điểm phát hiện vi phạm, thí điểm trong giai đoạn 2023-2025.

Đối tượng nên tham khảo luận văn

Nội dung và giải pháp kỹ thuật của luận văn đem lại giá trị tham khảo thiết thực cho nhiều nhóm đối tượng:

• Lực lượng Cảnh sát Giao thông và Ban Quản lý An toàn Giao thông: Nắm bắt quy trình tự động hóa giám sát giao thông, ứng dụng dữ liệu hình ảnh kỹ thuật số làm căn cứ pháp lý xử phạt chính xác, giúp giảm thiểu hơn 50% thời gian tuần tra trực tiếp trên các tuyến quốc lộ huyết mạch như QL51, QL55, QL56.
• Kỹ sư phần mềm và chuyên gia phát triển hệ thống AI/Computer Vision: Tham khảo kiến trúc mạng Darknet, phương pháp chuẩn hóa dữ liệu, giải thuật trích xuất biển số xe máy Việt Nam và cách thức kết nối thư viện OpenCV, CUDA, cuDNN vào bài toán thực tế.
• Học viên cao học, sinh viên ngành Công nghệ thông tin và Khoa học máy tính: Sử dụng làm tài liệu học thuật mẫu mực về cấu trúc một đề tài nghiên cứu ứng dụng học sâu trong thị giác máy tính, từ khâu xây dựng lý thuyết đến thiết kế thực nghiệm.
• Các đơn vị tư vấn và quy hoạch đô thị thông minh: Khai thác các mô hình kết nối trạm giám sát giao lộ, kiến trúc lưu trữ đám mây và giải pháp truyền thông 3G/4G để lập đề án xây dựng Trung tâm điều hành thông minh (IOC) cấp tỉnh, thành phố.

Câu hỏi thường gặp

Tại sao luận văn lại lựa chọn thuật toán YOLOv3 thay vì mô hình Faster R-CNN?

Thuật toán YOLOv3 tiếp cận bài toán phát hiện đối tượng dưới dạng bài toán hồi quy đơn nhất, dự đoán trực tiếp tọa độ khung bao và phân lớp cùng lúc. Nhờ vậy, YOLOv3 đạt tốc độ xử lý từ 30 đến 45 khung hình/giây, hoàn toàn đáp ứng yêu cầu xử lý luồng video thời gian thực tại các giao lộ giao thông, trong khi Faster R-CNN chỉ đạt 7 đến 14 khung hình/giây.

Hệ thống xử lý như thế nào khi biển số xe bị che khuất hoặc góc quan sát bị nghiêng?

Nghiên cứu chỉ ra rằng hệ thống hoạt động ổn định nhất khi góc nghiêng của camera so với biển số xe nằm trong phạm vi dưới 40 độ. Khi góc nghiêng vượt quá 40 độ hoặc biển số bị biến dạng, tỷ lệ nhận dạng ký tự giảm sút đáng kể. Để khắc phục, hệ thống cần bổ sung thuật toán cân chỉnh phối cảnh hình học và lắp đặt camera ở độ cao tiêu chuẩn.

Quy mô tập dữ liệu được sử dụng để huấn luyện và đánh giá mô hình là bao nhiêu?

Tác giả đã xây dựng bộ dữ liệu thực nghiệm bao gồm 500 mẫu ảnh chụp phương tiện giao thông thực tế nhằm huấn luyện nhận dạng vị trí biển số, kết hợp với 22 tập mẫu ảnh tình huống vi phạm mũ bảo hiểm và 10 tập mẫu vi phạm chở quá số người quy định để kiểm thử tính năng theo dõi vi phạm động.

Giải pháp nào giúp cải thiện khả năng phát hiện phương tiện vào ban đêm?

Vào ban đêm, chất lượng ảnh chụp suy giảm do thiếu sáng và ánh đèn pha phản chiếu. Luận văn khuyến nghị giải pháp kết hợp phần cứng camera có đèn trợ sáng hồng ngoại chuyên dụng cùng các giải pháp tiền xử lý ảnh nâng cao như cân bằng lược đồ xám (Histogram Equalization) để tăng độ tương phản của vùng biển số.

Hệ thống có thể phát hiện được các lỗi vi phạm nào theo Luật giao thông đường bộ?

Hệ thống được thiết kế chuyên biệt để tự động phát hiện 2 hành vi vi phạm phổ biến của người đi xe mô tô, xe gắn máy gồm: chở quá số người quy định (từ 3 người trở lên) và không đội mũ bảo hiểm hoặc đội mũ không đúng quy cách, đồng thời tự động trích xuất biển số phương tiện vi phạm làm bằng chứng xử phạt.

Kết luận

• Luận văn đã xây dựng thành công mô hình học sâu ứng dụng thuật toán YOLOv3 để nhận dạng phương tiện và hành vi vi phạm trật tự an toàn giao thông đường bộ theo thời gian thực tại giao lộ thực tế.
• Tốc độ xử lý của hệ thống đạt mức 30 đến 45 khung hình/giây, hoàn toàn đáp ứng tiêu chuẩn khắt khe của hệ thống giao thông thông minh thời gian thực trên các luồng video camera độ nét cao.
• Độ chính xác phát hiện hành vi không đội mũ bảo hiểm đạt khoảng 92,5% và nhận diện chở quá số người quy định đạt trên 89%, đồng thời trích xuất biển số xe với độ chính xác trên 88% trong điều kiện góc chụp chuẩn.
• Đóng góp quan trọng của đề tài là việc số hóa toàn diện quy trình giám sát giao thông, tích hợp thành công phần mềm quản lý và xuất dữ liệu biên bản vi phạm trực tiếp qua giao diện website phục vụ công tác phạt nguội.
• Để nhân rộng hệ thống ra toàn địa bàn tỉnh Bà Rịa - Vũng Tàu trong lộ trình 2025-2030, các đơn vị quản lý cần tiếp tục đầu tư mở rộng tập dữ liệu lên trên 10.000 mẫu và nâng cấp hạ tầng camera AI chuyên dụng tại tất cả các điểm đen giao thông.

Trích đoạn nội dung tài liệu

Đặt vấn đề Ngày nay, công nghệ thông tin là một trong những lĩnh vực quan trọng góp phần thúc đẩy sự phát triển kinh tế của đất nước. Ứng dụng của công nghệ thông tin (CNTT) xuất hiện ở rất nhiều lĩnh vực, là nền tảng của các nghiên cứu về công nghệ cao như khoa học vũ trụ, công nghệ điện tử và tự động hóa, các hệ thống thông minh,. Khi Internet ra đời vào những năm 90, nó đã kết nối thông tin trên toàn thế giới lại với nhau. Chúng ta chỉ cần ngồi bất cứ nơi đâu với máy tính được kết nối mạng là có thể truy nhập thông tin về bất cứ lĩnh vực gì trên thế giới.

Tại Việt Nam, từ những năm 70 của thế kỷ 20 đã bắt đầu có các nghiên cứu về máy tính cũng như những ứng dụng về CNTT. Hiện nay CNTT luôn được xác định là lĩnh vực then chốt được đầu tư không những hiện đại hóa cơ sở hạ tầng mà còn là việc ứng dụng sâu rộng vào các lĩnh vực khác của đời sống xã hội [1]. Nghị quyết số 36-NQ/TW ngày 01/7/2014 của Bộ Chính trị về đẩy mạnh ứng dụng, phát triển CNTT đáp ứng yêu cầu phát triển bền vững và hội nhập quốc tế tiếp tục khẳng định sự quan tâm chỉ đạo sát sao của Đảng đối với công tác ứng dụng, phát triển CNTT, khẳng định vị trí, vai trò của CNTT trong sự nghiệp xây dựng và bảo vệ Tổ quốc thời kỳ mới. Và là một văn bản rất quan trọng, là định hướng xuyên suốt cho chiến lược ứng dụng và phát triển CNTT và truyền thông từ nay đến năm 2030, là tiền đề quan trọng để CNTT Việt Nam phát triển mạnh mẽ, sâu rộng hơn, đề ra những định hướng lớn cho sự phát triển ngành CNTT nước nhà trong khoảng 10 - 20 năm tới.

Đến năm 2030, đưa năng lực nghiên cứu, ứng dụng, phát triển, sản xuất và cung ứng sản phẩm, dịch vụ CNTT đạt trình độ tiên tiến thế giới; Việt Nam trở thành quốc gia mạnh về CNTT trong khu vực. Ngày 27/09/2019 Bộ Chính trị ban hành Nghị quyết số 52-NQ/TW về một số chủ trương, chính sách chủ động tham gia cuộc Cách mạng công nghiệp lần thứ tư (CMCN 4.0) với quan điểm chủ động, tích cực tham gia cuộc Cách mạng công nghiệp lần thứ tư là yêu cầu tất yếu khách quan; là nhiệm vụ có ý nghĩa chiến lược đặc biệt quan trọng, vừa cấp bách vừa lâu dài của cả hệ thống chính trị và toàn xã hội, gắn chặt với quá trình hội nhập quốc tế sâu rộng; đồng thời nhận thức đầy đủ, đúng đắn về nội hàm, bản chất của cuộc Cách mạng công nghiệp lần thứ tư để quyết tâm đổi mới tư 14 duy và hành động, coi đó là giải pháp đột phá với bước đi và lộ trình phù hợp là cơ hội để Việt Nam bứt phá trong phát triển kinh tế - xã hội. Xác định mục tiêu đến năm 2030, Việt Nam chúng ta duy trì xếp hạng về chỉ số Đổi mới sáng tạo toàn cầu (GII) thuộc nhóm 40 nước dẫn đầu thế giới. Mạng di động 5G phủ sóng toàn quốc; mọi người dân được truy cập Internet băng thông rộng với chi phí thấp.

Kinh tế số chiếm trên 30% GDP; năng suất lao động tăng bình quân khoảng 7,5%/năm. Hoàn thành xây dựng Chính phủ số. Hình thành một số chuỗi đô thị thông minh tại các khu vực kinh tế trọng điểm phía Bắc, phía Nam và miền Trung; từng bước kết nối với mạng lưới đô thị thông minh trong khu vực và thế giới và tầm nhìn đến năm 2045, Việt Nam trở thành một trong những trung tâm sản xuất và dịch vụ thông minh, trung tâm khởi nghiệp, đổi mới sáng tạo thuộc nhóm dẫn đầu khu vực Châu Á; có năng suất lao động cao, có đủ năng lực làm chủ và áp dụng công nghệ hiện đại trong tất cả các lĩnh vực kinh tế - xã hội, môi trường, quốc phòng, an ninh [2-3]. Bản chất của cuộc cách mạng công nghiệp lần thứ tư (CMCN 4.0) là cuộc cách mạng thể chế.

Với sự phát triển mạnh mẽ của công nghệ số tạo ra mô hình mới, lực lượng lao động mới, nhanh chóng, bùng nổ… khiến khuôn khổ thể chế truyền thống không còn phù hợp, mà nếu duy trì sẽ kìm hãm sự phát triển của đất nước và ngày 04/7/2017, Thủ tướng chính phủ Ban hành Chỉ thị số 16/CT-TTg về tăng cường năng lực tiếp cận cuộc cách mạng công nghiệp lần thứ 4. Trên cở sở đó, ngày 03/12/2018 Bộ Khoa học và Công nghệ ban hành Quyết định số 3685/QĐ-BKHCN về danh mục các công nghệ chủ chốt của công nghiệp 4.0 (Trí tuệ nhân tạo - Artificial Intelligence, Chuỗi khối- Blockchain, Dữ liệu lớn - Big Data, Khai phá dữ liệu và Phân tích dữ liệu - Data Mining and Data Analytics, Internet vạn vật- Internet of Things, Điện toán đám mây- Cloud computing, Robot tự hành - Autonomous Robots, Robot cộng tác Collaborative robotics, In 3D và chế tạo cộng - 3D printing and Additive manufacturing, Thực tại ảo - Virtual Reality, Công nghệ chế tạo vật liệu nano - Nano materials, Công nghệ vật liệu mới - New material technnology, Sinh học tổng hợp - Synthetic biology, Mạng di động thế hệ 5 - 5th Generation Mobile Network,. Đặc biệt, cuộc cách mạng công nghiệp lần thư 4 có nhiều tác động đến đời sống kinh tế - xã hội trên nhiều lĩnh vực. Nền kinh tế toàn cầu đang đứng trước một giai đoạn chuyển đổi không thể đảo ngược.

Cuộc cách mạng này thông qua các công nghệ như trí tuệ nhân tạo (AI), Internet vạn vật (IoT), thực tế ảo (VR), tương tác thực tại ảo 15 (AR), mạng xã hội, điện toán đám mây, di động, phân tích dữ liệu lớn (SMAC). để chuyển hóa toàn bộ thế giới thực thành thế giới số. Các công nghệ thông minh sẽ được tích hợp vào mọi khía cạnh của xã hội, xóa bỏ các ranh giới công nghệ thông thường, thay đổi hình dạng mạng lưới công nghệ và sản xuất, thúc đẩy sự phát triển của thời đại. Những phát triển này hứa hẹn sẽ mở ra cơ hội cho Chính phủ, vùng miền các quốc gia thúc đẩy nền kinh tế mở, linh hoạt, nâng cao hiệu quả của nền kinh tế - xã hội và mang lại lợi thế “đi đầu” cho những quốc gia, vùng miền tận dụng tốt các công nghệ mới nhất.

Cách mạng công nghiệp lần thứ 4 dựa trên nền tảng công nghệ số và tích hợp tất cả các công nghệ thông minh để tối ưu hóa quy trình, phương thức sản xuất; với những công nghệ đang và sẽ có tác động lớn như (Trí tuệ nhân tạo - Artificial Intelligence, Chuỗi khối- Blockchain, Dữ liệu lớn - Big Data, Khai phá dữ liệu và Phân tích dữ liệu - Data Mining and Data Analytics, Internet vạn vật- Internet of Things, Điện toán đám mây- Cloud computing, Robot tự hành - Autonomous Robots,… Trong lĩnh vực sản xuất công nghiệp, viễn cảnh các nhà máy thông minh trong đó các máy móc được kết nối Internet và liên kết với nhau qua một hệ thống có thể tự hình dung toàn bộ quy trình sản xuất rồi đưa ra quyết định sẽ không còn xa. Có thể thấy, Cách mạng công nghiệp lần thứ 4 tác động đến tất cả các lĩnh vực kinh tế - xã hội như: công nghiệp, nông nghiệp, tài chính ngân hàng, lao động, việc làm, giao thông vận tải, dệt may, du lịch, y tế, giáo dục và đào tạo. Điều đó có nghĩa nó sẽ ảnh hưởng trực tiếp đến các tổ chức, cá nhân và các địa phương trong cả nước [4-5]. Theo các nhà nghiên cứu, ứng dụng trí tuệ nhân tạo được huấn luyện tốt có thể thực hiện một số công việc với kỹ năng tương đương như con người.

Tuy nhiên, trí tuệ nhân tạo có lợi thế hơn con người nhờ khả năng mở rộng bằng việc học liên tục không nghỉ, thậm chí là tự học mà không cần sự hướng dẫn của con người. Trí tuệ nhân tạo có thể phát hiện ra mẫu trong những dữ liệu phức tạp đến mức các chuyên gia cũng không nhận ra. Trong đó, đối với một số ứng dụng đặc thù như xử lý hình ảnh, trí tuệ nhân tạo đã bằng hoặc vượt khả năng của con người. Chính vì lẽ đó, khi được ứng dụng vào quá trình điều tiết giao thông, trí tuệ nhân tạo sẽ giúp giảm bớt nhân công nhưng lại tăng cường khả năng xử lý dữ liệu của hệ thống.

Vì vậy có thể nói, trí tuệ nhân tạo (Artificial Intelligence - AI) là một hướng nghiên cứu của lĩnh vực CNTT và Khoa học máy tính nhằm phát triển các hệ thống 16 thông minh để giải quyết các bài toán trong thực tế giống như hoạt động của bộ não người. Trí tuệ nhân tạo được bắt đầu nghiên cứu từ những năm 50 của thế kỷ 20 và trong khoảng 30 năm trở lại đây đã được cộng đồng các nhà khoa học quan tâm mạnh mẽ. Rất nhiều các hội thảo lớn về lĩnh vực này được tổ chức hàng năm trên thế giới. Các ứng dụng tiêu biểu của trí tuệ nhân tạo vào đời sống xã hội bào gồm: người máy, robot, xử lý ngôn ngữ tự nhiên, nhận dạng, phát hiện dị thường, an ninh quốc phòng, tin sinh học, khoa học vũ trụ và trái đất,… Những năm gần đây, chúng ta đã chứng kiến được nhiều thành tựu vựợt bậc trong lĩnh vực thị giác máy tính (Computer Vision).

Các hệ thống xử lý ảnh lớn của Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng thông minh như nhận dạng khuôn mặt người dùng, phát triển xe hơi tự lái hay drone giao hàng tự động. Bên cạnh đó, sự phát triển của mạng nơ-ron đang dần hiện thực hoá khái niệm chúng ta vẫn thường gọi là (Computer Vision) thị giác máy tính. Tuy nhiên, việc sử dụng thuật toán mạng nơ-ron vẫn còn gặp nhiều khó khăn. Chẳng hạn như: Khi bạn muốn phát hiện nhận dạng một đối tượng trong một bức ảnh và đánh nhãn cho đối tượng đó thì các phương pháp lúc bấy giờ quá chậm để xử lý theo thời gian thực hoặc là đòi hỏi cần phải đầu tư trang thiết bị rất mạnh dẫn đến chi phí rất tốn kém,.

Chính vì lẻ đó, cho đến khi giải thuật nhìn một lần (You Only Look Once - YOLO) ra đời. You Only Look Once lần lượt có các phiên bản 1, 2 (YOLO Version 1, 2) và hiện nay là You Only Look Once phiên bản 3 (YOLO Version 3) có khả năng gán nhãn cho toàn bộ đối tượng trong khung hình với chỉ duy nhất một hoạt động. Có thể nói, You Only Look Once đã xây dựng một hướng tiếp cận đầu tiên giúp đưa nhận dạng đối tượng theo thời gian thực (Real-Time Object Detection) thực sự khả thi áp dụng thực tế trong cuộc sống.