Chương 1: Trinh bày về bài toán phát hành vi vượt đèn đỏ, các bài toán liên quan và phạm vi, ràng buộc cũng như những vấn đề cần giải quyết và hướng tiếp cận, phương pháp được sử dụng trong đề tài Chương 2: Trình bày về các mô hình, thuật toán liên quan đến đề tài Chương 3: Đề xuất về kiến trúc hệ thống và phương pháp xác định hành vi vượt đèn đỏ Chương 4: Trình bày thực nghiệm và đánh giá kết quả Chương 5: Tổng kết và đưa hướng phát triển trong tương lai TONG QUAN VE VAN DE NGHIÊN CỨU Chuong 1. TONG QUAN VE VAN DE NGHIEN CUU 1. Bài toán phát hiện hành vi vượt đèn đỏ Phát hiện hành vi vượt đèn đỏ là bài toán tông hợp, kết hợp của bài toán phát hiện đối tượng cụ thể là phương tiện giao thông, đèn tín hiệu giao thông và bài toán theo dõi các đối tượng. Với sự phát triển trong các nghiên cứu của ngành thị tính, kết quả của việc giải các bài toán trên ngày càng cao và là tiền đề để tạo nên giải pháp cho bài toán phát hiện hành vi vượt đèn đỏ nói chung và các bài toán tổng hợp nói riêng.
Mô hình bài toán Dữ liệu đầu vào: - Video ghi nhận bởi camera giao thông được đặt có định tại các giao lộ. - Thông tin về vị trí của đèn giao thông, vạch đừng đèn đỏ (stop lines) Dữ liệu đầu ra: - Cac phương tiện giao thông có hành vi vượt đèn đỏ !1 1 1 h ' ¡ 1 1 1 Ï ' ' t 1 1 "7 mà: h ' 1 1 é 1 1 , 1 1 1 ' 1 1 1 1 Dữ liệu đầu vào Dữ liệu đầu ra Hình 1.1 Mô hình bài toán phát hiện phương tiện giao thông vượt đèn đỏ Để phát hiện hành vi vượt đèn đỏ của các phương tiện giao thông, đề tài cần thực hiện các bài toán nhỏ sau: TONG QUAN VE VAN DE NGHIÊN CỨU Phat hiện hành vi vượt đèn đỏ phải có khả năng phát hiện phương tiện giao thông hoặc phát hiện biển số xe. Phát hiện và phân loại đèn giao thông: hệ thống phải có khả năng phát hiện vị trí của các đèn giao thông và phân loại đèn giao thông thành các màu (đèn vàng, đèn đỏ, đèn xanh hoặc không màu - bị lỗi). Theo dõi việc di chuyển của phương tiện giao thông: do thực chất video là các khung hình liên tiếp nhau nên việc phát hiện từng phương tiện riêng lẻ ở các hình là không đủ để phát hiện hành vi vượt đèn đỏ (hành vi vượt đèn đỏ là hành vi mà phương tiện vi phạm phải nằm trước vạch và sau vạch dừng ở 2 khung hình trong khoảng thời gian đèn đỏ được bật).
Do đó, sau khi xác định được các phương tiện ở khung hình thứ ¡ thì phải theo dõi xem phương tiện đó nằm ở vị trí nào ở khung hình thứ ¡ + 1. Nội dung này sẽ được trình bày rõ hơn ở phần sau của báo cáo này. 'Với những yêu cầu của hệ thống như trên, đề tài tập trung vào các mục tiêu sau: — Tìm hiểu, thử nghiệm các phương pháp nhận dang thị giác trong máy tính liên quan đến đề tài gồm: phát hiện đèn giao thông, phát hiện xe máy, xe hơi. ~ Tích hợp các phương pháp thành mô hình hệ thống hoàn thiện cho phép nhận dạng phương tiện có hành vi vượt đèn đỏ Dé thực hiện các mục tiêu trên, dé tài này thực hiện các nội dung sau: ~— Tìm hiểu, thử nghiệm các phương pháp: e Xây dựng bộ dữ liệu về hành vi vượt đèn đỏ tại giao lộ.
© Cài t và thử nghiệm các phương pháp phát hiện đèn giao thông, và phát hiện phương tiện trên bộ dữ liệu trên. ¢ Đánh giá và lựa chọn các phương pháp phù hợp cho hệ thống. — Tích hợp các phương pháp thành hệ thống nhận dạng hành vi vượt đèn đỏ. e _ Tích hợp các phương pháp thành một hệ thống hoàn chỉnh e Thu nghiệm trên bộ dữ liệu đã xây dựng e Phan tích, đánh giá 10 TONG QUAN VE VAN DE NGHIÊN CỨU —Dé xuất cải tiến phương pháp có sin trong nhận diện đèn giao thông hoặc phương tiện giao thông Trong giới hạn thực hiện đề tài này, có một số ràng buộc hoặc giả định được đưa vào hệ thống như sau: Hành vi vượt đèn do trong bài toán này được định nghĩa là hành vi ma phương tiện giao thông vượt qua vạch dừng trong lúc tín hiệu đèn đỏ đang bật sáng hay phương tiện giao thông nằm trước và sau vạch dừng ở hai khung hình mà đèn đỏ đang bật sáng.
Chỉ có một loại tín hiệu giao thông: giả thuyết rằng tại giao lộ, tất cả các đèn giao thông tại vị trí giám sát đều thể hiện cùng một mau cho tat cả các làn đường hay: e Không có đèn cho phép rẽ phải, rẽ trái cho phương tiện giao thông tại giao lộ vào thời điểm đèn đỏ đang bật e© Không có các bảng báo hiệu cho phép các phương tiện giao thông đi thẳng, rẻ phải, rẻ trái khi đèn đỏ Phương tiện giao thông chỉ di chuyên đúng chiều, không có phương tiện di chuyển ngược chiều. Vach dừng đủ nhỏ và có thé xem như một đường thing gồm 2 điểm và không bị giới hạn hai đầu, có nghĩa là các phương tiện giao thông đi chuyển trên lề đường trong thời gian đèn đỏ cũng được xem là vượt đèn đỏ. Bài toán phát hiện đối tượng Phát hiện đối tượng (object detection) là bài toán định vị vị trí các đối tượng trong một hình ảnh. Phát hiện đối tượng được ứng dụng rộng rãi trong các ứng dụng như phát hiện phương tiện giao thông, đếm người đi bộ, phát hiện khuôn mặt, phát hiện đèn giao thông.
Trong bài toán phát hiện hành vi vượt đèn đỏ bằng phương pháp thị giác máy tính như đã trình bày ở trên, hệ thống cần có khả năng phát hiện các loại phương tiện II TONG QUAN VE VAN DE NGHIÊN CỨU giao thong gồm xe máy, xe đạp va 6 tô. Ngoài ra hệ thống cũng cần có khả năng nhận điện và phân loại đèn giao thông dựa trên màu sắc của đèn giao thông. Hiện tại, có hai hướng tiếp cận để giải quyết bài toán phát hiện phương tiện giao thông: phương pháp truyền thống sử dụng đặc trưng ảnh (feature-based method) và phương pháp học sâu (deep learning). Trong [17], tác giả đã tổng kết phương pháp truyền thống gồm ba nhóm chính: rút trích khác biệt giữa các khung hình liên tiếp, phương pháp tách nền và phương pháp luồng ánh sáng.
Tuy nhiên, các thuật toán theo hướng tiếp cận sử dụng phương pháp học sâu đã đạt được kết quả tốt. Phương pháp học sâu thé hiện kha năng vượt trội so với các phương pháp truyền thông trong các bài toán học, rút trích đặc trưng và các bài toán liên quan như nhận diện khuôn mặt, phát hiện đối tượng, phân loại đối tượng. Các phương pháp học sâu được chia làm hai nhóm chính: - Nhóm các phương pháp sử dụng hai giai đoạn: giai đoạn đầu tiên sẽ xác định các có hộp ứng viên (candidates) có thể tồn tại đối tượng và sau đó phân loại các hộp ứng viên này bằng mang CNN. Một trong s6 những mô hình thuộc nhóm hai giai đoạn đã được nghiên cứu và phát triển là Faster RCNN [24].
- Nhóm các phương pháp sử dụng một giai đoạn trực tiếp định vị các đối tượng mà không phát sinh các khung ứng viên. Trong các ứng viên nồi bật của nhóm phương pháp nay, SSD [31] và YOLO [12] là hai thuật toán nồi bật nhất. Trong [15], tác giả đã tông hợp các phương pháp về nhận diện đèn giao thông. Mô hình mau là một trong những thành phần quan trọng dé phát hiện đèn giao thông.
Nó thường được sử dụng để xác định khu vực quan tâm (ROI). Nhiều mô hình màu đã được nghiên cứu để nhận diện đèn giao thông, chăng hạn như RGB [11] [7]. Trong [32], tác giả sử dụng RGB để phát hiện vị trí của đèn giao thông và sử dụng YCbCr dé tìm các mũi tên trong đèn giao thông. Trong [30], tác giả sử dụng CIELAb dé phát hiện vị trí của đèn giao thông và dùng hệ mô hình RGB để phân loại đèn giao thông.
Trong [29], nghiên cứu sử dụng thang độ xám đề tìm kiếm các ứng viên trong khu vực của đèn giao thông và sử dụng mô hình màu HSV để phân loại đèn giao thông. Bên cạnh đó, việc kết hợp nhiều mô hình màu đề phân loại đèn giao thông cũng được nghiên cứu[16][1§]. 12 TONG QUAN VE VAN DE NGHIÊN CỨU Tương tự phát hiện phương tiện giao thông, có hai hướng để phát hiện đèn giao thông: - Các phương pháp truyền thống sử dụng các mô hình màu với ngưỡng được xác định trước để tìm vị trí của đèn giao thông [3][26]. Trong [7], tác giả đề xuất sử dụng mô hình hình dạng đề tìm một vòng tròn sau khi phân đoạn dựa trên màu sắc.
Trong [4], tác giả sử dụng bộ lọc Laplacian làm rõ vùng biên của đèn giao thông và sử dụng phương pháp phát hiện cạnh Canny để phát hiện đèn giao thông. - Đối với phương pháp học: đèn giao thông có thé được phát hiện bằng cách sử dụng đặc trưng Haar-like [8]. Trong [5], tác giả sử dụng biểu đồ HOG để khoanh vùng vị trí của đèn giao thông. Tóm lại, phương pháp học sâu đạt hiệu suất tốt hơn so với phương pháp truyền thông vì khả năng tìm hiểu tính năng đèn giao thông, tự động, từ lượng dữ liệu huấn luyện lớn.
Bài toán theo dõi đối tượng Theo dõi đối tượng (object tracking) là bài toán xác định vị trí của một hoặc nhiều đối tượng trong mỗi khung hình của video. Bài toán theo dõi đối tượng có thể chia làm hai nhóm chính: Theo doi một đối tượng: tập trung theo đõi một đối tượng duy nhất trong toàn bộ các khung hình của video. Mô hình được huấn luyện trên một tập dữ liệu lớn trong đó mỗi video được gán nhãn cho từng khung hình. Tác giả đã sử dụng một kiến trúc CNN và sử dụng phần dữ liệu ở khung hình liền trước dé tìm kiếm và theo dõi trong khung hình hiện tai.
Theo dõi nhiều đối tượng: theo dõi tất cả các đối tượng xuất hiện trong một khu vực hoặc toàn bộ khung hình kể cả các đối tượng mới xuất hiện trong khung hoặc tạm thời biến mắt khỏi khung hình. Do đó, một số van đề liên quan gồm: © Dinh danh của mỗi đối tượng phải giống nhau trong tat cả các khung mà đối tượng xuất hiện. 13 TONG QUAN VE VAN DE NGHIÊN CỨU © Khi đối tượng bị che khuất hoặc biến mat trong một số khung hình, thuật toán vẫn cần đảm bảo nhận diện lại được đúng định danh khi đối tượng xuất hiện lại.