MỞ ĐẦU 1 Giới thiệu dé tài Ngày nay các thiết bị công nghệ thông minh như điện thoại thông minh, máy tính, máy tính bảng. ngày càng đóng vai trò to lớn trong cuộc sống của con người. Chúng không chỉ hỗ trợ con người trong việc thông tin liên lạc mà còn giúp tính toán, xử lý tác vụ nhanh và chính xác, hỗ trợ con người đưa ra quyết định, thu thập thông tin, hỗ trợ giám sát và điều khiển hoạt động của máy móc. Bên cạnh đó chúng còn phục vụ nhu cầu giải trí của con người.
Vì tầm ảnh hưởng và ứng dụng rộng rãi đó mà các ngành khoa học nghiên cứu về công nghệ thông minh như Trí tuệ nhân tạo (AI), Dữ liệu lớn (Big Data), Điện toán đám mây (Cloud),. ngày càng được quan tâm nghiên cứu. Trong đó, nhiều nghiên cứu đã và đang nỗ lực phát triển các thiết bị thông minh mô phỏng khả năng quan sát của con người bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình ảnh và được gọi chung lĩnh vực Thị giác máy tính. Ap dụng các phương pháp xử lý ảnh của lĩnh vực Thị giác máy tính vào dữ liệu giám sát giao thông là một trong lớp các bài toán có nhiều thách thức và được quan tâm phát triển trong những năm gần đây.
Hình ảnh từ máy quay được trang bị trên các hệ thống giám sát giao thông hay các thiết bị thông minh như điện thoại, máy tính được thu thập. Sau đó là sử dụng các phương pháp xử lý ảnh và đặc biệt là sự phát triển và thành công những năm gần đây của các phương pháp Máy học (Machine Learning) và Học sâu (Deep Learning) giúp máy tính có khả nắng nhận dạng và truy vết sự chuyển động của các phương tiện giao thông chính xác và đáng tin cậy hơn. 1 Những nghiên cứu này tạo cơ sở cho các hệ thống giám sát giao thông hoạt động tự động, phân tích và đêm số lượng phương tiện tham gia tại một điểm nút giao thông, hỗ trợ cảnh báo sớm tình trạng ùn tắc và phát hiện các điểm bắt thường trong video giám sát để phát hiện kịp thời các tình huống xảy ra tai nạn. Trong hệ thống giám sát giao thông hiện nay, hệ thống xác định tốc độ phương tiện giao thông là một trong những bài toán mang đến nhiều thách thức như chi phí lắp đặt, bảo trì.
Khả năng vận hành còn dựa nhiều vào sức của con người và điều kiện thời tiết. Việc cảnh báo sớm, hoặc xử phạt kịp thời phương tiện tham gia giao thông chạy quá tốc độ sẽ góp phần đáng kể làm giảm thiểu tai nạn giao thông, cũng như góp phan dự đoán trước các điểm ùn tắc giao thông, hỗ trợ cơ quan chức năng điều tiết giao thông một các hiệu quả. Nếu một hệ thống chỉ dựa vào một máy ghi hình có thể nhận dạng, xác định, truy vết vật thể và tự động xác định tốc độ của các phương tiện giao thông sẽ giúp làm giảm chi phí lắp đặt, vận hành, bao trì, từ đó giúp tiết kiệm cho xã hội. Nhận thấy tam quan trọng và ứng dụng thực tế như trên, nhóm chúng tôi đã tiến hành nghiên cứu, hiện thực và đánh giá các mô hình truy vết vật thể và xác định tốc độ phương tiện giao thông trong dé tài.
2 Mục tiêu, đối tượng và phạm vi nghiên cứu 2.1 Mục tiêu của đề tài Mục tiêu của đề tài là tìm hiểu, nghiên cứu và đánh giá một số phương pháp phát hiện truy vết nhiều vật thể trong dữ liệu video. Qua đó đề tài tạo tiền đề để xây dựng hệ thống ước tính tốc độ giao thông qua video hoặc dif liệu trực tuyến từ chỉ một camera ghi hình.2 Đối tượng và phạm vi nghiên cứu Trong phạm vi khóa luận, các nghiên cứu sẽ xoay quanh các kiến thức trong lĩnh vực xử lý ảnh liên quan tới bài toán phát hiện, truy vết và ước tính tốc độ vật thể. Chúng tôi tập trung nhiều hơn vào các phương pháp dựa trên học sâu cho bước phát hiện và truy vết vật thể. Đối với bước ước tính tốc độ, một hướng tiếp cận đang nhận được nhiều sự quan tâm là tự động hóa toàn bộ quy trình tính tốc độ qua camera sẽ được tìm hiểu.
3 Đóng góp của đề tài Các đóng góp chính của đề tài bao gồm: * Tìm hiểu về bài toán ước tính tốc độ dựa trên kỹ thuật truy vết đối tượng. « Đánh giá một số phương pháp tiêu biểu cho bài toán truy vết đối tượng trên dữ liệu giao thông. « Đánh giá phương pháp tự động ước tính tốc độ phương tiện giao thông. 4 Cau trúc luận van Phan còn lại của luận van được tổ chức như sau: * Chương 2: Trình bày, khảo sát các phương pháp và hệ thống truy vết vật thể (Multiple Object Tracking) và ước tính tốc độ giao thông (Speed Estimation).
* Chương 3: Trình bày lý thuyết các phương pháp được khảo sát, đặt biệt tập trung các phương pháp mới đang thu hút sự quan tâm của cộng đồng nghiên cứu và cho hiệu quả cao trong những năm trở lại đây. * Chương 4: Trình bày những kết quả đạt được khi đánh giá các mô hình phát hiện, truy vết vật thể và ước tính tốc độ giao thông bằng các độ đo tiêu chuẩn được cộng đồng nghiên cứu sử dụng rộng rãi để đánh giá những mô hình và hệ thống này. * Chương 5: Tổng kết những kết quả đạt được và phân tích ưu, nhược điểm của các phương pháp phát hiện và truy vết vật thể và ước tính tốc độ giao thông * Chương 6: Từ những hạn chế của các phương pháp phát hiện và truy vết vật thể và ước tính tốc độ, nhóm chúng tôi sẽ định hướng những vấn đề cần nghiên cứu cải thiện và kế hoạch phát triển của đề tài trong thời gian sắp tới. Chương 2 TỔNG QUAN 1 Mô tả bài toán Ước tính tốc độ qua camera giao thông có nhiệm vụ tính toán giá trị ước lượng vận tốc của các phương tiện di chuyển bên trong video.
Hệ thống ước tính tốc độ sẽ có đầu vào và đầu ra như sau: « Đầu vào là dif liệu dưới dạng file video hoặc video stream « Đầu ra là định danh và tốc độ ước tính của các phương tiện trong từng frame. Một hệ thống ước tính tốc độ qua camera hoàn chỉnh gồm có 3 phần chính như minh họa ở hình 2. I| * Phát hiện các đối tượng là phương tiện giao thông trong các frame. Bước nay đòi hỏi xác định vị trí và đôi khi là cả loại phương tiện.
Vị trí của các đối tượng có thể được biểu diễn bằng nhiều hình thức. Trong đó hình thức biểu diễn vị trí phổ biến nhất là thông qua các hộp giới hạn 2 chiều. Xét riêng với trường hợp ứng dụng cho bài toán tính tốc độ, có một số cách biểu diễn vị trí khác như dựa trên keypoint, biển số. Các cách biểu diễn này sẽ được nói rõ hơn ở phần |2] * Truy vết hay còn gọi là theo dõi các đối tượng.
Ở phan này hệ thống cần xác định 2 vật thể trong 2 frame bất kỳ có thuộc cùng một đối tượng hay không. Nhiệm vụ này thường được thực hiện thông qua việc gán một nhãn định danh cho từng vật thể thuộc từng frame. Hai vật thể ở 2 frame khác nhau nhưng có cùng nhãn định danh sẽ được dự đoán là thuộc cùng một đối tượng * Ước lượng tốc độ vật thể tự động. Tọa độ ảnh của các vật thể sẽ được chuyển về tọa độ 3 chiều bằng các kỹ thuật xử lý ảnh.
Cuối cùng thông tin về tọa độ các vật thể trong từng frame, cũng như các thông tin khác như số FPS, sẽ được sử dụng để ước tính tốc độ di chuyển. detect asscociate CAMERA estimate speed HÌNH 2.1: Minh họa 3 phan chính của bài toán ước tính tốc độ bằng thuật toán truy vết Một trong các ứng dụng có thể tích hợp ước tính tốc độ là hệ thống dự báo, cảnh báo, xử lý vi phạm tốc độ bằng camera giao thông. Các thành phần chính của một hệ thống như vậy được miêu tả trong hình|2.2} Intrinsic, extrinsic parameter là các thông tin dùng để chuyển đổi tọa độ ảnh và tọa độ 3 chiều. Những thông tin này có thể được đo đạc và cung cấp sẵn khi lắp đặt camera.
Tuy nhiên, với sự phát triển của các kỹ thuật xử lý ảnh, công đoạn tính toán các thông số này đã có thể được xử lý tự động. Ngoài ra, còn có một số thành phần khác như hệ thống nhận diện biển số xe, cơ chế cảnh báo, xử phạt khi tốc độ của phương tiện vượt mức quy định,. , — a = Stimuli Traffic/speed camera Vehicle attributes Environment Intrinsic params. : Detection & Vehicle / features detection and tracking methodologies tracking : Distance / Speed Distance and speed estimation methodologies estimation Application SPEED LIMIT lo ls domains Traffic speed estimation & forecasting Speed enforcement HÌNH 2.2: Các thành phan chính của hệ thống cảnh báo và xử phạt vượt quá tốc độ qua camera: Thông tin dữ liệu đầu vào, phát hiện và truy vết vật thể, ước tính khoảng cách và tốc độ, cảnh báo và xử phạt khi tốc độ vượt mức quy định 2 Các hướng nghiên cứu hiện nay Bài báo khảo sát gần đây đã chỉ ra rằng có nhiều hơn 1 cách để biểu diễn vị trí phương tiện nhằm truy vết và tính tốc độ.
Một số phương thức biểu diễn chính có thể liệt kê ra như sau: * Các điểm đặc trưng: Day là các vị trí nhất định thuộc vùng ảnh có chứa phương tiện. Các điểm đặc trưng nằm ở các vị trí đặc biệt, dễ dàng nhận biết và có thể sử dụng để phân biệt các vật thể khác nhau. » Điểm nam trên biến số xe « Điểm tâm vùng bao của vật thể hoặc 1 điểm đặc biệt (tâm, góc) của hộp giới han fran HÌNH 2.3: Các cách biểu diễn vị trí của phương tiện. (a)Các điểm đặc trưng.
(b)Tâm vùng bao. (c) Hộp giới hạn. (d)Biển số[11] Trong khóa luận này, chúng tôi tập trung nghiên cứu phương thức biểu diễn thông qua hộp giới hạn. Các phương pháp phát hiện và truy vét vật thể được khảo sát đều sử dụng cách biểu diễn vị trí này.1 Khảo sát các phương pháp phát hiện vật thể Hiện nay các phương pháp phát hiện vật thể bằng hộp giới hạn có thể được phân loại theo 2 cách chính: phương pháp | pha va 2 pha, phương pháp có sử dụng hộp anchor và phương pháp không sử dụng hộp anchor.
Dưới đây sẽ trình bày sơ lược một số họ phương pháp nổi bật ° Họ phương pháp YOLO - You Only Look Oncef[20][Í21]221/23]/24]: Day là một nhóm các phương pháp | pha sử dụng hộp anchor.