phần mở đầu, phần kết luận và ba chƣơng nội dung đƣợc bố cục nhƣ sau: Chƣơng 1: Tổng quan về hệ thống giám sát tự động và phát hiện phƣơng tiện giao thông trên đƣờng. Trên cơ sở đó, luận văn giới thiệu một số bài toán xử lý dữ liệu video, một số vấn đề gặp phải khi đếm phƣơng tiện giao thông trên đƣờng và sơ đồ xử lý quy trình nhận dạng phƣơng tiện giao thông trên đƣờng. Chƣơng 2: Đếm phƣơng tiện giao thông trên đƣờng. Cụ thể là một số kỹ thuật xác định đối tƣợng chuyển động, phát hiện và phân loại phƣơng tiện giao thông và xây dựng thuật toán đếm phƣơng tiện giao thông theo yêu cầu.
3 Chƣơng 3: Chƣơng trình thử nghiệm. Xây dựng chƣơng trình thử nghiệm, phân tích và đánh giá kết quả đạt đƣợc. Mục đích và nhiệm vụ nghiên cứu - Nghiên cứu dữ liệu video - Nghiên cứu thuật toán phát hiện và nhận dạng đối tƣợng phƣơng tiện giao thông trong video - Xây dựng mô hình hệ thống đếm phƣơng tiện giao thông tự động - Cài đặt thử nghiệm và đánh giá kết quả. Đối tƣợng và phạm vi nghiên cứu - Đối tƣợng nghiên cứu: Dữ liệu video lấy từ camera giám sát giao thông.
- Phạm vi nghiên cứu: Đề tài nghiên cứu các thuật toán xử lý ảnh với dữ liệu video. Thuật toán xử lý ảnh xác định và nhận dạng phƣơng tiện giao thông. Xây dựng mô hình học máy hỗ trợ giám sát và đếm tự động. Phƣơng pháp nghiên cứu - Phƣơng pháp nghiên cứu tài liệu; - Phƣơng pháp phân tích, tổng hợp; - Phƣơng pháp thực nghiệm.
Ý nghĩa khoa học và thực tiễn Tập trung nghiên cứu các thuật toán xử lý ảnh với dữ liệu video. Xác định và nhận dạng đối tƣợng phƣơng tiện giao thông. Xây dựng mô hình học máy đếm số phƣơng tiện giao thông. Ứng dụng xây dựng mô hình hệ thống giám sát tự động và đếm số lƣợng phƣơng tiện tham gia giao thông theo yêu cầu, ứng dụng vào hệ thống đƣờng xá Việt Nam.
4 CHƢƠNG 1: TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT TỰ ĐỘNG VÀ PHÁT HIỆN PHƢƠNG TIỆN GIAO THÔNG TRÊN ĐƢỜNG 1. Tổng quan về hệ thống giám sát tự động 1. Hệ thống camera giát sát tự động Với những tiến bộ công nghệ gần đây, camera đã trở nên phổ biến hơn, nó có mặt từ máy tính để bàn, máy tính xách tay, đến thiết bị di động và nhiều thiết bị khác sử dụng hàng ngày. Ngày càng nhiều các hệ thống giám sát bằng camera đƣợc triển khai và đã chứng minh đƣợc tính hiệu quả nhất định trên một số lĩnh vực nhƣ giám sát hoạt động con ngƣời, giám sát giao thông v.
Trong giao thông, ngƣời ta lắp đặt các camera giám sát ở các nơi đƣờng giao nhau, đƣờng hầm, nhà ga và các vị trí quan trọng để giám sát giao thông, dự báo tình trạng ùn tắc, điều phối phân làn giao thông, phát hiện các vi phạm luật giao thông của các phƣơng tiện v. Trong các siêu thị, kho bãi, bảo tàng, ngƣời ta sử dụng hệ thống camera để giám sát hoạt động của nhân viên, khách hàng, các vật trƣng bày để tránh trƣờng hợp bị mất cắp. Các vùng nhạy cảm về an ninh, các hệ thống giám sát đƣợc triển khai để có thể cảnh báo kịp thời những hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn v. Có nhiều mức độ triển khai các hệ thống camera giám sát, từ hệ thống thủ công, đến bán tự động và hệ thống hoàn toàn tự động.
Đối với các hệ thống camera giám sát thủ công, công việc giám sát đƣợc xử lý trực tiếp bởi các giám sát viên trong thời gian thực, hệ thống chỉ hỗ trợ các thao tác cơ bản nhƣ: sao lƣu dữ liệu hoặc trích xuất các đoạn video khi cần thiết. Các hệ thống hoàn toàn tự động là hệ thống có khả năng thực hiện nhiệm vụ giám sát ở các mức độ khác nhau không có sự can thiệp của con ngƣời, từ các tác vụ 5 bậc thấp nhƣ: phát hiện đối tƣợng chuyển động, phân loại đối tƣợng đƣợc giám sát. Hiện nay, nhiều hệ thống giám sát hình ảnh đã đƣợc triển khai thành công. Ví dụ, hệ thống VSAM (Video Surveillance and Monitoring) đƣợc phát triển theo một chƣơng trình do chính phủ Mỹ tài trợ [1].
Đây là một hệ thống đƣợc thiết kế để phát hiện đối tƣợng chuyển động, phân loại các đối tƣợng di chuyển nhƣ phƣơng tiện giao thông hoặc ngƣời và theo dõi chúng. Hệ thống VSAM cũng có khả năng phát hiện các hoạt động đơn giản và tƣơng tác giữa các đối tƣợng. Hệ thống giám sát thông minh IBM [2] có thể tự động phát hiện và theo dõi đối tƣợng chuyển động, nó cũng có khả năng xác định các hoạt động của các đối tƣợng trong khu vực giám sát, cho phép nhận dạng biển số xe và chụp hình khuôn mặt. Một số hệ thống giám sát khác đã đƣợc phát triển và thƣơng mại hóa nhƣ: Acuity, Agent Vi, Avocado, Axis, AxonX, Cernium, Emza, ioimage, Mate, VideoIQ, Vidient, Vistascape (Siemens).
Ở Việt Nam, gần đây nghiên cứu và triển khai các hệ thống camera giám sát rất đƣợc quan tâm, một số hệ thống giám sát bằng camera đã đƣợc triển khai nhƣ: hệ thống gửi xe thông minh, hệ thống phát hiện vi phạm giao thông v. Đã có một số nhóm nghiên cứu tập trung vào lĩnh vực này, trong đó điển hình là Trung tâm MICA thuộc Trƣờng đại học Bách khoa Hà Nội với các dự án đƣợc hỗ trợ từ quỹ NAFOSTED nhƣ: phát hiện bất thƣờng trong giám sát video định vị đối tƣợng chuyển động trong hệ thống camera giám sát [3], [4]. Phòng thí nghiệm truyền thông đa phƣơng tiện của Đại học Công nghệ thông tin – Đại học Quốc gia Thành phố Hồ chí Minh với các dự án: phát hiện thông tin bạo lực trong video, phát hiện sự kiện trong kho dữ liệu video, tìm kiếm đối tƣợng trong dữ liệu ảnh và dữ liệu video [5]. Đầu vào của hệ thống là các khung hình video thu nhận đƣợc từ các 6 camera.
Qua quá trình xử lý phát hiện đối tƣợng chuyển động, các đối tƣợng chuyển động trong các khung hình video đƣợc đƣa ra. Các đối tƣợng đƣợc phát hiện sẽ qua quá trình phân lớp đối tƣợng để phân lớp các đối tƣợng đó thuộc lớp nào, sự vật nào. Tiếp theo là quá trình xử lý để theo vết đối tƣợng nhằm dự đoán và tìm ra đƣờng chuyển động của đối tƣợng, từ đó có thể phân tích, nhận biết hành vi của đối tƣợng giám sát. Dữ liệu video 1.
Khái quát về xử lý ảnh và xử lý dữ liệu video - Ảnh số: Một hình ảnh có thể đƣợc định nghĩa là hàm hai chiều, f (x, y), trong đó x và y là tọa độ không gian (mặt phẳng) và biên độ của f tại bất kỳ cặp tọa độ (x, y) nào đƣợc gọi là cƣờng độ hoặc mức độ màu xám của hình ảnh tại điểm đó. Khi x, y và các giá trị cƣờng độ của f đều là các đại lƣợng hữu hạn, rời rạc, chúng ta gọi hình ảnh là hình ảnh kỹ thuật số. - Điểm ảnh: Ảnh trong tự nhiên là những tín hiệu liên tục về không gian và giá trị độ sáng. Để có thể lƣu trữ và biểu diễn ảnh bằng máy tính, con ngƣời phải tiến hành biến đổi các tín hiệu liên tục thành một số hữu hạn các tín hiệu rời rạc thông qua quá trình lƣợng tử hóa và lấy mẫu thành phần giá trị độ sáng.
Một điểm ảnh là một giá trị biểu diễn cho mức xám hay cƣờng độ ảnh tại một vị trí sau khi đã biến đổi ảnh thành một số hữu hạn các tín hiệu rời rạc. Ảnh và điểm ảnh 7 - Độ phân giải: là thƣớc đo của chi tiết rõ ràng nhỏ nhất trong ảnh, đƣợc tính là số điểm (pixel) trên một đơn vị khoảng cách (dpi). Khái niệm video Tổng quát video là một file chứa hình ảnh & âm thanh đƣợc đồng bộ với nhau, đƣợc tạo ra bởi một chuẩn nén nào đó, nhƣ MPEG, XviD, H264 v. Các định dạng phổ biến nhất là MP4, AVI, WMV, WEBM.
Để xử lý hình ảnh từ video thì phải giải mã ra thành những khung hình rồi mới xử lý. Khung hình Trong xử lý ảnh không quan tâm đến âm thanh, Video là một dạng hình ảnh động tập hợp của rất nhiều ảnh tĩnh xuất hiện liên tục nối tiếp nhau, đƣợc gắn một nhãn thời gian tƣơng ứng thể hiện thời điểm xuất hiện của khung hình. Thƣờng thì một giây video có 24 hình tĩnh, từ 24 hình trở lên thì mắt 8 ngƣời của chúng ta sẽ có cảm giác là hành động đó xảy ra rất mƣợt mà. Video đƣợc xem là một dãy N khung hình liên tiếp (f1, f2, …, fN), mỗi khung hình là một ảnh tĩnh.
Các hình ảnh có tính liên tục đƣợc hiển thị lần lƣợt. Độ sáng của một điểm ảnh cụ thể trong khung hình đƣợc coi là một hàm của thời gian f(x, y, t) trong đó (x, y) là tọa độ của điểm ảnh trong không gian và t là thời gian xét khung hình. Quá trình phát hiện đối tƣợng chuyển động trong video đƣợc thực hiện bằng việc phân tích các khung hình liên tiếp và cần đƣa ra đƣợc các đối tƣợng chuyển động đối với khung hình hiện tại. Thông thƣờng, quá trình này đƣợc thực hiện bằng một kỹ thuật trừ ảnh và sau đó đi kèm một số thao tác hậu xử lý.
Dữ liệu về video đƣợc mô tả nhƣ S=f(x,y,t), Trong đó: (x,y) là tọa độ điểm ảnh, t là thông tin thời gian. Giám sát trong video, mục tiêu chính là giám sát đối tƣợng chuyển động. Chuyển động theo các khái niệm trong vật lý là sự thay đổi vị trí giữa vật này và vật kia. Tức là khi xét tới sự chuyển động thì ta phải xét là nó chuyển động so với cái gì.
Khi xét tới chuyển động ta thƣờng đặt nó vào một hệ quy chiếu quán tính. Một vật có thể đứng yên trên hệ quy chiếu này nhƣng lại chuyển động khi xét nó với hệ quy chiếu khác. Chuyển động trong thực tế là chuyển động 3D nhƣng khi con ngƣời tiếp nhận thì nó trở thành chuyển động 2D. Nói chung hình ảnh mà mắt ngƣời nhận đƣợc đều là 2D và phép toán chuyển đổi ảnh 3D thành ảnh 2D mà mắt con ngƣời cảm nhận đƣợc là phép chiếu phối cảnh.
Phép chiếu phối cảnh của một đoạn thẳng 9 Chuyển động trong thế giới thực 3D qua phép chiếu phối cảnh sẽ biến thành chuyển động trong mặt phẳng 2D. Tuy nhiên con ngƣời nhận biết chuyển động qua sự thay đổi độ sáng của điểm ảnh. Do đó có những chuyển động mà con ngƣời không có cảm nhận đƣợc nhƣ là chuyển động của quả cầu đồng màu.