Chương 1: Giới thiệu về bài toán theo vết đối tượng, mục tiêu và nội dung đề tài, giới hạn của đề tài. - Chương 2: Trình bày kiến thức nền tảng về hệ thống giám sát thông minh và các khối chức năng, các phương pháp theo vết đối tượng. Phân tích các công trình nghiên cứu liên quan, đánh giá ưu- nhược điểm của từng hướng tiếp cận. - Chương 3: Trình bày tổng quan về quy trình của hệ thống theo vết đối tượng, hướng tiếp cận để giải quyết bài toán, các bước thực hiện giải thuật - Chương 4: Trình bày quy trình thực nghiệm và kết quả kiểm chứng, đánh giá và so sánh kết quả.
- Chương 5: Kết Luận: kết quả đạt được, ưu-nhược điểm, đóng góp của luận văn và hướng phát triển đề tài. Cuối cùng là phần liệt kê các tài liệu tham khảo trong quá trình nghiên cứu và hiện thực luận văn. Đặng Thị Thu Hoa 6 Luận văn thạc sĩ 2014 CHƯƠNG 2- CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Tổng quan về hệ thống giám sát Hệ thống giám sát thị giác (Visual surveillance strategies)[4] được sử dụng để thu thập thông tin, giám sát người, phương tiện, sự kiện và các hoạt động. Hệ thống giám sát thông minh không chỉ có tác dụng là thu thập và lưu trữ hình ảnh quay được mà tác dụng chính của nó là thực hiện các nhiệm vụ giám sát một cách hoàn toàn tự động.
Hệ thống giám sát tự động có thể được triển khai offline sử dụng các video được lưu trữ. Ngoài ra, hệ thống giám sát online đang ngày càng phát triển và rất hữu dụng vì khả năng dự báo, phát hiện kịp thời, tránh xảy ra các sự cố và tình huống không mong muốn. Các hệ thống này được ứng dụng rộng rãi trong nhiều lĩnh vực như phân tích lưu lượng và điều tiết giao thông, phân tích tổng hợp hình ảnh trong thi đấu thể thao, giám sát an ninh cho khu dân cư, quan sát con người và phương tiện tại các nơi công cộng. Hệ thống giám sát tự động phát huy vai trò đặc biệt quan trọng trong các lĩnh vực như an ninh quân sự, tuần tra biên giới, phát hiện cháy rừng.
Hệ thống giám sát thực hiện các công việc gồm phát hiện đối tượng chuyển động, phân lớp các đối tượng đã được phát hiện, theo vết các đối tượng đó thông qua chuỗi các ảnh và phân tích hành vi. Một hệ thống giám sát gồm các khối chức năng: - Mô hình nền (Surrounding of model) - Biểu diễn và phân lớp đối tượng (Object representation and classification) - Theo vết đối tượng (Object tracking) - Nhận dạng hành động (Action recognition) - Hiểu hành vi (behavior understanding) Đặng Thị Thu Hoa 7 Luận văn thạc sĩ 2014 Camera 1 Camera 2 Camera n Mô hình nền Biểu diễn và phân lớp đối tượng N E T Theo vết đối tượng W O DB R Nhận dạng hành động K Hiểu hành vi Cảnh báo Hình 2.1 Tổng quan về hệ thống giám sát [4] 2.1 Mô hình nền Mô hình nền còn được gọi là background modelling bao gồm phát hiện đối tượng và phân tách đối tượng. Khối này nhận dữ liệu đầu vào là đoạn video từ camera, chuyển dữ liệu từ video thành các chuỗi ảnh và tách các đối tượng chuyển động ra khỏi khung cảnh nền. Đối tượng được tách gọi là foreground và khung cảnh còn lại gọi là background.
Các phương pháp thường được sử dụng là background subtraction, temporal differencing, optical flow. Background subtraction Background subtraction [5] là phương pháp được sử dụng phổ biến vì đơn giản và hiệu quả. Đặng Thị Thu Hoa 8 Luận văn thạc sĩ 2014 Đầu tiên, phải khởi tạo cảnh nền, đối tượng được tách khỏi cảnh nền bằng cách lấy frame ảnh tại thời điểm đó trừ cho cảnh nền. Thực hiện trên từng pixel của frame ảnh.
Pixel thuộc đối tượng sẽ có hiệu số lớn hơn một ngưỡng T. Một pixel tại vị trí (x,y) của frame ảnh tại thời điểm t được đánh dấu là foreground pixel nếu thỏa mãn | ( , )− ( , )| > (2.1) Giá trị ngưỡng T có thể được định nghĩa trước hoặc được cập nhật với mỗi frame. Cảnh nền có thể được cập nhật bằng cách sử dụng công thức sau = + (1 − ) (2.2) Với α là hệ số thích ứng (adaptation coefficient) Liên kết các foreground pixel sẽ có được các vùng đối tượng (object region). Qua các bước tiền xử lý để loại nhiễu, bóng, ta sẽ xác định được các vùng đối tượng chính xác hơn.
(a) (b) (c) (d) (a) cảnh nền tại thời điểm t, (b) frame ảnh tại thời điểm t, (c) ảnh đối tượng sau khi tách khỏi cảnh nền, (d) kết quả vùng đối tượng sau phương pháp trừ nền.2 Minh họa quá trình trừ nền [6] Đặng Thị Thu Hoa 9 Luận văn thạc sĩ 2014 Một số phương pháp background subtraction là temporal media filter, mixture of Gaussians, kernel density estimation, eigenbackgrounds,. Temporal Differencing Background subtraction được sử dụng phổ biến vì có khả năng rút trích vùng đối tượng tương đối chính xác, kể cả khi đối tượng dừng di chuyển. Nhưng lại không hiệu quả khi có sự thay đổi của ảnh nền khi đối tượng tĩnh ra khỏi cảnh nền (ví dụ chiếc xe đang dừng di chuyển ra khỏi bãi đậu xe) hay có sự thay đổi đột ngột về độ chiếu sáng [7]. Một phương pháp khác thường sử dụng là Temporal differencing.
Temporal differencing phát hiện đối tượng bằng cách so sánh từng pixel của frame ảnh với pixel tại vị trí tương ứng của frame ảnh trước nó.3) Phương pháp này hiệu quả với sự thay đổi của cảnh nền, nhưng đối tượng thu được thường không đầy đủ và không phát hiện được trong trường hợp đối tượng dừng di chuyển.3 Kết quả phương pháp temporal difference [7] Vùng đối tượng được phát hiện hiện đánh dấu bằng các pixel màu đỏ. Đối tượng bên trái được phát hiện chưa đầy đủ. Nhược điểm này có thể được cải thiện bằng cách so sánh frame hiện hành với frame trước nó 2 hoặc 3 frame. Hoặc có thể kết hợp temporal difference với background subtraction để khắc phục hạn chế của 2 phương pháp trên Đặng Thị Thu Hoa 10 Luận văn thạc sĩ 2014 Optical flow Background subtraction không hiệu quả khi vùng quan sát có nhiều đối tượng chuyển động gây khó khăn cho việc khởi tạo cảnh nền.
Optical flow là giải pháp cho vấn đề này. Optical flow là cách tiếp cận hướng vector, ước lượng chuyển động bằng cách so sánh các điểm tương ứng của đối tượng thông qua nhiều frame [8], sử dụng để tính toán sự di chuyển của pixel trong chuỗi frame ảnh. Cụ thể hơn là xác định một pixel trong ảnh tại thời điểm t sẽ ở vị trí nào trong ảnh tại thời điểm t+1. Từ đó có thể rút trích các thông tin về hướng và vận tốc đi chuyển của từng đối tượng.
Hạn chế của phương pháp này là độ phức tạp tính toán cao, dễ nhiễu và yêu cầu các thiết bị phần cứng chuyên dụng cho những ứng dụng thời gian thực [9]. Các kỹ thuật phổ biến để tính Optical flow là phương pháp của Horn-Schunck, Lucas- Kanade.2 Biểu diễn và phân lớp đối tượng Sau khi đã phát hiện các vùng chuyển động và tách khỏi cảnh nền, bước tiếp theo là cần phân loại các đối tượng đó. Các vùng chuyển động được phát hiện và tách khỏi cảnh nền tương ứng với những loại đối tượng khác nhau trong thế giới thực. Ví dụ, một đoạn video giám sát từ camera đặt ở giao lộ thì các đối tượng chuyển động có thể là người, phương tiện, nhóm người,cả đám động (gồm người, phương tiện,vật nuôi,…).
Việc phân loại đối tượng giúp cho bước theo vết và nhận dạng hành vi được thực hiện dễ dàng và chính xác hơn. Vì giữa các đối tượng sẽ có những đặc trưng khác nhau, việc sớm nhận biết loại đối tượng sẽ giúp áp dụng các phương pháp theo vết và nhận dạng hành vi sao cho phù hợp và hiệu quả. Quá trình gồm 2 giai đoạn: rút trích đặc trưng (feature extraction) và phân lớp dựa trên các đặc trưng đã rút trích Có hai hướng tiếp cận chính để phân lớp đối tượng là dựa trên hình dạng (shape - based), dựa trên chuyển động (motion – based). Phân lớp dựa trên hình dạng (shape-based) Phân lớp dựa trên hình dạng sẽ rút trích các đặc trưng liên quan đến đặc điểm hình học của đối tượng và phân lớp đối tượng dựa trên các đặc trưng này.
Các Đặng Thị Thu Hoa 11 Luận văn thạc sĩ 2014 đặc trưng thường là đường bao (bounding rectangle), màu sắc (color), tâm (center), vận tốc (velocity), góc (corner) [3] Tư tưởng chung của phương pháp dựa trên hình dạng là so sánh thuộc tính của vùng chuyển động với thuộc tính của từng đối tượng trong tập mẫu. Tập mẫu là tập chứa các đối tượng chuẩn đã được phân lớp. Khi thấy sự xấp xỉ gần giống giữa các thuộc tính, ta sẽ biết vùng chuyển động đó gần giống nhất với đối tượng nào trong tập mẫu. Từ đó xác định được đối tượng thuộc lớp nào.
Khi đối tượng bị che khuất, vùng chuyển động phân tách được sẽ không đầy đủ, dẫn tới việc xác định đặc trưng hoặc thuộc tính cũng không đầy đủ. Khi so sánh với các đối tượng trong tập mẫu, sai số giữa các thuộc tính lớn, dẫn tới việc xác định lớp đối tượng không chính xác. Phân lớp dựa trên hình dạng chỉ hiệu quả khi đối tượng được quan sát toàn diện, tức không bị che khuất. Phân lớp dựa trên chuyển động (motion-based) Để phân lớp dựa trên chuyển động đòi hỏi các đặc tính chuyển động của đối tượng đủ khác biệt (unique) để nhận biết các đối tượng khác nhau.
Ví dụ như chuyển động của xe sẽ khác với chuyển động của người đi bộ (về quỹ đạo đường đi, về vận tốc,…). Một đặc trưng khác được sử dụng trong phân lớp đối tượng là đặc trưng màu sắc, kết cấu (texture). Ngoài ra, kết hợp đặc trưng hình dạng và chuyển động sẽ cho hiệu quả phân lớp tốt hơn. Các giải thuật phân lớp thường được sử dụng là Support Vector Machine (SVM), Bayesian Network, K Nearest Neighbors, Neural Network, Hidden Markov Model (HMM) [10] 2.3 Theo vết đối tượng Theo vết đối tượng là bài toán quan trọng và khó khăn đang dành được nhiều sự quan tâm của các nhà nghiên cứu trong lĩnh vực thị giác máy tính.
Mục tiêu của theo vết là thiết lập sự tương ứng của các đối tượng và từng phần của đối tượng giữa các frame liên tiếp nhau [11]. Cụ thể là xác định một đối tượng được phân tách trong frame tại thời điểm t tương ứng với đối tượng nào trong frame tại thời điểm t- 1. Các đối tượng trong frame tại thời điểm t-1 đều đã được gán nhãn. Sau khi xác định được thì đối tượng đó sẽ được gán cùng nhãn với đối tượng tương ứng của nó.
