Chương 1 KHÁI QUÁT VỀ VIDEO VÀ PHÁT HIỆN CHUYỂN ĐỘNG 1. Các khái niệm cơ bản về video [3] Video là tập hợp các khung hình, mỗi khung hình là một ảnh. Shot (lia) là đơn vị cơ sở của video. Một lia là một đơn vị vật lý của dòng video, gồm các chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn, ứng với một thao tác camera đơn.
Scene (cảnh) là các đơn vị logic của dòng video, một cảnh gồm các lia liên quan về không gian và liền kề về thời gian, cùng mô tả một nội dung ngữ nghĩa hoặc một tình tiết.1: Cấu trúc phân đoạn video Khi phim được chiếu, các khung hình lần lượt được hiển thị ở tốc độ nhất định. Tốc độ thường thấy ở các định dạng video khác nhau là 30 và 25 hình/s. Như vậy một giờ video sẽ có số khung hình tương ứng là 108000 hoặc là 90000. Dù là video ở định dạng nào thì nó cũng có dung lượng rất lớn và nếu xử lý với tất cả các khung hình thì thật không hiệu quả.
Phân đoạn là quá trình phân tích và chia nội dung hình ảnh video thành các đơn vị cơ sở gọi là các lia (shot). Việc lấy mẫu chính là chọn gần đúng một khung video đại diện cho mỗi lia (hoặc nhiều hơn tùy theo mức độ phức tạp của nội dung hình ảnh của lia) và được gọi là các khung - khóa. Khung – khóa là khung hình đại diện mô tả nội dung chính của shot. Quá trình phân đoạn dữ liệu video tiến hành phân tích, phát hiện sự chuyển đổi từ lia này sang lia khác hay chính là sự phát hiện ranh giới giữa các lia (đó chính là 4 đo sự khác nhau giữa các khung hình liền kề).
Trong hình dưới đây là ví dụ về sự chuyển đổi giữa các lia: Hình 1.2: Chuyển đổi Lia giữa khung hình thứ 3 và thứ 4 Một số thuộc tính đặc trưng của video: Video có 4 đặc trưng chính đó là: Color (màu), Texture (kết cấu), Shape (hình dạng), Motion (chuyển động). Màu (Color) Màu là một thuộc tính quan trọng của ảnh. Biểu đồ màu, biểu diến sự phân bố màu, là một đặc trưng màu phổ biến nhất hiện nay. Biểu đồ màu không phụ thuộc vào sự quay, dịch chuyển ảnh cũng như chiều nhìn ảnh.
Tính hiệu quả của nó lại phụ thuộc vào hệ màu và phương pháp định lượng được dùng. Có một vấn đề với biểu đồ màu là nó không biểu diễn thông tin về không gian phân bố các điểm ảnh, do đó hai ảnh có cùng biểu đồ màu có thể có nội dung rất khác nhau.3: Bốn khung hình khác nhau song có cùng một biểu đồ màu 1. Kết cấu (Texture) Đây là một đặc trưng quan trọng của bề mặt, nơi xảy ra việc lặp lại mẫu cơ bản. Có hai dạng biểu diễn texture phổ biến: biểu diễn dạng ma trận đồng thời và biểu diễn Tamura.
Ma trận đồng thời mô tả hướng và khoảng cách giữa các điểm ảnh, nhờ đó các thống kê có nghĩa có thể được trích chọn. Ngược lại, người ta thấy rằng entropy và mô men chênh lệch nghịch đảo lại có khả năng phân biệt tốt nhất. Biểu diễn Tamura được thúc đẩy nhờ các nghiên cứu về tâm lý trong việc thu nhận trực giác của 5 con người và nó bao gồm các đại lượng đo tính thô, độ tương phản, hướng, tính trơn, tính cân đối và độ ráp. Các đặc trưng Tamura rất hấp dẫn trong việc hiểu nội dung ảnh vì nó biểu đạt trực quan.
Ngoài ra còn có một số các dạng biểu diễn khác như trường ngẫu nhiên Markov, biến đổi Gabor, biến đổi gợn sóng,. Hình dáng (Shape) Các đặc trưng hình dáng có thể được biểu diễn sử dụng phân tích hình dáng truyền thống như bất biến mô men, mô tả Fourier, mô hình học tự động quay lui và các thuộc tính hình học. Các đặc trưng này có thể được phân chia thành đặc trưng toàn cục và đặc trưng cục bộ. Đặc trưng toàn cục là đặc trưng thuộc tính thu được từ toàn bộ hình dáng ảnh, chẳng hạn như chu vi, tính tròn, mô men trung tâm, hướng trục chính.
Đặc trưng cục bộ là đặc trưng thu được từ việc thao tác với một phần của ảnh, không phụ thuộc vào toàn bộ ảnh. Chuyển động (Motion) Motion là thuộc tính quan trọng của video. Thông tin về chuyển động có thể được sinh ra bằng các kỹ thuật ghép khối hoặc luồng ánh sáng. Các đặc trưng chuyển động như mô men của trường chuyển động, biểu đồ chuyển động hoặc là các tham số chuyển động toàn cục có thể được trích chọn từ vectơ chuyển động.
Các đặc trưng mức cao phản ánh di chuyển camera như quét camera (pan), nghiêng (tilt), phóng to (zoom out), thu nhỏ (zoom in) cũng có thể được trích chọn. Phát hiện đối tượng chuyển động là gì? Đó là quá trình đưa ra vết các đối tượng chuyển động từ các khung hình video. Quá trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn video để phát hiện ra các đối tượng chuyển động trong một đoạn hình ảnh theo mô hình dưới đây: 6 Các khung hình video PHÁT HIỆN CÁC VÙNG ẢNH NỔI (FOREGROUND DETECTION) XỬ LÝ CÁC VÙNG ẢNH NỔI (FOREGROUND PROCESSING) Các đối tượng chuyển động, các tính chất của chúng Hình 1.4: Tổng quan các khối xử lý trong bài toán phát hiện đối tượng 7 1. Thiết kế các khối xử lý Mô hình tổng quan khối xử lý cho cả bài toán phát hiện đối tượng chuyển động Khởi tạo và cập nhật 1 Các khung hình Video Ảnh nền MÔ HÌNH ẢNH NỀN (Mô hình trừ ảnh nền, Mô hình chênh lệch tạm thời, Mô hình Gause) Cập nhật PHÁT HIỆN ĐIỂM ẢNH NỔI Biểu đồ điểm ảnh nổi và khung ảnh hiện tại TIỀN XỬ LÝ MỨC ĐIỂM ẢNH (Loại nhiễu, Phát hiện bóng vật thể, Phát hiện ánh sáng thay đổi 2 đột ngột) Vùng điểm ảnh nổi đã làm sạch PHÂN TÍCH SỰ LIÊN KẾT CÁC KHỐI Các khối đã được đánh dấu TIỀN XỬ LÝ MỨC VÙNG ẢNH NỔI (Kết hợp các vùng ảnh liên kết với nhau, loại bỏ các vùng nhỏ không liên quan) Các khối đã được lọc, làm sạch ĐƯA RA TÍNH CHẤT CỦA ĐỐI TƯỢNG (Diện tích đối tượng, Vết của đối tượng và các Tâm của khổi, Biểu đồ màu, Viền tính chất của chúng của đổi tượng) Hình 1.5: Mô hình chi tiết các khối xử lý 8 1.
Khối phát hiện các vùng ảnh nổi Trong phần thiết kế xử lý cho khối phát hiện vùng ảnh nổi ta sử dụng một mô hình ảnh nền (Background Model) nhằm tích hợp các phương pháp trừ ảnh nền, mô hình chênh lệch tạm thời và mô hình thống kê Gausse nhằm giải quyết vấn đề phát hiện các vùng ảnh nổi. Khởi tạo và cập nhật Các khung hình Video B. MÔ HÌNH ẢNH NỀN Ảnh nền (Mô hình trừ ảnh nền, Mô hình chênh lệch tạm thời, Mô hình Gause) Cập nhật A. PHÁT HIỆN ĐIỂM ẢNH NỔI Biểu đồ điểm ảnh nổi và khung ảnh hiện tại Hình 1.6: Khối phát hiện vùng ảnh nổi Sơ đồ trên chỉ ra các khối xử lý nhằm phát hiện các vùng ảnh nổi.
Trong đó mô hình trừ ảnh nền với các phương thức khởi tạo và cập nhật các khung hình ảnh nền nhằm đưa đầu vào: các ảnh nền cho quá trình xử lý phát hiện điểm ảnh nổi. Sau khi đã có các ảnh nền, thao tác xử lý bên trong khối phát hiện điểm ảnh nổi đơn giản chỉ là thực hiện việc trừ ảnh, lấy khung hình hiện tại so sánh với ảnh nền để đưa ra một biểu đồ các điểm ảnh nổi lên từ ảnh hiện tại. Biểu đồ điểm ảnh này với khung ảnh hiện tại sẽ là đầu vào của quá trình xử lý tiếp theo Trong sơ đồ xử lý này, khối xử lý mô hình ảnh nền được coi là khối xử lý quan trọng nhất. Khối này sẽ thực hiện tích hợp các phương pháp xử lý khác nhau như đã trình bày ở trên nhằm đưa ra một mô hình ảnh nền phục vụ cho bước xử lý tiếp theo.
Cụ thể các mô hình được sử dụng trong khối xử lý này là: 9 - Tương hợp mô hình trừ ảnh nền - Tương hợp mô hình pha trộn Gausse - Mô hình chênh lệch tạm thời Các mô hình này sẽ được thực hiện dưới dạng các thư viện xử lý, tích hợp vào trong hệ thống. Khi gặp các điều kiện quan sát khác nhau, hệ thống có thể linh động sử dụng các thư viện xử lý này để đưa ra hiệu quả cao nhất. Dưới đây là một số cơ sở lý thuyết về các mô hình được đề cập ở trên. Mô hình trừ ảnh nền thích hợp Thuật toán trừ ảnh nền thích hợp được thực hiện như sau: Gọi I n (x) là cường độ của điểm ảnh tại vị trí x và tại thời điểm khung hình thứ n trong chuỗi các khung hình video I (n [0,255]).
Gọi Bn (x) là giá trị cường độ của ảnh nền tương ứng cho vị trí x được ước lượng qua chuỗi hình ảnh từ I 0 đến I n1. Theo phương pháp trừ ành thì điểm ảnh tại vị trí x trong khung hình video hiện tại thuộc lớp ảnh nổi khi nó thõa mãn : | I n ( x) Bn ( x) | Tn ( x ) (1.1) Trong công thức này Tn (x ) biểu diễn một ngưỡng được ước lượng qua các khung hình từ I 0 đến I n1. Công thức trên được sử dụng để tạo ra bản đồ các vùng ảnh nổi lên. Biểu diễn các điểm ảnh bởi một ma trận trong đó các điểm ảnh nổi lên sẽ có giá trị là một và các điểm ảnh nền sẽ có giá trị là 0 cho mỗi điểm ảnh.
Điểm ảnh nền Bn (x) ban đầu được khởi tạo với khung hình đầu tiên là B0 I 0. Do sự thay đổi của khung cảnh thu được nên khung ảnh nền và ngưỡng liên tục được cập nhật theo công thức sau: Bn ( x) (1 ) I n ( x), x BG Bn1 ( x) Bn ( x) (1 ) I n ( x), x FG (1.3) 10 Trong đó ký hiệu BG là vùng ảnh nền và FG là vùng ảnh nổi lên trên. và thuộc khoảng [0.0], là số điểm ảnh khác nhau từ khung hình được so sánh với ảnh nền. 10100001000110000100010111 01000010111100111100110101 11100010010110100100110011 01000100101001000100111110 01001011011110110000000000 10001010101000100100101101 10001000100100110001001001 Ma trận minh họa cho thao tác trừ ảnh.
một đại diện cho điểm ảnh nổi, 0 đại diện cho điểm ảnh nền Hình minh họa dưới đây mô tả cho kết quả thuật toán trừ ảnh này: Hình 1.