CHƯƠNG I. TỔNG QUAN VỀ PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH VÀ VIDEO Mọi phương pháp nhận dạng đều yêu cầu cơ chế phát hiện đối tượng trong mỗi hình ảnh hoặc khi đối tượng xuất hiện trong video. Cách tiếp cận phổ biến để phát hiện đối tượng là sử dụng thông tin trong một hình ảnh đơn. Tuy nhiên, một số phương pháp phát hiện đối tượng sử dụng thông tin thời gian được tính từ một chuỗi các hình ảnh để giảm số lần phát hiện sai.
Thông tin thời gian này thường ở sự khác biệt hình ảnh, làm nổi bật các vùng thay đổi trong các hình ảnh liên tiếp. Phát hiện điểm Phát hiện điểm [1] được sử dụng để tìm các điểm quan tâm trong các hình ảnh có kết cấu biểu cảm ở các vùng tương ứng. Điểm quan tâm được sử dụng nhiều trong các ngữ cảnh chuyển động, âm thanh stereo, và các vấn đề theo dõi. Chất lượng mong muốn của điểm quan tâm là sự bất biến của nó đối với những thay đổi về độ chiếu sáng và quan điểm của máy ảnh.
Trong các tài liệu, các phát hiện điểm thường được sử dụng bao gồm: phát hiện điểm Moravec, phát hiện điểm Harris, máy dò KLT, và phát hiện SIFT. Để đánh giá, so sánh các điểm quan tâm, chúng ta tham khảo nghiên cứu của Mikolajczyk và Schmid. Để tìm các điểm quan tâm, thuật toán của Moravec tính toán sự thay đổi của các điểm ảnh hình ảnh trong một bảng kích thước 4x4 theo hướng ngang, dọc, đường chéo và chọn tối thiểu bốn biến thể như các giá trị đại diện cho cửa sổ. Một điểm được xác nhận là quan tâm nếu sự thay đổi cường độ cục bộ tối đa kích thước 12x12.1: Các điểm quan tâm được phát hiện bằng cách áp dụng (a) Harris, (b) các toán tử KLT, và (c) SIFT.
download by : skknchat@gmail.com 13 Máy dò Harris tính toán các dẫn xuất hình ảnh bậc nhất, (𝐼𝑥, 𝐼𝑦, ) theo các hướng x và y để làm nổi bật các biến thể cường độ hướng, sau đó một ma trận thời gian thứ hai mã hóa biến thể này, được đánh giá cho mỗi điểm ảnh trong một khu vực lân cận nhỏ: ∑ 𝐼𝑥2 ∑ 𝐼𝑥 𝐼𝑦 𝑀=( ) (1) ∑ 𝐼𝑥 𝐼𝑦 ∑ 𝐼𝑦2 Một điểm quan tâm được xác định bằng cách sử dụng phương thức và dấu vết của M đo lường sự biến thiên trong một khu vực lân cận 𝑅 = 𝑑𝑒𝑡(𝑀) − 𝑘. 𝑡𝑟(𝑀)2 , trong đó k là hằng số. Các điểm quan tâm được đánh dấu bằng ngưỡng R sau khi áp dụng sự khử không tối đa (kết quả hình 1. Ma trận thời gian tương tự M được đưa ra trong phương trình (1) được sử dụng trong bước phát hiện điểm quan tâm của phương pháp theo dõi KLT.
Xác định điểm quan tâm R được tính bằng cách sử dụng giá trị riêng tối thiểu của 𝑀, 𝜆𝑚𝑖𝑛. Các điểm quan tâm được lựa chọn bởi ngưỡng R. Trong số các điểm quan tâm, KLT loại bỏ các điểm quan tâm mà không gian gần nhau (Hình 1.Về mặt định lượng cả Harris và KLT đều nhấn mạnh các biến thể cường độ bằng các biện pháp tương tự nhau. Ví dụ, R ở Harris có liên quan đến đa thức đặc trưng được sử dụng để tìm các giá trị riêng của 𝑀: 𝜆2 + 𝑑𝑒𝑡(𝑀) − 𝜆.
𝑡𝑟(𝑀) = 0, trong khi KLT tính trực tiếp các giá trị riêng. Trong thực tế, cả hai phương pháp này đều tìm thấy gần như cùng một điểm quan tâm. Sự khác biệt duy nhất là tiêu chí KLT bổ sung thực thi một khoảng cách không gian được xác định trước giữa các điểm quan tâm đã phát hiện. Về lý thuyết, ma trận M là bất biến đối với phép quay và dịch.
Tuy nhiên, không phải bất biến đối với các biến đổi affine hoặc projective. Để giới thiệu sự phát hiện mạnh mẽ các điểm quan tâm dưới các biến đổi khác nhau, Lowe đã giới thiệu phương pháp SIFT (Quy mô biến đổi không đổi) bao gồm bốn bước. Thứ nhất, một không gian được xây dựng bằng cách hợp nhất hình ảnh với các bộ lọc Gaussian ở các quy mô khác nhau. Hình ảnh đã hợp nhất được sử dụng để download by : skknchat@gmail.com 14 tạo ra các hình ảnh khác nhau của Gaussians (DoG).
Các điểm quan tâm đề xuất sau đó được chọn từ các cực tiểu và cực đại của các hình ảnh DoG trên tỷ lệ. Bước tiếp theo cập nhật vị trí của mỗi đề xuất bằng cách nội suy các giá trị màu sắc và sử dụng các điểm ảnh lân cận. Trong bước thứ ba, loại bỏ các đề xuất tương phản thấp, dọc theo các cạnh. Cuối cùng, các điểm quan tâm còn lại được định hướng dựa trên các đỉnh trong biểu đồ của các đường định hướng gradient trong một khu vực nhỏ xung quanh điểm đề xuất.
Máy dò SIFT tạo ra một số điểm quan tâm lớn hơn so với các máy dò điểm quan tâm khác. Điều này là do thực tế các điểm quan tâm ở các quy mô khác nhau và độ phân giải khác nhau (hình chóp) được tích trữ. Theo kinh nghiệm SIFT tốt hơn hầu hết các điểm dò và linh hoạt hơn cho các biến dạng hình ảnh. Phép trừ nền Phát hiện đối tượng có thể đạt được bằng cách xây dựng một biểu diễn của cảnh được gọi là mô hình nền, sau đó tìm ra độ lệch từ mô hình cho mỗi khung.
Bất kỳ thay đổi nhỏ nào trong vùng hình ảnh từ hình nền cho thấy một đối tượng chuyển động. Các điểm ảnh tạo thành các vùng thay đổi được đánh dấu để xử lý tiếp. Thông thường, thuật toán thành phần kết nối được áp dụng để có được các vùng kết nối tương ứng với các đối tượng. Quá trình này được gọi là phép trừ nền [1].
Sự khác biệt khung của các khung liền kề đã được nghiên cứu kỹ lưỡng từ cuối những năm 70. Tuy nhiên, phép trừ nền đã trở nên phổ biến theo sau công trình của Wren et al. Để tìm hiểu sự thay đổi dần dần về thời gian, Wren et al. đề xuất mô hình hoá màu sắc của mỗi điểm ảnh, 𝐼 (𝑥, 𝑦) của một nền tĩnh cố định với một không gian màu 3D (Y, U, và V) Gaussian, 𝐼(𝑥, 𝑦) ~ 𝑁(𝜇 (𝑥, 𝑦) , ∑( 𝑥, 𝑦)).
Các thông số mô hình, trung bình (x, y) và hiệp phương sai £(x, y), được học từ các quan sát màu sắc trong một số khung liên tiếp. Khi mô hình nền được tạo ra, đối với mỗi điểm ảnh (𝑥, 𝑦) trong khung đầu vào, tính khả năng màu của nó đến từ 𝑁(𝜇(𝑥, 𝑦), ∑(𝑥, 𝑦)) được tính toán, và các điểm ảnh đi chệch hướng mô hình nền download by : skknchat@gmail.com 15 được dán nhãn là các điểm ảnh nổi. Tuy nhiên, một Gaussian không phải là một mô hình tốt cho những cảnh ngoài trời vì nhiều màu sắc có thể được quan sát ở một vị trí nhất định do chuyển động đối tượng lặp đi lặp lại, bóng hoặc phản xạ. Một cải tiến đáng kể trong mô hình nền đã đạt được bằng cách sử dụng mô hình thống kê đa phương thức để mô tả màu nền cho mỗi điểm ảnh.
Ví dụ, Stauffer và Grimson sử dụng một hỗn hợp của Gaussians để mô hình màu điểm ảnh. Trong phương pháp này, một điểm ảnh trong khung hiện tại được kiểm tra đối với mô hình nền bằng cách so sánh nó với mọi Gaussian trong mô hình cho đến khi tìm thấy một Gaussian phù hợp. Nếu so khớp được tìm thấy, giá trị trung bình và phương sai của Gaussian phù hợp được cập nhật, nếu không Gaussian mới có nghĩa là bằng với màu điểm ảnh hiện tại và một số phương sai ban đầu được đưa vào hỗn hợp. Mỗi điểm ảnh được phân loại dựa trên việc phân phối phù hợp có phải là quá trình nền hay không.
Di chuyển các khu vực, được phát hiện bằng cách sử dụng phương pháp này, cùng với các mô hình nền được thể hiện trong hình 1. (a) Hình ảnh từ một dãy trong đó một người đang đi ngang qua hiện trường. (b) Giá trị trung bình của các Gaussian có trọng số cao nhất ở mỗi vị trí điểm ảnh. Các phương tiện này đại diện cho màu sắc cho mỗi điểm ảnh tạm thời nhất và do đó phải đại diện cho nền tĩnh.
(c) Các phương tiện của Gauss với trọng lượng cao thứ hai; những phương tiện này đại diện cho màu sắc được quan sát ít thường xuyên hơn. (d) Kết quả trừ nền. Các tiền cảnh bao gồm các điểm ảnh trong khung hiện tại mà phù hợp với một trọng số thấp Gaussian.2: Hỗn hợp mô hình Gaussian cho phép trừ nền. Cách tiếp cận khác là kết hợp thông tin cảnh dựa trên vùng (không gian) thay vì chỉ sử dụng thông tin dựa trên màu.
Elgammal và Davis sử dụng ước lượng mật độ hạt nhân không tham số để mô hình nền cho mỗi điểm ảnh. Trong quá trình trừ, download by : skknchat@gmail.com 16 điểm ảnh hiện tại không chỉ khớp với điểm ảnh tương ứng trong mô hình nền, mà còn đến vị trí điểm ảnh gần đó. Do đó, phương pháp này có thể xử lý sự chập chờn của ảnh hoặc các chuyển động nhỏ trong nền. Li và Leung kết hợp các tính năng kết cấu và màu để thực hiện phép trừ nền trên khối 5 x 5 điểm ảnh.
Do cấu trúc không thay đổi nhiều với sự thay đổi độ chiếu sáng, nên phương pháp này ít bị ảnh hưởng bởi ánh sáng. Toyama và cộng sự đề xuất một thuật toán ba cấp để giải quyết vấn đề trừ nền. Ngoài phép trừ cấp điểm ảnh, họ sử dụng miền và thông tin mức khung. Ở cấp điểm ảnh, họ đề xuất sử dụng bộ lọc Wiener để dự đoán có tính xác suất về màu nền dự kiến.
Ở cấp vùng, các vùng tiền cảnh bao gồm màu đồng nhất được điền vào. Ở cấp khung, nếu hầu hết các điểm ảnh trong khung hiển thị đột ngột thay đổi, giả sử rằng các mô hình nền màu điểm ảnh dựa trên không còn hợp lệ. Vào thời điểm này, mô hình nền dựa trên điểm ảnh được lưu trữ trước đó được hoán đổi, hoặc mô hình được khởi tạo lại. Cách tiếp cận thay thế cho phép trừ nền là đại diện cho các biến thể cường độ của một điểm ảnh trong một chuỗi ảnh như các trạng thái rời rạc tương ứng với các sự kiện trong môi trường.
Rittscher et al sử dụng mô hình Markov ẩn (HMM) để phân loại các khối nhỏ của một hình ảnh giống như một trong ba trạng thái này. Trong bối cảnh phát hiện ánh sáng trong và ngoài sự kiện trong một căn phòng, Stenger et al sử dụng HMM cho phép trừ nền.