CHƯƠNG I TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG BÀN TAY 1.1 Giới thiệu bài toán Phân vùng bàn tay là một quá trình nhằm mục đích xác định vùng chứa bàn tay trong ảnh. Đây là bước đầu tiên và quan trọng trong việc nhận dạng cử chỉ tay vì chất lượng của bước này sẽ ảnh hưởng đến hiệu suất của toàn bộ hệ thống. Tuy nhiên, phân vùng chính xác bàn tay qua hình ảnh hoặc video vẫn là một vấn đề khó khăn do sự thay đổi về hình dạng bàn tay và môi trường.2 Một số nghiên cứu liên quan Trong phần này, tác giả sẽ trình bày một khảo sát về hệ thống nhận dạng tay. Luận văn này tập trung vào bài toán phân vùng bàn tay trong ngữ cảnh tương tác người-máy trong môi trường trong nhà.
Vì vậy, chúng tôi sẽ khảo sát các nghiên cứu liên quan đến phát hiện, phân vùng bàn tay phù hợp với môi trường đã nêu. Luận văn tập trung vào vấn đề trích chọn đặc trưng và biểu diễn bàn tay bởi vì đây là vấn đề quan trọng trong hệ thống phát hiện, nhận dạng đối tượng. Do đó, trong phần này tác giả sẽ tập trung vào việc phân tích các phương pháp trích chọn đặc trưng và biểu diễn bàn tay. Nhiều đặc trưng đã được đề xuất cho việc phát hiện, phân vùng bàn tay.
Căn cứ vào bản chất của thông tin được phản ánh trong các đặc trưng, tác giả chia các đặc trưng thành 5 loại: pixel value, shape, topography, context, và motion. Hầu hết các phương pháp có sự kết hợp sử dụng nhiều hơn một loại đặc trưng. Dưới đây, chúng tôi sẽ trình bày mô tả ngắn gọn về các đặc trưng này.1 Pixel value (intensity/color) Hầu hết các phương pháp phát hiện tay sử dụng các giá trị điểm ảnh. Giá trị điểm ảnh có thể là cường độ và/hoặc màu sắc.
Nhiều phương pháp sử dụng thông tin màu sắc để phát hiện các điểm ảnh có màu da trong khi một số phương pháp khác sử dụng cường độ điểm ảnh để quyết định một điểm ảnh có thuộc vùng tay hay không. Chúng ta có thể chia các đặc trưng dựa trên giá trị điểm ảnh thành hai loại chính: chỉ dựa trên giá trị điểm ảnh (Individual pixel) và dựa trên mối quan hệ 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com giữa các điểm ảnh (Relationship between pixels or regions). Loại thứ nhất chỉ dựa trên giá trị của bản thân các điểm ảnh. Hướng tiếp cận này thường dùng trong các phương pháp phát hiện điểm ảnh thuộc vùng bàn tay dựa trên màu da.
Trong khi đó, hướng tiếp cận thứ hai sử dụng mối quan hệ giữa các điểm ảnh hoặc giữa các vùng. (i) Chỉ dựa trên giá trị điểm ảnh (Individual pixel) Trong loại đầu tiên, giá trị của mỗi điểm ảnh trong ảnh được kết hợp với một mô hình màu da hoặc một tiêu chí để xác định đó có phải là điểm ảnh thuộc vùng da hay không. Màu da thường được sử dụng trong việc phát hiện, phân vùng bàn tay. Tuy nhiên, chỉ sử dụng màu da sẽ không đủ vì các ảnh hưởng của phông nền và ánh sáng (xem hình minh họa 1.
Vì lý do này, các phương pháp phát hiện, phân vùng bàn tay dựa trên màu da thường sử dụng thêm các thông tin ngữ cảnh như khuôn mặt và các bộ phận khác của người. Tiếp theo, tác giả sẽ giới thiệu chi tiết một số nghiên cứu tiêu biểu thuộc loại này.1: Sự thay đổi màu da trong các điều kiện ánh sáng khác nhau Một số phương pháp chỉ sử dụng màu da trong bước phát hiện tay: Zhu và các cộng sự [4] đề xuất một cách để xác định bàn tay trong trường hợp camera đeo trên người. Đối với mỗi ảnh, một mô hình màu tay và một mô hình màu nền được tạo ra sử dụng GMM (Gaussian Mixture Model) với các thuật toán EM. Sau đó, mỗi điểm ảnh được phân thành điểm ảnh tay hoặc nền dựa vào các mô hình đã có.
Phương pháp này dựa trên giả thiết rằng màu tay trong ảnh đưa ra là phù hợp để có thể được mô hình hóa bởi một phân phối Gaussian. Một điều kiện tiên quyết quan trọng là một số vị trí có xu hướng xuất hiện bàn tay với xác suất cao được xác định trước. Do đó, màu bàn tay trung bình trong một ảnh có thể được ước 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com tính một cách đáng tin cậy. Tuy nhiên, trên thực tế, trong nhiều ứng dụng (ví dụ như tương tác với robot trong môi trường thực tế), người sử dụng đứng xa máy ảnh; do đó những ràng buộc trên là không thỏa mãn.
Stergiopoulou và các cộng sự [5] áp dụng một kỹ thuật phân phân vùng màu dựa trên một thủ tục lọc màu da trong không gian màu YCbCr. Tuy nhiên, những ảnh đầu vào sử dụng trong nghiên cứu này là những ảnh đơn giản, chỉ chứa bàn tay trong một nền đồng nhất. Để nâng cao độ chính xác của việc phân vùng bàn tay, nhiều đặc trưng được bổ sung kết hợp với màu da. Trong nhiều nghiên cứu, các đặc trưng phản ánh mối quan hệ giữa các điểm ảnh được sử dụng kết hợp với màu da [6].
(ii) Mối quan hệ giữa các pixel hoặc vùng (Relationship between pixels or regions) Khác với cách tiếp cận thứ nhất (Individual pixel), các phương pháp trong hướng tiếp cận thứ hai sử dụng các đặc trưng phản ánh mối quan hệ giữa các điểm ảnh/vùng hoặc thông tin thống kê. Một số đặc trưng thuộc loại này là đặc trưng Local Binary Pattern (LBP), Histogram of Gradient (HOG), Scale Invariant Feature Transform (SIFT) và Haar-like. Trong [6], Francke và cộng sự kết hợp đặc trưng Haar và mLBP với mô hình da thích nghi được xây dựng từ vùng mặt để phát hiện tay trước khi theo dõi. Wang và cộng sự sử dụng các đặc trưng SIFT chung của các hình trạng bàn tay khác nhau để phát hiện tay.
Đặc trưng HOG cũng thường được sử dụng trong phát hiện bàn tay [7]. Mittal và cộng sự đề xuất một phương pháp phân vùng bàn tay sử dụng hướng tiếp cận kết hợp nhiều phương pháp. Trong hướng tiếp cận này, các mô hình có thể biến dạng (deformable models) dựa trên đặc trưng HOG được sử dụng để phát hiện bàn tay và phần cuối của cánh tay (cổ tay). Trong [6] một bộ phát hiện đã được thực hiện bằng cách sử dụng cấu trúc phân tầng của các bộ phân loại để phát hiện tay trong các blob màu da.
Các tác giả nhận xét rằng mặc dù các bộ phát hiện sử dụng cấu trúc phân tầng của các bộ phân 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com loại mạnh cho phép phát hiện hiệu quả khuôn mặt hoặc xe hơi, chúng ta không thể xây dựng một bộ phát hiện hiệu quả để phát hiện tay chung chung. Lý do: (i) tay là đối tượng phức tạp, có khả năng biến dạng cao, (ii) tay có thể có nhiều hình trạng thay đổi khác nhau, (iii) trong môi trường thực tế thì nền là thay đổi và phức tạp. Do đó, các tác giả đã thay đổi cách tiếp cận. Đầu tiên cần phát hiện tay sau đó bàn tay được theo dõi trong các frame liên tiếp.
Để phát hiện ra bàn tay, đầu tiên hệ thống yêu cầu người dùng thực hiện một cử chỉ cụ thể (hình trạng nắm tay). Để xác định hình trạng nào đang được thực hiện, họ áp dụng một cấu trúc cascade song song của các bộ phát hiện riêng cho từng hình trạng trên trên các vùng quan tâm (ROI) thu được từ đầu ra của mô-đun theo dõi. Các tác giả chỉ ra rằng các bộ phát hiện hoạt động kém hiệu quả trong trường hợp nền phức tạp.2 Hình dạng (shape) Đặc trưng hình dạng đã được sử dụng để phát hiện bàn tay trong ảnh. Đặc điểm hình dạng thường thu được bằng cách trích chọn các đường bao và cạnh.
Choi và cộng sự [8] đề xuất một phương pháp dựa trên giả định rằng bàn tay và cánh tay có độ sáng khác nhau do đó các vùng da có màu khác nhau. Trước tiên họ phân chia khu vực tay, cánh tay từ các vùng da khác nhau dựa trên độ sáng khác nhau. Việc phân biệt vùng tay và cánh tay được thực hiện bằng cách sử dụng đặc trưng hình dạng. Họ coi các blob dài là vùng tay-cánh tay.
Phương pháp này không thể phát hiện vùng tay mà không có cánh tay. Ràng buộc này thường không được thảo mãn trong các ứng dụng thực tế. Việc phát hiện tay từ vùng tay-cánh tay được thực hiện bằng cách tìm ra một điểm đặc trưng cho cổ tay. Chúng ta có thể nhận xét rằng nếu chúng ta có thể phát hiện đường bao một cách chính xác thì đường bao sẽ biểu diễn tốt hình dạng bàn tay.
Tuy nhiên, trong môi trường thực tế việc tìm đường bao của vùng bàn tay vẫn là một thách thức.3 Topography Đặc trưng topography của bàn tay là các blob, ngón tay, cổ tay, lòng bàn tay. Một số phương pháp sử dụng các đặc trưng topography bổ sung để quyết định một vùng da có phải là khu vùng bàn tay hay không. Le và cộng sự [9] xác định được lòng bàn tay và các vị trí đầu ngón tay dựa trên hình ảnh DT (distance transformation 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Phương pháp này yêu cầu phải thực hiện trên một kết quả phân vùng màu da tốt.
Sgouropoulos và cộng sự phát hiện các blob bàn tay từ các vùng da dựa trên kích thước của blob so với kích thước khuôn mặt. Trong [10], các blob màu và hình dạng ngón tay được trích chọn từ các vùng da phân đoạn, đặc trưng blob and rigde sẽ được sử dụng trong việc phát hiện, theo dõi và nhận dạng tay. Một số phương pháp [8] xác định vùng bàn tay từ vùng tay-cánh tay bằng cách phát hiện các đặc trưng cổ tay.4 Ngữ cảnh (Context) Thông tin ngữ cảnh được sử dụng trong một số nghiên cứu. Chúng thường kết hợp với các thông tin khác như màu sắc.
Marcel và cộng sự xác định nếu một blob màu da có phải vùng bàn tay hay không dựa vào cửa sổ hoạt động (actived window). Cửa sổ hoạt động được xác định trong vùng cơ thể-mặt. Mittal và cộng sự [11] sử dụng một bộ phát hiện dựa trên thông tin ngữ cảnh kết hợp với hai bộ phát hiện khác (một bộ phát hiện tay dạng cửa sổ trượt và một bộ phát hiện dựa trên da) để tạo ra một bộ phát hiện tay dựa trên nhiều đề xuất. Trong [12] Dardas và Georganas đã sử kỹ thuật loại trừ vùng khuôn mặt kết hợp với phát hiện vùng màu da và đường bao để phát hiện và theo dõi bàn tay trong môi trường nền phức tạp.5 Chuyển động (Motion) Chuyển động là đặc trưng phổ biến trong phát hiện tay.
Đặc trưng chuyển động thường kết hợp với màu da.