Chương 1: TỔNG QUAN 1.1 Mục tiêu và đối tượng nghiên cứu Mục tiêu của nghiên cứu này là có thể nhận dạng các tư thế của bàn tay người trong không gian ba chiều (3D) trong một khung dữ liệu thu được từ cảm biến Kinect. Địa chỉ ứng dụng của bài toán bước đầu là nhận dạng các kí tự chữ cái trong bảng ngôn ngữ kí hiệu và tôi mong muốn có thể mở rộng sang các ứng dụng tương tác thực tế ảo, thực tế tăng cường và điều khiển thiết bị.1 Nhận dạng ngôn ngữ kí hiệu Tiếng Việt Hình 1: Một số từ ngữ cơ bản trong ngôn ngữ kí hiệu và bảng chữ cái tiếng Việt. Nhận diện và thông dịch ngôn ngữ kí hiệu nói chung cũng như ngôn ngữ kí hiệu tiếng Việt nói riêng cần kết hợp nhiều công việc như: nhận diện tư thế bàn tay và nhận diện các chuyển động của cánh tay, khẩu hình. Khả năng nhận diện các đặc trưng này càng tốt thì khả năng thông dịch sang ngôn ngữ kí hiệu càng chính xác.
Trong đó các vấn đề nhận dạng 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com kể trên, nhận dạng các tư thế bàn tay hiện nay là bài toán còn có nhiều vấn đề cần phải nghiên cứu và phát triển.2 Nhận dạng tư thế bàn tay Cách làm có độ chính xác cao nhất hiện nay cho bài toán này là sử dụng găng tay chuyên dụng. Thiết bị này được đeo vào tay và có rất nhiều cảm biến để do vị trí bàn tay và độ mở của các khớp ngón tay. Cách làm này có thể xử lý theo thời gian thực và có khả năng phát hiện đầy đủ các hoạt động của bàn tay trong tương tác. Tuy nhiên hạn chế của phương pháp này là găng tay chuyên dụng này rất đắt tiền và đòi hỏi quá trình hiệu chỉnh ban đầu rất phức tạp.
Ngoài ra, việc đeo găng tay cản trở các di chuyển tự nhiên của bàn tay, làm giảm phạm vi ứng dụng của phương pháp này. Nhận diện bàn tay sử dụng các kĩ thuật của xử lý ảnh được xem là một giải pháp thay thế khi không yêu cầu người sử dụng đeo găng tay, tương tác từ bàn tay sẽ thoải mái và tự nhiên hơn. Tuy nhiên việc nhận diện bàn tay bằng kĩ thuật xử lý ảnh gặp phải những vấn đề khó khăn cơ bản như sau: • Bài toán có quá nhiều chiều: bàn tay là một đối tượng có nhiều khớp nối với hơn 20 bậc tự do. Mặc dù có những ràng buộc giữa các ngón tay và các khớp trên cùng một ngón tay khiến cho chuyển động thực tế ít hơn 20 bậc tự do, tuy nhiên các nghiên cứu cho thấy việc mô tả tư thế bàn tay với ít hơn 6 bậc tự do là không thể.
Kết hợp với vị trí và hướng của bàn tay, tương đương 6 bậc tự do, việc nhận dạng tư thế bàn tay đòi hỏi phải ước lượng rất nhiều tham số. • Hiện tượng bị che khuất: bởi lẽ tay là một đối tượng nhiều khớp nối, nên khi quan sát bàn tay từ cảm biến ảnh, kết quả của phép chiếu từ không gian 3D xuống mặt phẳng 2D khiến một lượng lớn thông tin về hình khối bị che khuất. Điều này gây khó khăn cho việc phân hoạch và trích chọn các đặc trưng cơ bản từ bàn tay. • Tốc độ xử lý: ngay cả trong một khung hình, một hệ thống xử lý ảnh thời gian thực cần xử lý một lượng lớn dữ liệu.
Nói cách khác, độ trễ yêu cầu trong một vài ứng dụng đòi hỏi khả năng tính toán lớn. Với công nghệ phần cứng hiện nay, một số giải thuật đòi hỏi phần cứng chuyên dụng, đắt tiền và có khả năng xử lý song song để thực thi thời gian thực. • Môi trường không kiểm soát: để mở rộng ứng dụng, nhiều hệ thống tương tác người máy được kì vọng có thể hoạt động trong một môi trường có nền không bị giới hạn và điều kiện ánh sáng thay đổi lớn. Nói cách khác, làm việc trên một nền tùy ý luôn là thách thức với hầu hết các hệ thống xử lý ảnh.
• Chuyển động nhanh của bàn tay: bàn tay có khả năng chuyển động rất nhanh, ở cổ tay tốc độ lên tới 5 mét/giây cho dịch chuyển tịnh tiến và 300 độ / giây cho chuyển động xoay. Hiện nay, cảm bến ảnh thông dụng có thể hỗ trợ tốc độ khung hình 30-60 Hz. Mặt khác, rất nhiều giải thuật khó có thể đạt đến tốc độ 30Hz. Tốc độ di chuyển nhanh của bàn tay kết hợp với tần số lấy mẫu thấp từ cảm biến gây thêm những khó khăn cho thuật 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com toán nhận dạng.
Thí dụ: các ảnh thu được trong các khung hình liên tiếp có độ tương quan thấp dần khi tốc độ di chuyển của bàn tay tăng lên. Rất khó có thể thỏa mãn tất cả các vấn đề trên, vì vậy một số nghiên cứu đã tìm cách giới hạn với người dùng hoặc môi trường. Thí dụ như coi nền môi trường là không thay đổi và bàn tay là một đối tượng duy nhất có màu da. Tuy nhiên không phải ứng dụng nào cũng chấp nhận những giới hạn này, đặc biệt là trong các ứng dụng tương tác thực tại ảo, tốc độ xử lý cần phải đạt tới 100 Hz.
Hai vấn đề đầu tiên được xem là khó khăn nhất khi phải đối mặt với bài toán có quá nhiều chiều và thông tin bị thiếu hụt do bị che khuất giữa các ngón tay. Một số nghiên cứu muốn giảm thiểu hiện tượng bị che khuất bằng cách quan sát bàn tay bằng hệ thống nhiều camera. Một số nghiên cứu khác tiếp cận theo cách giới hạn số tư thế của bàn tay: thí dụ như giới hạn tư thế trong các kí tự trong bảng chữ cái, hoặc giới hạn các tư thế cầm nắm, kéo thả cơ bản để tăng tốc độ xử lý. Tuy nhiên việc xây dựng một hệ thống tương tác người máy không giới hạn chuyển động của bàn tay cần phải được nghiên cứu.2 Các nghiên cứu liên quan Để nhận diện đầy đủ các bậc tự do của bàn tay có 2 phương pháp chính là phương pháp dựa vào hình dáng quan sát được (appearance-based method) và phương pháp dựa trên thông tin mô hình (model-based method).
Thu nhận ảnh Các khung ảnh Định vị bàn tay & Trích chọn đặc trưng Các đặc trưng thân loại cử chỉ Ước lượng tư thế Các tham số của tư thế Loại cử chỉ Ứng dụng Hình 2: Lưu đồ tổng quát của phương pháp nhận dạng theo hình dáng. Phương pháp nhận dạng dựa vào hình dáng quan sát bao gồm việc phân hoạch và trích chọn đặc trưng, sau đó phân loại thành các tư thế tay. Ưu điểm của phương pháp này là không tốn nhiều tài nguyên tính toán và phần cứng phức tạp.Tuy nhiên số lượng tư thế tay nhận dạng được chỉ là một tập hữu hạn các tư thế đã được xây dựng trước để đưa vào để huấn luyện. 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Khung ảnh thứ 0 Ước lượng tư thế Khởi tạo Khung ảnh thứ k Tư thế Tính toán các đặc dự đoán Trích chọn đặc trưng trưng của mô hình Dự đoán Đặc trưng Đặc trưng của quan sát được mô hình Tính toán sai khác Tìm kiếm Trạng thái tối ưu Cếp nhết trạng thái Hình 3: Lưu đồ tổng quát của phương pháp nhận dạng mô hình Phương pháp mô hình nhận dạng dựa trên so sánh ảnh quan sát với ảnh mô hình 3 chiều.
Ảnh quan sát là hình ảnh thu được từ hệ một hoặc nhiều camera và có thể kèm thông tin độ sâu. Phương pháp này đòi hỏi tài nguyên tính toán lớn và độ chính xác phụ thuộc nhiều vào lượng thông tin mô hình quan sát được. Trong khi đó, ảnh mô hình được xây dựng dựa trên cấu trúc giải phẫu học cùng các ma trận đồ họa. Tùy mục đích ứng dụng và giải thuật, ảnh mô hình có thể khác nhau giữa các nhóm nghiên cứu.
Trong [3], mô hình bàn tay được xây gồm 12 bậc tự do với 10 bậc dành cho các ngón tay và 2 bậc dành cho chuyển động tịnh tiến trong không gian. Để nhận dạng tư thế tay, có hai phép đo được sử dụng. Phép đo thứ nhất đo mức độ chồng chập về diện tích giữa ảnh quan sát và ảnh mô hình chiếu trên mặt phẳng quan sát. Phép đo thứ hai đánh giá sự sai khác về khoảng cách giữa các đường biên của hai ảnh.
Kĩ thuật tối ưu xuống dốc đơn hình (downhill simplex) sau đó được sử dụng để tìm tư thế cho sai khác nhỏ nhất. Các ràng buộc cơ sinh học cũng được sử dụng nhằm thu hẹp không gian tìm kiếm và loại bỏ các trường hợp không thực. Kết quả thực nghiệm cho thấy giải thuật đã nhận dạng được chuyển động đơn giản của bàn tay trong điều kiện nền đồng màu. 12 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 4: Kết quả nhận dạng trong nghiên cứu của Stenger.
Trong một nghiên cứu khác [4], Stenger đề xuất mô hình bàn tay với 27 bậc tự do được biểu diễn bởi 39 mặt bậc hai cụt. Việc sử dụng mặt bậc hai giúp đơn giản quá trình khởi tạo mô hình 3 chiều đồng thời dễ dàng thực hiện các phép chiếu. Bộ lọc Kalman sau đó được sử dụng để ước lượng và tối thiểu sai số hình học giữa các đường biên của ảnh quan sát và ảnh mô hình. Kết quả cho thấy giải thuật có thể nhận dạng được 7 bậc tự do với tốc độ 3 hình/giây.
Để nâng cao độ chính xác, Stenger sau đó đã đề xuất sử dụng tập hợp mẫu gồm 16.055 tư thế bàn tay kết hợp với bộ lọc Bayes phân cấp [5]. Các hàm so sánh tương quan cũng được cải tiến để có thể làm việc được điều kiện nhiễu môi trường lớn. Giải thuật thành công với tỉ lệ nhận dạng hơn 90% và độ chính xác 9.3 điểm ảnh cho ảnh 320x240. Tuy nhiên, quá trình cài đặt thuật toán tương đối phức tạp với nhiều bước căn chỉnh thủ công đồng thời yêu cầu phải có tập dữ liệu quan sát lớn.
Gần đây, Oikonomidis đã đề xuất mô hình bàn tay gồm 26 bậc tự do được xây dựng từ các hình đồ họa cơ bản là hình cầu, hình trụ và hình elipsoid [2]. Ảnh quan sát được sử dụng bao gồm ảnh màu và ảnh độ sâu thu thập bởi cảm biến ảnh Kinect. Giải thuật tối ưu bầy đàn sau đó được áp dụng để tìm nghiệm cho bài toán cực tiểu sự sai khác giữa ảnh quan sát và ảnh mô hình. Kết quả cho thấy giải thuật đã nhận diện được đầy đủ 26 bậc tự do của bàn tay với tốc độ 15 hình/giây.
Hình 5: Kết quả nhận dạng trên cảm biến Kinect của Oikonomidis [2].