CHƯƠNG 1. TONG QUAN Về Đề TÀI 1.1 Đặt vẫn đề Cùng với sự phát triển của khoa học kỹ thuật, các hệ thong may tinh chiếm một vai trò vô cùng quan trọng trong cuộc sống của chúng ta. Hầu hết các hệ thống máy tính đòi hỏi rất nhiều sự tương tác với người dùng. Do đó, việc tạo nên một loại tương tác tự nhiên và dễ sử dụng là rất cấp thiết.
Tương tác người máy (Human-Computer Interaction) có thể được miêu tả như là một sự tương tác để chuyền thông tin từ người dùng sang hệ thống máy tính. Các phương pháp tương tác co điển chủ yếu dựa trên chuột và bàn phím vẫn là các tương tác người máy pho biến nhất hiện nay. Tuy nhiên các phương pháp này không được tự nhiên và khá bât tiện đôi với người dùng. Bang cách kết hợp giữa thị giác máy tính và tương tác người máy, chúng ta có thể tạo nên những thiết bị nhập vượt trội đủ khả năng thay thế các thiết bị công kénh trên.
Một trong các phương án được dé ra và có tinh khả thi cao đó là sử dung cử chi tay. Cử chỉ tay là một công cụ mạnh mẽ trong việc giao tiếp giữa người với người, và có thé truyền tải một lượng lớn thông tin trong cuộc sống hàng ngày của chúng ta. Nó rất dễ dàng để sử dụng và là một phương pháp giao tiếp rất tự nhiên. Cử chỉ tay đã được sử dụng như 1 ngôn ngữ trong giao tiếp giữa những người cam.
Vi thé sử dụng cử chỉ tay như một thiết bị nhập có thể giúp con người giao tiếp với máy tính một cách rất trực quan và thuận tiện, điều mà các thiết bị khác không thể làm được. Hiện nay việc sử dụng cử chỉ tay để tương tác với hệ thông máy tính đã bắt đầu được ứng dụng trên một số thiết bị như: SamSung Smart Tivi 2013, Kinect cho Xbox, Leap Motion sensor. HVTH: LE PHUONG DAT LUẬN VĂN THẠC SĨ 10 GVHD: TS. NGUYÊN VĨNH HẢO Kinect là sản phẩm của Microsoft dựa trên công nghệ camera được phát triển bởi PrimeSense, những sản phẩm đầu tiên được bán tại Bắc Mỹ vào ngày 4 tháng II năm 2010.
Kinect được coi như là một thiết bị ngoại vi cho Xbox 360, cho phép giao tiếp với con người thông qua các cử chỉ, đem lại những cảm giác thú vị cho người chơi game trên Xbox. Khả năng hiểu được cử chỉ con người của Kinect dựa trên hai đặc tính chính sau: thông tin về độ sâu anh (depth map), khả năng phát hiện và bám theo đặc tính cơ thể người (body skeleton tracking). Kinect đang giữ kỷ lục Guiness thế giới về “Thiết bị điện tử được tiêu thụ nhanh nhất” với 8 triệu sản phẩm trong 60 ngày. Mười triệu sản phẩm Kinect đã được phân phối trên thế giới vào ngày 9 tháng 3 năm 2011.
Bên cạnh phục vụ cho mục đích chơi game, sản phẩm Kinect còn được dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát hiện cử chi (gesture recognition), bám theo người (body tracking) và nhiều mục đích khác. Lý do chính cho sự thành công của sản phẩm Kinect là giá cả khá rẻ (khoảng 140$ trên 1 sản phẩm) cho thiết bị có khả năng cung cấp các thông tin 3D với chất lượng chấp nhận được. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 11 GVHD: TS. NGUYEN VINH HAO Tuy Kinect hoạt động tốt cho các chuyển động lớn trong không gian, nhưng nó không đủ chính xác để phát hiện các chuyển động tỉnh tế của ngón tay.
Leap Motion là một lựa chọn hoàn hảo dé làm việc nay. Leap Motion về cơ bản là một cảm biến không gian liên kết với máy tính thông qua giao tiếp USB. Nó có thé bat được các chuyển động với độ chính xác 0,01 mm, cao gấp 100 lần so với hệ thống Kinect của Mierosoft. Nhà sản xuất ban đầu định giá cảm biến này là 70 USD nhưng sau đó tăng lên 80 USD.
Hiện tại Leap Motion đã trở thành một thiết bị điều khiển máy tính bang cu chi, có thé theo dõi các chuyển động tay của người dùng với độ chính xác cao. Khi kết nồi với máy tinh, Leap Motion sẽ giúp chúng ta có thé thao tác hoàn toàn bang tay không HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 12 GVHD: TS. NGUYÊN VĨNH HẢO thay vì phải cần đến chuột và bàn phím. Một số hãng máy tính hiện nay đã tích hợp Leap Motion bên trong như HP, ASUS.
May tinh két hop Leap Motion Phuong pháp tương tác mới sử dung thị giác máy tính cũng xuất hiện trên các thiết bị công nghệ như điện thoại, hay tivi. Một số Smart Tivi của LG hay SamSung gần đây cũng đã áp dụng nhận diện cử chỉ tay trong việc tương tác với người dùng. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 13 GVHD: TS. NGUYÊN VĨNH HẢO Hình 1.
Samsung Smart Tivi 2013 1.2 Cac công trình nghiên cứu liên quan Dễ dàng nhận thấy, sử dụng cử chỉ tay là phương pháp thông dụng nhất trong các phương pháp tương tác mới hiện nay vì nó có thể giúp con người tương tác với máy tính một cách rất trực quan và tự nhiên. Có rất nhiều công trình nghiên cứu liên quan tới đề tài này, pho biến nhất là về hai mang sau: phân đoạn vùng tay, và ứng dụng cử chỉ tay vào thiết bị nhập.1 Các công trình nghiên cứu về phân đoạn vùng tay Hầu hết các nghiên cứu về nhận dạng cử chỉ tay đều dựa trên phân đoạn vùng tay, vì điều này có thể hạn chế lượng lớn các thông tin trong ảnh. Các phương pháp phân đoạn vùng tay rất đa dạng. Ta có thé liệt kê 1 số phương pháp tiêu biéu như găng tay mau được sử dụng trong các nghiên cứu [1] va [2], vật đánh dau được sử dụng trong nghiên cứu [3].
Các phương pháp này phát hiện khá chính xác nhưng quá bất tiện và phức tạp để sử dụng. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 14 GVHD: TS. NGUYÊN VĨNH HẢO Hình 1. Gang tay màu được sử dụng để phân đoạn vùng tay Hình 1.
Vật đánh dau được sử dụng dé phân đoạn vùng tay Một phương pháp pho biến khác là sử dụng mau da, được sử dụng trong các nghiên cứu từ [4] tới [8]. Sử dụng màu sắc da là một thử thách khá lớn khi nó phụ thuộc vào rat nhiêu yêu tô như màu nền, chuyên dong, va cả chung tộc. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 15 GVHD: TS. NGUYEN VINH HAO I : P N ~ “t ` *.
Su dung mau da trong phan doan vung tay Phương pháp su dụng cạnh (edge) được nêu trong nghiên cứu [9[ và [10]. Tuy nhiên phương pháp này chỉ hữu dụng khi người dùng có một nền đơn nhất và vùng tay tương phản lớn với màu nên. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 16 GVHD: TS. NGUYEN VINH HAO Nghiên cứu [11] và [12] đề nghị phương pháp trừ nền (background subtraction) cho phân đoạn vùng tay.
Hai bài báo này đạt được kết quả khá tốt, dù họ vẫn còn cần một nên tinh và không trùng với màu da. Phương pháp trừ nền Phương pháp sử dụng các đặc trưng Haar-like được sử dụng trong nghiên cứu [25]. Đây là một phương pháp khá mạnh cho hầu hết các môi trường với nên và điều kiện sáng khác nhau, tuy nhiên độ chính xác chi tiết không cao, và nó đòi hỏi phải có một bộ database rất lớn và đa dạng để huấn luyện cho hệ thống. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 17 GVHD: TS.
NGUYÊN VĨNH HẢO Phương pháp Camshift được cải tiến và áp dụng trong phân đoạn tay trong nghiên cứu [26]. Đề vượt qua các giới hạn của các phương pháp kế trên, một số nghiên cứu đã sử dụng các camera đặc biệt như camera hồng ngoại [13] hay Kinect [14], [L5]. Chúng có thé phát hiện tay từ các anh đầu vào cho di trên 1 nền phức tap, hay dưới các điều kiện ánh sáng khác nhau. Tuy nhiên, chúng không thực tế và pho biến vi cần sử dụng tới các thiết bị khá đắt tiền.
HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 18 GVHD: TS. NGUYÊN VĨNH HẢO Hình 1. Ảnh được lấy ra từ Kinect 1.2 Các nghiên cứu về ứng dụng cử chỉ tay vào thiết bị nhập Khi đã phân đoạn được vùng tay một cách chính xác, một số nghiên cứu đã áp dụng phát hiện cử chỉ tay cho các ứng dụng thực tiễn làm thiết bị nhập cho các hệ thống máy tính. Một số ứng dụng có thé kế tới như dùng ngón tay dé làm chuột tương tác với máy tính.
Nghiên cứu [11] áp dụng nhận diện cử chỉ tay vào ứng dụng vẽ trên không trung với máy tính. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 19 GVHD: TS. NGUYEN VINH HAO Hình 1. Ứng dụng vẽ trên không trung trong nghiên cứu [11] Trong [16], các tác giả cũng đề xuất một hệ thống nhận ngõ vào từ 1 camera gan với trực tiếp với máy tính, xử lỹ quỹ đạo ngón tay và phân loại chúng như là 1 ký tự viết tay.
Hệ thống nhận diện chữ viết ngón tay trong [16] Nghiên cứu [17] cũng đề xuất một hệ thống nhận diện chữ viết tay, dựa trên cử chỉ tay. Sau khi phân đoạn vùng tay bang phương pháp trừ nền va sử dụng màu da, hệ thống phân loại quỹ đạo của tay băng phương pháp máy vector tựa (support vector machine) để tìm ra chữ viết tay tương ứng. Bài báo đã thực hiện được việc phân loại 5 chữ viết tay động với độ chính xác khoảng 80%. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 20 GVHD: TS.
NGUYÊN VĨNH HẢO (a) œ) (dad) (`) (Œ@ Hình 1. Cách hoạt động của ứng dụng trong nghiên cứu [17] Hình 1. Cac ky tự được nhận dang và phân loại trong [17] 1.3 Phương pháp nghiên cứu 1.1 Nghiên cứu lý thuyết VY Phương pháp phân đoạn vùng tay, sử dụng mô hình codebook. HVTH: LE PHƯƠNG ĐẠT LUẬN VĂN THẠC SĨ 21 GVHD: TS.
NGUYEN VINH HAO Y Phương pháp phân đoạn vùng tay, sử dung mau da. v Thuật toán xác định tọa độ ngón tay và đếm số lượng ngón dang mở. Y Các thuật toán Moving Averages lam mịn quỹ dao di chuyển của tay. * Phương pháp trích chọn đặc trưng sử dụng điểm chia.
* Phương pháp phân loại chữ viết, sử dụng máy Vector tựa.2 Đề xuất giải thuật Trước tiên, một khung ảnh sẽ được lây từ camera, sau đó nó được đưa vào module phát hiện ngón tay. O module này, vùng tay di chuyển sẽ được phát hiện, sau đó các giải thuật loại trừ nhiễu, và loại bỏ phân cánh tay sẽ được thực thi. Khi chỉ còn phân bàn tay chúng ta có thể đếm được số các ngón tay đang mở và tọa độ của các ngón tay. Sau đó, hai thông số này sẽ được gửi tới module nhận dạng chữ viết tay.