Chương 1 sẽ gồm các phan e Bài toán nhận diện cử chỉ tay e Cac phương pháp nhận diện cử chi tay e_ Mục tiêu đồ án 1.1 Giới thiệu bài toán nhận diện cử chỉ tay Lịch sử phát triển của bài toán nhận diện cử chỉ tay dé điều khiển máy tính bắt đầu bằng các phát minh dựa trên găng tay. Các nhà nghiên cứu nhận ra răng có thể sử dụng cử chỉ tương tự như ngôn ngữ ký hiệu dé đưa ra các lệnh đơn giản cho máy tính. Với sự phát triển của máy móc như các máy cảm biến gia tốc, máy ảnh hồng ngoại hay các cảm biến dẫn đến sự phát triển của bài toán. Sau đó nhờ vào sự phát triển của phan cứng và công nghệ các nhà nghiên cứu cuối cùng cũng phát triển được hệ thống nhận dạng cử chỉ dựa vào thị giác máy tính mà không cần bắt kỳ cảm biến nào được gắn thêm Vào tay.
Bắt đầu từ những năm 90s với sự hạn chế về năng lực tính toán. Các nhà nghiên cứu đã sử dụng một găng tay được gắn với các cảm biến đề thu thập dữ liệu, các thông tin đó sẽ được gan với một cử chi cu thé và được sử dụng như là các mẫu dé nhận diện. Các găng tay cảm biến được sử dụng cho quá trình thu thập dữ liệu được phát triển qua từng thời kỳ. Một trong những nguyên mẫu găng tay đầu tiên được phát minh tại trường đại học MIT vào năm 1977.
Theo sau đó là một loạt các phát minh về găng tay cảm biến cho phép lấy dữ liệu một cách chính xác hơn.TS Phạm Văn Cường Page |3 SVTH: Nguyễn Thế An - D17HTTT1 ĐỎ AN TOT NGHIỆP Hình 1-1 Găng tay được phát triển bởi MIT với nhiều cảm biến Hệ thống nhận dạng cử chỉ bằng thị giác máy tính được nghiên cứu và phát triển vào những năm 80s. Tại thời điểm đó công nghệ sử dụng thị giác máy tính gặp rất nhiều trở ngại như máy ảnh với hiệu suất tính toán rất thấp và cho ra độ phân giải rất kém cùng với sự không nhất quán về màu sắc. Do đó các nghiên cứu về sử dụng thị giác máy tính cho bài toán nhận diện cử chỉ tay chưa được công nhận một cách rộng rãi.2 minh họa một ví dụ về ảnh được thu bởi máy ảnh những năm 80s. Trong những năm gần đây, công nghệ phát triển cùng với việc các máy ảnh cũng phát triển và hình ảnh thu được đã trở nên rõ nét với độ phân giải cao, màu sắc thống nhất, tạo tiền đề cho sự phát triển của phương pháp sử dụng thị giác máy tính cho bài toán nhận diện cử chỉ tay.
Hơn nữa với sự phát triển của học sâu, các phương pháp càng ngày càng cho độ chính xác cao hơn và có thé ứng dụng tốt hơn vào trong thực tế. Với phương pháp thị giác máy tính, dữ liệu sẽ được thu lại dưới dạng video hoặc dạng ảnh. Mỗi ảnh hoặc mỗi video đó sẽ được gán với một nhãn cụ thể và được sử dụng để huấn luyện.2 Ứng dụng của bài toán nhận diện cử chỉ tay GVHD: PGS.TS Phạm Văn Cường Page |4 _ SVTH: Nguyễn Thế An - D17HTTT1 ĐỎ AN TOT NGHIỆP Động lực đăng Sau sự quan tâm của các nhà nghiên cứu cho bài toán nhận diện cử chỉ tay cho dù dùng hình ảnh hay cảm biến là có thé ứng dụng được cho nhiều lĩnh vực khác nhau, chang hạn như tương tác người — máy, tương tác thực tế ảo và thực tế ảo tăng cường, nhận dạng ngôn ngữ ký hiệu và xây dựng người máy. Trong nhiều bộ phim về tương lai, các nhân vật thường sử dụng cử chỉ tay để tương tác với máy tính như được mô tả trong hình 1.3 Hiện tại các hệ thống chưa cho phép con người có thé thao tác tự do như vậy, nhưng những ví dụ này cho thầy tiềm năng mà hệ thống tương tác dựa trên cử chỉ tay có thé phát triển.
Điều này sẽ làm thay đổi hoàn toàn cách con người tương tác với máy tinh trong tương lai.1 Tương tác với thực tế ảo và thực tại tăng cường Thực tế ảo (VR) VR là một công nghệ tạo ra các hình ảnh, âm thanh và cảm giác mô phỏng sự hiện diện của người dùng trong một môi trường. Một người sử dụng môi trường thực tế ảo chất lượng cao có thể nhìn và di chuyên tự do xung quanh thế giới nhân tạo. Thực tại tăng cường (AR) AR là góc nhìn trên thế giới thực được tạo ra bởi máy tính. AR nâng cao môi trường thực tại, ngược lại, VR thay thế toàn bộ thế giới thật bằng một thế giới mô phỏng.
Ngày nay các công nghệ về VR đang được phát triển rất rằm rộ, có nhiều nhà phát triển đã ứng dụng được công nghệ VR vào việc làm phim, làm game. Công nghệ AR GVHD: PGS.TS Phạm Văn Cường Page |5 SVTH: Nguyễn Thế An — D17HTTT1 ĐỎ AN TOT NGHIỆP cũng đang được phát triển nhưng so với VR vẫn còn cần một thời gian nữa cho đến khi chúng ta có thể thực sự sử dụng công nghệ này vào cuộc sống.2 Nhận diện ngôn ngữ ký hiệu Ngôn ngữ ký hiệu là ngôn ngữ được sử dụng bởi người khiếm khuyết về thính giác hoặc lời nói. Họ sử dụng ngôn ngữ ký hiệu như một phương tiện giao tiếp không lời dé thé hiện suy nghĩ và cảm xúc của ho. Tuy nhiên, chỉ có một số ít người có thê hiểu được ngôn ngữ ký hiệu.
Do đó những người khiếm thính phải yêu cầu sự trợ giúp của một thông dịch viên. Mặc dù việc thuê thông dịch viên là rất tốn kém và không phải lúc nào cũng có thể. Một hệ thống nhận dạng ngôn ngữ ky tự mạnh mẽ và hiệu quả có thé giúp mọi người có một công cụ rẻ và dé dàng sử dụng dé tương tác với người khiếm khuyết về thính giác và lời nói.3 Công cụ hỗ trợ cuộc sống Một ứng dụng khác của việc nhận diện cử chỉ tay là có thể hỗ trợ chúng ta trong cuộc sống thường ngày. Do người máy vẫn là một điều khá xa vời tại thời điểm hiện tại, nên câu hỏi đặt ra là có cách nào để những người bệnh không thé di chuyén duoc có thé tương tác với môi trường xung quanh.
Điều này đã đưa đến một ứng dụng là sử dụng nhận diện cử chỉ tay dé họ có thé tương tác với môi trường xung quanh như có thể tắt, bật đèn, mà không cần phải di chuyên.3 Một số phương pháp cho bài toán nhận diện cử chỉ tay 1.1 Phương pháp nhận diện cử chỉ tay cỗ điển Trong những năm đầu phát triển bài toán nhận diện cử chỉ tay đã có một số phương pháp được đưa ra. Phương pháp đầu tiên được các nhà nghiên cứu đưa ra đó là sử dụng một bộ cảm biến được gắn trên một chiếc găng tay dé thu thập các thông số khi thực hiện một hành động nào đó. Các thông số đó sau khi thu thập sẽ được đưa vào xử lý là thông qua các thuật toán nhận diện đề có thể nhận diện được cử chỉ tay.4 minh họa phương pháp truyền thống cho bài toán nhận diện cử chỉ tay. Dữ liệu được - - thu tử cảm biên gan Tiên xử lý trên tay Thuật toán nhận diện Kết quả nhận diện Hậu xử lý Hình 1-4 Minh họa hệ thống nhận diện cứ chỉ tay cổ điển GVHD: PGS.TS Phạm Văn Cường Page |6 SVTH: Nguyễn Thế An - D17HTTT1 ĐỎ AN TOT NGHIỆP Nhận diện cử chỉ tay thường bao gồm các giai đoạn: thu thập dit liệu từ cảm biến, tiền xử lý dữ liệu, cho dữ liệu đi qua thuật toán nhận diện và thu về kết quả, hậu xử lý kết quả và cuối cùng là đưa ra kết quả nhận diện e Thu dữ liệu từ cảm biến: người dùng sẽ phải đeo một chiếc găng tay được gắn các cảm biến đề thu đữ liệu cử động.
e Tiền xử lý: Giảm nhiễu trong quá trình thu dữ liệu từ cảm biến, chuẩn hóa dữ liệu. e Thuật toán nhận diện: Thường là các thuật toán học máy cô điển như máy vectơ hỗ trợ đa lớp (SVM),. e Hậu xử lý: Xử lý các kết quả được thuật toán trả về và đưa ra kết quả cuối cùng. Thuật toán máy vectơ hỗ trợ (SVM) Có thể mô tả 1 cách đơn giản về bộ phân lớp SVM như sau: Cho trước 2 tập dữ liệu học, mỗi tập thuộc về 1 lớp cho trước, bộ phân lớp SVM sẽ xây dựng mô hình phân lớp dựa trên 2 tập dữ liệu này.
Khi có một mẫu mới được đưa vào, bộ phân lớp sẽ đưa ra dự đoán xem mẫu này thuộc lớp nào trong 2 lớp đã định. Phương pháp này được Vapnik và cộng sự đề xuất năm 1992, lấy nền tảng từ lý thuyết học thống kê của Vapnik & Chervonenkis vào năm 1960. Đặc trưng cơ bản quyết định khả năng phân loại của một bộ phân loại là hiệu suất tong quát hóa, hay là khả năng phân loại những dữ liệu mới dựa vào những tri thức đã tích lũy được trong quá trình huấn luyện. Thuật toán huấn luyện được đánh giá là tốt nếu sau quá trình huấn luyện, hiệu suất tổng quát hóa của bộ phân loại nhận được cao.
Hiệu suất tổng quát hóa phụ thuộc vào hai tham số là sai số huấn luyện và năng lực của máy học. Trong đó sai số huấn luyện là tỷ lệ lỗi phân loại trên tập dữ liệu huấn luyện. Còn năng lực của máy học được xác định bằng kích thước Vapnik Chervonenkis (kích thước VC). Kích thước VC là một khái niệm quan trọng đối với một họ hàm phân tách (hay là bộ phân loại).
Đại lượng này được xác định bang số điểm cực đại mà họ hàm có thể phân tách hoàn toàn trong không gian đối tượng, Một bộ phân loại tốt là bộ phân loại đơn giản nhất và đảm bảo sai số huấn luyện nhỏ. Phương pháp SVM được xây dựng dựa trên ý tưởng này Công thức máy vectơ hỗ trợ Công thức SVM đơn giản nhất là trường hợp tuyến tính khi mà một siêu phẳng quyết định nằm giữa hai tập dữ liệu.Trong trường hợp này, không gian giả định là một tập các điểm có phương trình là: f(x) = w- x + b. SVM đi tìm một siêu phăng tối ưu như một phương án đề phân chia hai tập hợp dữ liệu và đồng thời có thể sử dụng cho những dữ liệu mới. Có hai phương pháp dé tìm siêu phang tối ưu.
Thứ nhất là tìm siêu phăng nằm giữa 2 tập đóng (Hình 1. Thứ hai là cực đại hóa khoảng cách giữa hai mặt phang hỗ trợ (cực đại hóa lề) (Hình 1. Cả hai phương pháp đều tim ra một mặt phẳng quyết GVHD: PGS.