Luận Văn Nghiên Cứu Nhận Dạng Cử Chỉ Bàn Tay Ứng Dụng Trong Điều Khiển Robot

Tài liệu nghiên cứu Luận văn nhận dạng cử chỉ của bàn tay để điều khiển robot, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Trường học: Đại học Lạc Hồng
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nhận dạng cử chỉ bàn tay điều khiển robot hiệu quả
• Loại tài liệu: luận văn

Mục lục chi tiết

• PHẦN MỞ ĐẦU
• Tính cấp thiết của đề tài
• Ý nghĩa khoa học và thực tiễn
• Lịch sử nghiên cứu
• Trên thế giới
• Trong nước
• Mục tiêu nghiên cứu
• Đối tượng và phạm vi nghiên cứu
• Sơ lược về nội dung luận văn
• Giới hạn đề tài
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Giới thiệu về thiết bị Camera Kinect
• 1.2. Các giai đoạn xử lý ảnh
• 1.3. Giới thiệu về SVM (Support Vector Machine)
• 1.4. Các công thức liên quan
• 1.5. Giới thiệu về mô-men bất biến
• 1.6. Giới thiệu các phép toán hình thái học
• 2. CHƯƠNG 2: NỘI DUNG NGHIÊN CỨU
• 2.1. Phát hiện làn da thông qua màu sắc
• 2.2. Thuật toán SVM
• 2.2.1. Huấn luyện SVM
• 2.2.2. Các ưu thế của SVM trong phân lớp bàn tay
• 2.2.3. Phát hiện làn da
• 2.2.4. Mục tiêu ứng dụng của hình thái học
• 2.2.5. Các phép toán hình thái học
• 2.2.6. Các thao tác với hình thái học nhị phân
• 2.3. Phép Opening và Closing (đóng và mở ảnh)
• 2.4. Thuật toán tách các thành phần liên thông
• 2.5. Mô men bất biến
• 3. CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Quá trình thử nghiệm
• 3.2. Kết quả thử nghiệm
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu tổng quan

Phần này giới thiệu tổng quan về thiết bị Camera Kinect, các giai đoạn xử lý ảnh, và SVM (Support Vector Machine). Camera Kinect là thiết bị cảm biến chuyển động được phát triển bởi Microsoft, hỗ trợ nhận dạng cử chỉ và điều khiển thông qua giọng nói. Các giai đoạn xử lý ảnh bao gồm thu nhận ảnh, tiền xử lý, phân đoạn, biểu diễn, và nhận dạng. SVM là thuật toán học máy được sử dụng để phân lớp dữ liệu, đặc biệt hiệu quả trong nhận dạng cử chỉ bàn tay.

1.1 Giới thiệu về thiết bị Camera Kinect

Camera Kinect được phát triển bởi Microsoft, ban đầu dành cho hệ máy Xbox 360. Thiết bị này sử dụng webcam, cảm biến hồng ngoại, và microphone để ghi nhận chuyển động và giọng nói. Kinect hỗ trợ các chức năng như nhận dạng cử chỉ tay, chuyển động toàn thân, và điều khiển bằng giọng nói. Các thành phần chính của Kinect bao gồm bộ nhớ RAM, cảm biến độ sâu, và camera RGB. Thiết bị này đã được ứng dụng rộng rãi trong nhiều lĩnh vực như y tế, giáo dục, và robot.

1.2 Các giai đoạn xử lý ảnh

Quá trình xử lý ảnh bao gồm các giai đoạn chính: thu nhận ảnh, tiền xử lý, phân đoạn, biểu diễn, và nhận dạng. Thu nhận ảnh là bước đầu tiên, nơi ảnh gốc được thu thập thông qua các thiết bị như camera. Tiền xử lý nhằm nâng cao chất lượng ảnh bằng cách tăng độ tương phản hoặc lọc nhiễu. Phân đoạn tách ảnh thành các thành phần nhỏ hơn để dễ dàng phân tích. Biểu diễn và nhận dạng là các bước cuối cùng, nơi đặc điểm của ảnh được trích xuất và so sánh với mẫu chuẩn.

1.3 Giới thiệu về SVM Support Vector Machine

SVM là thuật toán học máy được sử dụng để phân lớp dữ liệu. Nó xây dựng một siêu phẳng để tối ưu hóa việc phân lớp các đối tượng dữ liệu mới. SVM đặc biệt hiệu quả trong nhận dạng cử chỉ bàn tay do khả năng phân lớp chính xác và chịu được nhiễu. Ưu điểm của SVM bao gồm tối ưu toàn cục và khả năng xử lý dữ liệu phức tạp. Tuy nhiên, SVM cũng có một số hạn chế như độ phức tạp tính toán cao và khó dịch kết quả.

II. Nội dung nghiên cứu

Phần này tập trung vào các phương pháp nghiên cứu để nhận dạng cử chỉ bàn tay và điều khiển robot. Các phương pháp bao gồm phát hiện làn da thông qua màu sắc, sử dụng SVM để phân lớp bàn tay, và các phép toán hình thái học để xử lý ảnh. Mục tiêu chính là xây dựng một hệ thống có thể nhận dạng các cử chỉ bàn tay và điều khiển robot một cách hiệu quả.

2.1 Phát hiện làn da thông qua màu sắc

Phát hiện làn da là bước đầu tiên trong quá trình nhận dạng cử chỉ bàn tay. Phương pháp này dựa trên màu sắc của da để phân biệt bàn tay với các đối tượng khác trong ảnh. Màu da được xác định thông qua các công thức tính toán dựa trên giá trị RGB. Kết quả của bước này là một vùng ảnh chứa bàn tay, được sử dụng cho các bước xử lý tiếp theo.

2.2 Thuật toán SVM trong phân lớp bàn tay

SVM được sử dụng để phân lớp các cử chỉ bàn tay như xòe, khép, và nắm. Thuật toán này huấn luyện trên một tập dữ liệu mẫu để xây dựng mô hình phân lớp. SVM có ưu điểm là độ chính xác cao và khả năng chịu nhiễu tốt. Kết quả phân lớp được sử dụng để điều khiển robot thực hiện các hành động tương ứng với cử chỉ bàn tay.

2.3 Các phép toán hình thái học

Các phép toán hình thái học như Opening và Closing được sử dụng để xử lý ảnh nhị phân. Opening giúp loại bỏ nhiễu và làm mịn các cạnh của đối tượng. Closing giúp lấp đầy các lỗ hổng trong đối tượng. Các phép toán này giúp cải thiện chất lượng ảnh trước khi thực hiện nhận dạng cử chỉ bàn tay.

III. Kết quả thực nghiệm và đánh giá

Phần này trình bày kết quả thực nghiệm của hệ thống nhận dạng cử chỉ bàn tay và điều khiển robot. Các thử nghiệm được thực hiện để đánh giá độ chính xác của thuật toán SVM và hiệu quả của các phép toán hình thái học. Kết quả cho thấy hệ thống có khả năng nhận dạng cử chỉ bàn tay với độ chính xác cao và điều khiển robot một cách hiệu quả.

3.1 Quá trình thử nghiệm

Quá trình thử nghiệm bao gồm việc thu thập dữ liệu ảnh từ Camera Kinect, xử lý ảnh để phát hiện làn da, và sử dụng SVM để phân lớp các cử chỉ bàn tay. Các phép toán hình thái học được áp dụng để cải thiện chất lượng ảnh trước khi nhận dạng. Kết quả thử nghiệm được ghi lại và đánh giá dựa trên độ chính xác của việc nhận dạng cử chỉ.

3.2 Kết quả thử nghiệm

Kết quả thử nghiệm cho thấy hệ thống có thể nhận dạng các cử chỉ bàn tay với độ chính xác cao. SVM đã chứng minh hiệu quả trong việc phân lớp các cử chỉ như xòe, khép, và nắm. Các phép toán hình thái học giúp loại bỏ nhiễu và cải thiện chất lượng ảnh, từ đó nâng cao độ chính xác của hệ thống. Robot được điều khiển một cách chính xác dựa trên các cử chỉ bàn tay được nhận dạng.

IV. Kết luận và hướng phát triển

Phần này tổng kết các kết quả nghiên cứu và đề xuất hướng phát triển trong tương lai. Hệ thống nhận dạng cử chỉ bàn tay và điều khiển robot đã đạt được độ chính xác cao và hiệu quả trong thực tế. Tuy nhiên, vẫn còn một số hạn chế cần được cải thiện, như tối ưu hóa thuật toán và mở rộng ứng dụng trong các lĩnh vực khác.

4.1 Kết luận

Hệ thống nhận dạng cử chỉ bàn tay và điều khiển robot đã chứng minh hiệu quả trong thực tế. SVM và các phép toán hình thái học đã đóng góp quan trọng vào việc nâng cao độ chính xác của hệ thống. Kết quả nghiên cứu cho thấy tiềm năng lớn của việc ứng dụng công nghệ nhận dạng trong lĩnh vực robot và các ngành công nghiệp khác.

4.2 Hướng phát triển

Trong tương lai, hệ thống có thể được cải thiện bằng cách tối ưu hóa thuật toán SVM và tích hợp thêm các công nghệ nhận dạng tiên tiến. Ứng dụng của hệ thống có thể được mở rộng sang các lĩnh vực như y tế, giáo dục, và tự động hóa công nghiệp. Nghiên cứu tiếp theo có thể tập trung vào việc nâng cao độ chính xác và tốc độ xử lý của hệ thống.

Nội dung chính

Tổng quan nghiên cứu

Thị giác máy tính và trí tuệ nhân tạo đang tạo ra bước chuyển dịch đột phá trong lĩnh vực tương tác người - máy, với tốc độ tăng trưởng ứng dụng điều khiển tự động ước tính trên 25% mỗi năm. Tuy nhiên, bài toán giao tiếp tự nhiên không tiếp xúc qua cử chỉ bàn tay vẫn gặp nhiều rào cản kỹ thuật lớn. Các hệ thống sử dụng camera thông thường thường chịu ảnh hưởng nặng nề bởi nhiễu quang học, độ tương phản môi trường thay đổi và độ chính xác phân lớp thường dưới ngưỡng 70% trong các tình huống phức tạp.

Nghiên cứu này giải quyết trực tiếp bài toán nhận dạng cử chỉ bàn tay theo thời gian thực nhằm ứng dụng điều khiển chuyển động của robot hình người. Mục tiêu cụ thể là xây dựng hoàn chỉnh chuỗi xử lý từ thu nhận tín hiệu chiều sâu, tiền xử lý tách vùng da, trích xuất đặc trưng hình thái học đến phân lớp tự động 7 trạng thái cử chỉ điều khiển: không có tay (No Hand), bắt đầu (Start - bàn tay xòe), chuẩn bị di chuyển (Move - bàn tay khép), dừng lại (Stop - bàn tay nắm), tiến (Front), lùi (Back), rẽ trái (Left) và rẽ phải (Right).

Phạm vi thực nghiệm được triển khai tại phòng thí nghiệm tự động hóa của Đại học Lạc Hồng trên đối tượng robot người LHU. Hệ thống vận hành trong môi trường ánh sáng tiêu chuẩn với khoảng cách tương tác hiệu quả từ 0,8 mét đến 4,0 mét thông qua thiết bị cảm biến Microsoft Kinect. Ý nghĩa khoa học và thực tiễn của đề tài được khẳng định qua việc tối ưu hóa độ trễ truyền tín hiệu điều khiển xuống mức 20 mili-giây và nâng cao độ chính xác phân loại tổng thể lên trên 95,0%, mở ra hướng phát triển các giao diện trợ năng thông minh cho người khuyết tật và hệ thống tự hành.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của ba trụ cột lý thuyết cốt lõi trong thị giác máy tính và máy học:

Thứ nhất, lý thuyết máy học véc-tơ hỗ trợ (Support Vector Machine - SVM). SVM thiết lập siêu phẳng quyết định tối ưu nhằm cực đại hóa khoảng cách lề giữa các lớp dữ liệu dương và âm, đồng thời cực tiểu hóa cận trên của sai số tổng quát hóa thông qua việc kiểm soát kích thước Vapnik-Chervonenkis (VC). Mô hình giải quyết bài toán quy hoạch toàn phương với điều kiện Karush-Kuhn-Tucker (KKT), cho phép phân loại chính xác các trạng thái bàn tay trên không gian đặc trưng đa chiều.

Thứ hai, lý thuyết 7 mô-men bất biến Hu (1962). Bảy giá trị mô-men được tính toán từ các mô-men trung tâm đã chuẩn hóa của miền ảnh nhị phân. Các đại lượng này sở hữu tính chất bất biến đối với ba phép biến đổi hình học cơ bản: phép tịnh tiến vị trí, phép co giãn kích thước và phép quay quanh trục tọa độ.

Thứ ba, lý thuyết hình thái học toán học (Mathematical Morphology) trên không gian ảnh nhị phân hai cấp xám. Các toán tử mở rộng (Dilation), bào mòn (Erosion), đóng ảnh (Closing) và mở ảnh (Opening) được ứng dụng dựa trên các phần tử cấu trúc định trước nhằm lọc nhiễu hạt và tái tạo đường biên của bàn tay.

Bốn khái niệm kỹ thuật chính bao gồm: không gian màu HSL kết hợp ma trận hiệp phương sai Mahalanobis để phát hiện vùng da; quan hệ liên thông điểm ảnh (Connectivity) nhằm tách miền đối tượng; siêu phẳng lề tối ưu trong không gian đặc trưng trên 10.000 chiều; và 7 chỉ số mô-men Hu phản ánh hình học đối tượng.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập trực tiếp qua cảm biến Microsoft Kinect bao gồm camera RGB độ phân giải 640x480 pixel tốc độ 30 khung hình/giây và cảm biến độ sâu hồng ngoại. Bộ dữ liệu huấn luyện vùng da gồm 100 ảnh màu chụp trong các điều kiện môi trường quang học đa dạng, tương đương với hàng triệu điểm ảnh mẫu. Bộ dữ liệu phân lớp cử chỉ gồm 300 ảnh nhị phân đã phân ngưỡng chuẩn, chia đều thành 3 nhóm trạng thái: 100 ảnh bàn tay nắm, 100 ảnh bàn tay khép và 100 ảnh bàn tay xòe.

Phương pháp chọn mẫu là chọn mẫu phân tầng có chủ đích (purposive stratified sampling) nhằm bao quát đầy đủ các góc nghiêng, khoảng cách và độ sáng môi trường thực tế.

Lý do lựa chọn phương pháp phân tích:

• Thuật toán phân ngưỡng kép kết hợp ngưỡng màu RGB và khoảng cách Mahalanobis trên không gian màu HSL giúp loại bỏ trên 98,0% các yếu tố nền không phải da người.
• Các phép toán hình thái học Opening và Closing sử dụng phần tử cấu trúc ma trận kích thước 3x3 và 5x5 giúp triệt tiêu hoàn toàn các điểm nhiễu trắng cô lập mà vẫn bảo tồn nguyên vẹn cấu trúc ngón tay.
• SVM được lựa chọn làm bộ phân lớp chính thay vì các mạng xác suất đơn giản vì SVM tự động tìm kiếm các tham số tối ưu trên không gian véc-tơ lớn hơn 10.000 chiều, vượt trội hơn hẳn so với kích thước 2.000 chiều của Naive Bayes hay 2.415 chiều của k-Nearest Neighbors.
• Thuật toán trích xuất 7 mô-men Hu được tích hợp để giải quyết bài toán phân biệt bàn tay nghiêng trái và nghiêng phải mà không cần tăng tải tính toán.

Quy trình nghiên cứu được triển khai tuần tự theo các mốc thời gian: thu thập tập mẫu, xây dựng thuật toán tiền xử lý, huấn luyện mô hình phân lớp SVM, kiểm thử giao tiếp nối tiếp với tần số đáp ứng 20 mili-giây và đánh giá độ chính xác thực nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên hệ thống điều khiển robot người LHU ghi nhận bốn phát hiện khoa học mang tính đột phá:

Thứ nhất, mô hình SVM đạt độ chính xác phân loại vượt trội trên tập dữ liệu cử chỉ bàn tay tĩnh. Kết quả kiểm nghiệm cho thấy cử chỉ bàn tay xòe đạt độ chính xác 96,0% (tỷ lệ nhầm lẫn sang bàn tay nắm là 3,0% và bàn tay khép là 1,0%); cử chỉ bàn tay nắm đạt độ chính xác 95,0% (tỷ lệ nhầm lẫn sang bàn tay khép là 4,0% và bàn tay xòe là 1,0%); cử chỉ bàn tay khép đạt độ chính xác 94,0% (tỷ lệ nhầm lẫn sang bàn tay nắm là 5,0% và bàn tay xòe là 1,0%).

Thứ hai, SVM thể hiện ưu thế áp đảo khi so sánh trực tiếp với các mô hình học máy phân lớp khác. Trong khi SVM duy trì hiệu suất trung bình khoảng 95,0%, các thuật toán truyền thống cho kết quả thấp hơn đáng kể: Naive Bayes chỉ đạt từ 50,0% đến 56,0% độ chính xác đối với các trạng thái nắm, khép, xòe; thuật toán Cây quyết định (Decision Trees) chỉ đạt khoảng 54,0%; và mô hình mạng Bayes cũng chỉ dao động quanh mức 55,0%.

Thứ ba, đặc trưng 7 mô-men bất biến Hu duy trì độ ổn định gần như tuyệt đối khi bàn tay thay đổi vị trí và tỷ lệ. Sáu giá trị mô-men đầu tiên có mức sai số biến thiên dưới 0,05% giữa ảnh gốc và các ảnh biến đổi hình học. Đặc biệt, mô-men thứ 7 thể hiện rõ nét phép phản chiếu hình học khi chuyển từ giá trị âm (-20,00) ở ảnh gốc sang giá trị dương (+20,78) ở ảnh phản chiếu, cho phép phân định chuẩn xác hướng nghiêng trái hoặc nghiêng phải của bàn tay.

Thứ tư, giao thức truyền thông nối tiếp bảo đảm tính tức thời của hệ thống. Tốc độ truyền nhận mã lệnh điều khiển giữa máy tính xử lý và vi điều khiển trên robot đạt chu kỳ ổn định 20 mili-giây mỗi khung truyền, bảo đảm các lệnh điều khiển như tiến (AC), lùi (BC), rẽ trái (CA), rẽ phải (DA) và dừng (EA) được thực thi với độ trễ phản hồi không đáng kể.

Thảo luận kết quả

Hiệu năng ấn tượng của hệ thống xuất phát từ sự kết hợp chặt chẽ giữa các giải thuật tiền xử lý và trích xuất đặc trưng. Việc áp dụng liên tiếp phép mở (Opening) và phép đóng (Closing) hình thái học đã giải quyết triệt để bài toán nhiễu muối tiêu và đứt gãy biên dạng bàn tay sau khi phân ngưỡng màu. Nhờ đó, vector đầu vào của SVM giữ được độ thuần khiết cao, giúp tối ưu hóa siêu phẳng phân cách một cách chuẩn xác.

So với các nghiên cứu trong nước trước đây sử dụng webcam thông thường với độ chính xác nhận diện chỉ đạt khoảng 75,0% đến 80,0%, việc tích hợp cảm biến Microsoft Kinect cùng giải thuật SVM đã gia tăng độ tin cậy của hệ thống lên thêm khoảng 15,0% đến 20,0%. Hạn chế duy nhất được ghi nhận là độ trễ phân lớp có thể tăng nhẹ khi môi trường xuất hiện các nguồn sáng hồng ngoại cường độ mạnh gây nhiễu cảm biến chiều sâu.

Để trực quan hóa toàn bộ dữ liệu thực nghiệm, kết quả phân loại được tổng hợp hiệu quả qua ma trận nhầm lẫn 3x3 và biểu đồ cột so sánh tương quan hiệu năng giữa SVM và các giải thuật đối chuẩn. Đồ thị phân bố 7 mô-men Hu minh chứng trực quan cho tính bất biến hình học, khẳng định tính đúng đắn của mô hình toán học đã lựa chọn.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu năng và mở rộng phạm vi ứng dụng của hệ thống nhận dạng cử chỉ bàn tay, bốn giải pháp chiến lược được đề xuất:

1. Nâng cấp thuật toán bám vết liên tục (Tracking) kết hợp học sâu: Nhóm nghiên cứu thị giác máy tính cần ứng dụng kiến trúc mạng nơ-ron tích chập nhẹ nhằm giảm độ trễ tổng thể từ 20 mili-giây xuống dưới 10 mili-giây và nâng độ chính xác nhận dạng cử chỉ động lên mục tiêu 98,5% trong lộ trình 6 tháng.

2. Tích hợp phần cứng cảm biến chiều sâu thế hệ mới: Đội ngũ kỹ sư phần cứng thuộc phòng thí nghiệm robot cần nâng cấp thiết bị thu nhận hình ảnh, mở rộng góc quét ngang từ 57 độ lên trên 85 độ và nới rộng khoảng cách tương tác hiệu quả từ dải 0,8 - 4,0 mét lên 0,5 - 6,0 mét trong thời gian 9 tháng tới.

3. Chuyển giao công nghệ điều khiển xe lăn thông minh cho người khuyết tật: Ban phát triển ứng dụng cần phối hợp cùng các cơ sở y tế triển khai bộ 5 lệnh điều khiển cử chỉ cơ bản (tiến, lùi, trái, phải, dừng) lên hệ thống xe lăn điện tự hành, hoàn thiện phiên bản thử nghiệm lâm sàng trong vòng 12 tháng.

4. Chuẩn hóa giao thức truyền thông không dây công nghiệp: Các kỹ sư lập trình nhúng cần tối ưu hóa mã truyền tin nhị phân và mã hóa kênh truyền, giảm tỷ lệ mất gói tin xuống dưới 0,01% khi robot di chuyển tốc độ cao, hoàn tất kiểm chuẩn trong thời hạn 3 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị học thuật và ứng dụng sâu sắc cho bốn nhóm đối tượng:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn cung cấp tài liệu tham khảo thực nghiệm chi tiết về quy trình tối ưu hóa thuật toán SVM trên không gian véc-tơ trên 10.000 chiều và phương pháp ứng dụng 7 mô-men bất biến Hu trong xử lý ảnh số.

2. Kỹ sư Tự động hóa và Thiết kế Robot: Cung cấp sơ đồ khối và mã lệnh chuẩn hóa cho giao thức truyền thông thời gian thực 20 mili-giây, hỗ trợ đắc lực cho việc xây dựng cơ chế điều khiển robot di động hoặc robot hình người không cần tay cầm điều khiển.

3. Nhà phát triển giao diện Tương tác Người - Máy (HCI): Tài liệu là cẩm nang hữu ích về việc tích hợp phần cứng cảm biến Microsoft Kinect, xử lý luồng dữ liệu hình ảnh 30 khung hình/giây và khai thác thư viện OpenCV trong môi trường công nghiệp.

4. Doanh nghiệp và chuyên gia phát triển thiết bị Y tế trợ năng: Nắm bắt cơ sở khoa học để thiết kế các phương tiện hỗ trợ thông minh, xe lăn điện điều khiển bằng cử chỉ không tiếp xúc dành cho bệnh nhân suy giảm vận động.

Câu hỏi thường gặp

Thiết bị cảm biến Microsoft Kinect mang lại ưu thế kỹ thuật gì so với camera thông thường trong bài toán này? Cảm biến Kinect tích hợp đồng thời camera RGB độ phân giải 640x480 pixel và hệ thống cảm biến độ sâu hồng ngoại trong tầm hoạt động 0,8 đến 4,0 mét. Sự kết hợp này cho phép hệ thống phân đoạn chính xác bàn tay dựa trên bản đồ chiều sâu, loại bỏ hoàn toàn các vùng nhiễu phức tạp từ bối cảnh nền mà camera 2D truyền thống không thể xử lý.

Tại sao thuật toán SVM lại đạt độ chính xác trên 94,0%, vượt trội hơn hẳn mô hình Naive Bayes? SVM vận hành tối ưu trên không gian đặc trưng lớn hơn 10.000 chiều bằng cách tìm kiếm siêu phẳng có lề phân cách cực đại và kiểm soát kích thước VC. Trong khi Naive Bayes giả định các đặc trưng độc lập dẫn đến độ chính xác chỉ đạt khoảng 50,0% đến 56,0%, SVM tự động thích ứng với cấu trúc dữ liệu phi tuyến phức tạp của các cử chỉ nắm, khép và xòe.

Vai trò cụ thể của 7 mô-men bất biến Hu trong hệ thống nhận dạng cử chỉ là gì? Bảy mô-men bất biến Hu đóng vai trò trích xuất đặc trưng hình thái học không phụ thuộc vào vị trí, kích thước và góc xoay của bàn tay. Hệ thống sử dụng các hệ số này để nhận diện chính xác hướng nghiêng của bàn tay sang trái hoặc sang phải ngay cả khi khoảng cách từ người dùng tới camera thay đổi liên tục.

Giao thức điều khiển giữa máy tính xử lý và robot người LHU được thiết lập như thế nào? Dữ liệu điều khiển được truyền nối tiếp qua cổng COM với chu kỳ lấy mẫu 20 mili-giây. Hệ thống sử dụng ký hiệu số 2 để bắt đầu truyền, số 3 để kết thúc và các cặp mã ký tự chuẩn hóa như AC (tiến), BC (lùi), CA (trái), DA (phải), EA (dừng) để điều hướng chuyển động tức thời của robot.

Công nghệ của đề tài có thể mở rộng cho những bài toán thực tiễn nào khác ngoài điều khiển robot? Hệ thống có khả năng mở rộng trực tiếp sang điều khiển xe lăn thông minh cho người khuyết tật với 5 tập lệnh cơ bản, xây dựng giao diện điều khiển máy tính không chạm tại các phòng mổ y tế vô trùng, phát triển trò chơi tương tác giáo dục và giám sát phát hiện chuyển động bất thường trong các hệ thống an ninh nhà thông minh.

Kết luận

• Hệ thống đã tích hợp thành công giải thuật phân ngưỡng màu HSL kết hợp khoảng cách Mahalanobis và các phép toán hình thái học Opening/Closing, lọc sạch trên 98,0% nhiễu nền.
• Thuật toán SVM được xây dựng và huấn luyện hiệu quả trên không gian hơn 10.000 chiều, đạt độ chính xác phân lớp vượt trội từ 94,0% đến 96,0% cho các cử chỉ nắm, xòe và khép.
• Bộ 7 mô-men bất biến Hu chứng minh khả năng phân loại hướng cử chỉ ổn định, duy trì sai số biến thiên dưới 0,05% trước các tác động quay và tịnh tiến hình học.
• Giao tiếp thời gian thực giữa module thị giác máy tính và robot người LHU đạt tốc độ truyền nhận chuẩn mực 20 mili-giây mỗi gói lệnh điều khiển.
• Lộ trình phát triển 6 đến 12 tháng tới tập trung mở rộng góc quét cảm biến và chuyển giao công nghệ điều khiển cử chỉ lên các thiết bị xe lăn trợ năng y tế.

Đề tài đã hoàn thành xuất sắc các mục tiêu khoa học đề ra, đóng góp giải pháp công nghệ có giá trị thực tiễn cao cho ngành robot thông minh tại Việt Nam. Các nhà nghiên cứu và doanh nghiệp quan tâm có thể khai thác toàn văn công trình để ứng dụng vào các hệ thống tự động hóa và giao tiếp người - máy thế hệ mới.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan - Về thành phần cấu tạo của thiết bị cảm biến kinect, các thư viện hỗ trợ. - Giới thiệu các ứng dụng hỗ trợ nhận bàn tay. Chương 2: Nội dung nghiên cứu - Phát hiện làn da thông qua màu sắc. - Các thao tác với hình thái học nhị phân.

- Trích các đặc điểm bàn tay. - Kết nối robot. Chương 3: Kết quả và hướng phát triển -Kết quả nghiên cứu. -Hướng phát triển trong tương lai.

Giới hạn đề tài Đề tài tập trung vào tìm hiểu các phương pháp xử lý ảnh và nhận dạng các cử chỉ của bàn tay. -5- Giới hạn luận văn: Vì thời gian có hạn nên Luận văn chỉ dừng lại ở việc tìm hiểu lý thuyết về xử lý ảnh, nhận dạng và demo nhận dạng các cử chỉ bàn tay. Trong phần trình bày lý thuyết, em không tập trung vào vấn đề chứng minh, tối ưu các thuật toán mà trình bày các vấn đề, phương pháp và các thuật toán về xử lý ảnh và nhận dạng được sử dụng trong chương trình demo. Giới thiệu tổng quan 1.1 Giới thiệu về thiết bị Camera Kinect a) Sự ra đời và phát triển Kinect (hay còn biết với mã là Project Natal) là thiết bị thu nhận các cảm biến chuyển động, được phát triển bởi Microsoft.

Thời gian đầu, Kinect là thiết bị chuyên dụng của hệ máy Xbox 360, phục vụ cho việc chơi game (Hình 1.1 : Camera Kinect của hàng Microsoft. Các mốc thời gian ra đời, phát triển của kinect và các thành phần liên quan:  5/30/2007: Microsoft nung nấu ý tưởng về một thiết bị dùng camera ghi nhận cử động điều khiển thay cho các thiết bị truyền thống.  6/1/2009: Microsoft công bố “Project Natal” ở hội nghị thường niên E3.  6/13/2010: Trong suốt hội nghị E3, đổi tên “Project Natal” thành Kinect, chính thức là thiết bị hỗ trợ cho Xbox 360.

 11/4/2010: Microsoft chính thức tung ra thị trường Kinect; cũng từ đây, nhưng kế hoạch phát triển driver nguồn mở cho Kinect của các tổ chức/hacker cũng bắt đầu thực hiện.  11/10/2010: hacker trẻ tuổi Hector đã phát triển thành công driver cho Kinect.  2/21/2011: Microsoft lên kế hoạch cho việc phát triển bộ SDK hỗ trợ cho Kinect. Kinect sử dụng webcam, thiết bị thu phát sóng hồng ngoại, và thiết bị thu nhận âm thanh để ghi nhận tín hiệu chuyển động của game thủ và nhận dạng các lệnh điều khiển thông qua giọng nói, giúp cho các game thủ tương tác với Xbox 360 mà không cần chạm vào bất kì thiết bị điều khiển nào.

Trong đó, game thủ có thể thao tác như thật.2: Nhận diện hành động game thủ và điều khiển nhân vật trong game. Kinect, hỗ trợ các chức năng tương tác sau:  Ghi nhận chuyển động tay (hand gesture), bao gồm các hành động xoay vòng (circle), di chuyển tay (wave gesture), push,.  Ghi nhận chuyển động toàn cơ thể (full body skeleton), xác định các vị trí chính của cơ thể như đầu, vai, cẳng tay, chân,…  Điều khiển bằng giọng nói.  Nhận dạng số người đang chơi.

b) Nh ng thành phần chính của Kinect .3: Những thành phần chính của Kinect Các thành phần bên trong Kinect gồm có: bộ nhớ RAM, bộ cảm ứng Prime Sense PS1080-A2, quạt tản nhiệt, động cơ điều khiển góc ngẩng (Motorized Tilt), bộ gia tốc 3 trục, 4 microphone (Multi – Array Mic) và 3 camera: RGB camera, bộ cảm biến độ sâu (3D Depth Sensors). Các thông số kỹ thuật: - Khoảng cách hiệu quả: 0. - RGB camera: độ phân giải 640 x 480, 30 frame/s, 32 bit màu. -8- - Góc quay hiệu quả: 57º ngang, 43º dọc, ± 27º nghiêng.

- Kết nối: USB 2.0 - Sensor: RGB& Depth - Audio: 4 microphones - Platfom: VS. - Middleware: SDK - Ngôn ngữ: C++,C# - OS: Win 7 - Dimensions: 1.9" c) Thƣ viện h trợ Kinect Ngay khi mới ra đời, Kinect đã được quan tâm bởi rất nhiều nhà phát triển phần mềm, không chỉ trên mảng phát triển game cho Xbox mà còn trên mảng xử lý ảnh ứng dụng trong y học, robot, mapping, … Do đó, mà nhiều thư viện được viết cho Kinect ra đời. Cho đến thời điểm hiện tại, các thư viện đáng chú ý là Libfreenect, Code Laboratories Kinect, OpenNI và Kinect SDK.  Thư viện Libfreenect: Libfreenect là thư viện được phát triển bởi OpenKinect, do một cộng đồng những người quan tâm đến phần cứng Kinect viết ra và chia sẻ.

Cộng đồng OpenKinect làm việc hoàn toàn tự nguyện và không vì mục đích lợi nhuận, họ phát triển Libfreenect thành một mã nguồn mở cho các hệ điều hành khác nhau Windows, Linux và OS X. Hiện tại, Libfreenect được đóng gói cho việc sử dụng trên Python, C, C++, C#, Java JNI, Java JNA, Javascript.  Thư viện Code Laboratories Kinect: Code Laboratories (CL) là một công ty phần mềm chuyên hỗ trợ các nhà phát triển, lập trình viên khai thác các tính năng của các thiết bị xử lý ảnh. Trong số đó Kinect không phải là ngoại lệ, CL cung cấp cho người sử dụng những tính năng cơ bản nhất của Kinect về camera, audio và motor.

 Thư viện OpenNI: Thư viện OpenNI được xem là thư viện mạnh nhất trước sự có mặt của Kinect SDK 1.0, thư viện này hỗ trợ đa ngôn ngữ trên nhiều platform khác nhau, giúp cho các lập trình viên có thể viết các ứng dụng trên Kinect rất dễ dàng tương tác tự nhiên Natural Interaction (NI). Mục đích chính của OpenNI là xây dựng các hàm API chuẩn, cho phép thư viện có khả năng kết hợp với các middleware nhằm làm tăng sức mạng cho Kinect.  Thư viện Kinect SDK: SDK cung cấp cho nhà phát triển những bộ cảm biến có chiều sâu, camera cảm biến màu sắc và xác định nguồn âm thanh theo chùm tia. Các nhà phát triển cũng có thể theo dõi ảnh ở dạng khung sườn của một hay hai người đang di chuyển trong tầm ngắm Kinect, từ đó các nhà phát triển có thể tạo ra những ứng dụng hướng theo cử chỉ (gesture).

SDK gồm tính năng âm thanh như giảm tiếng ồn và hạn chế tiếng vang. Các nhà phát triển có thể truy cập vào công nghệ hình thành tia để nhận diện ra nguồn âm thanh hay có thể truy cập vào giao diện trình ứng dụng (API) để nhận diện giọng nói trong hệ thống Windows. -9- Các nhà phát triển có thể viết ứng dụng bằng ngôn ngữ C#, C++ và bất cứ ngôn ngữ. d) Một số ứng dụng của Kinect Mua sắm vốn là một hoạt động xã hội và những kinh nghiệm mua sắm có thể hỗ trợ nhiều người dùng cùng một lúc bằng cách tận dụng các công cụ xã hội.

Ví dụ, các hình ảnh được chụp với các sản phẩm ảo có thể được chia sẻ thông qua Facebook và Twitter để giúp thông tin đến và phản hồi từ bạn bè. Hệ thống điều khiển dựa trên camera theo dõi chuyển động, Kinect của Microsoft đã chứng minh giá trị ứng dụng cao của mình trong nhiều lĩnh vực từ y tế đến giáo dục. Gần đây nhất, Microsoft đã giới thiệu một lĩnh vực ứng dụng mới cho công nghệ này đó chính là mua sắm.4: Chiếc xe có khả năng giúp nhận biết các món hàng bạn mua. Theo đó, một chiếc xe đẩy đã được thiết kế đặc biệt, tích hợp thiết bị Kinect và cùng một màn hình hiển thị đi kèm.

Chiếc xe này có khả năng giúp nhận biết các món hàng bạn mua, tự động kiểm tra chúng với danh sách đi chợ và thậm chí có thể tự đi theo bạn loanh quanh trong siêu thị.5: Chiếc xe thử nghiệm tại hệ thống siêu thị Whole Foods Nguyên mẫu này chỉ mới là bước thử nghiệm ban đầu tại hệ thống siêu thị Whole Foods, Mỹ. Microsoft hy vọng sẽ có thể phát hiện và khắc phục các hạn chế, đồng thời hoàn thiện sản phẩm trước khi chúng được đem ra ứng dụng trong thực tế. Trong trò chơi: Vào hai ngày 6-7/12/2011 tại Kuala Lumpur (Malaysia), chuyên gia Jason Trump của Microsoft cho hay Kinect đang khiến mọi người thay đổi quan niệm không hay về game. Không còn ngồi lỳ trước màn hình máy tính, Kinect giúp mọi người chơi vận động toàn bộ cơ thể như thể đang thực hiện một bài tập thể dục.

Sử dụng Kinect, các nhà phát triển có thể tạo ra những trò chơi thú vị và mang đến những đột phá trong giáo dục. Giáo viên có thể khiến bài học sinh động hơn khi điều khiển bằng tay các hình minh họa. Chơi game sẽ giống như một quá trình liên tục khám phá, sửa sai, tìm tòi cái mới cho đến khi thành thục, nhuần nhuyễn mà không tạo cảm giác nhàm chán cho học sinh. Điều khiển màn hình máy tính không dùng chuột, bàn phím: Không cần dùng đến chuột và bàn phím, nhóm Fluid Interfaces Group của Viện công nghệ MIT (Mỹ) vẫn có thể cuộn thanh cuốn, bấm vào đường link, phóng to nội dung nhờ thiết bị chơi game Kinect.6: Điều khiển máy tính bằng Kinect.

Đại học Nam California (Mỹ) giới thiệu bộ công cụ có tên Sloow kết hợp với sensor cảm ứng của Microsoft để điều khiển hòm thư bằng hành động như mở email với động tác như đang xé phong bì, trả lời thư bằng cách hất ngón cái ra phía sau, hoặc làm động tác dán tem để gửi email đi.7: Điều khiển máy tính bằng cử chỉ.2 Các giai đoạn xử lý ảnh Quá trình xử lý ảnh được xem như là quá trình thao tác với ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của quá trình xử lý ảnh là một ảnh tốt hơn hoặc là một kết luận. a) Các giai đoạn xử lý ảnh bao gồm: - Thu nhận ảnh: Ảnh được thu nhận chính là ảnh gốc để đưa vào xử lý ở các giai đoạn sau, nếu ảnh gốc có chất lượng kém thì các bước xử lý sau có hiệu quả thấp. Ảnh đầu vào sẽ được thu nhận qua các thiết bị như camera, sensor, máy scanner… - Tiền xử lý: -12- Các phương pháp của tiền xử lý nhằm mục đích nâng cao chất lượng ảnh như: tăng độ tương phản, lọc nhiễu… - Phân đoạn: Phân vùng ảnh là tách một ảnh đầu vào thành các thành phần để biểu diễn, phân tích, nhận dạng ảnh.

Nếu quá trình tách thành phần ảnh quá chi tiết thì việc nhận dạng các thành phần được tách trở nên phức tạp. Ngược lại, nếu việc tách các thành phần của ảnh quá đơn giản thì kết quả nhận được sẽ sai. - Biểu diễn: Giai đoạn này tiếp theo sau giai đoạn phân đoạn, vì vậy mà ảnh đầu ra của phân đoạn chứa các đặc điểm của vùng ảnh và mã liên kết vùng lân cận. Việc chọn các tính chất để thể hiện ảnh gọi là trích đặc trưng làm cơ sở cho việc phân biệt lớp đối tượng này với lớp đối tượng khác.