Luận Văn Thạc Sĩ Kỹ Thuật Điện Tử: Thiết Kế Hệ Thống Nhận Dạng Cử Chỉ Tay Sử Dụng Cảm Biến Kinect

Luận văn thạc sĩ kỹ thuật điện tử trình bày thiết kế hệ thống nhận dạng cử chỉ tay sử dụng cảm biến Kinect, ứng dụng công nghệ tiên tiến trong lĩnh vực điện tử.

• Tác giả: Nguyễn Trọng Trí
• Người hướng dẫn: Tiến Sĩ Trương Quang Vinh
• Trường học: Đại học Bách Khoa - Đại học Quốc gia TP.HCM
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Thiết kế hệ thống nhận dạng cử chỉ tay sử dụng cảm biến Kinect
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• DANH SÁCH HÌNH ẢNH
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. Giới thiệu đề tài
• 1.2. Tình hình nghiên cứu
• 1.3. Mục tiêu luận văn và giới hạn đề tài
• 1.4. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Cảm biến Kinect và các thư viện hỗ trợ
• 2.1.1. Cảm biến Kinect
• 2.1.2. Các thư viện xử lý ảnh sử dụng cho lập trình với Kinect
• 2.2. Máy học véctơ hỗ trợ (Support Vector Machine)
• 2.2.1. SVM trong trường hợp mẫu phân hoạch tuyến tính
• 2.2.2. SVM trong trường hợp mẫu không phân hoạch tuyến tính
• 2.2.3. Các phương pháp phân loại SVM
• 3. CHƯƠNG 3: HỆ THỐNG NHẬN DẠNG CỬ CHỈ TAY ĐỀ XUẤT
• 3.1. Tổng quan hệ thống đề xuất
• 3.2. Phương pháp trích ảnh bàn tay và tiền xử lý
• 3.2.1. Phát hiện bàn tay
• 3.2.2. Lọc hình thái và làm trơn ảnh
• 3.3. Phương pháp trích đặc trưng bàn tay
• 3.3.1. Tìm đường bao bàn tay
• 3.3.2. Tìm phương bàn tay và trọng tâm bàn tay
• 3.3.3. Tìm tâm và bán kính lòng bàn tay
• 3.3.4. Tìm các đầu ngón tay
• 3.4. Phương pháp phân loại cử chỉ
• 4. CHƯƠNG 4: KẾT QUẢ THỰC HIỆN GIẢI THUẬT
• 4.1. Kết quả hiện thực hệ thống
• 4.2. Đánh giá hệ thống nhận dạng cử chỉ tay đề xuất
• 4.3. Ứng dụng dựa trên hệ thống cử chỉ tay
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển

Tóm tắt

I. Tổng quan về đề tài

Luận văn Thiết kế hệ thống nhận dạng cử chỉ tay bằng cảm biến Kinect tập trung vào việc phát triển một hệ thống nhận dạng cử chỉ tay sử dụng công nghệ cảm biến Kinect. Đề tài này thuộc chuyên ngành Kỹ thuật điện tử và được thực hiện trong khuôn khổ luận văn thạc sĩ. Mục tiêu chính là thiết kế một hệ thống có độ chính xác cao, hoạt động trong thời gian thực và không phụ thuộc vào điều kiện môi trường. Cảm biến Kinect được lựa chọn vì khả năng cung cấp hình ảnh độ sâu, giúp cải thiện độ chính xác trong nhận dạng cử chỉ tay.

1.1. Giới thiệu đề tài

Nhận dạng cử chỉ tay là một lĩnh vực nghiên cứu quan trọng trong tương tác người-máy. Cảm biến Kinect đã mở ra cơ hội mới trong việc phát triển các ứng dụng nhận dạng cử chỉ tay với độ chính xác và tin cậy cao. Luận văn này đề xuất một phương pháp mới dựa trên hình ảnh độ sâu từ Kinect, sử dụng thư viện NITE 2 để trích xuất vùng bàn tay và áp dụng máy học véctơ hỗ trợ (SVM) để phân loại cử chỉ.

1.2. Tình hình nghiên cứu

Nhận dạng cử chỉ tay đã được nghiên cứu từ lâu, nhưng vẫn còn nhiều thách thức do sự phức tạp hình học của bàn tay và điều kiện môi trường. Các phương pháp truyền thống dựa trên màu da hoặc đánh dấu màu có nhiều hạn chế. Cảm biến Kinect với khả năng cung cấp hình ảnh độ sâu đã giải quyết được nhiều vấn đề này, giúp nhận dạng cử chỉ tay chính xác hơn.

II. Cơ sở lý thuyết

Chương này trình bày các cơ sở lý thuyết liên quan đến cảm biến Kinect, các thư viện hỗ trợ, và phương pháp máy học véctơ hỗ trợ (SVM). Kinect bao gồm các thành phần như camera RGB, cảm biến độ sâu, và dãy microphone, giúp thu thập dữ liệu hình ảnh và âm thanh. Phương pháp SVM được sử dụng để phân loại cử chỉ tay dựa trên các đặc trưng trích xuất từ hình ảnh độ sâu.

2.1. Cảm biến Kinect

Cảm biến Kinect là thiết bị quan trọng trong hệ thống nhận dạng cử chỉ tay. Nó bao gồm camera RGB, cảm biến độ sâu, và dãy microphone. Cảm biến độ sâu sử dụng công nghệ Light Coding để tạo ra bản đồ độ sâu, giúp nhận dạng cử chỉ tay chính xác hơn. Dữ liệu từ Kinect được xử lý thông qua chip PS1080 và truyền vào máy tính qua cổng USB.

2.2. Máy học véctơ hỗ trợ SVM

SVM là phương pháp học máy được sử dụng để phân loại cử chỉ tay. Nó dựa trên việc tìm siêu phẳng phân cách tối ưu giữa các lớp dữ liệu. Trong luận văn này, SVM được áp dụng để phân loại các cử chỉ tay dựa trên các đặc trưng trích xuất từ hình ảnh độ sâu.

III. Hệ thống nhận dạng cử chỉ tay đề xuất

Hệ thống nhận dạng cử chỉ tay đề xuất bao gồm ba bước chính: trích xuất vùng bàn tay, trích chọn đặc trưng, và phân loại cử chỉ. Cảm biến Kinect được sử dụng để thu thập hình ảnh độ sâu, sau đó áp dụng các thuật toán xử lý ảnh để trích xuất vùng bàn tay. Các đặc trưng như số ngón tay, góc giữa các ngón tay, và khoảng cách từ tâm bàn tay đến các ngón tay được trích xuất và đưa vào SVM để phân loại cử chỉ.

3.1. Trích xuất vùng bàn tay

Vùng bàn tay được trích xuất bằng cách đặt ngưỡng trên điểm được theo dõi trên bàn tay sử dụng thư viện NITE 2. Phương pháp này giúp loại bỏ nhiễu và xác định chính xác vùng bàn tay trong hình ảnh độ sâu.

3.2. Trích chọn đặc trưng

Các đặc trưng của bàn tay bao gồm số ngón tay, góc giữa các ngón tay, và khoảng cách từ tâm bàn tay đến các ngón tay. Những đặc trưng này được sử dụng để mô tả cử chỉ tay và đưa vào SVM để phân loại.

IV. Kết quả thực hiện

Hệ thống nhận dạng cử chỉ tay đề xuất đã được thử nghiệm và đánh giá. Kết quả cho thấy hệ thống có độ chính xác cao trong việc nhận dạng các cử chỉ tay trong thời gian thực. Hệ thống cũng được ứng dụng trong việc điều khiển trò chơi, chứng minh tính khả thi và hiệu quả của phương pháp đề xuất.

4.1. Đánh giá hệ thống

Hệ thống được đánh giá dựa trên độ chính xác trong nhận dạng các cử chỉ tay. Kết quả thử nghiệm cho thấy hệ thống đạt độ chính xác cao, đặc biệt trong điều kiện ánh sáng yếu hoặc tối.

4.2. Ứng dụng thực tế

Hệ thống đã được ứng dụng trong việc điều khiển trò chơi, chứng minh tính khả thi và hiệu quả của phương pháp đề xuất. Ứng dụng này mở ra tiềm năng lớn cho việc phát triển các hệ thống tương tác người-máy trong tương lai.

V. Kết luận và hướng phát triển

Luận văn đã đề xuất và thực hiện thành công một hệ thống nhận dạng cử chỉ tay sử dụng cảm biến Kinect. Hệ thống có độ chính xác cao, hoạt động trong thời gian thực và không phụ thuộc vào điều kiện môi trường. Trong tương lai, hệ thống có thể được cải tiến để nhận dạng các cử chỉ phức tạp hơn và ứng dụng trong nhiều lĩnh vực khác nhau.

5.1. Kết luận

Hệ thống nhận dạng cử chỉ tay đề xuất đã đạt được các mục tiêu đề ra, bao gồm độ chính xác cao và khả năng hoạt động trong thời gian thực. Cảm biến Kinect và phương pháp SVM đã chứng minh tính hiệu quả trong việc nhận dạng cử chỉ tay.

5.2. Hướng phát triển

Trong tương lai, hệ thống có thể được cải tiến để nhận dạng các cử chỉ phức tạp hơn và ứng dụng trong các lĩnh vực như y tế, giáo dục, và điều khiển robot. Nghiên cứu sâu hơn về các thuật toán học máy cũng là hướng phát triển tiềm năng.

Nội dung chính

Tổng quan nghiên cứu

Trong xu hướng phát triển mạnh mẽ của giao diện tương tác tự nhiên giữa người và máy tính (HCI), việc điều khiển thiết bị điện tử thông qua cử chỉ bàn tay đang dần thay thế các công cụ phần cứng truyền thống như bàn phím, chuột hoặc nút bấm vật lý. Tuy nhiên, các giải pháp nhận dạng cử chỉ tay dựa trên camera 2D thông thường gặp phải nhiều thách thức lớn, đặc biệt là sự biến đổi phức tạp về hình học của bàn tay, ảnh hưởng tiêu cực từ điều kiện ánh sáng yếu, cũng như sự nhầm lẫn giữa vùng da bàn tay với khuôn mặt hoặc các vật thể có màu sắc tương đồng trong môi trường thực tế.

Sự ra đời của cảm biến độ sâu Kinect với công nghệ Light Coding đã mở ra hướng tiếp cận đột phá nhờ khả năng thu thập bản đồ chiều sâu độc lập với cường độ ánh sáng môi trường. Luận văn thạc sĩ chuyên ngành Kỹ thuật Điện tử tại Trường Đại học Bách Khoa - ĐHQG TP.HCM đã nghiên cứu và thiết kế thành công một hệ thống nhận dạng cử chỉ tay tĩnh thời gian thực có độ chính xác cao. Đề tài tập trung giải quyết bài toán tách lọc vùng bàn tay từ ảnh độ sâu, trích xuất véc-tơ đặc trưng tối ưu và phân loại đa lớp bằng thuật toán học máy.

Phạm vi thực nghiệm của nghiên cứu được xác lập trong khoảng cách từ 50 cm đến 100 cm từ cảm biến đến bàn tay người dùng, với góc nghiêng bàn tay không vượt quá 45 độ trong điều kiện không bị nhiễu bởi bức xạ hồng ngoại trực tiếp từ ánh sáng mặt trời. Hệ thống được thiết kế để nhận dạng 11 cử chỉ tay tĩnh khác nhau. Kết quả kiểm thử thực nghiệm trên 1.926 mẫu ảnh độ sâu cho thấy hệ thống đạt độ chính xác trung bình ấn tượng trên 94,5% với tốc độ xử lý đạt chuẩn thời gian thực 30 khung hình trên giây. Đóng góp này mang lại giá trị thực tiễn cao cho việc ứng dụng điều khiển thiết bị thông minh, trò chơi tương tác và hệ thống hỗ trợ y tế không tiếp xúc.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của hai trụ cột lý thuyết chính: công nghệ cảm nhận chiều sâu quang học 3D và lý thuyết học thống kê ứng dụng trong phân loại mẫu.

Thứ nhất, hệ thống ứng dụng công nghệ Light Coding được tích hợp trên phần cứng cảm biến Kinect thông qua bộ xử lý chuyên dụng PS1080 SoC hoạt động ở tần số 12 MHz. Cảm biến kết hợp một nguồn phát tia hồng ngoại (IR Projector) và một camera đơn sắc CMOS (IR Camera) để tạo ra bản đồ độ sâu với độ phân giải chuẩn VGA 640 x 480 điểm ảnh. Khác với xử lý ảnh màu RGB 8-bit truyền thống, dữ liệu chiều sâu cho phép phân tách các thực thể dựa trên tọa độ không gian 3 chiều, giúp loại bỏ hoàn toàn các yếu tố nhiễu về màu sắc và ánh sáng nền xung quanh.

Thứ hai, nghiên cứu áp dụng Lý thuyết Học Thống kê (Statistical Learning Theory) và nguyên tắc Giảm thiểu Rủi ro Cấu trúc (Structural Risk Minimization - SRM) được đề xuất bởi Vladimir Vapnik vào năm 1995 thông qua giải thuật Máy học Véc-tơ Hỗ trợ (Support Vector Machine - SVM). SVM hoạt động bằng cách ánh xạ véc-tơ đặc trưng từ không gian quan sát ban đầu sang không gian nhiều chiều hơn để tìm ra siêu phẳng phân cách tối ưu, làm cực đại hóa khoảng cách phân hoạch giữa các lớp dữ liệu. Để giải quyết bài toán nhận dạng 11 cử chỉ tay, tác giả áp dụng mô hình phân loại One-vs-One, thiết lập tổng cộng 55 bộ phân loại nhị phân độc lập, giúp tối ưu hóa thời gian tính toán và nâng cao khả năng tổng quát hóa của mô hình.

Phương pháp nghiên cứu

Nghiên cứu áp dụng quy trình thực nghiệm định lượng kết hợp xử lý dữ liệu theo thời gian thực trên môi trường máy tính sử dụng bộ xử lý Intel Core i5-560M, RAM 4 GB và hệ điều hành Windows 8. Mã nguồn thuật toán được phát triển bằng ngôn ngữ C++ kết hợp thư viện xử lý ảnh OpenCV, giao diện người dùng xây dựng bằng C# và giao tiếp phần cứng thông qua các gói thư viện OpenNI2 cùng NiTE2.

Cỡ mẫu nghiên cứu được thiết kế thành hai tập dữ liệu độc lập:

• Tập dữ liệu huấn luyện: Thu thập từ 5 tình nguyện viên trong độ tuổi 20 đến 30 tại phòng thí nghiệm IC-Lab. Mỗi người thực hiện 11 cử chỉ tay lặp lại ít nhất 10 lần, tạo ra bộ dữ liệu học gồm 620 mẫu véc-tơ đặc trưng.
• Tập dữ liệu kiểm tra: Mở rộng trên 9 người dùng độc lập với tổng cộng 1.926 khung hình ảnh độ sâu và tọa độ bàn tay được ghi nhận thực tế.

Lý do lựa chọn phương pháp phân tích này xuất phát từ nhu cầu tối ưu hóa tốc độ xử lý cho ứng dụng thời gian thực. Cụ thể, việc sử dụng hàm định vị đối tượng theo phương pháp Bayesian trong thư viện NiTE2 cho phép phát hiện nhanh tọa độ tâm bàn tay. Sau đó, thuật toán đặt hai ngưỡng lọc: ngưỡng tọa độ theo độ sâu và ngưỡng khoảng cách chiều sâu 100 mm nhằm cô lập hoàn toàn vùng bàn tay quan tâm (ROI). Ảnh nhị phân sau đó được làm sạch bằng phép đóng hình thái học với phần tử cấu trúc elip kích thước 4x4 và bộ lọc trung vị kích thước 7x7 để triệt tiêu nhiễu đường biên trước khi trích xuất 15 thông số véc-tơ đặc trưng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm nghiệm hệ thống trên tập dữ liệu thực nghiệm đã mang lại 4 phát hiện quan trọng:

Thứ nhất, giải thuật phân loại Support Vector Machine kết hợp với véc-tơ đặc trưng 15 phần tử đạt độ chính xác phân loại vượt trội trên tập dữ liệu kiểm tra tĩnh 1.926 mẫu. Trong đó, cử chỉ G0 (nắm tay) đạt độ chính xác cao nhất lên tới 99,12%, tiếp theo là cử chỉ G6 với 97,4% và cử chỉ G5 với 97,0%. Các cử chỉ có cấu trúc ngón tay phức tạp hơn như G8, G10 và G7 vẫn duy trì tỷ lệ nhận diện ổn định lần lượt là 93,0%, 93,08% và 93,0%.

Thứ hai, việc áp dụng hệ số tỷ lệ nghịch thích nghi với khoảng cách chiều sâu đã giúp thuật toán K-curvature phát hiện chính xác vị trí các đầu ngón tay trong phạm vi từ 50 cm đến 100 cm. Khi người dùng thay đổi khoảng cách đến cảm biến, hệ số k và ngưỡng góc K-curvature tự động co giãn linh hoạt, giúp loại bỏ hoàn toàn các điểm kẽ tay có khoảng cách nhỏ hơn 1,2 lần bán kính vòng tròn nội tiếp lớn nhất.

Thứ ba, phương pháp xác định tâm lòng bàn tay thông qua vòng tròn nội tiếp lớn nhất đạt độ ổn định hình học vượt trội so với phương pháp trọng tâm mô-men bậc một. Khi chuyển đổi giữa các cử chỉ tay khác nhau, tâm lòng bàn tay gần như cố định, giúp sai số tính toán của 5 đại lượng khoảng cách hiệu giảm xuống dưới 3,5%.

Thứ tư, trong thử nghiệm đánh giá trực quan trên luồng video liên tục, cơ chế lọc thời gian dựa trên 3 khung hình liên tiếp đồng nhất đã triệt tiêu hiện tượng nhấp nháy nhận dạng sai giữa các trạng thái chuyển tiếp, duy trì tỷ lệ nhận diện chính xác trung bình toàn hệ thống đạt mức 94,5% đến 96,7%.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống đạt hiệu suất cao là nhờ cấu trúc véc-tơ đặc trưng 15 phần tử được thiết kế tinh gọn nhưng phản ánh đầy đủ thuộc tính hình học bàn tay: 1 giá trị biểu diễn số ngón tay mở, 5 giá trị góc nghiêng so với trục ngang, 4 giá trị góc giữa các ngón tay kề nhau và 5 giá trị hiệu khoảng cách chuẩn hóa. So với các nghiên cứu trước đây chỉ sử dụng mô hình 2D dựa trên màu da vốn dễ bị ảnh hưởng bởi ánh sáng môi trường hoặc các mô hình 3D phức tạp gồm 21 phần đòi hỏi cấu hình máy tính lớn, giải pháp trong luận văn này giảm đáng kể chi phí tính toán mà vẫn đảm bảo độ chính xác cao.

Để biểu diễn trực quan các phát hiện trên, toàn bộ kết quả phân loại kiểm tra mẫu có thể được tổng hợp thông qua một ma trận nhầm lẫn (Confusion Matrix) kích thước 11x11, thể hiện rõ tỷ lệ phân lớp chính xác và các trường hợp nhầm lẫn giữa các cử chỉ tương đồng. Đồng thời, một biểu đồ cột so sánh độ chính xác nhận dạng tại các mốc khoảng cách 50 cm, 75 cm và 100 cm sẽ minh họa rõ nét tính độc lập của giải thuật đối với khoảng cách không gian.

Bên cạnh đó, ứng dụng demo trò chơi "Búa, Kéo, Giấy" được phát triển thử nghiệm trên hệ thống đã minh chứng khả năng tương tác trực tiếp với độ trễ phản hồi thấp, cho phép chuyển đổi mượt mà các cử chỉ tay người thành tín hiệu điều khiển phần mềm.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và những hạn chế thực nghiệm đã ghi nhận, 4 giải pháp trọng tâm được đề xuất nhằm hoàn thiện và thương mại hóa hệ thống trong tương lai:

1. Tối ưu hóa thuật toán K-Curvature và cấu trúc véc-tơ đặc trưng: Đội ngũ kỹ sư phần mềm cần tiến hành tái cấu trúc giải thuật xử lý đường bao đa giác, mục tiêu giảm độ trễ xử lý khung hình từ mức hiện tại xuống dưới 15 mili-giây trên mỗi khung hình. Lộ trình thực hiện khuyến nghị trong vòng 3 đến 6 tháng.
2. Mở rộng cơ sở dữ liệu huấn luyện và tích hợp nhận dạng cử chỉ động: Nhóm nghiên cứu trí tuệ nhân tạo cần nâng quy mô tập dữ liệu từ 620 mẫu lên tối thiểu 5.000 mẫu đa dạng về lứa tuổi và kích thước bàn tay. Đồng thời, tích hợp thêm mạng nơ-ron hồi quy (RNN/LSTM) để nhận diện các cử chỉ động như vẫy tay, xoay tay trong khung thời gian từ 6 đến 12 tháng.
3. Triển khai phần cứng trên nền tảng nhúng ARM-Linux: Các kỹ sư hệ thống nhúng cần tối ưu hóa mã nguồn OpenNI2 và OpenCV để chuyển đổi giải thuật từ máy tính cá nhân sang các bo mạch nhúng chuyên dụng như Raspberry Pi hoặc NVIDIA Jetson, hướng đến mức tiêu thụ điện năng dưới 10 Watt trong lộ trình 9 tháng.
4. Xây dựng giao diện ứng dụng chuyên biệt cho y tế và thiết bị gia dụng thông minh: Doanh nghiệp công nghệ cần phối hợp cùng các cơ sở y tế để ứng dụng hệ thống 11 cử chỉ tay này vào việc điều khiển màn hình chẩn đoán hình ảnh trong phòng phẫu thuật vô trùng, với chỉ tiêu độ tin cậy vận hành đạt trên 98% trong vòng 12 tháng tới.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu này mang lại giá trị học thuật và ứng dụng thực tiễn cho 4 nhóm đối tượng chính:

1. Kỹ sư phát triển hệ thống nhúng và thị giác máy tính: Học hỏi kỹ thuật trích xuất đặc trưng hình thái học 15 chiều, thuật toán K-curvature thích nghi và phương pháp tối ưu hóa dữ liệu độ sâu từ cảm biến 3D.
2. Nhà nghiên cứu trong lĩnh vực Tương tác Người - Máy (HCI): Tham khảo giải pháp thiết kế giao diện tự nhiên không tiếp xúc, cách thức kết hợp thư viện NiTE2 và phân loại SVM One-vs-One cho các bài toán phân loại đa lớp.
3. Lập trình viên phát triển ứng dụng trò chơi và thực tế ảo (VR/AR): Ứng dụng quy trình lọc 3 khung hình liên tiếp để phát triển các cơ chế điều khiển cử chỉ thời gian thực, tương tự case study trò chơi Búa - Kéo - Giấy trong luận văn.
4. Học viên cao học và sinh viên ngành Kỹ thuật Điện tử, Tự động hóa, Công nghệ Thông tin: Khai thác phương pháp luận nghiên cứu thực nghiệm chuẩn mực, quy trình xử lý ảnh từ tiền xử lý, phân đoạn ảnh đến đánh giá mô hình bằng ma trận nhầm lẫn trên tập mẫu 1.926 dữ liệu.

Câu hỏi thường gặp

Cảm biến Kinect mang lại ưu thế gì so với camera 2D thông thường trong nhận dạng bàn tay? Cảm biến Kinect sử dụng công nghệ Light Coding với camera hồng ngoại để tạo ra bản đồ độ sâu độc lập với màu sắc và ánh sáng môi trường. Nhờ đó, hệ thống phân tách chính xác vùng bàn tay ở khoảng cách 50 đến 100 cm mà không bị nhầm lẫn với khuôn mặt hay vùng da khác như trên ảnh RGB truyền thống.

Véc-tơ đặc trưng 15 phần tử trong luận văn bao gồm những thông số hình học nào? Véc-tơ bao gồm: 1 giá trị đếm số ngón tay mở, 5 góc giữa các đầu ngón tay với trục ngang bàn tay, 4 góc giữa các cặp ngón tay liền kề, và 5 giá trị chênh lệch khoảng cách từ tâm lòng bàn tay đến đầu ngón tay so với bán kính vòng tròn nội tiếp lớn nhất.

Tại sao phương pháp phân loại SVM One-vs-One được lựa chọn thay vì One-vs-Rest? Phương pháp One-vs-One thiết lập 55 bộ phân loại nhị phân cho 11 lớp cử chỉ. Quá trình kiểm tra một mẫu chỉ cần duyệt qua 10 bộ phân loại thay vì toàn bộ, giúp giảm đáng kể số lượng phép tính nhân hạt nhân kernel và tăng tốc độ xử lý nhận dạng trong thời gian thực.

Hệ thống hoạt động tối ưu trong phạm vi khoảng cách và điều kiện môi trường nào? Hệ thống đạt hiệu suất cao nhất trong phạm vi khoảng cách từ 50 cm đến 100 cm, góc nghiêng bàn tay không vượt quá 45 độ và hoạt động trong môi trường trong nhà không có ánh nắng mặt trời chiếu trực tiếp gây nhiễu cảm biến hồng ngoại.

Cơ chế lọc 3 khung hình liên tiếp có vai trò gì trong đánh giá trực quan? Cơ chế này yêu cầu hệ thống chỉ công nhận một cử chỉ mới khi nó xuất hiện liên tục trong 3 khung hình liên tiếp ở tốc độ 30 khung hình/giây. Giải pháp này giúp triệt tiêu các lỗi nhận dạng tức thời do nhiễu chuyển động, nâng độ chính xác thực tế lên trên 94,5%.

Kết luận

• Hệ thống hoàn thiện quy trình nhận dạng cử chỉ tay tĩnh từ ảnh độ sâu Kinect qua 3 giai đoạn: tiền xử lý ảnh, trích xuất đặc trưng hình thái học và phân loại SVM.
• Thiết kế thành công véc-tơ đặc trưng 15 phần tử bất biến tương đối với góc nghiêng dưới 45 độ và khoảng cách hoạt động từ 50 cm đến 100 cm.
• Đạt độ chính xác nhận dạng vượt trội trên 94,5% đối với 11 cử chỉ tay tĩnh trên tập dữ liệu kiểm nghiệm 1.926 mẫu thử tế.
• Khử nhiễu thành công và duy trì độ ổn định nhận dạng theo thời gian thực 30 khung hình/giây bằng kỹ thuật lọc 3 khung hình liên tiếp.
• Hiện thực hóa thành công ứng dụng điều khiển trò chơi Búa - Kéo - Giấy, khẳng định tính khả thi cao trong môi trường thực tiễn.

Luận văn đã đóng góp một giải pháp nhận dạng cử chỉ tay tĩnh toàn diện, chi phí phần cứng thấp nhưng đạt độ chính xác và tính ổn định cao. Kế hoạch tiếp theo trong 6 đến 12 tháng tới sẽ tập trung vào việc mở rộng tập dữ liệu cử chỉ động và tích hợp hệ thống lên các nền tảng chip nhúng ARM-Linux công suất thấp. Các nhà nghiên cứu, kỹ sư phần mềm và doanh nghiệp quan tâm có thể tiếp tục kế thừa cấu trúc thuật toán này để phát triển các giải pháp điều khiển không chạm tiên tiến cho ngành y tế, công nghiệp ô tô và thiết bị gia dụng thông minh.

Trích đoạn nội dung tài liệu

Chương I: Giới thiệu tổng quan và giới thiệu về đề tài, tình hình nghiên cứu, mục tiêu và giới hạn đề tài. Chương II: Cơ sở lý thuyết. Chương II: Hệ thống nhận dạng cử chỉ tay đề xuất. Chương IV: Kết quả thực hiện.

Chương V: Kết luận và hướng phát triển. Luận văn thạc sĩ 15 12/2014 HV: Nguyễn Trọng Trí GVHD: T.S Truong Quang Vinh CHUONG II: CƠ SỞ LÝ THUYÉT 2.1 Cảm biến Kinect và các thư viện hỗ trợ 2.1 Cảm biến Kinect 2.1 Giới thiệu KINECT Hình 2-1 Kinect xbox 360 Kinect 360 là sản phâm của Microsoft, dựa trên công nghệ camera được phát triển bởi PrimeSens. Khi kết nối vào Xbox 360, người chơi có thé điều khiến và tương tác với máy console mà không cần tay cầm điều khiến, thông qua giao diện người dùng tự nhiên sử dụng cử chỉ và lệnh thoại. Khả năng nhận dạng cử chỉ của Kinect dựa trên hai đặc tính chính sau: thông tin về độ sâu ảnh (depth map), khả năng phát hiện và bám theo đặc tính cơ thể người (body skeleton tracking).

Bên cạnh phục vụ cho mục đích chơi game, sản phâm Kinect còn được dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát hiện cử chỉ (gesture recognition), bám theo người (body tracking) và nhiều mục đích khác.2Cấu tạo phần cứng IR Emitter Color Sensor IR Depth Sensor Tilt Motor “ <⁄4 Microphone Array Hinh 2-2 Cac thanh phan chinh cua Kinect Luan van thac si 16 12/2014 HV: Nguyễn Trọng Trí GVHD: T.S Trương Quang Vnh Kinect bao gồm 1 RGB camera, các thành phần sử dụng để cảm biến độ sâu, một dãy các microphone và I động cơ điều khiển góc nâng. - RGB Camera: là một camera thu nhận anh màu 8-bit thông thường tới bộ lọc màu bayer, tốc độ khung hình 30Hz, có độ phân giải chuẩn VGA (640 x 480 điểm ảnh). - Cảm biến độ sâu: bao gồm một thiết bị chiếu tia laser hồng ngoai (IR projector) kết hợp với một bộ cảm bién CMOS don sac (IR camera), cho phép thu thập dữ liệu độ sâu dưới hầu hết mọi điều kiện ánh sáng xung quanh. Nguyên lý các cảm biến độ sâu: Met ©.

a Hình 2-3 Mô tả thực hiện của cảm biến độ sấu eo @ ie Light source (3 Cặp cảm biến IR camera và IR projector sẽ phối hợp với nhau để tạo ra giá trị độ sâu bằng công nghệ Light Coding của PrimeSense. Kĩ thuật Light Coding đùng nguồn sáng hồng ngoại chiếu liên tục kết hợp với một camera hồng ngoại để tính khoảng cách. Việc tính toán này được thực hiện bằng chip PS1080 Soc của PrimeSen. Projector sẽ chiếu một chùm sáng hồng ngoại, tạo nên những đốm sáng ở không gian phía trước Kinect, tập hợp đốm sáng được phát ra này là có định.

Những đốm sáng Luận văn thạc sĩ 17 12/2014 HV: Nguyễn Trọng Trí GVHD: T.S Trương Quang Vnh này được tạo ra nhờ một nguồn sáng truyền qua lưới nhiễu xạ (diffraction gratings). Tập hợp các đốm sáng này được IR camera chụp lại, thông qua giải thuật đặc biệt được tích hợp trong PS1080 SoC cho ra bản đồ độ sâu. Ban chat của giải thuật này là các phép toán hình học dựa trên quan hệ giữa hai cảm biến IR camera và Projector. -_ Dãy Microphone: Dãy Micro bao gồm 4 micro được bố trí dọc theo thân Kinect có khả năng thu lại âm thanh đồng thời xác định hướng của âm thanh.

- Ngoài ra, Kinect còn có 1 cảm biến đo gia tốc để xác định hướng và 1 động cơ dùng đề điều khiến góc ngắng camera.3 Dữ liệu thu được từ Kinect Các cảm biến của Kinect được điều khiển đồng thời thu thập và xử lý đữ liệu thông qua chip PS1080 có tần số 12MHz, sau đó được lưu trữ vào bộ nhớ Flash. Các dữ liệu này có thể truyền vào máy tính thông qua công USB 2. Depth Color © Mandatory Depth image Color image GB Optional 9 VS .p Audlo Hình 2-4 Sơ đô khối phan cứng thu thập dữ liệu từ kinect Các tín hiệu thu thập bao gồm dữ liệu về độ sâu, màu sắc và âm thanh trong đó dữ liệu về độ sâu là dữ liệu quan trọng có nhiều ứng dụng. Sở dĩ dữ liệu về chiều độ sâu có tầm quan trọng như vậy bởi nó giúp việc nhận dạng các vật thể đơn giản hơn nhiều so với xử lý ảnh thông thường.

Luận văn thạc sĩ 18 12/2014 HV: Nguyễn Trọng Trí GVHD: T.S Truong Quang Vinh Các thuật toán xử lý ảnh thông thường dựa vào sự tương đồng về mầu sắc, tuy nhiên, có thể những vật có mầu sắc tương tự nhau nhưng không củng một vật thé hoặc các phần của cùng một đối tượng nhưng có mầu khác nhau, do vậy gây khó khăn trong quá trình nhận dạng. Trong khi đó, với thông tin về độ sâu, các vật thể được phân biệt với nhau thông qua vị trí. Những điểm có khoảng cách gần nhau có xu hướng cùng một đối tượng mà không phân biệt mầu sắc. Chỉ khi độ sâu giảm đột ngột như ở cạnh và ở một số phần nhỏ của đối tượng thì khi đó, hình ảnh trên bản đồ độ sâu mới có sự thay đồi.

Giá trị độ sâu hay là khoảng cách từ kinect đến vật thể bản thân Kinect thực sự không tính toán độ sâu, nó trả về một giá trị trừu tượng hơn cho hệ thống xử lý và tủy vào driver sẽ xuất theo dạng dữ liệu nào. Trong khi OpenNI và MS Kineck SDK xuất giá trị này ra dưới khoảng cách tính bằng mm, còn libfreenect xuất ra các giá trị lượng tir 11-bit. Z [m] Camera Ni [pixels] Hình 2-5 Hệ tọa độ độ sâu trong Kinect 2.2 Cac thư viện xử lý ảnh sử dụng cho lập trình với Kinect Các thư viện xử lý ảnh được sử dụng phổ biến: Libfreenect, Code Laboratories Kinect, OpenNI và Kinect SDK. Mỗi thư viện xử lý ảnh đi kèm với driver của từng thư viện.

Riêng OpenNI phiên bản 2 hỗ trợ driver của nhà phát triển thứ 3. Luận văn thạc sĩ 19 12/2014 HV: Nguyễn Trọng Trí GVHD: T.S Trương Quang Vnh Libfreenect: Libfreenect là thư viện được phát triển bởi OpenKinect, do một cộng đồng những người quan tâm đến Kinect viết và chia sẻ. Libfreenect được đóng gói sử dụng trên nhiều ngôn ngữ khác nhau như Python, C, C++, C#, Java JNI, Java JNA, Javascript. Code Laboratories Kinect: Code Laboratories (CL) là một công ty về phần mềm chuyên hỗ trợ các nhà phát triển, lập trình viên khai thác các tính năng của các thiết bị xử lý ảnh.

trong đó Kinect,CL cung cấp cho người sử dụng những tính năng cơ bản nhất của Kinect về camera, audio va motor. Windows Kinect SDK: Windows Kinect SDK chứa các trình điều khiển tương thích hệ điều hành Windows 7 cho Kinect. SDK cho phép nhà phát triển xây dựng các ứng dung Kinect với C++, C# hoặc Visual Basic trên Microsoft Visual Studio 2010 và bao gồm các đặc tính: - _ Stream đữ liệu cảm biến gốc: truy cập đến stream cấp thấp thu được từ cảm biến độ sâu, cảm biến màu sắc, và mảng micro bốn phần tử. - Theo dõi cơ thể: khả năng theo dõi skeleton nhiều người di chuyển trong vùng nhận biết của Kinect phục vụ cho ứng dụng điều khiển bởi cử chỉ.

- Nâng cao khả năng xử lý âm thanh: khả năng xử lý âm thanh bao gồm bộ khử nhiễu và bộ lọc tiếng, hình thành chùm tia để xác định nguồn âm thanh, và tích hợp API nhận dạng giọng nói của Windows. OpenNI/NITE: OpenNI (Open Natural Interaction) 14 m6t framework da nền tảng, đa ngôn ngữ, và nó định nghĩa giao diện lập trình ứng dung (API) dé viết các ứng dụng dùng tương tác tự nhiên. OpenNI API bao gồm một tập hợp các giao diện để viết các ứng dụng tương tác tự nhiên. Mục đích chính của OpenNI là tạo nên API tiêu chuân cho phép giao tiếp với: - Cảm biến âm thanh và hình ảnh.

Luận văn thạc sĩ 20 12/2014 HV: Nguyễn Trọng Trí GVHD: T.S Trương Quang Vnh - _ Các middleware cảm nhận hình ảnh và âm thanh (các thành phần phần mềm mà phân tích các dữ liệu âm thanh và hình ảnh được ghi lại, và hiểu nó). Ví dụ, phần mềm nhận đữ liệu hình ảnh, chẳng hạn nhận một hình ảnh, trả về vị trí của lòng bàn tay của một bàn tay được phát hiện trong hình ảnh. Tháng 4/2013 tổ chức OpenNI phát hành phiên bản OpenNI2/NiTE2 đơn giản hóa cac APIs, kiểu dữ liệu, dễ dàng giao tiếp giữa các middleware và hỗ trợ driver từ các nhà phát triển thứ 3. Các thư viện hỗ trợ xử lý ảnh khác: Open CV: Open CV là một thư viện mở gồm các hàm được xây dựng phục vụ cho việc xử lý ảnh thời gian thực.

Các thuật toán xử lý anh thông thường lẫn cao cấp đều được tối ưu hóa bởi các nhà phát triển thành các hàm đơn giản rất dễ sử dụng. OpenCV hỗ trợ 2 ngôn ngữ chính : C/C++ và python. OpenGL: Là một giao diện phần mềm độc lập với phần cứng hỗ trợ cho lập trình đồ họa. Để làm được điều này, OpenGL không thực hiện các tác vụ thuộc về hệ điều hành cũng như không nhận dữ liệu nhập của người dùng (người dùng giao tiếp với OpenGL thong qua OpenGL API).

Nó là lớp trung gian giữa người dùng và phần cứng. Nghĩa là nó giao tiếp trực tiếp với driver của thiết bị đồ họa. Lựa chọn thư viện: Vì những ưu điểm kể trên của bộ thư viện OPENNI2/NITE2, ngoài ra bộ thư viện này còn hỗ trợ cho cả ARM-linux sẽ giúp các nhà nghiên đễ dàng phát triển phần cứng riêng, nên chúng tôi quyết định lựa chọn thư viện OPENNI2/NITE2 trong luận văn nảy.2 Máy học véctơ hỗ trợ (Support Vector Machine) Support Vector Machine (SVM), là một trong những thuật toán học máy tốt nhất, đã được đề xuất trong năm 1995 bởi Vapnik. Đây là một phương pháp dựa trên lý thuyết học thống kê (Statistical Learning Theory) nên có một nền tảng toán học chặt chẽ để bảo đảm rằng kết quả đạt được tối ưu.

Ý tưởng chính của SVM là chuyên Luận văn thạc sĩ 21 12/2014 HV: Nguyễn Trọng Trí GVHD: T.S Trương Quang Vnh tập mẫu từ không gian biêu diễn Rn của chúng sang một không gian Rd có số chiều lớn hơn. Trong không gian Rd tìm một siêu phẳng tối ưu để phân hoạch tập mẫu này dựa trên phân lớp của chúng, cũng có nghĩa là tìm ra miền phân bố của từng lớp trong không gian biễu diễn Rn, để từ đó xác định được phân lớp của một mẫu cần nhận dạng. Cũng như mạng nơ-ron, phương pháp SVM là một phương pháp có tính tổng quát cao, có thể áp dụng cho nhiều loại bài toán nhận dạng khác nhau.1 SVM trong trường hợp tập phân hoạch tuyến tính Trong trường hợp này, tập mẫu là một tập có thể phân chia tuyến tính bằng một siêu phẳng và SVM đi tìm siêu phẳng này.