Luận văn thạc sĩ: Ứng dụng cảm biến 3D Kinect trong nhận diện ngôn ngữ cử chỉ tiếng Việt hỗ trợ người khiếm thính

• Tác giả: Quách Công Hoàng
• Người hướng dẫn: PGS. Trần Quang Vinh
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Điện tử - Viễn thông
• Đề tài: Ứng Dụng Cảm Biến 3D Kinect Trong Nhận Diện Ngôn Ngữ Cử Chỉ Tiếng Việt Hỗ Trợ Việc Giao Tiếp Với Người Khuyết Tật Khiếm Thính
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Mục tiêu và đối tượng nghiên cứu
• 1.2. Nhận dạng ngôn ngữ kí hiệu Tiếng Việt
• 1.3. Nhận dạng tư thế bàn tay
• 1.4. Các nghiên cứu liên quan
• 1.5. Nội dung nghiên cứu
• 2. CHƯƠNG 2: MÔ HÌNH BÀN TAY
• 2.1. Mô hình động học của bàn tay
• 2.2. Xây dựng mô hình giả định bằng đồ họa máy tính
• 2.2.1. Các khối hình học cơ bản
• 2.2.2. Phương pháp xây dựng mô hình trên các thư viện phần mềm đồ họa
• 2.3. Xác định mô hình quan sát bàn tay trên cảm biến
• 2.3.1. Tóm lược về cảm biến Kinect
• 2.3.2. Xác định mô hình bàn tay từ cảm biến Kinect
• 3. CHƯƠNG 3: GIẢI THUẬT NHẬN DẠNG
• 3.1. Xây dựng hàm mục tiêu
• 3.2. Nhận dạng sử dụng phương pháp tối ưu bầy đàn
• 3.2.1. Giới thiệu về giải thuật tối ưu bầy đàn PSO
• 3.2.2. Ứng dụng giải thuật tối ưu bầy đàn vào nhận dạng
• 4. CHƯƠNG 4: TĂNG TỐC THUẬT TOÁN SỬ DỤNG KHỐI XỬ LÝ ĐỒ HỌA GPU
• 4.1. Xử lý song song trên máy tính và tiêu chuẩn OpenCL
• 4.2. Tăng tốc thuật toán trên GPU
• 5. CHƯƠNG 5: MÔ PHỎNG VÀ THỰC NGHIỆM
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. Hạn chế và hướng phát triển
• TÀI LIỆU THAM KHẢO

I. Tổng quan

Nghiên cứu này tập trung vào việc ứng dụng cảm biến 3D Kinect trong việc nhận diện ngôn ngữ cử chỉ tiếng Việt, đặc biệt là cho người khiếm thính. Mục tiêu chính là phát triển một hệ thống có khả năng nhận diện các tư thế bàn tay trong không gian ba chiều (3D) từ dữ liệu thu được từ cảm biến Kinect. Hệ thống này không chỉ giúp cải thiện khả năng giao tiếp không lời mà còn mở rộng khả năng tương tác cho người khuyết tật. Việc nhận diện ngôn ngữ cử chỉ tiếng Việt đòi hỏi sự kết hợp giữa nhận diện tư thế bàn tay và các chuyển động của cánh tay, khẩu hình. Các nghiên cứu trước đây đã chỉ ra rằng việc sử dụng công nghệ nhận diện hiện đại có thể nâng cao độ chính xác trong việc thông dịch ngôn ngữ cử chỉ.

1.1 Mục tiêu và đối tượng nghiên cứu

Mục tiêu của nghiên cứu là phát triển một hệ thống nhận diện tư thế bàn tay trong không gian 3D, sử dụng cảm biến 3D Kinect. Đối tượng nghiên cứu là các tư thế tay trong ngôn ngữ cử chỉ tiếng Việt. Hệ thống này sẽ giúp người khiếm thính giao tiếp hiệu quả hơn. Việc nhận diện các tư thế bàn tay không chỉ dừng lại ở việc nhận diện các ký tự trong bảng ngôn ngữ ký hiệu mà còn có thể mở rộng sang các ứng dụng thực tế ảo và điều khiển thiết bị. Nghiên cứu này sẽ cung cấp một cái nhìn tổng quan về các phương pháp hiện có và những thách thức trong việc nhận diện ngôn ngữ cử chỉ.

II. Mô hình bàn tay

Chương này trình bày về mô hình động học của bàn tay và cách xây dựng mô hình 3D từ các khối hình học cơ bản. Mô hình bàn tay được xây dựng dựa trên cấu trúc giải phẫu học, với 27 xương và 26 bậc tự do. Việc xác định mô hình bàn tay từ cảm biến Kinect là một phần quan trọng trong quá trình nhận diện. Các khối hình học cơ bản được sử dụng để mô phỏng các tư thế tay, từ đó tạo ra một mô hình 3D chính xác. Hệ thống sẽ sử dụng thông tin từ cảm biến để xác định vị trí và tư thế của bàn tay trong không gian. Điều này giúp cải thiện khả năng nhận diện và giảm thiểu sai số trong quá trình xử lý.

2.1 Mô hình động học của bàn tay

Mô hình động học của bàn tay bao gồm 27 xương, trong đó có 8 xương ở cổ tay và 19 xương cho lòng bàn tay và ngón tay. Các khớp nối giữa các xương cho phép bàn tay có nhiều bậc tự do, với tổng cộng 26 bậc tự do. Cổ tay có 6 bậc tự do, trong khi mỗi ngón tay có 4 bậc tự do. Việc mô phỏng chính xác các bậc tự do này là rất quan trọng trong việc nhận diện tư thế bàn tay. Hệ thống sẽ sử dụng các thông số này để tối ưu hóa quá trình nhận diện, từ đó nâng cao độ chính xác và hiệu quả trong việc giao tiếp với người khiếm thính.

III. Giải thuật nhận diện

Giải thuật nhận diện được xây dựng dựa trên phương pháp tối ưu bầy đàn (PSO) để tìm kiếm các tham số tối ưu cho mô hình bàn tay. Hệ thống sẽ so sánh ảnh quan sát từ cảm biến Kinect với ảnh mô hình 3D để xác định tư thế bàn tay. Việc sử dụng PSO giúp cải thiện tốc độ và độ chính xác của quá trình nhận diện. Hệ thống cũng sẽ áp dụng các kỹ thuật xử lý song song trên GPU để tăng tốc độ xử lý, đáp ứng yêu cầu thời gian thực trong các ứng dụng tương tác. Kết quả thực nghiệm cho thấy hệ thống có khả năng nhận diện 26 bậc tự do của bàn tay với độ chính xác cao.

3.1 Xây dựng hàm mục tiêu

Hàm mục tiêu được xây dựng để tối thiểu hóa sự sai khác giữa ảnh mô hình và ảnh quan sát từ cảm biến 3D. Việc tối ưu hóa hàm mục tiêu là một phần quan trọng trong quá trình nhận diện, giúp hệ thống tìm ra tư thế bàn tay chính xác nhất. Giải thuật PSO sẽ được áp dụng để tìm kiếm các tham số tối ưu cho mô hình, từ đó nâng cao khả năng nhận diện. Kết quả cho thấy giải thuật có thể nhận diện các tư thế tay trong thời gian thực, đáp ứng yêu cầu của người dùng.

Tổng quan nghiên cứu

Nhận dạng ngôn ngữ cử chỉ, đặc biệt là ngôn ngữ ký hiệu tiếng Việt, đóng vai trò quan trọng trong việc hỗ trợ giao tiếp với người khuyết tật khiếm thính. Theo ước tính, có khoảng hàng triệu người khiếm thính tại Việt Nam cần các giải pháp công nghệ để cải thiện khả năng giao tiếp. Luận văn tập trung vào ứng dụng cảm biến 3D Kinect trong nhận diện tư thế bàn tay nhằm nhận dạng các ký tự trong bảng chữ cái ngôn ngữ ký hiệu tiếng Việt. Mục tiêu chính là xây dựng hệ thống nhận dạng tư thế bàn tay trong không gian ba chiều với độ chính xác cao, thời gian thực, và khả năng hoạt động trong môi trường không kiểm soát. Nghiên cứu được thực hiện trong phạm vi dữ liệu thu thập từ cảm biến Kinect tại Hà Nội, năm 2014, với trọng tâm là 26 bậc tự do của bàn tay người. Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao hiệu quả giao tiếp cho người khiếm thính, đồng thời mở rộng ứng dụng trong tương tác thực tế ảo, thực tế tăng cường và điều khiển thiết bị thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mô hình động học bàn tay và giải thuật tối ưu bầy đàn (Particle Swarm Optimization - PSO). Mô hình động học bàn tay mô tả cấu trúc xương và các khớp nối với tổng cộng 26 bậc tự do, bao gồm 6 bậc tự do cho cổ tay và 20 bậc tự do cho các ngón tay. Mô hình này được xây dựng bằng các khối hình học cơ bản như hình cầu, hình trụ, hình nón cụt và ellipsoid, được biểu diễn trong không gian 3D và chiếu xuống ảnh 2D theo phép chiếu hình học phù hợp với cảm biến Kinect. Giải thuật PSO được áp dụng để giải bài toán tối ưu tìm tư thế bàn tay sao cho ảnh mô hình khớp với ảnh quan sát thu được từ Kinect, với hàm mục tiêu đánh giá sai khác về độ sâu và diện tích giữa hai ảnh.

Ba khái niệm chuyên ngành quan trọng bao gồm:

• Bậc tự do (Degree of Freedom - DOF): số lượng tham số cần ước lượng để mô tả tư thế bàn tay.
• Ảnh độ sâu (Depth Image): ảnh thu được từ cảm biến Kinect thể hiện khoảng cách từ cảm biến đến các điểm trên bàn tay.
• Giải thuật tối ưu bầy đàn (PSO): thuật toán tìm kiếm tối ưu dựa trên mô phỏng hành vi bầy đàn, giúp tìm nghiệm gần tối ưu trong không gian nhiều chiều.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là ảnh màu và ảnh độ sâu thu thập từ cảm biến Kinect với độ phân giải 640x480 và tốc độ 30 khung hình/giây. Dữ liệu được thu tại phòng thí nghiệm của Đại học Công nghệ, Đại học Quốc gia Hà Nội trong năm 2014. Phương pháp phân tích bao gồm:

• Xây dựng mô hình 3D bàn tay dựa trên cấu trúc giải phẫu và ánh xạ xuống ảnh 2D.
• Xác định vùng bàn tay trong ảnh độ sâu và ảnh màu bằng kỹ thuật nhận diện màu da và tracking chuyển động.
• Xây dựng hàm mục tiêu đánh giá sai khác giữa ảnh mô hình và ảnh quan sát.
• Áp dụng giải thuật PSO để tìm tư thế bàn tay tối ưu với 64 phần tử trong đàn, tiến hóa qua 30 thế hệ, kết hợp đột biến để tránh kẹt tại cực trị cục bộ.
• Tăng tốc thuật toán bằng xử lý song song trên GPU sử dụng OpenCL và thư viện đồ họa OpenGL.
• Thời gian nghiên cứu kéo dài trong khoảng 12 tháng, tập trung vào phát triển thuật toán và thử nghiệm thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Nhận dạng 26 bậc tự do bàn tay: Hệ thống nhận dạng thành công 26 bậc tự do của bàn tay trong các tư thế ký tự ngôn ngữ ký hiệu tiếng Việt với độ chính xác cao. Kết quả mô phỏng cho thấy tư thế nhận dạng gần như trùng khớp với tư thế quan sát, thể hiện qua các ảnh mô hình và ảnh quan sát (Hình 30).
2. Tốc độ xử lý: Thời gian nhận dạng trung bình một tư thế là khoảng 0.8 giây, trong đó 0.45 giây dành cho xây dựng ảnh mô hình và 0.35 giây cho tính toán hàm mục tiêu. So với phương pháp xử lý tuần tự trên CPU mất 6 phút, việc sử dụng GPU đã giảm thời gian xử lý xuống 450 lần.
3. Độ bền với nhiễu môi trường: Hệ thống kém nhạy cảm với nhiễu môi trường nhờ kết hợp ảnh màu và ảnh độ sâu, đồng thời sử dụng hàm mục tiêu đánh giá sai khác về độ sâu và diện tích.
4. Khả năng tránh cực trị cục bộ: Việc áp dụng đột biến trong giải thuật PSO giúp tránh kẹt tại các điểm tối ưu cục bộ, nâng cao hiệu quả hội tụ của thuật toán.

Thảo luận kết quả

Nguyên nhân thành công của hệ thống là do mô hình động học bàn tay được xây dựng chi tiết với 26 bậc tự do, phù hợp với cấu trúc giải phẫu thực tế, kết hợp với hàm mục tiêu đánh giá đa chiều giúp nhận dạng chính xác tư thế. Việc sử dụng cảm biến Kinect cung cấp dữ liệu ảnh màu và độ sâu đồng thời giúp giảm thiểu mất mát thông tin do che khuất. So với các nghiên cứu trước đây chỉ nhận dạng được 7 bậc tự do với tốc độ 3 hình/giây, nghiên cứu này đã nâng cao lên 26 bậc tự do với tốc độ 1.25 hình/giây (0.8 giây/tư thế). Việc tăng tốc bằng GPU là bước đột phá quan trọng, giúp hệ thống có thể ứng dụng trong thời gian thực. Kết quả có thể được trình bày qua biểu đồ biến thiên giá trị hàm mục tiêu theo số bước tiến hóa (Hình 31) và bảng so sánh thời gian xử lý giữa CPU và GPU. Tuy nhiên, một số tư thế phức tạp vẫn gặp khó khăn do kẹt cực trị cục bộ, cần nghiên cứu thêm các giải thuật tối ưu nâng cao.

Đề xuất và khuyến nghị

1. Phát triển module tracking bàn tay độc lập: Tự xây dựng giải thuật tracking thay thế thư viện NITE2 đã ngừng phát triển, nhằm tăng tính ổn định và khả năng mở rộng hệ thống.
2. Mở rộng tập dữ liệu huấn luyện: Thu thập thêm dữ liệu thực tế với đa dạng người dùng và điều kiện môi trường để cải thiện độ chính xác và khả năng tổng quát của hệ thống.
3. Nâng cao thuật toán tối ưu: Kết hợp PSO với các thuật toán heuristic khác như giải thuật di truyền hoặc bộ lọc Kalman để tránh kẹt cực trị cục bộ và tăng tốc hội tụ.
4. Tối ưu phần cứng: Sử dụng các GPU thế hệ mới với khả năng xử lý song song cao hơn để giảm thời gian nhận dạng xuống dưới 0.5 giây, hướng tới ứng dụng trong tương tác thực tế ảo và điều khiển thiết bị.
5. Chủ thể thực hiện: Các nhóm nghiên cứu công nghệ điện tử, viễn thông, phát triển phần mềm tương tác người-máy và các tổ chức hỗ trợ người khuyết tật nên phối hợp triển khai các giải pháp này trong vòng 1-2 năm tới.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu công nghệ nhận dạng cử chỉ: Có thể ứng dụng mô hình và giải thuật PSO để phát triển các hệ thống nhận dạng tư thế bàn tay trong nhiều ngôn ngữ ký hiệu khác nhau.
2. Chuyên gia phát triển thiết bị hỗ trợ người khuyết tật: Sử dụng kết quả nghiên cứu để thiết kế các thiết bị giao tiếp thông minh, giúp người khiếm thính tương tác hiệu quả hơn với môi trường xung quanh.
3. Lập trình viên phát triển ứng dụng thực tế ảo và tăng cường: Áp dụng mô hình 3D bàn tay và thuật toán nhận dạng để tạo các giao diện điều khiển tự nhiên, nâng cao trải nghiệm người dùng.
4. Giảng viên và sinh viên ngành công nghệ điện tử - viễn thông: Tham khảo phương pháp xây dựng mô hình, xử lý dữ liệu Kinect và tối ưu thuật toán song song trên GPU để phục vụ nghiên cứu và giảng dạy.

Câu hỏi thường gặp

1. Cảm biến Kinect có ưu điểm gì trong nhận dạng ngôn ngữ cử chỉ?
   Kinect cung cấp đồng thời ảnh màu và ảnh độ sâu với độ phân giải 640x480 và tốc độ 30 khung hình/giây, giá thành thấp (150-250 USD), giúp thu thập dữ liệu đa chiều chính xác và tiết kiệm chi phí so với các thiết bị laser đắt tiền.

2. Tại sao phải sử dụng giải thuật tối ưu bầy đàn (PSO)?
   PSO có tốc độ hội tụ nhanh, dễ cài đặt và phù hợp với bài toán tối ưu nhiều chiều như nhận dạng tư thế bàn tay với 26 bậc tự do, giúp tìm nghiệm gần tối ưu trong không gian phức tạp.

3. Làm thế nào để tránh kẹt tại cực trị cục bộ trong PSO?
   Luận văn áp dụng kỹ thuật đột biến (mutation) định kỳ, gieo lại ngẫu nhiên một nửa số phần tử kém nhất sau mỗi 3 thế hệ, giúp đa dạng hóa quần thể và tránh kẹt tại điểm tối ưu cục bộ.

4. Hệ thống có thể hoạt động trong môi trường ánh sáng thay đổi không?
   Nhờ kết hợp ảnh màu và ảnh độ sâu, cùng kỹ thuật nhận diện màu da và tracking, hệ thống có khả năng chịu được nhiễu môi trường và ánh sáng thay đổi, tuy nhiên vẫn cần kiểm soát một số điều kiện nhất định để đảm bảo độ chính xác.

5. Thời gian xử lý một khung hình là bao lâu?
   Trung bình khoảng 0.8 giây cho một tư thế, trong đó 0.45 giây cho xây dựng ảnh mô hình và 0.35 giây cho tính toán hàm mục tiêu, đã được tăng tốc 450 lần so với xử lý tuần tự trên CPU.

Kết luận

• Luận văn đã xây dựng thành công mô hình 3D bàn tay với 26 bậc tự do, phù hợp với cấu trúc giải phẫu và động học thực tế.
• Giải thuật tối ưu bầy đàn PSO được áp dụng hiệu quả để nhận dạng tư thế bàn tay dựa trên dữ liệu ảnh màu và độ sâu từ cảm biến Kinect.
• Việc tăng tốc thuật toán bằng xử lý song song trên GPU giúp giảm thời gian nhận dạng từ 6 phút xuống còn 0.8 giây, đáp ứng yêu cầu thời gian thực.
• Hệ thống có khả năng nhận dạng chính xác các ký tự ngôn ngữ ký hiệu tiếng Việt, hỗ trợ giao tiếp cho người khiếm thính.
• Các bước tiếp theo bao gồm phát triển module tracking độc lập, mở rộng dữ liệu thực nghiệm và tối ưu thuật toán để nâng cao độ chính xác và tốc độ xử lý.

Hành động tiếp theo: Khuyến khích các nhà nghiên cứu và phát triển ứng dụng công nghệ này trong các dự án hỗ trợ người khuyết tật và tương tác người-máy, đồng thời tiếp tục cải tiến thuật toán và phần cứng để mở rộng phạm vi ứng dụng.