Luận văn thạc sĩ: Ước lượng tư thế bàn tay 3D từ cảm biến mang trên người - ĐH Thái Nguyên

Nghiên cứu ứng dụng deep learning để ước lượng tư thế bàn tay 3D từ dữ liệu cảm biến mang trên người, phân tích mô hình học sâu và thực nghiệm hiệu quả.

• Tác giả: Hoàng Danh Tuyên
• Người hướng dẫn: TS. Lê Văn Hùng
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu sử dụng Deep Learning để ước lượng tư thế bàn tay 3D từ dữ liệu của cảm biến mang trên người
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan ước lượng tư thế bàn tay 3D tại ĐH Thái Nguyên

Nghiên cứu ước lượng tư thế bàn tay 3D đóng vai trò then chốt trong lĩnh vực thị giác máy tính. Đề tài tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên tập trung giải quyết bài toán định vị không gian bàn tay. Công trình do học viên Hoàng Danh Tuyên thực hiện dưới sự hướng dẫn khoa học của Tiến sĩ Lê Văn Hùng. Hệ thống ứng dụng học sâu để xử lý tín hiệu hình ảnh đa chiều. Dữ liệu đầu vào thu nhận trực tiếp từ các cảm biến mang trên cơ thể người dùng. Phương pháp này mô phỏng chuyển động sinh học với độ chính xác cao. Kỹ thuật ước lượng tư thế bàn tay 3D tái hiện chính xác cấu trúc hình học các khớp xương. Mỗi ngón tay sở hữu nhiều bậc tự do vận động phức tạp. Các thuật toán học sâu giúp phân tích ma trận điểm ảnh để trích xuất tọa độ không gian. Mô hình học máy tự động thích ứng với nhiều điều kiện chiếu sáng khác nhau. Kết quả nghiên cứu mở ra tiềm năng lớn cho các giao diện tương tác người máy hiện đại. Nền tảng này hỗ trợ mạnh mẽ cho công nghệ thực tế ảo và điều khiển robot từ xa. Việc kết hợp cảm biến đeo cùng trí tuệ nhân tạo tạo nên bước đột phá công nghệ mới.

1.1. Khái niệm cơ bản về ước lượng tư thế bàn tay 3D

Ước lượng tư thế bàn tay 3D là bài toán khôi phục vị trí các khớp xương trong không gian ba chiều. Hệ thống tính toán dựa trên dữ liệu ảnh kỹ thuật số thu được từ camera. Mô hình deep learning sử dụng mạng nơ-ron tích chập để học các đặc trưng hình thái bàn tay. Cấu trúc bàn tay con người bao gồm hơn hai mươi khớp nối tự do. Việc ước tính đòi hỏi thuật toán xác định chính xác vị trí tương đối giữa các khớp. Các tọa độ không gian trục X, Y và Z được trích xuất đồng thời. Độ chính xác của mô hình phụ thuộc vào kiến trúc mạng và chất lượng dữ liệu huấn luyện. Công nghệ này tạo nền móng vững chắc cho việc nhận diện cử chỉ tự nhiên.

1.2. Vai trò của cảm biến mang trên người và thị giác egocentric

Cảm biến mang trên người cung cấp góc nhìn thứ nhất độc đáo trong nghiên cứu thị giác máy tính. Thiết bị camera gắn trên kính hoặc trang phục ghi lại trực tiếp góc quan sát của đối tượng. Thị giác egocentric phản ánh chân thực các thao tác tương tác giữa bàn tay và vật thể. Dữ liệu ghi nhận bao gồm chuỗi ảnh màu và bản đồ độ sâu liên tục. Khung nhìn thứ nhất khắc phục hạn chế bị che khuất tầm nhìn từ camera môi trường cố định. Cảm biến di động cho phép người dùng tự do di chuyển trong không gian thực tế. Thuật toán deep learning khai thác tín hiệu này để phân tích hành vi người một cách mượt mà. Đây là giải pháp lý tưởng cho các ứng dụng thực tế ảo tăng cường.

II. Thách thức khi ước lượng tư thế bàn tay 3D từ cảm biến

Quá trình ước lượng tư thế bàn tay 3D từ cảm biến đối mặt với nhiều rào cản kỹ thuật phức tạp. Vấn đề tự che khuất (self-occlusion) giữa các ngón tay diễn ra thường xuyên trong quá trình vận động. Khi bàn tay nắm chặt hoặc xoay nghiêng, một số khớp xương hoàn toàn biến mất khỏi tầm nhìn máy ảnh. Sự biến dạng linh hoạt của bàn tay khiến mô hình học sâu khó nhận dạng chính xác từng vị trí khớp. Ngoài ra, việc cầm nắm đồ vật tạo ra che khuất ngoại cảnh nghiêm trọng. Điều kiện môi trường ghi nhận cũng làm suy giảm độ chính xác của cảm biến. Hiện tượng rung lắc khi người mang cảm biến di chuyển gây mờ nhòe khung hình. Ánh sáng thay đổi đột ngột làm biến đổi phân bố cường độ điểm ảnh trên camera RGB. Cảm biến đo khoảng cách hồng ngoại thường sinh ra nhiễu hoặc mất dữ liệu tại vùng rìa đối tượng. Bên cạnh đó, việc gán nhãn dữ liệu ba chiều thủ công đòi hỏi chi phí và thời gian khổng lồ. Sự thiếu hụt các tập dữ liệu chuẩn hóa góc nhìn thứ nhất gây khó khăn cho việc huấn luyện mô hình. Luận văn tại Đại học Thái Nguyên phân tích sâu các hạn chế này để tìm kiếm giải pháp cải tiến.

2.1. Vấn đề tự che khuất và tương tác vật thể phức tạp

Hiện tượng tự che khuất là thử thách lớn nhất trong bài toán ước lượng tư thế bàn tay. Bàn tay người có cấu trúc giải phẫu nhỏ với độ linh hoạt cao. Khi ngón tay gập lại, camera chỉ ghi nhận được bề mặt phía ngoài. Phần khớp khuất bóng hoàn toàn mất thông tin chiều sâu. Khi bàn tay tương tác cầm nắm vật thể, sự che khuất càng trở nên nghiêm trọng hơn. Vật thể che lấp các khớp ngón tay tạo ra vùng mù dữ liệu. Thuật toán dễ nhầm lẫn giữa bề mặt vật dụng và ranh giới da tay. Mạng học sâu nếu thiếu cơ chế hồi quy hình học sẽ dự đoán sai lệch tọa độ. Điều này đòi hỏi mô hình phải có khả năng suy luận ngữ cảnh không gian xuất sắc.

2.2. Hạn chế về chất lượng dữ liệu cảm biến và gán nhãn 3D

Dữ liệu từ cảm biến gắn trên người thường chịu ảnh hưởng bởi rung lắc chuyển động. Camera di chuyển liên tục theo tầm nhìn người dùng tạo ra hiện tượng nhòe khung hình. Cảm biến đo chiều sâu hồng ngoại có giới hạn cự ly hoạt động nhất định. Vùng biên của bàn tay thường xuất hiện khoảng trống dữ liệu hoặc nhiễu đo đạc. Bên cạnh phần cứng, việc thu thập tập dữ liệu mẫu chuẩn hóa gặp nhiều trở ngại. Quá trình gán nhãn thủ công cho hàng chục nghìn khung hình tốn kém nhân lực. Các sai số trong bước hiệu chuẩn tham số camera ảnh hưởng xấu tới chất lượng nhãn gốc. Sự chênh lệch giữa môi trường thử nghiệm và thực tế cũng làm suy giảm độ chính xác của mô hình.

III. Phương pháp deep learning ước lượng tư thế bàn tay 3D

Luận văn thạc sĩ tại Đại học Thái Nguyên đề xuất quy trình ước lượng tư thế bàn tay 3D toàn diện. Kiến trúc giải pháp kết hợp giữa phát hiện bàn tay hai chiều và hồi quy tọa độ không gian ba chiều. Hệ thống khai thác bộ dữ liệu tương tác HOI4D để huấn luyện và kiểm nghiệm giải thuật. Trước hết, thuật toán phân tích ảnh màu RGB để xác định hộp bao (bounding box) giới hạn vị trí bàn tay. Bước xử lý này giúp loại bỏ vùng nền không liên quan và giảm tải chi phí tính toán. Tiếp theo, hệ thống chuyển đổi tọa độ khớp 2D sang không gian ảnh độ sâu. Thuật toán tích hợp tham số nội tại (intrinsic parameters) của từng cụm camera chuyên dụng. Mạng nơ-ron tích chập sâu trích xuất vector đặc trưng hình học từ vùng ảnh bàn tay đã chuẩn hóa. Mô hình tiến hành hồi quy trực tiếp vị trí các điểm mốc xương tay trong hệ tọa độ camera 3D. Toàn bộ quy trình tiền xử lý và trích xuất dữ liệu được tự động hóa bằng ngôn ngữ Python. Việc phân chia tập huấn luyện và kiểm thử diễn ra ngẫu nhiên theo tỷ lệ chuẩn khoa học. Phương pháp đảm bảo tính đồng bộ chặt chẽ giữa ảnh màu, ảnh độ sâu và nhãn nhị phân.

3.1. Tiền xử lý dữ liệu từ cơ sở dữ liệu HOI4D và NYU

Nghiên cứu ứng dụng các tập dữ liệu chuẩn mực để kiểm chứng mô hình học sâu. Bộ dữ liệu HOI4D cung cấp chuỗi tương tác phong phú giữa bàn tay và vật phẩm trong đời sống. Tác giả xây dựng các tập lệnh Python để bóc tách tệp cấu hình pickle (.pickle) chuyên biệt. Dữ liệu gốc chứa đựng thông tin phân đoạn bàn tay cùng tọa độ khớp 2D chi tiết. Quá trình tiền xử lý trích xuất hộp bao chữ nhật bao quanh bàn tay trên ảnh màu. Dữ liệu sau đó được đối soát đồng bộ với khung ảnh độ sâu tương ứng. Tập dữ liệu NYU bổ sung các mẫu kiểm định thu từ nhiều camera chiều sâu hồng ngoại. Sự chuẩn hóa này tạo nền tảng vững chắc cho quá trình huấn luyện nơ-ron.

3.2. Chuyển đổi tọa độ 2D sang 3D qua tham số camera

Việc chuyển đổi vị trí khớp từ mặt phẳng ảnh sang không gian 3D là khâu mấu chốt. Giải pháp dựa trên nguyên lý quang học và ma trận tham số nội tại camera. Mỗi thiết bị cảm biến sở hữu mã định danh riêng cùng bảng thông số tiêu cự chuẩn. Tọa độ điểm mốc 2D trên ảnh màu được chiếu sang hệ tọa độ của ảnh độ sâu. Giá trị khoảng cách chiều sâu Z tại từng điểm ảnh được truy xuất chính xác. Tiếp đó, hệ phương trình hình học chuyển dịch điểm ảnh thành tọa độ X và Y trong hệ trục thế giới. Các sai số quang sai thấu kính được hiệu chỉnh tự động nhờ thuật toán. Kết quả đầu ra tạo thành tập nhãn 3D hoàn chỉnh phục vụ huấn luyện mạng nơ-ron.

IV. Kết luận và triển vọng ước lượng tư thế bàn tay 3D

Đề tài nghiên cứu tại Đại học Thái Nguyên khẳng định tiềm năng to lớn của học sâu trong thị giác máy tính. Việc kết hợp cảm biến mang trên người và mạng nơ-ron giúp tái hiện tư thế bàn tay với độ chuẩn xác vượt trội. Quá trình xử lý dữ liệu HOI4D chứng minh giải pháp hoàn toàn khả thi trong môi trường thực tiễn. Hệ thống giải quyết hiệu quả các tình huống tương tác vật thể phức tạp. Sự kết hợp giữa ảnh màu và thông tin chiều sâu bù đắp triệt để những vùng dữ liệu bị che khuất. Công nghệ này là nền tảng cốt lõi cho sự phát triển của các thiết bị kính thực tế ảo (VR) và thực tế tăng cường (AR). Người dùng có thể điều khiển trực tiếp các vật thể ảo bằng cử chỉ bàn tay tự nhiên mà không cần tay cầm điều khiển vật lý. Trong y tế, giải pháp hỗ trợ bác sĩ thực hiện phẫu thuật nội soi từ xa và phục hồi chức năng vận động. Trong công nghiệp tự động hóa, kỹ thuật này nâng cao khả năng điều khiển robot thông minh. Đóng góp học thuật từ luận văn cung cấp tư liệu tham khảo giá trị cho cộng đồng nghiên cứu trí tuệ nhân tạo.

4.1. Ứng dụng trong thực tế ảo và điều khiển robot thông minh

Ước lượng tư thế bàn tay ba chiều mở ra cuộc cách mạng tương tác không gian. Các hệ thống thực tế ảo ứng dụng công nghệ này để số hóa đôi tay người dùng vào thế giới siêu vũ trụ (metaverse). Thao tác cầm nắm, bấm nút và vuốt chạm diễn ra mượt mà tương tự ngoài đời thực. Trong y khoa, các mô hình mô phỏng chuyển động tay giúp sinh viên thực hành phẫu thuật chính xác. Trong lĩnh vực điều khiển robot, kỹ sư truyền tín hiệu tư thế tay trực tiếp sang cánh tay máy công nghiệp. Robot bắt chước chính xác các thao tác tinh xảo của con người trong môi trường độc hại. Sự kết hợp này gia tăng năng suất và độ an toàn lao động vượt bậc.

4.2. Hướng phát triển và tối ưu hóa mô hình học sâu tương lai

Định hướng tương lai tập trung vào việc tối ưu hóa mạng nơ-ron cho thiết bị di động biên (Edge AI). Các kiến trúc học sâu gọn nhẹ cần được áp dụng để giảm độ trễ xử lý khung hình. Việc nén mạng giúp thuật toán vận hành mượt mà trên kính thông minh có phần cứng giới hạn. Nghiên cứu cũng hướng tới việc kết hợp cơ chế học tự giám sát (self-supervised learning). Kỹ thuật này giảm thiểu sự phụ thuộc vào nhãn dữ liệu 3D thủ công vốn tốn kém. Đồng thời, mô hình cần được tăng cường khả năng thích ứng miền với nhiều đối tượng người dùng. Những cải tiến này sẽ thúc đẩy ứng dụng ước lượng tư thế bàn tay vào đời sống thực tế rộng rãi.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN ƯỚC LƯỢNG TƯ THẾ BÀN TAY 3D Chương này trình bày tổng quan về vấn đề ước lượng tư thế bàn tay 3D. Trong đó ba hướng tiếp cận về ước lượng tư thế bàn tay 3D cũng được trình bày: ước lượng tư thế bàn tay 3D từ ảnh màu; ước lượng tư thế bàn tay 3D từ ảnh màu và ảnh độ sâu; ước lượng tư thế bàn tay 3D từ dữ liệu đám mây điểm. Đặc biệt với mỗi hướng tiếp cận, kết quả ước lượng tư thế bàn tay 3D được khảo sát và thể hiện một cách chi tiết. Học sâu và mạng nơ ron tích chập 1.

Định nghĩa học sâu Học sâu (Deep Learning - DL) là một trong những phương pháp học máy có sử dụng nhiều lớp biến đổi phi tuyến trên dữ liệu đầu vào từ đó trích xuất được các đặc trưng của dữ liệu. Trong khi học, dữ liệu được xử lý qua nhiều lớp với các mức độ khác nhau. Dữ liệu có gán nhãn và đủ lớn thường được sử dụng để huấn luyện trong DL. Deep Learning là một tập con của Học máy (Machine Learning - ML), mặt khác là một lĩnh vực hẹp của trí tuệ nhân tạo (Artificial Intelligence - AI).

Thuật ngữ AI thường được dùng để đề cập đến các kỹ thuật sử dụng máy tính "học" các hành vi của con người trong đó ML lại là ứng cử viên sử dụng một tập các thuật toán dùng dữ liệu đầu vào để huấn luyện và làm cho những yêu cầu trở thành khả thi. Học sâu - Deep Learning (DL) học cách sử dụng giống cấu trúc của bộ não con Hoàng Danh Tuyên KHMT-K20A Luận văn Thạc sỹ 8 Khoa học máy tính Hình 1.1: Mối quan hệ giữa học sâu, học máy và trí tuệ nhân tạo. Tương tự như cách con người đưa ra quyết định, các thuật toán DL học cách đưa ra kết luận dựa trên việc phân tích dữ liệu với một cấu trúc logic nhất định.2: Một mạng thần kinh điển hình. DL làm được điều này bằng cách ứng dụng mạng thần kinh, tức là sử dụng cấu trúc nhiều lớp của các thuật toán.

Thiết kế của mạng nơron tương đối giống cấu trúc của bộ não người. Chúng ta dùng não để xác định các mẫu và phân tích thông tin thì mạng nơron cũng được dạy để phân tích các tác vụ giống nhau trên dữ liệu tương tự như vậy. Mỗi khi nhận được thông tin mới, não sẽ cố gắng so sánh nó với các đối tượng đã biết thì mạng nơron cũng sử dụng các lớp riêng lẻ tương tự như một loại bộ lọc để Hoàng Danh Tuyên KHMT-K20A Luận văn Thạc sỹ 9 Khoa học máy tính phân tích từ tổng thể đến chi tiết nhằm nâng cao khả năng phát hiện và đưa ra chính xác kết quả. Ưu điểm đầu tiên của DL so với ML là không cần đến trích xuất tính năng.

Trước khi DL phát triển thì các phương pháp ML truyền thống thường được sử dụng chẳng hạn như Cây quyết định, Support vector Machine (SVM), bộ phân loại Naı̈ve Bayes. Các thuật toán này còn được gọi là thuật toán “phẳng”, có nghĩa là các thuật toán này thường không thể được áp dụng trực tiếp vào dữ liệu thô như hình ảnh, văn bản,. mà cần một bước tiền xử lý gọi là trích xuất tính năng. Kết quả của tính năng trích xuất là một biểu diễn của dữ liệu thô đã cho ví dụ như việc phân loại dữ liệu thành một số loại hoặc một số lớp.

Đối với các mạng nơron nhân tạo của DL sẽ không cần trải qua bước trích xuất tính năng. Các lớp có thể tự chúng tìm hiểu một cách trình bày ngầm của dữ liệu thô một cách trực tiếp.