I. Kỹ thuật phân tích hoạt động bàn tay
Kỹ thuật phân tích hoạt động bàn tay là trọng tâm của nghiên cứu, tập trung vào việc nhận diện và đánh giá các chuyển động của bàn tay từ dữ liệu hình ảnh thu thập bằng cảm biến đeo. Các kỹ thuật này bao gồm phát hiện, phân đoạn, và theo dõi bàn tay trong chuỗi hình ảnh. Phương pháp sử dụng mạng nơ-ron tích chập (CNN) và các mô hình học sâu tiên tiến để cải thiện độ chính xác trong việc nhận diện hoạt động. Nghiên cứu cũng đề xuất các cải tiến trong việc xác định tư thế bàn tay, giúp tăng cường khả năng phân tích và đánh giá các bài tập hồi chức năng.
1.1. Phát hiện và phân đoạn bàn tay
Phát hiện và phân đoạn bàn tay là bước đầu tiên trong quá trình phân tích. Các mô hình như Mask R-CNN được sử dụng để xác định vị trí và phân đoạn bàn tay trong khung hình. Kết quả thử nghiệm cho thấy độ chính xác cao trong việc nhận diện bàn tay, đặc biệt trong môi trường bệnh viện với các điều kiện ánh sáng và khung cảnh thay đổi.
1.2. Theo dõi và ước lượng tư thế bàn tay
Theo dõi bàn tay trong chuỗi hình ảnh là thách thức lớn do sự thay đổi nhanh chóng của vị trí và hình dạng. Nghiên cứu đề xuất phương pháp kết hợp giữa DeepSORT và MergeTrack để tăng độ chính xác trong việc theo dõi. Ước lượng tư thế bàn tay được thực hiện thông qua mô hình HOPE-Net, giúp xác định các khớp ngón tay và tư thế bàn tay một cách chính xác.
II. Hình ảnh cảm biến đeo
Hình ảnh cảm biến đeo là nguồn dữ liệu chính trong nghiên cứu, được thu thập từ các thiết bị đeo trên người như camera góc nhìn thứ nhất (FPV). Dữ liệu này mang lại lợi thế lớn trong việc ghi lại chính xác các hoạt động của bàn tay, đặc biệt trong môi trường bệnh viện. Nghiên cứu tập trung vào việc xử lý các thách thức như sự không ổn định của hình ảnh, thay đổi ánh sáng, và sự che khuất bàn tay. Các kỹ thuật tăng cường dữ liệu và xử lý hình ảnh được áp dụng để cải thiện chất lượng dữ liệu đầu vào.
2.1. Thu thập và xử lý dữ liệu
Dữ liệu được thu thập từ các bệnh nhân thực hiện các bài tập hồi chức năng tại Bệnh viện Đại học Y Hà Nội. Quy trình xử lý dữ liệu bao gồm làm sạch, chuẩn hóa, và tăng cường dữ liệu để đảm bảo chất lượng đầu vào cho các mô hình học sâu.
2.2. Đánh giá chất lượng dữ liệu
Nghiên cứu đánh giá chất lượng dữ liệu thông qua các chỉ số như độ phân giải, độ tương phản, và sự ổn định của hình ảnh. Kết quả cho thấy dữ liệu thu thập từ cảm biến đeo đáp ứng được yêu cầu cho các bài toán phân tích hoạt động bàn tay.
III. Đánh giá bài tập hồi chức năng
Đánh giá bài tập hồi chức năng là mục tiêu ứng dụng chính của nghiên cứu. Các kỹ thuật phân tích hoạt động bàn tay được áp dụng để tự động hóa quá trình đánh giá khả năng thực hiện các bài tập của bệnh nhân. Nghiên cứu đề xuất mô hình nhận diện hoạt động tay dựa trên mạng R(2+1)D, kết hợp với việc xác định đối tượng tương tác để tăng độ chính xác. Kết quả thử nghiệm cho thấy mô hình đạt hiệu suất cao trong việc nhận diện và đánh giá các bài tập hồi chức năng.
3.1. Nhận diện hoạt động tay
Mô hình R(2+1)D được sử dụng để nhận diện các hoạt động của bàn tay trong các bài tập hồi chức năng. Kết quả cho thấy mô hình đạt độ chính xác cao trong việc phân loại các hoạt động, đặc biệt khi kết hợp với việc xác định đối tượng tương tác.
3.2. Ứng dụng trong đánh giá hồi chức năng
Nghiên cứu ứng dụng các kỹ thuật phân tích hoạt động bàn tay để đánh giá khả năng thực hiện các bài tập của bệnh nhân. Kết quả được sử dụng để cung cấp thông tin phản hồi cho bác sĩ và điều chỉnh phác đồ điều trị phù hợp.
