Chương 1 TỔNG QUAN BÀI TOÁN NHẬN BIẾT HOẠT ĐỘNG CỦA TAY TỪ CẢM BIẾN ẢNH ĐEO TRÊN NGƯỜI Nhận biết hoạt động nói chung và nhận biết hoạt động của tay người nói riêng là một lĩnh vực rất được quan tâm nghiên cứu bởi tính ứng dụng rất đa dạng trong thực tiễn. Một trong những ứng dụng đó là chăm sóc sức khỏe con người, ở đó, các ứng dụng dựa trên trí tuệ nhân tạo đã hỗ trợ nhân viên y tế chăm sóc sức khỏe cho người già, người tàn tật, mất trí nhớ, phục hồi chức năng. Trong chương này, luận án giới thiệu về bài toán thị giác máy tính nhận biết hoạt động của tay từ hình ảnh thu được bởi camera gắn trên người, ứng dụng trong hỗ trợ nhận biết đánh giá quá trình tập phục hồi chức năng tại các cơ sở y tế. Luận án cũng trình bày các kỹ thuật và các nghiên cứu liên quan, phân tích những vấn đề còn tồn tại cần phải tập trung giải quyết.
Giới thiệu bài toán nhận biết hoạt động của tay từ cảm biến ảnh đeo 1. Nhận biết hoạt động của tay sử dụng cảm biến ảnh đeo a. Giới thiệu bài toán Nhận biết hoạt động của tay là lĩnh vực nghiên cứu thu hút được rất nhiều quan tâm của cộng đồng. Điều này rất dễ hiểu bởi vì tay là công cụ hết sức quan trọng trong các hoạt động hàng ngày của con người.
Có thể kể đến là các ứng dụng cử chỉ tay để điều khiển từ xa các hệ thống thông minh, các ứng dụng như thực tại ảo (VR) và thực tại tăng cường (AR) phục vụ giáo dục, du lịch. Trong lĩnh vực y tế, nhận biết hoạt động của tay có thể ứng dụng vào việc chăm sóc sức khỏe, ví dụ như đánh giá tự động mức độ tập phục hồi chức năng của bệnh nhân hay phát triển hệ thống hỗ trợ sinh hoạt cho người già, người bị bệnh mất trí nhớ, khiếm thị. Với tầm quan trọng như trên, các nhà nghiên cứu thị giác máy tính đã cố gắng phân tích hình ảnh tay từ nhiều khía cạnh: xác định vị trí của chúng trong khung hình, nhận biết các hành động tay tham gia, cũng như xác định loại tương tác giữa tay và đồ vật. Có rất nhiều cách tiếp cận để giải bài toán này, dưới góc độ của lĩnh vực thị giác máy tính, các kỹ thuật đó bao gồm: phân tích hình trạng của tay và phân tích hình trạng của tay kết hợp với ngữ cảnh (không gian và thời gian) xung quanh.
Các kỹ thuật này sẽ được NCS trình bày chi tiết hơn trong phần 1. Để cung cấp thông tin đầu vào phục vụ cho bài toán nhận biết hoạt động, người ta thường sử dụng các loại cảm biến để thu thập dữ liệu. Có nhiều loại cảm biến khác nhau và chúng có thể được sử dụng độc lập hoặc kết hợp. Các n 9 loại cảm biến có thể phân loại theo loại dữ liệu thu thập được hay theo cách thức gắn thiết bị cảm biến.
Nội dung này sẽ được NCS trình bày trong phần tiếp theo. Các loại cảm biến sử dụng trong bài toán Cảm biến ảnh là những camera được sử dụng trong lĩnh vực thị giác máy tính nói chung và bài toán nhận biết hoạt động nói riêng. Chúng ta có thể phân chia các camera thành hai loại: giám sát (surveillance) và chịu giám sát (sousveillance).1 thể hiện sự khác biệt giữa hai loại camera này.1 Sự khác biệt giữa camera cố định và camera gắn trên người. Surveillance thường bao gồm những camera được gắn cố định vào các công trình, đồ vật như là các tòa nhà (ví dụ như gắn vào tường hoặc trần nhà bên trong hoặc bên ngoài), hoặc trên đất (ví dụ gắn vào cột đèn, cột điện và những thứ tương tự).
Sousveillance thường gồm những camera cung cấp góc nhìn độc đáo về thế giới lấy con người là trung tâm (Egocentric Vision) trong đó cảm biến ảnh được gắn trên người dùng hay còn được gọi là hệ thống thị giác đeo trên cơ thể, camera đeo trên người, camera mang. Camera đeo trên người khác với camera truyền thống ở chỗ lấy con người làm trung tâm cho nên chúng được thiết kế tự nhiên để thu thập thông tin hình ảnh từ các tương tác hàng ngày của chúng ta và thậm chí có thể hoạt động dựa trên thông tin đó trong thời gian thực. Đặc điểm lấy con người làm trung tâm của FPV có thể có tác động lớn đến cách chúng ta tiếp cận các nhiệm vụ thị giác máy tính egocentric như phát hiện hình ảnh, nhận dạng, dự đoán và phân tích hoạt động cũng như hành vi xã hội. FPV còn đảm bảo quyền riêng tư do camera gắn trên người nên nhìn vào ảnh không thể biết ai là n 10 chủ thể.
Các hoạt động của chủ thể, đối tượng thao tác chính và vùng tay thường chiếm trọng tâm của ảnh.2 Các giai đoạn phát triển của thiết bị camera mang trên người Hình 1.3 Một số loại camera đeo trên người hiện nay Ngoài camera đeo trên người, một số cảm biến khác có thể được sử dụng để thu thập dữ liệu cho bài toán nhận biết hoạt động của tay như: cảm biến gia tốc, cảm biến con quay hồi chuyển. Cả hai cảm biến đều đo tốc độ thay đổi; chúng chỉ đo lường tốc độ thay đổi cho những đại lượng khác nhau. Ưu điểm của các loại cảm biến này là nhỏ gọn, có thể tích hợp thuận tiện vào các thiết bị thông minh khác (như đồng hồ, giày thông minh, điện thoại thông minh). Tuy nhiên so với cảm biến hình ảnh, thông tin từ các cảm biến này thường là dữ liệu một chiều, không có tính trực quan nên khả năng phân tách các hoạt động tương tự nhau gặp khó khăn.
Nhận biết hoạt động của tay sử dụng cảm biến ảnh đeo Theo hướng tiếp cận thị giác máy tính truyền thống, các camera cố định thu nhận hình ảnh trong một (hoặc một số) vị trí nhất định. Việc thu thập các hoạt động xảy ra một cách tự nhiên, từ đó trích chọn các thông tin về di chuyển của cơ thể người (đi lại, chạy, nhảy), hoặc các hoạt động như (ăn/uống, hút thuốc lá, bắt tay …). Nhận biết hoạt động của tay có một số yêu cầu khác biệt, khi đó các camera được gắn trên các bộ phận cơ thể người như n 11 trên đầu, ngực và vai sẽ có nhiều lợi thế. Các hoạt động gắn với tay người đòi hỏi mức độ chi tiết về thông tin nhiều hơn so với toàn bộ người, chẳng hạn như tư thế tay, tư thế các khớp và ngón tay, tương tác tay với đồ vật.
Đối với camera cố định, tay thường chiếm không gian nhỏ trong toàn khung hình, tay cũng hay bị đồ vật, cơ thể che khuất. Đặc biệt khi người di chuyển qua các vị trí khác nhau thì camera cố định rất khó để theo dõi. Với lợi thế bám theo các hoạt động của người, các camera đeo này cung cấp hình ảnh của tay và các đối tượng tay tương tác một cách trực tiếp. Ngoài ra, môi trường hoạt động xung quanh không bị gắn cố định vào một không gian cụ thể như đối với các camera truyền thống.
Theo cách tự nhiên, camera mang cũng chính là hướng nhìn của người hướng về vị trí tay đang thao tác các hành động. Những lợi thế trên cùng với sự phát triển công nghệ giúp rút gọn kích thước của camera đeo cũng như các loại cảm biến dữ liệu theo thời gian khác làm cho hướng tiếp cận nhận biết hoạt động tay trên ảnh egocentric đã và đang nhận được sự quan tâm của nhiều nhà nghiên cứu trên thế giới. Vai trò của phân tích hình ảnh tay trong đánh giá quá trình tập PHCN Như đã trình bày, cảm biến ảnh mang đã có nhiều hướng ứng trong thực tế. Hầu hết các ứng dụng này thuộc về lĩnh vực tương tác người-máy (Human Computer Interaction – HCI) hoặc và người-robot (Human-Robot Interaction - HRI).
Ngoài các ứng dụng phổ biến trên, một trong những ứng dụng của cảm biến đeo là hỗ trợ bác sỹ theo dõi, đánh giá quá trình tập điều trị PHCN. Y học hiện đại hướng tới không chỉ điều trị bệnh cứu người và còn mong muốn đưa bệnh nhân trở về hòa nhập cuộc sống bình thường với các chức năng vận động cơ bản. Vì vậy, quá trình tập PHCN là rất quan trọng đối với bệnh nhân sau khi bị chấn thương, đột quỵ. Qua khảo sát của NCS tại Khoa PHCN bệnh viện Đại học Y Hà Nội cho thấy, tùy theo tình trạng bệnh lý của bệnh nhân, các bác sĩ sẽ đưa ra phác đồ điều trị phù hợp.
Phác đồ điều trị ở đây là bài tập vận động cho các bộ phận cơ thể cần hồi phục chức năng như tay, chân, cổ, vai, gáy… Các bác sĩ sẽ cho bệnh nhân tập luyện các bài tập đồng thời theo dõi, ghi chép lại các thông số như: số lần bệnh nhân tập một bài tập, tần suất tập, tốc độ vận động, khả năng vận động của các khớp liên n 12 quan. Với số lượng bệnh nhân lớn và lực lượng y bác sĩ, kỹ thuật viên không đủ để đáp ứng nhu cầu khám chưa bệnh nên thường dẫn đến tình trạng quá tải bệnh viện. Do vậy, việc ứng dụng trí tuệ nhân tạo trong hỗ trợ điều trị bệnh nhân PHCN là hết sức cần thiết. Trong lĩnh vực thị giác máy tính từ góc nhìn egocentric, bệnh nhân có thể được gắn các camera trên đầu, ngực, vai … để hệ thống ứng dụng tự động thu nhận hình ảnh và phân tích đánh giá quá trình tập luyện.
Y bác sĩ không phải dành toàn bộ thời gian bám sát bệnh nhân và chỉ cần dựa trên các báo cáo của hệ thống để điều chỉnh phác đồ điều trị phù hợp. Từ góc độ chuyên môn, các báo cáo này không yêu cầu thực hiện ngay lập tức, chỉ cần đưa ra kết quả sau quá trình luyện tập (vào cuối buổi, cuối ngày hoặc định kỳ theo yêu cầu). Một khi bài toán phân tích và nhận biết được hoạt động của tay người tập được thực hiện một cách tự động, việc báo cáo các số liệu thống kê như số bài tập, số lượng tương tác mỗi giờ, thời lượng tương tác và tỷ lệ tương tác theo thời gian. Các biện pháp này, sau khi được xác nhận dựa trên điểm số lâm sàng, sẽ giúp các bác sĩ hiểu rõ hơn về tình trạng bệnh lý của bệnh nhân và từ đó có phác đồ điều trị hợp lý.
Trong ứng dụng cụ thể này, việc sử dụng chuỗi hình ảnh từ góc nhìn thứ nhất (First-Person Video – FPV) mang lại những lợi thế quan trọng so với các loại dữ liệu khác dựa trên cảm biến gia tốc, con quay hồi chuyển và TPV. • FPV ghi lại chính xác cách người bệnh thao tác trên các đối tượng.