Tổng quan luận án

Luận án tiến sĩ toán học với đề tài "Nghiên cứu, phát triển các kỹ thuật phân tích hoạt động của bàn tay từ chuỗi hình ảnh thu thập bằng cảm biến đeo, ứng dụng trong hỗ trợ đánh giá bài tập phục hồi chức năng", chuyên ngành Cơ sở toán học cho tin học (mã số 9460110), được thực hiện tại Viện Khoa học và Công nghệ quân sự phối hợp cùng Đại học Bách khoa Hà Nội vào năm 2023.

Tính cấp thiết và khoảng trống nghiên cứu

Thị giác máy tính góc nhìn thứ nhất (First Person Vision - FPV hay Egocentric Vision) sử dụng hình ảnh thu nhận từ các cảm biến mang trên cơ thể người. Khác với góc nhìn thứ ba truyền thống (Third Person Vision - TPV) từ camera cố định, góc nhìn FPV đặt hoạt động của bàn tay và các tương tác với đồ vật vào vị trí trung tâm của khung hình. Trong y tế, việc tự động nhận biết quá trình tập phục hồi chức năng (PHCN) của bệnh nhân sau tai biến, đột quỵ hoặc chấn thương giúp cung cấp các báo cáo định kỳ về loại bài tập, thời lượng và tần suất vận động cho bác sĩ lâm sàng, hỗ trợ giảm tải cho các cơ sở y tế đang thiếu hụt nhân lực chuyên trách.

Khoảng trống nghiên cứu được tác giả xác định gồm:

  • Thiếu hụt các bộ dữ liệu FPV gán nhãn chuyên sâu về bài tập PHCN được thu thập trực tiếp trong môi trường bệnh viện thực tế tại Việt Nam.
  • Dữ liệu FPV đối mặt với các thách thức kỹ thuật lớn: khung hình không ổn định do chuyển động của cơ thể, ánh sáng thay đổi nhanh, hiện tượng mờ nhòe khi tay chuyển động nhanh, hiện tượng che khuất khi cầm nắm đồ vật và sự xuất hiện gây nhiễu của tay người khác (kỹ thuật viên, bác sĩ) trong khung hình.
  • Nhu cầu kết hợp thông tin không gian - thời gian của cử động tay với nhận diện ngữ cảnh và đối tượng tương tác chính nhằm nâng cao độ chính xác của mô hình nhận dạng hoạt động.

Mục tiêu và câu hỏi nghiên cứu

Mục tiêu chung của luận án là phát triển các kỹ thuật tự động nhận biết hoạt động của tay ứng dụng trong nhận biết và đánh giá bệnh nhân tập PHCN tại cơ sở y tế.

Ba mục tiêu cụ thể được đánh số trong văn bản bao gồm:

  1. Xây dựng và công bố bộ dữ liệu nhằm khắc phục tình trạng thiếu bộ dữ liệu huấn luyện về tập PHCN tại bệnh viện và thực nghiệm đánh giá cơ sở cho một số nhiệm vụ liên quan.
  2. Đề xuất phương pháp cải tiến các kỹ thuật liên quan đến phân tích hình ảnh của tay từ dữ liệu cảm biến đeo như: theo bám, phân đoạn, dự đoán tư thế tay làm tiền đề cho bài toán nhận biết hoạt động tay.
  3. Dựa trên các kỹ thuật được cải tiến trên, đề xuất mô hình nhận biết hoạt động tay có hiệu năng cao đối với bệnh nhân tập PHCN tại bệnh viện.

Các câu hỏi nghiên cứu được đặt ra:

  • Liệu việc sử dụng thị giác máy tính góc nhìn thứ nhất trong bài toán nhận biết và đánh giá bệnh nhân tập PHCN tại bệnh viện có phù hợp không?
  • Cần làm gì để cải tiến hiệu năng các kỹ thuật phân tích và nhận biết hoạt động tay?
  • Vai trò của ngữ cảnh trong môi trường tập PHCN tại bệnh viện có ảnh hưởng gì và liệu có thể kết hợp hình ảnh cùng các dữ liệu cảm biến khác như gia tốc để nâng cao hiệu năng bài toán này?

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Dữ liệu hình ảnh egocentric của bệnh nhân tập PHCN, các bộ cơ sở dữ liệu egocentric công khai trong cộng đồng khoa học, cùng các kỹ thuật học máy và thị giác máy tính cho bài toán nhận biết hoạt động trên chuỗi hình ảnh.
  • Phạm vi nghiên cứu:
    • Về dữ liệu: Hình ảnh RGB thu nhận từ cảm biến ảnh 2D đeo trên người kết hợp dữ liệu chuyển động từ cảm biến gia tốc và con quay hồi chuyển.
    • Về bài tập: Tập trung vào 4 bài tập PHCN tay phổ biến. Dữ liệu được thu thập tại Khoa Phục hồi chức năng, Bệnh viện Đại học Y Hà Nội, bao gồm cả dữ liệu tay yếu và tay khỏe của người bệnh.
    • Giới hạn: Việc đánh giá định lượng lâm sàng về mức độ hồi phục chức năng nằm ngoài phạm vi nghiên cứu của đề tài; bài toán tập trung vào nhận dạng tự động loại bài tập và phân tích cử động tay.

Tổng quan tài liệu và vị trí của luận án

Tác giả hệ thống hóa các công trình nghiên cứu trong và ngoài nước theo hai hướng tiếp cận chính: học máy truyền thống và học sâu.

Các hướng nghiên cứu ngoài nước

  • Phương pháp học máy truyền thống:
    • Phân đoạn tay: Li và Kitani (2013) kết hợp không gian màu HSV, RGB, LAB và các đặc trưng cục bộ (Gabor, HOG, SIFT, BRIEF) cùng rừng ngẫu nhiên; Betancourt và cộng sự (2015) dùng rừng ngẫu nhiên nhị phân với không gian LAB; Zariffa và Popovic (2015) dùng mô hình hỗn hợp Gaussian (GMM) và toán tử hình thái học; một số tác giả khác (2014, 2017) áp dụng phân loại trên siêu pixel (superpixel).
    • Phát hiện và theo bám tay: Betancourt và cộng sự (2014) dùng HOG và SVM cấp khung hình; Zhao và cộng sự (2012, 2013) phát hiện tay dựa trên chu kỳ tương tác (chuẩn bị - tương tác - rút lui); Mueller và cộng sự (2017) dùng thông tin độ sâu; Liu và cộng sự (2014) đề xuất bộ theo bám dựa trên cơ chế chú ý (AHT).
    • Ước lượng tư thế và cử chỉ: Rogez và cộng sự (2014, 2015) phân loại tư thế và nhận dạng 71 kiểu cầm nắm từ dữ liệu RGB-D qua SVM đa lớp; Liang và cộng sự (2015) áp dụng rừng hồi quy có điều kiện (CRF) trên mặt nạ nhị phân; Feix và cộng sự (2014), Cai và cộng sự (2015) phân tích cầm nắm bằng HOG và SIFT; Yamazaki và cộng sự (2019) sử dụng đám mây điểm từ cảm biến Kinect v2.
    • Nhận dạng hành động và ngữ cảnh: Ishihara và cộng sự (2015) dùng HOG và HOF; Ren và cộng sự (2009, 2010) kết hợp SIFT, SVM và đặc trưng chuyển động tịnh tiến (toward motion); Fathi và cộng sự (2011) đạt độ chính xác 39,7% trên 61 lớp hoạt động; Pirisiavash và cộng sự (2012) xây dựng tập dữ liệu ADL với 18 hoạt động; Spriggs và cộng sự (2009) dùng đặc trưng GIST phân loại hành động nhà bếp.
  • Phương pháp học sâu:
    • Phân đoạn và phát hiện: Wang và cộng sự (2018) dùng kiến trúc U-Net lặp; Li và cộng sự (2018) dùng luồng đặc trưng sâu (DFF); Zhou và cộng sự (2016) áp dụng DeconvNet trên 1.500 khung hình gán nhãn pixel; Kapidis và cộng sự (2019) kết hợp YOLOv3 và thuật toán SORT; Visee và cộng sự (2017) kết hợp YOLOv2 với bộ lọc KCF.
    • Ước lượng tư thế và nhận biết hoạt động: Tekin và cộng sự (2019) dùng FCN ước lượng tư thế tay và vật thể 3D; Tang và cộng sự (2017) đề xuất mạng đa luồng MDNN; Castro và cộng sự (2015) dùng CNN kết hợp ngữ cảnh thời gian qua cơ chế kết hợp muộn (late fusion); Dimiccoli và cộng sự (2017) dùng GoogLeNet phát hiện các khung hình chính.
  • Nghiên cứu FPV trong phục hồi chức năng:
    • Zariffa và cộng sự (2015) phát hiện bao tay trong sinh hoạt hàng ngày đạt độ chính xác 88,3%, f-score đường bao 0,86; Likitlersuang và cộng sự (2017) phân loại tương tác tay - đồ vật đạt f-score 0,85 trên 14 hoạt động (44,16 phút); Likitlersuang và cộng sự (2019) công bố bộ dữ liệu ANS-SCI đánh giá phục hồi chức năng cho bệnh nhân chấn thương tủy sống cSCI trong môi trường nhà ở mô phỏng.

Các hướng nghiên cứu trong nước

  • Le và cộng sự (2019) phát triển mô hình gán nhãn ngữ nghĩa tự động dựa trên học sâu và ngưỡng thích nghi.
  • Nguyen và cộng sự (2017) tìm kiếm người trong video TRECVID.
  • Nhóm nghiên cứu Đại học Công nghệ (2016) nhận dạng hoạt động qua thuật toán Dynamic Time Warping (DTW) và khung xương.
  • Nhóm Đại học Khoa học Tự nhiên TP.HCM (2015) kết hợp HOG, HOF, SURF, BoW và SVM để phân đoạn video.
  • Nhóm nghiên cứu Viện MICA (2022) đề xuất SplitPointNet kết hợp YOLO và PointNet++ ước lượng tư thế tay 3D trên bộ FPHAB với sai số 66,26 mm, cùng nghiên cứu PA-ResGCN nhận dạng hành động từ chuỗi khớp xương tay.

Vị trí và khoảng trống luận án giải quyết

Luận án định vị trọng tâm vào việc giải quyết bài toán phân tích hoạt động tay FPV trong bối cảnh lâm sàng thực tế tại bệnh viện Việt Nam. Luận án khắc phục hạn chế về dữ liệu thực nghiệm, xử lý tình trạng nhảy ID và tay người ngoài gây nhiễu trong không gian hẹp của phòng tập, đồng thời tối ưu hóa nhận dạng hoạt động bằng cách kết hợp phát hiện vật thể tương tác đặc thù của bài tập PHCN.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình sử dụng

  • Lý thuyết biểu diễn hình trạng và chuyển động: Sử dụng bản đồ biến đổi khoảng cách (Distance Transformation Map - DTM), các đặc trưng vùng quan tâm (ROI), tâm hình học và đường biên để phân tách các cấu trúc giải phẫu của chi trên.
  • Kiến trúc mạng nơ-ron tích chập phát hiện và phân đoạn: Mô hình Faster R-CNN và Mask R-CNN dựa trên mạng trích xuất đặc trưng (backbone) ResNet kết hợp FPN; các mô hình phát hiện một giai đoạn YOLOv3, YOLOv4.
  • Mô hình theo bám đối tượng đa mục tiêu: Thuật toán lọc Kalman và ma trận khoảng cách kết hợp mạng trích xuất đặc trưng ngoại hình DeepSORT.
  • Kiến trúc ước lượng tư thế 2D: Mạng HOPE-Net dựa trên đồ thị kết hợp mạng tích chập ResNet-18.
  • Mô hình nhận dạng hành động không - thời gian: Mạng tích chập 3D phân rã $R(2+1)D$ (tách bộ lọc 3D thành tích chập không gian 2D và tích chập thời gian 1D), so sánh với kiến trúc $R3D-18$ và $R3D-34$.
  • Cơ chế ra quyết định kết hợp muộn (Late Fusion): Kết hợp phân phối xác suất từ mạng $R(2+1)D$ và điểm số nhận diện vật thể tương tác chính $Score[j]$ để đưa ra nhãn bài tập cuối cùng.

Phương pháp nghiên cứu thực tế

  • Nghiên cứu lý thuyết: Phân tích toán học các hàm mất mát, cấu trúc tensor của bộ lọc tích chập $(2+1)D$, giải thuật tối ưu hóa tham số hình học $(\alpha, \beta)$ phục vụ phân đoạn tay.
  • Nghiên cứu thực nghiệm:
    • Thu thập dữ liệu đa phương thức có kiểm soát tại cơ sở lâm sàng.
    • Sử dụng phần mềm chuyên dụng ELAN để đồng bộ hóa tín hiệu thời gian giữa video RGB và luồng dữ liệu cảm biến chuyển động.
    • Đánh giá định lượng mô hình bằng các bộ chỉ số chuẩn: Độ chính xác trung bình (Average Precision - AP), Độ bao phủ trung bình (Average Recall - AR) theo chuẩn COCO ($AP_{50}, AP_{75}, AP_s, AP_m, AP_l$), ma trận nhầm lẫn (Confusion Matrix), sai số khoảng cách pixel và sai số khớp tay (mm).

Nguồn tư liệu và dữ liệu

  • Bộ dữ liệu xây dựng mới: RehabHand (công bố tại website http://rehabhand).
  • Bộ dữ liệu tham chiếu quốc tế: Bộ dữ liệu tương tác tay góc nhìn thứ nhất FPHA / FPHAB (First-Person Hand Action Benchmark) dùng để kiểm chứng chéo mô hình ước lượng tư thế tay.

Nội dung chính theo từng chương

Chương 1: Tổng quan bài toán nhận biết hoạt động của tay từ cảm biến ảnh đeo trên người

Chương này tổng kết cơ sở khoa học của thị giác góc nhìn thứ nhất FPV, phân tích sự khác biệt giữa camera giám sát cố định và camera gắn trên người. Tác giả phân loại chi tiết các nhiệm vụ thị giác máy tính đối với bàn tay thành hai nhóm:

  1. Xác định tay (Localization): Gồm phân đoạn tay mức pixel, phát hiện vùng bao, theo bám quỹ đạo chuyển động qua chuỗi thời gian, và ước lượng tọa độ khớp ngón tay.
  2. Hiểu hành động của tay (Interpretation): Gồm phân loại kiểu cầm nắm tĩnh, nhận dạng cử chỉ động, và nhận biết các cặp tương tác (động từ - danh từ) cùng hoạt động tổng thể kéo dài.

Chương 1 làm rõ vai trò của việc phân tích hình ảnh tay trong việc tự động hóa giám sát y tế, chỉ ra 4 vấn đề tồn tại lớn trong các nghiên cứu hiện nay và xác lập sơ đồ hướng tiếp cận tổng thể của luận án.

Chương 2: Xây dựng bộ dữ liệu bài tập PHCN và các đánh giá liên quan đến tay

Tác giả trình bày quy trình thu thập, xử lý và đóng gói bộ dữ liệu RehabHand tại Khoa Phục hồi chức năng, Bệnh viện Đại học Y Hà Nội với các thông số:

  • Người tham gia: 10 bệnh nhân có bệnh lý vận động (tai biến mạch máu não, thoái hóa cột sống, chấn thương).
  • Thiết bị ghi hình và đo lường: 2 camera GoPro Hero4 gắn trên đầu và ngực (độ phân giải 1080p, tốc độ 30 fps, góc nhìn mắt cá); 1 đồng hồ thông minh Samsung Gear S3 Frontier đeo ở cổ tay thu thập dữ liệu gia tốc kế và con quay hồi chuyển.
  • Quy mô dữ liệu: 10 video thô với tổng thời lượng 4 giờ (dung lượng 53 GB), được phân chia thành 58 video bài tập (20 video bài tập 1, 16 video bài tập 2, 12 video bài tập 3, 10 video bài tập 4) và chia nhỏ thành 431 phân đoạn động tác lặp lại.
  • Gán nhãn: Gán nhãn phân đoạn mức pixel cho 4.500 khung hình kích thước $1920 \times 1440$ trên 8 lớp đối tượng: Quả bóng (1), Cái cốc (2), Chai nước (3), Cái bát (4), Hình trụ (5), Khối (6), Tay trái (7), Tay phải (8). Gán nhãn theo bám tay trên 32 đoạn video ngắn với 10.984 khung hình (trong đó các video từ 28 đến 32 chứa tình huống có tay người ngoài gây nhiễu).

Tác giả thực nghiệm các mô hình cơ sở cho tác vụ phát hiện tay trên bộ dữ liệu RehabHand, kết quả được tổng hợp trong bảng sau:

Mô hình $AP$ $AP_{50}$ $AP_{75}$ $AP_{small}$ $AP_{med}$ $AP_{large}$ $AR^{max=1}$ $AR^{max=10}$ $AR^{max=100}$ $AR_{small}$ $AR_{med}$ $AR_{large}$
YOLOv3 89,2 92,4 92,1 1,1 66,4 54,1 6,5 53,6 76,4 3,2 32,5 75,9
YOLOv4 93,1 95,6 94,6 3,2 72,5 42,9 8,7 65,8 89,7 7,1 40,1 82,7
Faster R-CNN 96,2 97,9 97,9 0,9 75,8 6,3 9,6 76,8 97,6 10,0 77,8 97,6
Mask R-CNN 92,1 98,9 97,9 0,0 32,4 92,2 9,2 73,9 94,6 0,0 50,8 94,7

Chương 3: Đề xuất kỹ thuật cải tiến cho nhiệm vụ xác định tay

Chương này giải quyết 3 bài toán kỹ thuật nhằm chuẩn hóa dữ liệu đầu vào cho bước nhận biết hoạt động:

  1. Phân đoạn vùng bàn tay: Đề xuất phương pháp dựa trên các đặc trưng tự thiết kế và bản đồ biến đổi khoảng cách (DTM) để phân tách riêng biệt vùng bàn tay và cẳng tay từ mặt nạ phân đoạn toàn bộ cánh tay. Kỹ thuật sử dụng siêu tham số $\beta$ để xác định sự xuất hiện của cẳng tay và ngưỡng $\alpha$ để loại bỏ hình tròn nội tiếp lòng bàn tay, thiết lập đường phân tách cổ tay chính xác trong điều kiện góc nhìn FPV.
  2. Theo bám và loại bỏ tay nhiễu: Đề xuất thuật toán MergeTrack kết hợp cùng DeepSORT nhằm sửa hiện tượng nhảy định danh (ID switch) khi tay bị che khuất tạm thời hoặc chuyển động nhanh. Kết hợp thông tin phân đoạn tay và theo bám để tính điểm nhận diện $Score[j]$ và chỉ số $j_0$, phân biệt chính xác tay của bệnh nhân (chủ thể) với tay của y bác sĩ/người hỗ trợ xuất hiện trong cùng khung hình.
  3. Ước lượng tư thế bàn tay 2D: Kết hợp kết quả phân đoạn vùng bàn tay từ Mask R-CNN với mạng HOPE-Net và kiến trúc trích xuất đặc trưng ResNet-18 để dự đoán vị trí 21 điểm khớp tay 2D, cải thiện sai số dự đoán trên từng ngón tay so với mô hình HOPE-Net nguyên bản khi thử nghiệm trên tập dữ liệu FPHA.

Chương 4: Đề xuất kỹ thuật nhận biết hoạt động tay trong các bài tập PHCN

Chương 4 hoàn thiện mô hình nhận diện bài tập PHCN thông qua các nội dung:

  • Triển khai mạng tích chập không - thời gian $R(2+1)D$ để học đặc trưng chuyển động từ chuỗi khung hình video bài tập (so sánh hiệu quả suy giảm sai số với mạng $R3D$).
  • Xây dựng mô-đun phát hiện đối tượng tương tác chính (key object) dựa trên các kết quả phân đoạn và theo bám tay đã đạt được ở Chương 3.
  • Thiết lập thuật toán kết hợp muộn (Late Fusion) giữa luồng phân loại hành động của mạng $R(2+1)D$ và thông tin định danh vật thể tương tác chính. Kết quả thực nghiệm thông qua ma trận nhầm lẫn chứng minh phương pháp đề xuất giúp phân biệt chính xác các bài tập có quỹ đạo chuyển động tay tương đồng nhưng thao tác trên các dụng cụ khác nhau (như cốc, bóng, bát, chai nước), đạt độ chính xác cao trên cả video bài tập đơn lẻ lẫn chuỗi video tổng hợp nhiều bài tập liên tục.

Kết quả và những đóng góp mới

Đóng góp về mặt khoa học

  1. Xây dựng bộ dữ liệu chuyên biệt RehabHand: Cung cấp bộ cơ sở dữ liệu góc nhìn thứ nhất thu thập từ bệnh nhân thực tế tại bệnh viện, đồng bộ đa phương thức giữa hình ảnh độ phân giải cao và tín hiệu cảm biến chuyển động, gán nhãn chi tiết ở cấp độ pixel và cấp độ chuỗi theo bám cho các nghiên cứu tiếp theo.
  2. Cải tiến kỹ thuật xác định tay trong FPV:
    • Đề xuất giải pháp phân tách độc lập bàn tay và cẳng tay dựa trên DTM và tham số hình học thích nghi.
    • Phát triển giải thuật MergeTrack kết hợp DeepSORT khắc phục lỗi mất dấu và nhảy ID, kết hợp phân đoạn để lọc bỏ tay người ngoài gây nhiễu.
    • Cải tiến mạng ước lượng tư thế tay 2D (21 khớp) thông qua kết hợp Mask R-CNN và HOPE-Net.
  3. Mô hình nhận biết bài tập PHCN kết hợp nhận diện vật thể tương tác: Đề xuất kiến trúc kết hợp mạng tích chập $R(2+1)D$ với mô-đun phát hiện đối tượng tương tác chính thông qua chiến lược kết hợp muộn, giải quyết bài toán nhầm lẫn giữa các bài tập có hình thái vận động tương tự.

Đóng góp về mặt thực tiễn

  • Xây dựng các mô-đun phần mềm có khả năng tích hợp thành hệ thống hỗ trợ giám sát tự động tại các khoa phục hồi chức năng, ghi nhận tự động các thông số tập luyện (loại bài tập, tần suất, thời gian) mà không đòi hỏi sự giám sát trực tiếp liên tục của nhân viên y tế.
  • Cung cấp cổng thông tin công khai (http://rehabhand) phục vụ nghiên cứu học thuật và thử nghiệm giải thuật trong cộng đồng thị giác máy tính y tế.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung và phạm vi nghiên cứu được văn bản xác định:

  • Hạn chế:
    • Nghiên cứu mới tập trung thử nghiệm trên 4 bài tập PHCN chi trên cơ bản tại một cơ sở bệnh viện.
    • Tác vụ ước lượng tư thế tay dừng lại ở không gian 2D trên ảnh màu RGB đơn kênh, chưa khai thác đầy đủ thông tin hình học 3D hoàn chỉnh.
    • Việc đánh giá định lượng lâm sàng về khả năng hồi phục cơ học của từng nhóm cơ/khớp theo các thang điểm y khoa chuẩn chưa được triển khai trong phạm vi đề tài.
  • Hướng nghiên cứu tiếp:
    • Mở rộng tập dữ liệu cho nhiều dạng bài tập vận động phức tạp hơn.
    • Tích hợp sâu luồng dữ liệu cảm biến quán tính (gia tốc kế, con quay hồi chuyển) với mạng nơ-ron tích chập hình ảnh theo kiến trúc học đa phương thức (multimodal learning).
    • Nâng cấp mô hình ước lượng tư thế tay lên không gian 3D và xây dựng các chỉ số tự động lượng giá mức độ phục hồi chức năng của người bệnh.

Giá trị tham khảo

Luận án cung cấp nguồn tài liệu học thuật và kỹ thuật giá trị cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học, giảng viên ngành Toán học cho tin học, Khoa học máy tính và Thị giác máy tính: Tham khảo phương pháp luận kết hợp xử lý hình học cổ điển (DTM, ROI) với các mạng học sâu hiện đại (Mask R-CNN, DeepSORT, HOPE-Net, $R(2+1)D$) trong xử lý chuỗi hình ảnh FPV.
  • Các nhà nghiên cứu trong lĩnh vực Y tế thông minh và Kỹ thuật y sinh: Sử dụng bộ dữ liệu RehabHand làm chuẩn so sánh (benchmark) cho các bài toán phân đoạn, theo bám và nhận biết tương tác người - đồ vật.
  • Kỹ sư phát triển phần mềm ứng dụng y tế: Tham khảo quy trình cài đặt thực nghiệm các mô-đun nhận biết bài tập tự động hỗ trợ nhân viên y tế theo dõi bệnh nhân.

Câu hỏi thường gặp

1. Bộ dữ liệu RehabHand được thu thập bằng những thiết bị nào và có cấu trúc ra sao?
Bộ dữ liệu được thu thập tại Khoa Phục hồi chức năng - Bệnh viện Đại học Y Hà Nội từ 10 bệnh nhân, sử dụng 2 camera GoPro Hero4 gắn ở đầu và ngực (chuẩn video MPEG-4, 1080p, 30 fps) cùng đồng hồ Samsung Gear S3 Frontier đeo tay (thu tín hiệu gia tốc và con quay hồi chuyển). Dữ liệu gồm 10 video thô (4 giờ, 53 GB), phân tách thành 58 video bài tập và 431 phân đoạn động tác, được gán nhãn phân đoạn pixel trên 8 lớp đối tượng (4.500 khung hình) và gán nhãn theo bám (32 video ngắn, 10.984 khung hình).

2. Thuật toán MergeTrack được tác giả đề xuất nhằm giải quyết vấn đề gì?
Thuật toán MergeTrack được thiết kế để khắc phục hiện tượng nhảy mã định danh (ID switch) của thuật toán theo bám DeepSORT khi tay bệnh nhân bị che khuất hoặc cử động quá nhanh trong chuỗi video FPV, đồng thời hỗ trợ liên kết lại các quỹ đạo theo bám bị đứt đoạn.

3. Làm thế nào tác giả phân biệt được tay bệnh nhân và tay người hỗ trợ trong khung hình?
Tác giả kết hợp kết quả phân đoạn vùng tay của Mask R-CNN với quỹ đạo theo bám từ giải thuật DeepSORT và MergeTrack để tính toán điểm số $Score[j]$ và lựa chọn chỉ số cực đại $j_0$, qua đó nhận diện chính xác tay của chủ thể bệnh nhân và loại bỏ các tay gây nhiễu của kỹ thuật viên.

4. Mô hình nhận diện bài tập ở Chương 4 có điểm gì khác so với việc chỉ sử dụng mạng học sâu thông thường?
Thay vì chỉ dựa vào phân loại hình ảnh chuyển động từ mạng tích chập không - thời gian $R(2+1)D$, tác giả áp dụng cơ chế kết hợp muộn (Late Fusion) tích hợp kết quả nhận diện lớp đối tượng tương tác chính (key object) đang thao tác cùng tay, giúp phân biệt chính xác các bài tập có cử động tay tương tự nhau.

5. Kết quả đánh giá cơ sở cho thấy mô hình phát hiện đối tượng nào đạt độ chính xác $AP$ cao nhất trên bộ dữ liệu RehabHand?
Mô hình Faster R-CNN đạt chỉ số $AP$ tổng thể cao nhất với 96,2%, tiếp theo là YOLOv4 đạt 93,1%, Mask R-CNN đạt 92,1% và YOLOv3 đạt 89,2%.

Kết luận

Luận án đã giải quyết bài toán nhận biết hoạt động của tay từ chuỗi hình ảnh cảm biến đeo góc nhìn thứ nhất phục vụ hỗ trợ đánh giá bài tập phục hồi chức năng tại bệnh viện. Tác giả đã đóng góp bộ dữ liệu thực nghiệm RehabHand, đề xuất các giải pháp kỹ thuật nâng cao hiệu quả phân đoạn, theo bám, lọc nhiễu, ước lượng tư thế tay 2D và mô hình nhận diện bài tập dựa trên mạng $R(2+1)D$ kết hợp nhận biết vật thể tương tác. Các kết quả nghiên cứu được kiểm chứng trên cơ sở toán học và thực nghiệm, tạo tiền đề kỹ thuật cho việc xây dựng các hệ thống tự động hóa giám sát y tế chuyên ngành.