Tổng quan về luận án

Phân tích hành vi con người thông qua thị giác máy tính góc nhìn thứ nhất (First-Person Vision - FPV hay Egocentric Vision) đang định hình lại ranh giới của các hệ thống trợ lý môi trường xung quanh (Ambient Assisted Living - AAL) và chăm sóc sức khỏe thông minh. Khác biệt cốt lõi với thị giác góc nhìn thứ ba truyền thống (Third-Person Vision - TPV) vốn phụ thuộc vào camera cố định với góc quan sát tĩnh và dễ bị che khuất, FPV đặt trọng tâm quan sát trực tiếp vào trường nhìn của chủ thể mang thiết bị (egocentric perspective). Trong bối cảnh này, cử động của bàn tay và các tương tác tay - đồ vật (Hand-Object Interaction - HOI) luôn nằm ở trung tâm của sự chú ý thị giác và phản ánh trực tiếp ý định vận động cũng như khả năng chức năng của người bệnh.

Luận án tiến sĩ toán học (chuyên ngành Cơ sở toán học cho tin học, mã số: 9460110) với đề tài "Nghiên cứu, phát triển các kỹ thuật phân tích hoạt động của bàn tay từ chuỗi hình ảnh thu thập bằng cảm biến đeo, ứng dụng trong hỗ trợ đánh giá bài tập phục hồi chức năng" được thực hiện tại Viện Khoa học và Công nghệ quân sự (Bộ Quốc phòng) phối hợp cùng Đại học Bách khoa Hà Nội. Công trình giải quyết một khoảng trống nghiên cứu (research gap) trọng yếu: sự khan hiếm nghiêm trọng của các bộ dữ liệu FPV lâm sàng thực tế và sự thiếu hụt các mô hình học sâu có khả năng phân tách chính xác bàn tay chủ thể, ước lượng tư thế trong điều kiện chuyển động nhanh, che khuất và nhiễu do người trợ giúp (bác sĩ, kỹ thuật viên) xuất hiện trong cùng khung hình tại các bệnh viện thực tế.

Mục tiêu và giả thuyết nghiên cứu của luận án được cụ thể hóa qua 3 câu hỏi nghiên cứu cốt lõi:

  1. Câu hỏi nghiên cứu 1 (RQ1): Làm thế nào để xây dựng một cơ sở dữ liệu FPV đa phương thức chuẩn hóa phản ánh chính xác các mẫu chuyển động tập phục hồi chức năng (PHCN) của bệnh nhân trong môi trường bệnh viện thực tế?
  2. Câu hỏi nghiên cứu 2 (RQ2): Bằng cơ chế toán học và cấu trúc mô hình nào có thể cải tiến độ chính xác phân đoạn, triệt tiêu hiện tượng nhảy định danh (ID switch) khi theo bám, và tối ưu hóa sai số ước lượng tư thế bàn tay 2D/3D khi bị che khuất bởi dụng cụ tập?
  3. Câu hỏi nghiên cứu 3 (RQ3): Sự kết hợp muộn (late fusion) giữa đặc trưng chuỗi thời gian - không gian của mạng tích chập 3D phân rã và đặc trưng nhận dạng đối tượng tương tác chính (key object) có thể nâng cao độ chính xác phân loại bài tập PHCN lên mức độ tin cậy lâm sàng hay không?

Khung lý thuyết của công trình tích hợp lý thuyết biểu diễn đặc trưng không - thời gian (Spatiotemporal Feature Representation), lý thuyết nhận thức ngữ cảnh lấy con người làm trung tâm (Egocentric Visual Context Theory) và các mô hình thị giác tính toán tích chập tiên tiến. Phạm vi nghiên cứu được thiết lập nghiêm ngặt: dữ liệu thu thập từ 10 bệnh nhân điều trị tổn thương thần kinh/cơ xương khớp tại Bệnh viện Đại học Y Hà Nội với 4 giờ video MPEG-4 chuẩn 1080p (53 GB), chia thành 58 video bài tập và 431 phân đoạn vận động cụ thể, cùng 4.500 khung hình gán nhãn pixel-level và 10.984 khung hình gán nhãn tracking. Ý nghĩa khoa học và thực tiễn của luận án nằm ở việc cung cấp nền tảng tự động hóa giám sát điều trị, giúp giảm tải áp lực cho nhân viên y tế và tối ưu hóa phác đồ điều trị phục hồi vận động.

Literature Review và Positioning

Các công trình nghiên cứu thị giác máy tính FPV nhận biết hành vi tay đã trải qua hai giai đoạn tiến hóa phương pháp luận rõ rệt:

Giai đoạn tiền học sâu tập trung vào việc trích xuất đặc trưng thủ công (hand-crafted features). Li và Kitani (2013) đã kết hợp các không gian màu HSV, RGB, LAB với các bộ lọc Gabor, HOG, SIFT, BRIEF và hồi quy rừng ngẫu nhiên (Random Forest) để phân loại điểm ảnh da. Zariffa và Popovic (2013) sử dụng mô hình hỗn hợp Gaussian (GMM) kết hợp toán tử hình thái học để ước lượng đường bao bàn tay trong hoạt động thường ngày (ADL), đạt điểm F-score trung bình 0,86. Bên cạnh đó, Betancourt và cộng sự (2015) dùng SVM kết hợp HOG để phát hiện bàn tay theo khung hình, trong khi Fathi và cộng sự (2011) cùng Ren và cộng sự (2010) khai thác hướng chuyển động tịnh tiến (toward motion) và vị trí trung tâm để khoanh vùng tương tác đồ vật. Tuy nhiên, các kỹ thuật cổ điển này bộc lộ nhược điểm cố hữu: cực kỳ nhạy cảm với sự thay đổi độ rọi ánh sáng, biến dạng hình thái phi tuyến tính của bàn tay và sự tương đồng màu sắc giữa da tay người bệnh với môi trường xung quanh.

Giai đoạn học sâu (Deep Learning) mang lại bước nhảy vọt về hiệu năng nhưng cũng đặt ra những tranh luận học thuật sâu sắc. Một trường phái học thuật đại diện bởi Wang và cộng sự (2018) và Li và cộng sự (2018) tập trung tối ưu hóa kiến trúc mạng nơ-ron tích chập (như DeconvNet, U-Net, Deep Feature Flow) cho phân đoạn điểm ảnh, trong khi Kapidis và cộng sự (2019) tích hợp YOLOv3 với thuật toán SORT để bám vết tay. Đối với bài toán ước lượng tư thế (pose estimation), Tekin và cộng sự (2019) và Garcia-Hernando và cộng sự (2018) (với bộ dữ liệu FPHA) sử dụng mạng CNN hồi quy tọa độ khớp 3D. Tuy nhiên, một cuộc tranh luận lý thuyết lớn tồn tại giữa hai quan điểm:

  • Quan điểm 1: Nhận dạng hành động chỉ cần thuần túy dựa trên động học quỹ đạo của các khớp xương bàn tay (Skeleton-based / Joint trajectory representation).
  • Quan điểm 2: Nhận dạng hành vi FPV bắt buộc phải kết hợp ngữ nghĩa của đối tượng tương tác và bối cảnh môi trường xung quanh (Object-contextual interaction representation).

Vị trí của luận án được xác lập rõ ràng qua việc đối chiếu với hai nghiên cứu quốc tế điển hình trong lĩnh vực PHCN:

  1. Nghiên cứu của Likitlersuang và cộng sự (2017, 2018) tại Đại học Toronto (Canada): Nhóm tác giả xây dựng bộ dữ liệu ANS-SCI để giám sát bệnh nhân chấn thương tủy sống cổ (cSCI). Hạn chế mang tính hệ thống của ANS-SCI là dữ liệu được thu thập trong môi trường phòng thí nghiệm mô phỏng nhà ở (simulated home environment) với các bài tập đơn lẻ, sử dụng mô hình Random Forest chỉ đạt F-score 0,85 và hoàn toàn bỏ qua tương tác đa chủ thể khi có kỹ thuật viên y tế hỗ trợ.
  2. Nghiên cứu của Garcia-Hernando và cộng sự (2018) trên tập dữ liệu FPHA: Tập trung vào ước lượng tư thế tay 3D từ ảnh RGB-D trong điều kiện phòng lab lý tưởng, các mô hình chuẩn (như HOPE-Net) bị suy giảm độ chính xác nghiêm trọng khi chuyển sang ảnh FPV 2D thực tế do hiện tượng tự che khuất (self-occlusion) và che khuất bởi dụng cụ y tế.

Luận án định vị tiên phong bằng việc chuyển dịch hoàn toàn không gian nghiên cứu sang môi trường lâm sàng thực tế tại bệnh viện Việt Nam, tích hợp đồng bộ dữ liệu cảm biến ảnh FPV và cảm biến quán tính (IMU), đồng thời phát triển giải thuật giải quyết triệt để vấn đề nhiễu bàn tay phụ và phân rã không - thời gian trong nhận biết bài tập.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và làm phong phú hệ thống lý thuyết thị giác máy tính FPV thông qua bốn đóng góp lý thuyết cốt lõi:

  1. Mở rộng lý thuyết phân đoạn hình thái học bàn tay FPV (Morphological Hand Segmentation Theory): Luận án chứng minh rằng trong góc nhìn FPV, đường phân tách giải phẫu giữa cẳng tay và bàn tay không thể xử lý bằng các phép biến đổi hình thái học TPV thông thường do góc chụp xiên và sự biến dạng tỉ lệ. Luận án đề xuất mô hình toán học dựa trên Bản đồ biến đổi khoảng cách (Distance Transformation Map - DTM) và các siêu tham số hình học $(\alpha, \beta)$, thiết lập ranh giới phân tách tối ưu giữa diện tích lòng bàn tay và cẳng tay.
  2. Định thức hóa giải thuật liên kết quỹ đạo MergeTrack: Bổ sung cho mô hình lọc Kalman và gán cặp Hungarian trong thuật toán DeepSORT cổ điển, luận án xây dựng cơ chế toán học tính điểm hợp nhất dựa trên tương quan không gian - thời gian, giải quyết bài toán suy thoái định danh (ID switching problem) khi bàn tay người bệnh biến mất tạm thời hoặc bị giao cắt bởi tay của nhân viên y tế.
  3. Mô hình ước lượng tư thế tăng cường thích nghi (Refined 2D Pose Estimation Model): Luận án chứng minh định lý thực nghiệm rằng việc tích hợp luồng trích xuất đặc trưng vùng quan tâm (ROI Mask) từ Mask R-CNN vào kiến trúc HOPE-Net 2D (dựa trên backbone ResNet-18) giúp thu hẹp không gian tìm kiếm của hàm mất mát hồi quy tọa độ 21 khớp bàn tay, giảm thiểu phương sai sai số vị trí khớp trung bình (MPJPE).
  4. Khung lý thuyết nhận biết hoạt động đa luồng kết hợp muộn (Late-Fusion Spatiotemporal Action Theory): Khẳng định mệnh đề lý thuyết: Trong môi trường y tế tiêu chuẩn hóa, không gian đặc trưng của hành vi vận động tay là tích Descartes của không gian chuyển động động học (kinematic motion space) và không gian ngữ nghĩa đối tượng tương tác chính (key-object semantic space).

Khung phân tích độc đáo

Khung phân tích của luận án được xây dựng dựa trên sự hợp nhất của ba lý thuyết nền tảng: Lý thuyết biểu diễn mạng nơ-ron tích chập đa chiều (Convolutional Representation Theory), Lý thuyết đồ thị theo bám đa đối tượng (Multi-Object Tracking Graph Theory), và Lý thuyết dung hợp cảm biến muộn (Late Sensor Fusion Framework).

Phương pháp tiếp cận phân tích bao gồm các bước chuyển tiếp logic:

  • Xác định vùng bàn tay chủ thể: Tách biệt chính xác bàn tay bệnh nhân khỏi nền và tay của kỹ thuật viên bằng sự kết hợp giữa DeepSORT, MergeTrack và mặt nạ phân đoạn mức pixel.
  • Trích xuất đặc trưng chuyển động 3D phân rã: Sử dụng mạng $R(2+1)D$ để phân rã toán tử tích chập không gian 3D thành tích chập không gian 2D $(N \times N \times 1)$ và tích chập thời gian 1D $(1 \times 1 \times M)$, cho phép tối ưu hóa số lượng tham số huấn luyện và tăng cường tính phi tuyến.
  • Phát hiện đối tượng tương tác chính (Key Object): Định lượng điểm số tương tác $Score[j]$ dựa trên khoảng cách Euclid giữa tâm bàn tay và hộp giới hạn của đối tượng $j$, từ đó xác định lớp đối tượng thao tác $j_0 = \arg\max(Score[j])$.

Điều kiện biên (boundary conditions) của khung phân tích: Áp dụng tối ưu cho các bài tập vận động chi trên có tương tác với các dụng cụ PHCN chuẩn hóa (bóng, cốc, chai nước, bát, khối trụ, khối hộp) dưới điều kiện camera FPV gắn trước ngực hoặc trán với góc nhìn bao phủ toàn bộ không gian làm việc phía trước bàn tay.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu tuân thủ chặt chẽ thế giới quan thực chứng hậu kỳ (Post-positivism) kết hợp phương pháp luận Khoa học Thiết kế (Design Science Research - DSR), lấy dữ liệu thực nghiệm lâm sàng làm trung tâm để kiểm chứng và tối ưu hóa các giải thuật toán học. Thiết kế nghiên cứu kết hợp giữa nghiên cứu phát triển mô hình tính toán (Computational Modeling) và đánh giá thực nghiệm đa mức (Multi-level Empirical Evaluation).

Hệ thống thu thập dữ liệu đa phương thức được thiết lập đồng bộ:

  • Cảm biến hình ảnh FPV: 02 camera GoPro Hero4 (San Mateo, California, Hoa Kỳ) gắn tại hai vị trí giải phẫu học (trán và ngực), quay ở độ phân giải tiêu chuẩn Full HD 1080p, tốc độ 30 khung hình/giây (fps), trang bị ống kính mắt cá góc rộng (ultra-wide fisheye lens) nhằm giảm thiểu điểm mù.
  • Cảm biến đo lường quán tính (IMU): Đồng hồ thông minh Samsung Gear S3 Frontier đeo tại cổ tay hai bên của bệnh nhân, thu thập liên tục vector gia tốc 3 trục (accelerometer) và vận tốc góc con quay hồi chuyển 3 trục (gyroscope).

Quy trình nghiên cứu rigorous

Quy trình nghiên cứu trải qua 4 giai đoạn chuẩn hóa:

 (10 Bệnh nhân, 4 Giờ FPV)        (Video MPEG-4 + IMU)         (4.500 Mask, 10.984 Track)     (Mask R-CNN, R(2+1)D)
  1. Thu thập và chuẩn hóa: 10 bệnh nhân (đại diện cho các nhóm bệnh lý tai biến mạch máu não, thoái hóa cột sống, phục hồi sau chấn thương chỉnh hình) thực hiện 4 bài tập PHCN tay theo phác đồ chỉ định của bác sĩ tại Khoa PHCN - Bệnh viện Đại học Y Hà Nội.
  2. Tiền xử lý và đồng bộ: Dữ liệu hình ảnh và tín hiệu IMU được đồng bộ hóa chính xác đến từng mili-giây thông qua phần mềm ngôn ngữ học và đa phương tiện chuyên dụng ELAN. 10 video thô (tổng thời lượng 4 giờ, dung lượng 53 GB) được phân tách thành 58 video bài tập hoàn chỉnh (20 video bài tập 1; 16 video bài tập 2; 12 video bài tập 3; 10 video bài tập 4) và chia nhỏ tiếp thành 431 phân đoạn động tác độc lập.
  3. Gán nhãn chất lượng cao: Thiết lập tập dữ liệu gán nhãn gồm 8 lớp đối tượng phân đoạn điểm ảnh: Quả bóng (1), Cái cốc (2), Chai nước (3), Cái bát (4), Hình trụ (5), Khối hộp (6), Tay trái (7), Tay phải (8). Lấy mẫu đều đặn với tần suất 4 fps, tạo ra 4.500 khung hình độ phân giải siêu cao (1920x1440) được gán nhãn mặt nạ điểm ảnh chính xác. Đối với nhiệm vụ theo bám, 32 đoạn video đại diện (10.984 khung hình) được gán nhãn bounding box và định danh ID theo thời gian.
  4. Triangulation & Độ tin cậy: Thực hiện phương pháp kiểm chứng chéo tam giác (Methodological & Data Triangulation) giữa tín hiệu hình ảnh FPV và dữ liệu cảm biến quán tính IMU; kiểm định tính nhất quán của nhãn gán thông qua đánh giá chéo giữa các chuyên gia thị giác máy tính và bác sĩ PHCN.

Data và phân tích

Dữ liệu được phân chia độc lập thành các tập Huấn luyện (Training), Kiểm định (Validation) và Đánh giá (Testing) theo tỷ lệ chuẩn.

Môi trường cài đặt và các công cụ phân tích tiên tiến bao gồm:

  • Framework học sâu: PyTorch, thư viện thị giác máy tính Detectron2 của Facebook AI Research.
  • Mô hình so sánh đường cơ sở (Baseline models): YOLOv3, YOLOv4, Faster R-CNN, Mask R-CNN (với các backbone ResNet-50-FPN và ResNet-101-FPN), DeepSORT, SORT, HOPE-Net, R3D-18, R3D-34.
  • Độ đo đánh giá chuẩn hóa quốc tế: Average Precision ($AP$, $AP_{50}$, $AP_{75}$, $AP_{small}$, $AP_{medium}$, $AP_{large}$), Average Recall ($AR_{max=1}$, $AR_{max=10}$, $AR_{max=100}$), sai số vị trí khớp trung bình (Mean Joint Error tính bằng pixel/mm), ma trận nhầm lẫn (Confusion Matrix) và độ chính xác phân loại tổng thể (Accuracy %).

Phát hiện đột phá và implications

Những phát hiện then chốt

Quá trình phân tích thực nghiệm trên bộ dữ liệu RehabHand mang lại những phát hiện đột phá với bằng chứng định lượng cụ thể:

Thứ nhất, hiệu năng vượt trội của mô hình phát hiện hai giai đoạn trên dữ liệu FPV lâm sàng: Kết quả thực nghiệm phát hiện bàn tay cho thấy kiến trúc Faster R-CNN và Mask R-CNN vượt trội hoàn toàn so với các bộ phát hiện một giai đoạn họ YOLO. Cụ thể: Faster R-CNN đạt chỉ số $AP = 96,2%$, $AP_{50} = 97,9%$, $AP_{75} = 97,9%$; Mask R-CNN đạt $AP = 92,1%$, $AP_{50} = 98,9%$, $AP_{75} = 97,9%$. Ngược lại, YOLOv3 chỉ đạt $AP = 89,2%$ và YOLOv4 đạt $AP = 93,1%$. Đáng chú ý, đối với các đối tượng kích thước nhỏ ($AP_{small}$), Faster R-CNN đạt $AR_{small} = 10,0%$ so với mức $3,2%$ của YOLOv3, chứng minh khả năng bảo toàn đặc trưng hình thái tay trong các điều kiện góc nhìn bị co hẹp.

Thứ hai, đột phá triệt tiêu lỗi phân tách cổ tay bằng Distance Transformation Map: Khi phân đoạn bàn tay trong FPV, thuật toán đề xuất sử dụng DTM kết hợp lọc ngưỡng thích nghi $\beta$ và $\alpha$ đã giải quyết hoàn hảo hiện tượng dính liền giữa cẳng tay và lòng bàn tay vốn là nguyên nhân gây suy giảm độ chính xác ước lượng tư thế trong các nghiên cứu trước đây.

Thứ ba, giải thuật MergeTrack giải quyết triệt để bài toán nhảy ID do tay nhiễu: Trong các tình huống lâm sàng phức tạp (video số 28 đến 32 trong tập dữ liệu thử nghiệm, nơi có từ 3 đến 6 bàn tay cùng xuất hiện trong khung hình do bác sĩ can thiệp hỗ trợ), giải thuật MergeTrack kết hợp chấm điểm vị trí - diện tích mặt nạ đã loại bỏ hoàn toàn các bàn tay ngoại lai, duy trì liên tục quỹ đạo chuyển động của bàn tay người bệnh với độ chính xác cao hơn DeepSORT nguyên bản.

Thứ tư, nâng cao độ chính xác ước lượng tư thế tay 2D khi tích hợp Mask R-CNN và HOPE-Net: Bằng việc đưa mặt nạ phân đoạn bàn tay từ Mask R-CNN làm tiền xử lý định hướng cho mô hình HOPE-Net cải tiến (sử dụng ResNet-18), phân bố mật độ xác suất sai số 21 khớp bàn tay giảm rõ rệt. Đường cong phân bố lỗi tập trung mạnh ở khoảng sai số dưới 5 pixel, vượt trội so với mô hình HOPE-Net gốc vốn có độ lệch chuẩn sai số lớn do bị phân tán bởi nền ảnh bệnh viện.

Thứ năm, mô hình kết hợp muộn $R(2+1)D$ và Key Object đạt độ chính xác nhận dạng hành động tối ưu: Mạng $R(2+1)D$ nguyên bản đạt độ chính xác nhận dạng bài tập tốt hơn mạng $R3D$ tiêu chuẩn nhờ cơ chế phân tách tích chập không gian và thời gian. Tuy nhiên, khi kết hợp muộn với mô-đun phát hiện đối tượng tương tác chính (Key Object Identifier), ma trận nhầm lẫn giữa các bài tập có quỹ đạo tay tương đồng (như nhấc cốc nước và nhấc chai nước) đã được giải tỏa hoàn toàn, nâng tổng độ chính xác nhận diện bài tập lên mức vượt trội so với các mô hình đơn luồng.

[So sánh Hiệu năng Phát hiện Bàn tay trên Bộ Dữ liệu RehabHand]
Faster R-CNN: █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ ▌ AP = 96.2% | AP50 = 97.9%
Mask R-CNN:   █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ ▎   AP = 92.1% | AP50 = 98.9%
YOLOv4:       █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ ▏     AP = 93.1% | AP50 = 95.6%
YOLOv3:       █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ ▊         AP = 89.2% | AP50 = 92.4%

Implications đa chiều

  • Về mặt lý thuyết: Bổ sung cơ sở toán học vững chắc cho bài toán nhận dạng hành vi dựa trên tương tác tay - đồ vật trong không gian FPV, chứng minh tính ưu việt của việc mô hình hóa phân rã không gian - thời gian kết hợp ràng buộc ngữ nghĩa đồ vật.
  • Về phương pháp luận: Thiết lập một quy trình chuẩn hóa từ thu thập, đồng bộ dữ liệu đa cảm biến (FPV + IMU) đến gán nhãn pixel-level trong môi trường y tế có độ phức tạp cao, tạo tiền lệ cho các nghiên cứu thị giác máy tính lâm sàng.
  • Về ứng dụng thực tiễn: Cung cấp giải pháp phần mềm tự động hóa có thể đóng gói thành các ứng dụng giám sát y tế thông minh, tự động thống kê thời lượng tập luyện, số lần lặp lại động tác, tần suất tương tác mỗi giờ và biên độ mở rộng của các khớp ngón tay.
  • Về chính sách y tế: Cung cấp bằng chứng thực nghiệm để các nhà quản lý y tế triển khai hệ thống bệnh án điện tử tích hợp dữ liệu đánh giá vận động tự động, góp phần giải quyết tình trạng quá tải nhân lực điều trị PHCN tại các bệnh viện tuyến trung ương và địa phương.

Limitations và Future Research

Mặc dù đạt được những kết quả xuất sắc, luận án thẳng thắn thừa nhận các giới hạn nghiên cứu:

  1. Giới hạn cỡ mẫu lâm sàng: Dữ liệu được thu thập trên 10 bệnh nhân với 4 bài tập PHCN phổ biến. Mặc dù số lượng khung hình (4.500 khung hình phân đoạn, 10.984 khung hình tracking) và thời lượng (4 giờ video) đủ lớn để huấn luyện các mạng học sâu, sự đa dạng về mặt bệnh học vận động vẫn cần được mở rộng thêm ở các nhóm tổn thương thần kinh hiếm gặp.
  2. Ràng buộc điều kiện phần cứng: Nghiên cứu tập trung xử lý dữ liệu hình ảnh 2D RGB từ camera FPV đơn kênh. Việc chưa tích hợp trực tiếp cảm biến độ sâu thời gian thực (ToF/RGB-D camera) trên thiết bị đeo khiến việc tái tạo không gian 3D của các khớp tay phụ thuộc vào các giải thuật hồi quy tham số.
  3. Đánh giá định lượng phục hồi chức năng: Luận án tập trung giải quyết bài toán cốt lõi là nhận biết chính xác bài tập và phân tích động học tay; việc chuyển đổi các thông số kỹ thuật này thành các thang điểm lâm sàng tiêu chuẩn (như Fugl-Meyer hay Action Research Arm Test - ARAT) cần có sự phối hợp nghiên cứu liên ngành sâu hơn.

Chương trình nghiên cứu tương lai (Future Research Agenda):

  • Mở rộng quy mô bộ dữ liệu RehabHand lên 100+ bệnh nhân với hơn 20 bài tập PHCN phức tạp bao gồm cả chi trên và chi dưới.
  • Tích hợp sâu (early fusion / cross-attention fusion) giữa tín hiệu gia tốc/con quay hồi chuyển IMU và luồng ảnh FPV thông qua các kiến trúc Spatiotemporal Vision Transformers (ViT).
  • Xây dựng mô hình ước lượng tư thế tay 3D không giám sát (self-supervised 3D hand pose estimation) có khả năng thích ứng miền (domain adaptation) giữa môi trường bệnh viện và luyện tập tại nhà.
  • Phát triển module AI biên (Edge AI) nhúng trực tiếp trên thiết bị đeo thông minh giúp phản hồi sinh học (bio-feedback) thời gian thực bằng âm thanh hoặc rung động cho bệnh nhân khi thực hiện sai động tác.

Tác động và ảnh hưởng

  • Tác động học thuật: Công bố bộ dữ liệu mở RehabHand và các thuật toán cải tiến (MergeTrack, mô hình kết hợp $R(2+1)D$) đóng góp nguồn tài nguyên học thuật quý giá cho cộng đồng nghiên cứu FPV quốc tế, với tiềm năng tạo ra hàng trăm trích dẫn khoa học trong các lĩnh vực AI y tế, thị giác máy tính và tương tác người - máy (HCI).
  • Chuyển đổi công nghệ y tế: Mở ra hướng đi mới cho ngành sản xuất thiết bị y tế thông minh và giải pháp chuyển đổi số bệnh viện, tạo tiền đề thương mại hóa các hệ thống "Kỹ thuật viên ảo" hỗ trợ theo dõi điều trị từ xa (Telerehabilitation).
  • Lợi ích xã hội: Giúp người bệnh sau đột quỵ và chấn thương nâng cao ý thức tự luyện tập, rút ngắn thời gian phục hồi chức năng vận động, giảm thiểu chi phí nằm viện và giảm bớt gánh nặng chăm sóc cho gia đình và xã hội.

Đối tượng hưởng lợi

  • Nghiên cứu sinh và Giới học thuật: Tiếp cận nguồn dữ liệu chuẩn hóa RehabHand, các mã nguồn giải thuật tối ưu phân đoạn và tracking FPV để tiếp tục phát triển các mô hình học sâu tiên tiến.
  • Bác sĩ và Kỹ thuật viên PHCN: Sở hữu công cụ lượng giá khách quan, chính xác về quá trình tập luyện của từng bệnh nhân thông qua các báo cáo thống kê định kỳ tự động thay cho việc quan sát và ghi chép thủ công.
  • Kỹ sư R&D trong ngành Thiết bị Y tế: Ứng dụng trực tiếp các kiến trúc mạng nơ-ron đã được tinh chỉnh vào các sản phẩm kính thông minh (Smart Glasses), thiết bị đeo thực tế tăng cường (AR Rehabilitation).
  • Nhà hoạch định chính sách y tế: Có căn cứ khoa học vững chắc để xây dựng các tiêu chuẩn kỹ thuật quốc gia về ứng dụng trí tuệ nhân tạo trong giám sát điều trị và y tế từ xa.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Đóng góp độc đáo nhất là việc xây dựng mô hình kết hợp muộn giữa nhận dạng động học $R(2+1)D$ và phát hiện đối tượng tương tác chính $Key Object$. Mô hình này mở rộng Lý thuyết ngữ nghĩa tương tác trong FPV (Egocentric Interaction Semantics), giải quyết triệt để sự mập mờ thị giác giữa các động tác có quỹ đạo không gian đồng dạng nhưng tương tác với các công cụ PHCN khác nhau.

2. Điểm cải tiến phương pháp luận so với các nghiên cứu tiền nhiệm?

So với nghiên cứu của Likitlersuang và cộng sự (2018) trên bộ dữ liệu ANS-SCI (sử dụng trích xuất đặc trưng thủ công và phân loại bằng Random Forest trong môi trường mô phỏng), luận án đã thiết lập một bước tiến vượt bậc: triển khai chuỗi mô hình học sâu đầu-cuối (End-to-End Deep Learning) trên dữ liệu lâm sàng thực tế, đồng thời đề xuất thuật toán MergeTrack để sửa lỗi nhảy ID của DeepSORT khi có tay phụ của bác sĩ can thiệp.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?

Phát hiện bất ngờ nhất là sự vượt trội áp đảo của các bộ phát hiện hai giai đoạn (Faster R-CNN đạt $AP = 96,2%$, Mask R-CNN đạt $AP_{50} = 98,9%$) so với các kiến trúc một giai đoạn (YOLOv3 chỉ đạt $AP = 89,2%$). Trong bối cảnh FPV y tế, độ chính xác phân đoạn biên dạng tay ở mức pixel đóng vai trò quyết định hơn nhiều so với tốc độ xử lý thô của các mô hình một giai đoạn.

4. Giao thức tái lập thực nghiệm (Replication Protocol) có được cung cấp đầy đủ không?

Luận án cung cấp chi tiết toàn bộ thông số phần cứng (GoPro Hero4, Gear S3 Frontier), quy trình tiền xử lý đồng bộ trên ELAN, cấu trúc siêu tham số huấn luyện của Detectron2, hàm mất mát và công bố công khai bộ dữ liệu tại cổng thông tin http://rehabhand..., đảm bảo khả năng tái lập thực nghiệm 100%.

5. Tầm nhìn nghiên cứu 10 năm được định hình như thế nào?

Chiến lược 10 năm hướng tới việc xây dựng một hệ sinh thái Y tế FPV hoàn chỉnh: tích hợp mô hình AI thị giác - cảm biến lượng tử siêu nhỏ trên kính thông minh, kết nối trực tiếp với hệ thống Robot hỗ trợ vận động mềm (Soft Exoskeleton Robots), tạo thành vòng lặp khép kín: Quan sát FPV $\rightarrow$ Phân tích ý định AI $\rightarrow$ Điều khiển trợ lực Robot $\rightarrow$ Đánh giá phục hồi lâm sàng.

Kết luận

  1. Luận án đã giải quyết trọn vẹn và xuất sắc bài toán phân tích hoạt động bàn tay trong thị giác góc nhìn thứ nhất (FPV) ứng dụng vào lĩnh vực y tế phục hồi chức năng, kết hợp nhuần nhuyễn giữa nền tảng toán học tin học và thực nghiệm lâm sàng.
  2. Xây dựng và công bố thành công bộ dữ liệu chuẩn quốc tế "RehabHand" thu thập tại Bệnh viện Đại học Y Hà Nội với 10 bệnh nhân, 4 giờ video chất lượng cao (53 GB), 58 video bài tập, 431 phân đoạn động tác, 4.500 khung hình phân đoạn pixel-level và 10.984 khung hình theo bám.
  3. Đề xuất thành công các cải tiến kỹ thuật đột phá: phương pháp phân tách giải phẫu bàn tay - cẳng tay bằng DTM; giải thuật MergeTrack kết hợp DeepSORT loại bỏ bàn tay nhiễu; mô hình tăng cường HOPE-Net 2D bằng Mask R-CNN giảm thiểu sai số ước lượng tư thế 21 khớp.
  4. Thiết lập kiến trúc mạng nơ-ron kết hợp muộn giữa $R(2+1)D$ và phát hiện đối tượng tương tác chính, mang lại độ chính xác phân loại bài tập PHCN vượt trội so với các mô hình $R3D$ truyền thống.
  5. Mở ra 3 hướng nghiên cứu học thuật then chốt: Thị giác máy tính FPV đa phương thức (Vision-IMU Fusion); Ước lượng tư thế 3D thích ứng miền trong y tế; Hệ thống AI biên hỗ trợ phục hồi chức năng cá thể hóa.
  6. Toàn bộ kết quả nghiên cứu đã được chuyển hóa thành các module phần mềm có tính ứng dụng thực tiễn cao, đóng góp nền tảng vững chắc cho sự phát triển của hệ thống chăm sóc sức khỏe thông minh và chuyển đổi số y tế tại Việt Nam và trên thế giới.