Tổng quan về luận án

Trong bối cảnh y học hiện đại chuyển dịch mạnh mẽ sang mô hình chăm sóc sức khỏe thông minh và phục hồi chức năng (PHCN) cá thể hóa, nhu cầu giám sát định lượng quá trình điều trị của bệnh nhân sau tai biến, đột quỵ hoặc chấn thương vận động trở nên cấp thiết. Luận án tiến sĩ toán học chuyên ngành Cơ sở toán học cho tin học (Mã số: 9460110) của tác giả Nguyễn Sinh Huy, dưới sự hướng dẫn khoa học của TS. Nguyễn Chí Thành và PGS. TS. Vũ Hải tại Viện Khoa học và Công nghệ quân sự phối hợp cùng Đại học Bách khoa Hà Nội, mang tiêu đề: "Nghiên cứu, phát triển các kỹ thuật phân tích hoạt động của bàn tay từ chuỗi hình ảnh thu thập bằng cảm biến đeo, ứng dụng trong hỗ trợ đánh giá bài tập phục hồi chức năng". Công trình khai phá một hướng tiếp cận tiên phong trong lĩnh vực thị giác máy tính góc nhìn thứ nhất (First-Person Vision - FPV hay Egocentric Vision), tập trung giải quyết bài toán cốt lõi: tự động nhận biết, theo dõi và đánh giá chuỗi vận động của tay từ dữ liệu cảm biến đa phương thức gắn trên cơ thể người bệnh.

Khoảng trống nghiên cứu (research gap) trọng yếu được xác định là sự thiếu hụt nghiêm trọng các cơ sở dữ liệu (CSDL) chuẩn hóa ghi nhận trực tiếp hoạt động tập PHCN trong môi trường lâm sàng thực tế tại các bệnh viện, cũng như các rào cản kỹ thuật đặc thù của thị giác FPV: góc quay bất ổn định do chuyển động của người mang (ego-motion), độ mờ nhòe quang học (motion blur), biến đổi độ rọi đột ngột, hiện tượng che khuất nghiêm trọng giữa tay và dụng cụ tập, và sự can thiệp của các đối tượng gây nhiễu (tay của kỹ thuật viên hoặc bác sĩ trong cùng khung hình). Như tác giả đã trích dẫn trong công trình: "Tự động nhận biết bệnh nhân đã tập những bài tập PHCN nào, khả năng tập và phục hồi của họ ra sao sẽ giúp y bác sĩ có nhận xét và đưa ra phác đồ điều trị đối với bệnh nhân một cách phù hợp nhất" (Nguyễn Sinh Huy, 2023).

Hệ thống câu hỏi và giả thuyết nghiên cứu được thiết lập chặt chẽ:

  1. Câu hỏi nghiên cứu 1 (RQ1): Làm thế nào để phân đoạn chính xác vùng bàn tay và tách biệt cấu trúc giải phẫu (bàn tay và cẳng tay, tay trái và tay phải) trong điều kiện biến dạng hình học FPV? Giả thuyết 1 (H1): Việc kết hợp bản đồ biến đổi khoảng cách (Distance Transformation Map - DTM) với mạng nơ-ron tích chập phân đoạn thể hiện sự vượt trội về độ chính xác so với việc chỉ dựa vào đặc trưng màu da truyền thống.
  2. Câu hỏi nghiên cứu 2 (RQ2): Cơ chế nào cho phép duy trì định danh quỹ đạo chuyển động của tay bệnh nhân và triệt tiêu hoàn toàn sự can thiệp của tay nhiễu (tay y bác sĩ)? Giả thuyết 2 (H2): Thuật toán kết hợp DeepSORT và cơ chế tái định danh MergeTrack dựa trên điểm tương đồng hình thái sẽ loại bỏ triệt để hiện tượng nhảy định danh (ID switch).
  3. Câu hỏi nghiên cứu 3 (RQ3): Mô hình tích hợp nào tối ưu hóa năng lực nhận dạng bài tập PHCN phức hợp? Giả thuyết 3 (H3): Kiến trúc tích hợp muộn (late fusion) giữa trích xuất đặc trưng không - thời gian qua mạng R(2+1)D và định danh đối tượng tương tác then chốt (key object) mang lại độ chính xác nhận dạng vượt trội so với các mô hình 3D-CNN đơn luồng.

Khung lý thuyết của luận án xây dựng dựa trên nền tảng lý thuyết thị giác lấy con người làm trung tâm (Egocentric Visual Theory của Bandini et al., 2020), lý thuyết biểu diễn không - thời gian trong chuỗi hình ảnh (Spatiotemporal Convolution Representation của Tran et al., 2018), và mô hình tối ưu hóa không gian trạng thái trong theo dõi đa đối tượng (Kalman Filtering & Hungarian Optimization của Wojke et al., 2017). Nghiên cứu có phạm vi thực nghiệm lâm sàng trên bộ dữ liệu RehabHand gồm 10 bệnh nhân tại Khoa PHCN - Bệnh viện Đại học Y Hà Nội, thu thập 4 giờ video độ phân giải 1080p (53 GB dữ liệu), 4500 khung hình gán nhãn pixel-level, 431 phân đoạn bài tập độc lập, tạo bước đột phá định lượng hóa quá trình giám sát y khoa tự động.

Literature Review và Positioning

Nghiên cứu thị giác máy tính góc nhìn thứ nhất (FPV) khởi sắc từ đầu thập niên 2010 với nhiều đóng góp quan trọng trong việc phân tích hành vi hàng ngày (Activities of Daily Living - ADL). Điển hình, Li và Kitani (2013) sử dụng mô hình Rừng ngẫu nhiên (Random Forest) kết hợp không gian màu HSV/LAB và các bộ trích xuất cục bộ (Gabor, SIFT, BRIEF) để phân loại da; Betancourt et al. (2015) khai thác HOG và SVM cho bài toán phát hiện tay. Tuy nhiên, các phương pháp dựa trên đặc trưng thủ công (hand-crafted features) bộc lộ hạn chế sâu sắc khi gặp điều kiện ánh sáng biến động. Khi kỷ nguyên học sâu bùng nổ, Wang et al. (2018) ứng dụng mạng U-Net lặp, còn Zhou et al. (2016) đề xuất mạng DeconvNet bán giám sát để giải quyết bài toán gán nhãn mức pixel.

Trong lĩnh vực nhận thức hành động và đối tượng từ FPV, Fathi et al. (2011) và Pirisiavash & Ramanan (2012) tiên phong mô hình hóa sự chú ý dựa trên giả định tay và vật thể tương tác luôn nằm ở trọng tâm khung nhìn. Đáng chú ý, Tekin et al. (2019) sử dụng Fully Convolutional Networks (FCN) để ước lượng đồng thời tư thế tay và vật thể 3D từ ảnh RGB đơn kênh. Tuy nhiên, các dòng nghiên cứu trên phần lớn tập trung vào môi trường sinh hoạt thường nhật (bếp ăn, phòng khách) hoặc dữ liệu tổng hợp.

Tranh luận học thuật cốt lõi tồn tại giữa hai trường phái:

  • Trường phái tiếp cận thuần túy hình ảnh tĩnh / luồng không gian (Spatial stream): Cho rằng chỉ cần trích xuất thật chính xác tư thế bàn tay (hand pose) và mặt nạ phân đoạn là đủ để suy luận hành động (Zhu et al., 2018; Rogez et al., 2015).
  • Trường phái tiếp cận động học / luồng thời gian (Temporal/Motion stream): Khẳng định quỹ đạo vận động, luồng quang học (Optical Flow) và tín hiệu quán tính IMU mới là yếu tố quyết định phân biệt hành động (Singh et al., 2016; Tang et al., 2017).

Luận án định vị chính xác tại điểm giao thoa giữa thị giác FPV cao cấp và ứng dụng y tế lâm sàng. Khi so sánh với hai nghiên cứu quốc tế tiêu biểu cùng phân khúc:

  1. So sánh với Zariffa và Popovic (2015): Công trình của Zariffa đạt F-score 0.86 trên 4 video ADL dựa trên mô hình hỗn hợp Gaussian (GMM) kết hợp biến đổi hình thái học. Tuy nhiên, giải pháp này hoàn toàn sụp đổ khi môi trường có các bề mặt trùng màu da hoặc khi bàn tay bị che khuất một phần bởi dụng cụ y tế. Luận án vượt trội nhờ kiến trúc Mask R-CNN sâu kết hợp DTM, đạt độ chính xác phát hiện mAP đạt 92.1% - 96.2% trên dữ liệu lâm sàng thực tế.
  2. So sánh với Likitlersuang et al. (2017, 2018) với bộ dữ liệu ANS-SCI: Nhóm tác giả Đại học Toronto thu thập dữ liệu phục hồi chức năng tủy sống cổ (cSCI) nhưng thực hiện trong phòng thí nghiệm mô phỏng căn hộ (home-simulated environment). Hệ thống của Likitlersuang chỉ dừng lại ở phân loại tương tác nhị phân bằng Random Forest (F-score 0.85). Ngược lại, luận án xây dựng bộ dữ liệu RehabHand tại môi trường bệnh viện thực, phân loại chi tiết 4 bài tập trị liệu chuyên sâu, đồng thời phát triển giải thuật giải quyết triệt để vấn đề "bàn tay thứ ba" (tay bác sĩ can thiệp hỗ trợ bệnh nhân).

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và làm phong phú ba khung lý thuyết chuyên ngành:

  1. Mở rộng lý thuyết Thị giác Egocentric (Bandini et al., 2020): Bổ sung định đề về "Tương tác đa chủ thể cưỡng bức trong FPV lâm sàng". Luận án chứng minh rằng trong không gian y tế, giả định kinh điển "chỉ có bàn tay của người đeo xuất hiện ở trung tâm" bị phá vỡ hoàn toàn do sự hiện diện liên tục của điều trị viên. Luận án đóng góp giải pháp phân tách chủ thể dựa trên phân bố hình học không gian và lịch sử quỹ đạo.
  2. Đóng góp cho lý thuyết Tích hợp Không - Thời gian (Spatiotemporal Factorization Theory): Kế thừa mô hình R(2+1)D của Tran et al. (2018), luận án mở rộng cấu trúc biểu diễn bằng cách chứng minh rằng việc phân rã tích chập 3D thành tích chập không gian 2D ($1 \times d \times d$) và tích chập thời gian 1D ($t \times 1 \times 1$) giúp tối ưu hóa khả năng trích xuất các mẫu chuyển động có tính chu kỳ lặp lại cao trong bài tập PHCN mà không làm bùng nổ số lượng tham số.
  3. Phát triển mô hình HOPE-Net (Hierarchical Optical Pose Estimation): Tái cấu trúc không gian hồi quy tư thế bàn tay bằng việc ghép nối các đặc trưng ROI căn chỉnh từ Mask R-CNN với bộ mã hóa ResNet-18, giúp sửa đổi sai số vị trí 21 khớp xương bàn tay trong không gian 2D FPV bị che khuất một phần.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp đồng thời ba cấu phần lý thuyết: Lý thuyết tối ưu hóa hình thái (Morphological Optimization), Lý thuyết đồ thị bám dính quỹ đạo (Tracklet Association), và Lý thuyết hợp nhất thông tin đa mức (Multimodal/Late Information Fusion).

Cách tiếp cận phân tích mới nổi bật gồm:

  • Kỹ thuật phân tách cấu trúc tay: Sử dụng bản đồ biến đổi khoảng cách (DTM - Distance Transformation Map) tính toán khoảng cách từ tâm vùng quan tâm (ROI) đến biên mặt nạ tay. Điểm phân tách cổ tay được xác định thông qua siêu tham số $\beta$ và ngưỡng mở rộng $\alpha$, cho phép phân lập chính xác bàn tay (chứa thông tin cử động ngón) và cẳng tay (chứa thông tin hướng di chuyển).
  • Giải thuật MergeTrack: Thiết lập cơ chế kiểm tra độ trùng lặp không gian và tính tương đồng đặc trưng ngoại hình giữa các tracklet bị gián đoạn, giải quyết triệt để hiện tượng phân mảnh tracklet khi tay bệnh nhân bị che khuất bởi dụng cụ tập.
  • Điều kiện biên (Boundary Conditions): Khung phân tích được xác lập trong giới hạn: dữ liệu hình ảnh 2D RGB đơn kênh (không phụ thuộc vào camera đo chiều sâu ToF/Kinect cồng kềnh), tốc độ khung hình chuẩn $\ge 30\text{ fps}$, và góc mở camera FPV đạt $\ge 120^\circ$ (ống kính mắt cá góc rộng).

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ triết lý nghiên cứu thực chứng (Positivism) kết hợp phương pháp luận diễn dịch - thực nghiệm (Deductive-Empirical Approach). Toàn bộ các phát biểu lý thuyết và cải tiến giải thuật đều được kiểm chứng thông qua các chỉ số đo lường hiệu năng định lượng trên bộ dữ liệu chuẩn. Thiết kế nghiên cứu đa tầng (Multi-level experimental design) bao gồm:

  • Tầng 1 (Cấp độ Pixel & Bounding Box): Đánh giá năng lực phát hiện, phân đoạn và phân tách cấu trúc giải phẫu bàn tay.
  • Tầng 2 (Cấp độ Khung hình & Khớp xương): Đánh giá độ chính xác ước lượng tư thế 2D của 21 khớp bàn tay và độ ổn định quỹ đạo theo thời gian.
  • Tầng 3 (Cấp độ Chuỗi video ngữ nghĩa cao): Đánh giá độ chính xác phân loại các bài tập PHCN độc lập và chuỗi bài tập phức hợp liên tục.

Quy trình nghiên cứu rigorous

Quy trình thu thập và xử lý dữ liệu được chuẩn hóa theo quy chuẩn y học và xử lý ảnh hiện đại:

  • Thiết bị thu thập: Sử dụng 02 camera GoPro Hero4 gắn tại hai vị trí chiến lược (trên trán bằng đai đầu và trước ngực bằng đai ngực chuyên dụng) ghi hình ở định dạng MPEG-4, chuẩn phân giải Full HD $1920 \times 1080\text{ pixels}$ tại $30\text{ fps}$. Tín hiệu vận động được thu thập đồng thời thông qua đồng hồ thông minh Samsung Gear S3 Frontier (tích hợp cảm biến gia tốc kế Accelerometer và con quay hồi chuyển Gyroscope 3 trục) đeo trên cả hai cổ tay bệnh nhân.
  • Tiêu chuẩn lựa chọn mẫu (Inclusion criteria): Bệnh nhân điều trị nội trú/ngoại trú tại Khoa PHCN - Bệnh viện Đại học Y Hà Nội có chẩn đoán di chứng vận động chi trên sau tai biến mạch máu não, thoái hóa cột sống cổ hoặc sau phẫu thuật chấn thương chỉnh hình; có khả năng nhận thức và tự thực hiện động tác theo hướng dẫn.
  • Tiền xử lý và gán nhãn: Đồng bộ hóa tín hiệu video và dữ liệu cảm biến đa kênh thông qua phần mềm chuyên dụng ELAN. Phân đoạn video thành 58 video bài tập và 431 phân đoạn thực hiện động tác đơn. Lấy mẫu khung hình với tần suất $4\text{ khung hình/giây}$, tạo nên tập 4500 ảnh ($1920 \times 1440\text{ pixels}$) được gán nhãn pixel-level cho 8 lớp đối tượng: Quả bóng, Cái cốc, Chai nước, Cái bát, Hình trụ, Khối hộp, Tay trái, Tay phải. Đồng thời xây dựng tập dữ liệu theo dõi gồm 32 phân đoạn video ngắn chứa 10,984 khung hình gán nhãn bounding box.

Data và phân tích

Quá trình huấn luyện và đánh giá được thực thi trên môi trường máy chủ tính toán hiệu năng cao sử dụng framework PyTorch và thư viện Detectron2:

  • Mô hình phát hiện và phân đoạn: Triển khai các mạng một giai đoạn (YOLOv3, YOLOv4) và hai giai đoạn (Faster R-CNN, Mask R-CNN) với các kiến trúc xương sống (backbone) ResNet-50 và ResNet-101 tích hợp mạng kim tự tháp đặc trưng (FPN). Các mô hình được tiền huấn luyện trên tập dữ liệu COCO và tinh chỉnh (fine-tuning) trên tập RehabHand.
  • Độ đo đánh giá chuẩn hóa: Sử dụng bộ chỉ số chuẩn MS-COCO gồm: Độ chính xác trung bình $\text{AP}$, $\text{AP}{50}$ ($\text{IoU}=0.5$), $\text{AP}{75}$ ($\text{IoU}=0.75$), $\text{AP}{\text{small}}$, $\text{AP}{\text{medium}}$, $\text{AP}{\text{large}}$, cùng độ bao phủ trung bình $\text{AR}{\max=1}$, $\text{AR}{\max=10}$, $\text{AR}{\max=100}$.
  • Kiểm định độ tin cậy và Robustness: Đánh giá thuật toán theo dõi trên các kịch bản khó (video 28 đến 32 trong tập kiểm thử) với mật độ xuất hiện của tay nhiễu từ 3 đến 6 bàn tay trong cùng một khung hình.
       BẢNG SO SÁNH NĂNG LỰC PHÁT HIỆN TAY TRÊN BỘ DỮ LIỆU REHABHAND (%)

Phát hiện đột phá và implications

Những phát hiện then chốt

  1. Sự vượt trội của mô hình 2 giai đoạn trong không gian FPV: Kết quả thực nghiệm cho thấy Faster R-CNN đạt chỉ số $\text{AP} = 96.2%$, $\text{AP}{50} = 97.9%$ và $\text{AR}{\max=100} = 97.6%$, trong khi Mask R-CNN đạt $\text{AP}{50} = 98.9%$. Các mô hình hai giai đoạn thể hiện khả năng khoanh vùng bàn tay vượt trội hơn hẳn các mô hình YOLOv3 ($\text{AP} = 89.2%$) và YOLOv4 ($\text{AP} = 93.1%$), đặc biệt ở các kích thước tay lớn ($\text{AP}{\text{large}}$ của Mask R-CNN đạt $92.2%$ so với $42.9%$ của YOLOv4).
  2. Khắc phục triệt để hiện tượng nhảy định danh với MergeTrack: Trong 5 video thử nghiệm có mức độ phức tạp cao nhất (chứa từ 3 đến 6 bàn tay xuất hiện đồng thời), thuật toán DeepSORT nguyên bản bị mất dấu và tráo đổi ID liên tục khi tay bác sĩ tiếp cận trợ giúp bệnh nhân. Giải thuật MergeTrack do tác giả đề xuất đã khôi phục thành công quỹ đạo chuẩn xác của tay bệnh nhân thông qua cơ chế tính điểm kết hợp: $\text{Score}[j]$ dựa trên vị trí tương đối và nhãn phân đoạn, giảm thiểu hơn 80% lỗi phân mảnh tracklet.
  3. Cải tiến độ chính xác tư thế 2D qua HOPE-Net + Mask R-CNN: Bằng cách sử dụng vùng cắt bàn tay đã được chuẩn hóa từ mặt nạ phân đoạn Mask R-CNN làm đầu vào cho HOPE-Net (backbone ResNet-18), sai số vị trí trung bình trên 21 khớp bàn tay giảm rõ rệt, đặc biệt ở các khớp ngón tay cái và ngón trỏ vốn thường xuyên bị che khuất khi cầm nắm đồ vật PHCN.
  4. Hiệu năng đột phá của mô hình nhận biết hoạt động kết hợp muộn: Việc kết hợp mạng R(2+1)D với mô hình xác định đối tượng tương tác chính ($j_0$) đem lại độ chính xác nhận dạng bài tập PHCN trên tập kiểm thử cao hơn đáng kể so với việc chỉ áp dụng mạng nơ-ron tích chập 3D thông thường (R3D), chứng minh vai trò then chốt của ngữ cảnh vật thể trong thị giác FPV y khoa.

Implications đa chiều

  • Về mặt học thuật: Cung cấp giải pháp mẫu mực cho bài toán thị giác máy tính trong môi trường y tế có sự tương tác người - người phức tạp; chứng minh tính hiệu quả của chiến lược kết hợp tri thức giải phẫu hình học (DTM) với mạng học sâu hiện đại.
  • Về mặt phương pháp luận: Khung tích hợp giữa phát hiện đối tượng, theo dõi quỹ đạo và ước lượng tư thế có thể chuyển giao trực tiếp sang các bài toán phân tích thao tác tinh vi trong công nghiệp lắp ráp chính xác, đào tạo phẫu thuật thực tế ảo hoặc điều khiển cánh tay robot hỗ trợ.
  • Về mặt ứng dụng thực tiễn: Tạo tiền đề kỹ thuật vững chắc để xây dựng phần mềm tự động trích xuất các chỉ số vận động lâm sàng: đếm số lần lặp lại bài tập, đo vận tốc chuyển động, tính toán góc gập/duỗi khớp ngón tay và thời lượng tập luyện thực tế mà không cần gắn các cảm biến xâm lấn lên bàn tay đang bị tổn thương của bệnh nhân.
  • Về mặt chính sách y tế: Cung cấp cơ sở khoa học để các bệnh viện tuyến dưới và trung tâm điều dưỡng triển khai mô hình tập PHCN bán tự động, giải quyết bài toán quá tải nhân lực y tế và tối ưu hóa chi phí bảo hiểm y tế.

Limitations và Future Research

Luận án thẳng thắn thừa nhận các giới hạn kỹ thuật và phạm vi nghiên cứu:

  1. Giới hạn cảm biến thu nhận: Toàn bộ thuật toán được tối ưu trên luồng dữ liệu ảnh màu 2D (RGB), chưa tích hợp kênh độ sâu thực tế (Depth channel từ cảm biến ToF) do hạn chế về độ gọn nhẹ và thời lượng pin của thiết bị đeo trong bệnh viện.
  2. Kích thước mẫu bệnh nhân: Dữ liệu thử nghiệm lâm sàng được xây dựng trên 10 bệnh nhân với 4 bài tập cơ bản phổ biến. Mặc dù số lượng khung hình và phân đoạn lớn ($4500\text{ ảnh gán nhãn pixel}$, $431\text{ phân đoạn}$), quy mô này cần tiếp tục được mở rộng trên nhiều dạng bệnh lý vận động khác nhau (như Parkinson, xơ cứng rải rác).
  3. Phạm vi đánh giá định lượng: Luận án mới tập trung giải quyết trọn vẹn bài toán nhận biết hoạt động và theo dõi quỹ đạo/tư thế tay; việc quy đổi trực tiếp các thông số thị giác máy tính sang các thang điểm lượng giá phục hồi chức năng chuẩn quốc tế (như Fugl-Meyer Assessment hay Action Research Arm Test) nằm ngoài phạm vi luận án.

Chương trình nghiên cứu tiếp nối định hướng 5 hướng phát triển:

  • Hướng 1: Tích hợp dữ liệu chuỗi thời gian từ cảm biến quán tính IMU (gia tốc, con quay hồi chuyển) đồng bộ với luồng hình ảnh thông qua mạng Transformer đa phương thức (Multimodal Transformer).
  • Hướng 2: Nâng cấp giải thuật ước lượng tư thế tay 2D lên không gian 3D đầy đủ bằng cách khai thác các mô hình Implicit Neural Representations.
  • Hướng 3: Tối ưu hóa kiến trúc mạng để triển khai thời gian thực (real-time edge computing) trực tiếp trên các thiết bị đeo thông minh hoặc kính thực tế tăng cường (AR Glasses).
  • Hướng 4: Mở rộng tập dữ liệu RehabHand lên 50+ bệnh nhân với phổ bài tập trị liệu đa dạng (các bài tập phối hợp hai tay, thao tác với vật thể mềm).
  • Hướng 5: Xây dựng mô hình học chuyển giao (Transfer Learning) để tự động thích ứng với cấu trúc phòng tập và điều kiện ánh sáng của các cơ sở y tế khác nhau mà không cần huấn luyện lại từ đầu.

Tác động và ảnh hưởng

Nghiên cứu mang lại những tác động sâu rộng trên cả bốn bình diện:

  • Tác động học thuật: Đặt nền móng vững chắc cho chuyên ngành Cơ sở toán học cho tin học trong việc giải quyết các bài toán thị giác FPV y sinh phức tạp tại Việt Nam; tạo nguồn trích dẫn học thuật quan trọng cho các nghiên cứu về Egocentric Action Recognition.
  • Chuyển đổi công nghệ y tế: Thúc đẩy quá trình số hóa và tự động hóa trong các khoa Phục hồi chức năng, mở ra khả năng thương mại hóa các hệ thống thiết bị đeo hỗ trợ điều trị thông minh (Smart Wearable Telerehabilitation).
  • Lợi ích kinh tế - xã hội: Giúp giảm thiểu từ $40% - 60%$ thời gian ghi chép, theo dõi thủ công của kỹ thuật viên y tế; cho phép bệnh nhân theo dõi trực quan tiến trình hồi phục của bản thân, tạo động lực tâm lý tích cực trong quá trình điều trị kéo dài.
  • Vị thế quốc tế: Việc công khai cổng thông tin dữ liệu http://rehabhand.com đóng góp một CSDL đặc thù, chất lượng cao cho cộng đồng nghiên cứu thị giác máy tính toàn cầu.

Đối tượng hưởng lợi

  1. Nghiên cứu sinh và Giới học thuật Thị giác Máy tính: Tiếp cận bộ dữ liệu chuẩn hóa RehabHand với các nhãn gán chi tiết ở cấp độ pixel và khung hình; kế thừa các thuật toán cải tiến (MergeTrack, DTM hand-arm splitting, HOPE-Net tinh chỉnh) làm baseline cho các đề tài nghiên cứu chuyên sâu.
  2. Bác sĩ và Kỹ thuật viên Phục hồi chức năng: Sở hữu công cụ hỗ trợ theo dõi khách quan, tự động thống kê chính xác tần suất, thời lượng và chất lượng thực hiện các bài tập trị liệu của từng bệnh nhân mà không cần giám sát trực tiếp 100% thời gian.
  3. Các đơn vị R&D thiết bị Y tế và Chăm sóc sức khỏe thông minh: Khai thác các module phần mềm đã được mô hình hóa toán học chặt chẽ để tích hợp vào các sản phẩm thương mại như kính thông minh FPV, thiết bị hỗ trợ tập luyện tại nhà (Home-based Rehabilitation Kits).
  4. Bệnh nhân và Thân nhân: Được hưởng phác đồ điều trị tối ưu hóa dựa trên dữ liệu vận động thực tế; nâng cao hiệu quả hồi phục chức năng vận động chi trên, rút ngắn thời gian điều trị nội trú.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và mở rộng lý thuyết nào?

Đóng góp độc đáo nhất là việc xây dựng mô hình phân tách ngữ nghĩa và hợp nhất muộn (Late Fusion) giữa đặc trưng vận động không - thời gian qua mạng R(2+1)D với nhận thức ngữ cảnh đối tượng tương tác then chốt ($j_0$). Luận án mở rộng trực tiếp Lý thuyết Thị giác Egocentric của Bandini et al. (2020) và Lý thuyết Biểu diễn Tích chập Không gian - Thời gian của Tran et al. (2018), chứng minh rằng trong không gian FPV bị ràng buộc bởi nhiệm vụ (task-driven egocentric vision), đối tượng tương tác đóng vai trò "mỏ neo ngữ nghĩa" (semantic anchor) quyết định tính chuẩn xác của việc phân loại hành động.

2. Đổi mới về phương pháp luận so với các nghiên cứu trước đây thể hiện ở đâu?

So với Zariffa & Popovic (2015) chỉ dùng mô hình da GMM tĩnh và Likitlersuang et al. (2017, 2018) chỉ phân loại nhị phân trong phòng lab mô phỏng, luận án đổi mới toàn diện:

  • Thiết kế giải thuật MergeTrack kết hợp phân đoạn Mask R-CNN để triệt tiêu lỗi tráo đổi định danh (ID switch) do bàn tay người ngoài gây ra trong môi trường bệnh viện thực tế.
  • Đề xuất thuật toán DTM dựa trên tâm ROI giải quyết trọn vẹn bài toán phân tách hình học giữa bàn tay và cẳng tay trên ảnh góc nhìn thứ nhất.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất và có bằng chứng định lượng ra sao?

Phát hiện bất ngờ nhất là sự suy giảm hiệu năng nghiêm trọng của các mạng một giai đoạn (YOLOv4) đối với các đối tượng bàn tay kích thước lớn trong góc nhìn FPV: $\text{AP}{\text{large}}$ của YOLOv4 chỉ đạt $42.9%$, trong khi Mask R-CNN đạt tới $92.2%$ và Faster R-CNN đạt $\text{AP}{\text{large}} = 6.3%$ (ở cấu hình bounding box chặt). Bằng chứng thực nghiệm này chỉ ra rằng hiện tượng méo hình quang học do camera góc rộng đeo trước ngực/trán tạo ra các vùng bàn tay cận cảnh có hình thái phi tuyến tính, đòi hỏi cơ chế đề xuất vùng (Region Proposal) hai giai đoạn để đảm bảo không bị mất dấu biên.

4. Luận án có cung cấp quy trình tái tạo thực nghiệm (Replication Protocol) không?

Có. Luận án cung cấp quy trình tái tạo hoàn chỉnh bao gồm: cấu hình camera (GoPro Hero4, $1080\text{p}$, $30\text{ fps}$, góc siêu rộng), vị trí gắn cảm biến chuẩn hóa, quy trình tiền xử lý đồng bộ qua phần mềm ELAN, công khai bộ tham số siêu hình thái ($\alpha, \beta$ trong DTM), cấu trúc pipeline trên Detectron2, và công bố công khai cổng dữ liệu http://rehabhand.com.

5. Chương trình nghiên cứu 10 năm (10-year research agenda) được vạch ra như thế nào?

Lộ trình 10 năm được định hình qua 3 giai đoạn chiến lược:

  • Giai đoạn 1 (1-3 năm): Mở rộng bộ dữ liệu đa trung tâm lâm sàng; hoàn thiện kiến trúc Multimodal Transformer kết hợp đồng thời luồng ảnh RGB và chuỗi thời gian IMU.
  • Giai đoạn 2 (4-6 năm): Phát triển hệ thống ước lượng tư thế bàn tay 3D thời gian thực trên kính AR thông minh; tự động ánh xạ cử động tay vào thang điểm đánh giá lâm sàng Fugl-Meyer.
  • Giai đoạn 3 (7-10 năm): Xây dựng hệ sinh thái Tele-rehabilitation tích hợp phản hồi xúc giác (Haptic feedback) và AI điều khiển cánh tay robot hỗ trợ tập luyện thích ứng tại nhà.

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Sinh Huy đã giải quyết xuất sắc các mục tiêu nghiên cứu đặt ra, tạo nên những đóng góp khoa học và thực tiễn vững chắc:

  1. Đóng góp 1 (Dữ liệu học thuật): Xây dựng và công bố bộ cơ sở dữ liệu đa phương thức RehabHand thu thập trực tiếp tại Bệnh viện Đại học Y Hà Nội với 4500 khung hình gán nhãn pixel-level và 10,984 khung hình theo dõi.
  2. Đóng góp 2 (Kỹ thuật phân đoạn): Đề xuất giải pháp phân tách giải phẫu bàn tay - cẳng tay dựa trên bản đồ biến đổi khoảng cách DTM và siêu tham số $\beta$, nâng cao độ mịn của mặt nạ tay.
  3. Đóng góp 3 (Kỹ thuật theo dõi & khử nhiễu): Phát triển thuật toán MergeTrack kết hợp DeepSORT và Mask R-CNN, giải quyết thành công bài toán loại bỏ bàn tay nhiễu trong môi trường điều trị lâm sàng.
  4. Đóng góp 4 (Ước lượng tư thế): Cải tiến kiến trúc HOPE-Net 2D kết hợp vùng quan tâm trích xuất từ Mask R-CNN, giảm thiểu sai số dự đoán 21 khớp xương bàn tay bị che khuất.
  5. Đóng góp 5 (Nhận dạng hoạt động): Thiết lập mô hình nhận biết bài tập PHCN dựa trên cơ chế hợp nhất muộn giữa mạng không - thời gian R(2+1)D và định danh đối tượng tương tác chính.

Công trình mở ra ba dòng nghiên cứu mới đầy tiềm năng: (1) Thị giác FPV y sinh đa phương thức kết hợp cảm biến đeo, (2) Đánh giá tự động chất lượng phục hồi chức năng bằng AI không tiếp xúc, và (3) Hệ thống thị giác nhúng hỗ trợ điều trị từ xa. Luận án khẳng định bước tiến tiên phong của các nhà khoa học Việt Nam trong việc làm chủ và phát triển các công nghệ thị giác máy tính hiện đại phục vụ thiết thực cho nền y tế nước nhà.