Tổng quan luận án
Luận án tiến sĩ toán học với đề tài "Nghiên cứu, phát triển các kỹ thuật phân tích hoạt động của bàn tay từ chuỗi hình ảnh thu thập bằng cảm biến đeo, ứng dụng trong hỗ trợ đánh giá bài tập phục hồi chức năng" do nghiên cứu sinh Nguyễn Sinh Huy thực hiện tại Viện Khoa học và Công nghệ quân sự (Bộ Quốc phòng) phối hợp cùng Đại học Bách khoa Hà Nội, dưới sự hướng dẫn khoa học của TS. Nguyễn Chí Thành. Luận án thuộc chuyên ngành Cơ sở toán học cho tin học, mã số 9460110, bảo vệ năm 2023.
+---------------------------------------------------------------------------------------------------------+
| THÔNG TIN LUẬN ÁN |
+----------------------+----------------------------------------------------------------------------------+
| Đề tài | Nghiên cứu, phát triển các kỹ thuật phân tích hoạt động của bàn tay từ chuỗi |
| | hình ảnh thu thập bằng cảm biến đeo, ứng dụng trong hỗ trợ đánh giá bài tập |
| | phục hồi chức năng |
| Tác giả | Nguyễn Sinh Huy |
| Người hướng dẫn | TS. Nguyễn Chí Thành (cùng sự hỗ trợ chuyên môn từ PGS. TS. Vũ Hải) |
| Cơ sở đào tạo | Viện Khoa học và Công nghệ quân sự / Bộ Quốc phòng |
| Chuyên ngành & Mã số | Cơ sở toán học cho tin học — 9460110 |
| Năm bảo vệ | 2023 |
+----------------------+----------------------------------------------------------------------------------+
Tính cấp thiết và khoảng trống nghiên cứu
Thị giác máy tính góc nhìn thứ nhất (First Person Vision - FPV hay Egocentric Vision) thu nhận dữ liệu từ các cảm biến mang trên cơ thể người, trong đó bàn tay và các tương tác tay - đồ vật giữ vị trí trung tâm trong khung hình. Trong y tế, việc tự động theo dõi quá trình tập phục hồi chức năng (PHCN) của bệnh nhân sau tai biến, đột quỵ hoặc chấn thương giúp cung cấp các báo cáo định kỳ về thời lượng, số bài tập, tần suất và khả năng vận động cho bác sĩ lâm sàng, giảm tải áp lực nhân lực y tế.
Khoảng trống nghiên cứu chính được tác giả chỉ ra gồm:
- Thiếu hụt các bộ dữ liệu huấn luyện FPV gắn liền với môi trường lâm sàng thực tế tại các bệnh viện ở Việt Nam (phần lớn dữ liệu quốc tế thực hiện trong không gian sinh hoạt thường ngày hoặc phòng thí nghiệm mô phỏng).
- Các thách thức kỹ thuật đặc thù của FPV chưa được xử lý triệt để: góc nhìn không ổn định, rung lắc, thay đổi ánh sáng và bối cảnh đột ngột, bàn tay di chuyển nhanh gây nhòe, sự xuất hiện gây nhiễu của tay người khác (kỹ thuật viên, bác sĩ) trong khung hình và hiện tượng bàn tay bị che khuất khi tương tác đồ vật.
- Sự hạn chế trong việc kết hợp thông tin không gian - thời gian của bàn tay với ngữ cảnh đồ vật tương tác để phân loại chính xác các bài tập vận động.
Mục tiêu nghiên cứu
Luận án xác định mục tiêu chung là phát triển các kỹ thuật tự động nhận biết hoạt động của tay ứng dụng trong hỗ trợ nhận biết và đánh giá quá trình tập PHCN của bệnh nhân. Ba mục tiêu cụ thể gồm:
- Mục tiêu 1: Xây dựng và công bố bộ dữ liệu bài tập PHCN thu thập tại bệnh viện nhằm khắc phục tình trạng thiếu hụt dữ liệu huấn luyện, đồng thời thực nghiệm các đánh giá cơ sở (baseline) cho các nhiệm vụ phát hiện, phân đoạn và theo bám tay.
- Mục tiêu 2: Nghiên cứu và đề xuất các phương pháp cải tiến kỹ thuật phân tích hình ảnh bàn tay từ cảm biến đeo: phân đoạn phân tách bàn tay - cẳng tay, theo bám và định danh tay bệnh nhân (loại bỏ tay nhiễu), ước lượng tư thế tay 2D.
- Mục tiêu 3: Đề xuất mô hình học sâu nhận biết hoạt động tay có hiệu năng cao thông qua cơ chế kết hợp mạng nhận biết hoạt động và nhận dạng đối tượng tương tác chính trong các bài tập PHCN.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Dữ liệu hình ảnh góc nhìn thứ nhất (egocentric) của bệnh nhân tập PHCN; các bộ cơ sở dữ liệu egocentric công bố trên thế giới; các mô hình, thuật toán học máy và thị giác máy tính cho bài toán phát hiện, phân đoạn, theo bám, ước lượng tư thế và nhận dạng hoạt động.
- Phạm vi không gian và thực nghiệm: Dữ liệu thu thập trực tiếp tại Khoa Phục hồi chức năng, Bệnh viện Đại học Y Hà Nội, dưới sự hướng dẫn chuyên môn của bác sĩ và kỹ thuật viên trên 10 bệnh nhân có bệnh lý tai biến, thoái hóa cột sống, chấn thương.
- Phạm vi dữ liệu: Dữ liệu hình ảnh 2D RGB thu từ camera góc nhìn thứ nhất gắn trên ngực/đầu (độ phân giải 1080p, 30 fps) đồng bộ với cảm biến chuyển động (gia tốc, con quay hồi chuyển) trên đồng hồ thông minh; tập trung vào 4 bài tập PHCN chi trên phổ biến.
- Giới hạn: Đánh giá định lượng mức độ phục hồi chức năng vận động theo các thang điểm lâm sàng chuyên sâu nằm ngoài phạm vi nghiên cứu của luận án.
Tổng quan tài liệu và vị trí của luận án
Luận án phân tích tổng quan các công trình nghiên cứu trong và ngoài nước theo hai hướng tiếp cận chính của thị giác máy tính egocentric: học máy truyền thống dựa trên trích xuất đặc trưng thủ công và học sâu dựa trên dữ liệu.
TỔNG QUAN TÀI LIỆU VÀ VỊ TRÍ LUẬN ÁN
HƯỚNG HỌC MÁY TRUYỀN THỐNG HƯỚNG HỌC SÂU & ĐA PHƯƠNG THỨC
• Phân đoạn màu da / siêu pixel • Phân đoạn: U-Net, DFF, DeconvNet
(Li & Kitani [37], Betancourt [8], Zariffa [87]) (Wang [80,81], Li [38], Zhou [92])
• Phát hiện / Theo bám: HOG + SVM, AHT • Phát hiện / Theo bám: YOLO, R-CNN, SORT, KCF
(Betancourt [7], Zhao [90,91], Liu [46]) (Kapidis [34], Visee [75])
• Ước lượng tư thế: CRF, HOG + SVM • Ước lượng tư thế: HOPE-Net, SplitPointnet
(Liang [42], Zhu [93], Rogez [63]) (Tekin [71], nhóm MICA [26,76])
• Nhận biết hoạt động: GIST, BoVW, HOF + SVM • Nhận biết hành động: Spatiotemporal CNN, R(2+1)D
(Ren [59,60], Fathi [20], Pirisiavash [56], Spriggs [68]) (Tang [70], Nguyen [51], Castro [15])
Các nghiên cứu quốc tế
- Phân đoạn bàn tay: Li và Kitani [37] kết hợp không gian màu (HSV, RGB, LAB) và đặc trưng cục bộ (Gabor, HOG, SIFT, BRIEF) cùng hồi quy rừng ngẫu nhiên; Betancourt và cộng sự [8] phân loại pixel da trên không gian LAB; Zariffa và Popovic [87] ứng dụng mô hình hỗn hợp Gauss (GMM) kết hợp toán tử hình thái học và Laplacian để phân đoạn tay trong hoạt động thường ngày; Wang và cộng sự [80], [81] áp dụng kiến trúc U-Net lặp; Li và cộng sự [38] tối ưu chi phí tính toán bằng luồng đặc trưng sâu (Deep Feature Flow - DFF); Zhou và cộng sự [92] sử dụng DeconvNet trên nền VGG-16 qua học bán giám sát; Wan và cộng sự [77] cùng Rogez và cộng sự [63] ứng dụng cảm biến độ sâu ToF để phân tách tiền cảnh - hậu cảnh.
- Phát hiện và theo bám tay: Betancourt và cộng sự [7] sử dụng HOG và SVM; Zhao và cộng sự [90], [91] khai thác chu kỳ tương tác ba giai đoạn (chuẩn bị - tương tác - rút tay); Liu và cộng sự [46] đề xuất bộ theo bám AHT (Attention-based Hand Tracker); Kapidis và cộng sự [34] tinh chỉnh YOLOv3 kết hợp thuật toán SORT; Visee và cộng sự [75] tích hợp YOLOv2 với bộ lọc tương quan KCF.
- Ước lượng tư thế tay: Liang và cộng sự [42] dùng rừng hồi quy có điều kiện (CRF) trên mặt nạ nhị phân; Zhu và cộng sự [93] phân chia bàn tay thành 4 vùng phụ; Tekin và cộng sự [71] dùng Fully Convolutional Network (FCN) để dự đoán tư thế 3D đồng thời của tay và vật thể từ ảnh RGB; Wu và cộng sự [83] mở rộng xác định 5 đầu ngón tay.
- Nhận dạng hoạt động và tương tác: Ren và cộng sự [59], [60] khai thác đặc trưng chuyển động tịnh tiến (toward motion) và hướng ngang/dọc của FPV; Fathi và cộng sự [20] dùng đặc trưng màu sắc/cấu trúc và SVM; Pirisiavash và cộng sự [56] xây dựng bộ dữ liệu 18 hoạt động sinh hoạt gia đình; Spriggs và cộng sự [68] sử dụng đặc trưng GIST; Tang và cộng sự [70] xây dựng mạng đa luồng MDNN; Nguyen và cộng sự [51] áp dụng mô hình Bag of Visual Words (BoVW); Castro và cộng sự [15] kết hợp mạng CNN với thông tin ngữ cảnh thời gian qua chiến lược kết hợp muộn (late fusion); Dimiccoli và cộng sự [19] dùng GoogleNet trích xuất khung hình chính (key-frames).
- Ứng dụng FPV trong phục hồi chức năng: Likitlersuang và cộng sự [43], [44] phát triển hệ thống phát hiện tương tác tay - đồ vật cho người chấn thương tủy sống cổ (cSCI) dựa trên rừng ngẫu nhiên và công bố bộ cơ sở dữ liệu ANS-SCI trong môi trường mô phỏng sinh hoạt tại nhà.
Các nghiên cứu trong nước
- Lê và cộng sự (Đại học Bách khoa Hà Nội) [35] nghiên cứu gán nhãn ngữ nghĩa tự động cho ảnh bằng học sâu với ngưỡng thích nghi.
- Nguyễn và cộng sự (Đại học Quốc gia TP. Hồ Chí Minh) [53] phát triển giải thuật định vị người trong video TRECVID.
- Nhóm nghiên cứu Đại học Công nghệ - ĐHQG Hà Nội [55] nhận dạng hành động từ dữ liệu khung xương bằng thuật toán Dynamic Time Warping (DTW) và cơ chế bỏ phiếu.
- Nhóm nghiên cứu Đại học Khoa học Tự nhiên - ĐHQG TP. Hồ Chí Minh [74] trích xuất đặc trưng toàn cục HOG/HOF kết hợp SURF và phân lớp bằng SVM theo mô hình Bag-of-Words.
- Nhóm tác giả tại Viện NCQT MICA - Đại học Bách khoa Hà Nội [26], [76] đề xuất mô hình SplitPointnet (kết hợp YOLO, PointNet++ trên tập dữ liệu FPHAB đạt sai số trung bình 66,26 mm) và kết hợp ResNet với mạng tích chập đồ thị (GCN) cùng mô hình PA-ResGCN để nhận dạng hành động tay từ khớp 3D.
Vị trí và khoảng trống luận án giải quyết
Kế thừa các công trình quốc tế và trong nước, luận án định vị giải quyết các vấn đề còn tồn tại:
- Xây dựng bộ dữ liệu FPV chuyên biệt cho PHCN thu thập trực tiếp tại bệnh viện thực tế ở Việt Nam thay vì môi trường mô phỏng.
- Xây dựng giải thuật phân tách chi tiết cẳng tay và bàn tay từ mặt nạ phân đoạn tổng thể.
- Khắc phục hiện tượng nhảy ID (ID switch) của DeepSORT và loại bỏ tay người hỗ trợ (tay nhiễu) bằng giải thuật kết hợp theo bám - phân đoạn.
- Cải tiến mạng HOPE-Net ước lượng tư thế tay 2D bằng cách kết hợp với vùng quan tâm từ Mask R-CNN.
- Xây dựng mô hình nhận dạng bài tập PHCN kết hợp mạng tích chập không-thời gian $R(2+1)D$ với mô-đun phát hiện đối tượng tương tác chính.
Cơ sở lý thuyết và phương pháp nghiên cứu
Lý thuyết, khái niệm và khung phân tích
Luận án vận dụng các lý thuyết nền tảng và mô hình học sâu trong thị giác máy tính:
- Thị giác máy tính góc nhìn thứ nhất (FPV/Egocentric Vision): Mô hình hóa thông tin dựa trên đặc tính bàn tay và đồ vật tương tác luôn xuất hiện tại vị trí trung tâm vùng nhìn của người mang camera.
- Biến đổi khoảng cách (Distance Transformation Map - DTM): Ứng dụng bản đồ khoảng cách để tính toán tâm hình học của lòng bàn tay và xác định đường ranh giới phân tách cổ tay (giữa bàn tay và cẳng tay) kết hợp các siêu tham số $\alpha$ (ngưỡng mở rộng loại bỏ vòng tròn lòng bàn tay) và $\beta$ (xác định sự tồn tại của cẳng tay).
- Lý thuyết theo bám đối tượng đa mục tiêu: Nền tảng lọc Kalman kết hợp ma trận khoảng cách đặc trưng ngoại hình trong thuật toán DeepSORT, được tối ưu hóa bằng giải thuật định danh lại MergeTrack.
- Mạng nơ-ron tích chập không - thời gian $R(2+1)D$: Phân rã bộ lọc tích chập 3D kích thước $N \times t \times d \times d$ thành tích chập không gian 2D ($1 \times d \times d$) tiếp nối bởi tích chập thời gian 1D ($t \times 1 \times 1$), giúp tăng cường phi tuyến hóa và tối ưu hóa việc học đặc trưng chuyển động.
- Ước lượng tư thế bàn tay: Khung đồ thị hồi quy tọa độ 21 khớp xương bàn tay dựa trên kiến trúc HOPE-Net kết hợp backbone trích xuất đặc trưng ResNet-18.
+---------------------------------------------------------------------------------------------------------+
| KHUNG PHƯƠNG PHÁP NGHIÊN CỨU |
+---------------------------------------------------------------------------------------------------------+
| |
| (Mạng nơ-ron không-thời gian R(2+1)D) |
| |
+---------------------------------------------------------------------------------------------------------+
Phương pháp nghiên cứu
Luận án kết hợp chặt chẽ giữa nghiên cứu lý thuyết và phương pháp thực nghiệm:
- Phương pháp lý thuyết: Khảo sát, mô hình hóa toán học các bài toán hình học thị giác (phân đoạn vùng quan tâm ROI, tính toán vector khoảng cách, ma trận nhầm lẫn, hàm mất mát hồi quy tọa độ khớp).
- Phương pháp thực nghiệm:
- Thu thập dữ liệu thực tế tại bệnh viện, xây dựng quy trình gán nhãn chuẩn hóa mức pixel và bounding box.
- Triển khai lập trình mô hình trên nền tảng PyTorch, Detectron2.
- Đánh giá hiệu năng thông qua các độ đo chuẩn: độ chính xác trung bình (Average Precision - AP, $AP_{50}$, $AP_{75}$, $AP_{small}$, $AP_{medium}$, $AP_{large}$), độ phủ trung bình (Average Recall - AR, $AR^{max}=1$, $AR^{max}=10$, $AR^{max}=100$), sai số khoảng cách pixel (lỗi Euclid), tỷ lệ nhận dạng chính xác (Accuracy %).
Nguồn dữ liệu và công cụ
- Tập dữ liệu tự xây dựng: Bộ dữ liệu RehabHand thu thập từ 10 bệnh nhân tại Bệnh viện Đại học Y Hà Nội, bao gồm 10 video MPEG-4 thô (thời lượng 4 giờ, 53 GB), 58 video bài tập, 431 phân đoạn thực hiện động tác. 4.500 khung hình (1920x1440) được gán nhãn phân đoạn pixel cho 8 lớp; 32 phân đoạn video (10.984 khung hình) gán nhãn theo bám.
- Tập dữ liệu chuẩn đối sánh: FPHAB (First-Person Hand Action Benchmark).
- Thiết bị phần cứng: Camera GoPro Hero4 (góc nhìn thứ nhất, gắn ngực và đầu), đồng hồ thông minh Samsung Gear S3 Frontier (cảm biến gia tốc, con quay hồi chuyển).
- Phần mềm: Phần mềm ELAN (đồng bộ tín hiệu đa phương thức), Detectron2, hệ thống quản trị dữ liệu trực tuyến tại địa chỉ
http://rehabhand....
Nội dung chính theo từng chương
Chương 1: Tổng quan bài toán nhận biết hoạt động của tay từ cảm biến ảnh đeo trên người
Chương 1 thiết lập bức tranh tổng thể về thị giác máy tính FPV:
- Trình bày sự khác biệt cốt lõi giữa hệ thống camera giám sát cố định (surveillance/TPV) và camera mang trên người (sousveillance/FPV); nhấn mạnh tính bảo vệ quyền riêng tư cá nhân của FPV (không thấy mặt chủ thể) và khả năng bắt trọn thao tác tay ở cự ly gần.
- Phân loại các nhiệm vụ phân tích tay thành hai nhóm chính: Xác định tay (Localization) gồm phân đoạn mức pixel, phát hiện bounding box, theo bám quỹ đạo thời gian, ước lượng tư thế khớp tay; và Hiểu hành động của tay (Interpretation) gồm phân tích kiểu cầm nắm (tĩnh), nhận dạng cử chỉ (tĩnh/động), nhận dạng tương tác (động từ - danh từ) và hoạt động dài hạn.
- Phân tích vai trò của FPV trong y học phục hồi chức năng: ghi nhận khách quan thời lượng, tần suất và biên độ cử động tay của bệnh nhân, hỗ trợ bác sĩ đưa ra phác đồ điều trị thích hợp.
- Tổng kết 4 vấn đề tồn tại lớn của chuyên ngành và xác định 3 nội dung trọng tâm luận án giải quyết.
Chương 2: Xây dựng bộ dữ liệu bài tập PHCN và các đánh giá liên quan đến tay
Chương 2 trình bày chi tiết quy trình xây dựng bộ dữ liệu RehabHand và thực nghiệm đánh giá cơ sở:
- Quy trình chuẩn hóa gồm 5 bước: Thiết lập thiết bị (GoPro Hero4, Samsung Gear S3 Frontier) $\rightarrow$ Thu thập dữ liệu trên 10 bệnh nhân $\rightarrow$ Tiền xử lý, cắt đoạn bài tập và đồng bộ hóa bằng ELAN $\rightarrow$ Gán nhãn đa cấp độ (8 lớp đối tượng phân đoạn: Quả bóng, Cái cốc, Chai nước, Cái bát, Hình trụ, Khối, Tay trái, Tay phải) $\rightarrow$ Đóng gói và công bố trên website
http://rehabhand....
+---------------------------------------------------------------------------------------------------------+
| QUY TRÌNH XÂY DỰNG BỘ DỮ LIỆU REHABHAND |
+---------------------------------------------------------------------------------------------------------+
| |
| 1. THIẾT LẬP THIẾT BỊ 2. THU THẬP DỮ LIỆU 3. TIỀN XỬ LÝ & ĐỒNG BỘ |
| • GoPro Hero4 (Ngực/Đầu) • 10 bệnh nhân tình nguyện • 10 video thô (4h, 53GB) |
| • Samsung Gear S3 Frontier • 4 bài tập PHCN chi trên • Cắt thành 58 video bài tập, |
| (Gia tốc, Con quay) • Bệnh viện ĐH Y Hà Nội 431 phân đoạn động tác |
| • Đồng bộ đa kênh qua phần mềm ELAN |
| 5. CÔNG BỐ TRỰC TUYẾN 4. GÁN NHÃN ĐA CẤP ĐỘ |
| • Website: rehabhand... • 4.500 khung hình (1920x1440) mức pixel |
| • Quản trị & chia sẻ CSDL (8 lớp: Bóng, Cốc, Chai, Bát, Trụ, |
| Khối, Tay trái, Tay phải) |
| • 32 video (10.984 frame) theo bám tay |
| |
+---------------------------------------------------------------------------------------------------------+
Dữ liệu thử nghiệm theo bám tay được tổng hợp từ 32 phân đoạn video với các đặc trưng tương tác khác nhau:
| TT |
Tên phân đoạn video |
Bài tập |
Số khung hình |
Số tay / Khung hình |
| 1 |
GH010354_7_13210_16534 |
3 |
120 |
1 |
| 2 |
GH010354_7_16605_17602_1 |
3 |
130 |
1 |
| 3 |
GH010354_7_16605_17602_2 |
3 |
120 |
1 |
| 4 |
GH010354_8_26079_29031 |
4 |
191 |
1 |
| 5 |
GH010358_7_2490_3390_1 |
3 |
160 |
1 |
| 6 |
GH010358_7_2490_3390_2 |
3 |
160 |
1 |
| 7 |
GH010358_7_352_2464_1 |
3 |
110 |
1 |
| 8 |
GH010358_7_352_2464_2 |
3 |
135 |
1 |
| 9 |
GH010374_6_4944_6241_1 |
2 |
140 |
1 |
| 10 |
GH010374_6_4944_6241_1 |
2 |
100 |
1 |
| 11 |
GH010382_5_5725_7093_1 |
1 |
100 |
1 |
| 12 |
GH010382_5_5725_7093_2 |
1 |
130 |
1 |
| 13 |
GH010382_5_955_4771_1 |
1 |
115 |
1 |
| 14 |
GH010382_5_955_4771_2 |
1 |
115 |
1 |
| 15 |
GH010382_6_18190_20215_1 |
2 |
151 |
1 |
| 16 |
GH010382_6_18190_20215_2 |
2 |
150 |
1 |
| 17 |
GH010382_6_20592_21726_1 |
2 |
90 |
1 |
| 18 |
GH010382_6_20592_21726_2 |
2 |
125 |
1 |
| 19 |
GH010382_8_16207_17479_1 |
4 |
100 |
1 |
| 20 |
GH010382_8_16207_17479_2 |
4 |
100 |
1 |
| 21 |
GH010383_5_462_968_1 |
1 |
100 |
1 |
| 22 |
GH010383_5_462_968_2 |
1 |
120 |
1 |
| 23 |
GH010383_8_3221_3956_1 |
4 |
100 |
1 |
| 24 |
GH010383_8_3221_3956_1 |
4 |
100 |
1 |
| 25 |
GH010383_8_4544_5192_1 |
4 |
100 |
1 |
| 26 |
GH010383_8_4544_5192_2 |
4 |
100 |
1 |
| 27 |
GH010354_5_17718_19366 |
1 |
1684 |
1 |
| 28 |
GH010373_5_1284_2724 |
1 |
1440 |
5 (có tay nhiễu) |
| 29 |
GH010358_6_10208_11900 |
2 |
1594 |
4 (có tay nhiễu) |
| 30 |
GH010373_6_3150_4744 |
2 |
1692 |
6 (có tay nhiễu) |
| 31 |
GH010358_7_2490_3390 |
3 |
900 |
4 (có tay nhiễu) |
| 32 |
GH010358_8_8000_8547 |
4 |
547 |
3 (có tay nhiễu) |
- Luận án triển khai thực nghiệm baseline cho tác vụ phát hiện tay sử dụng các mô hình một giai đoạn (YOLOv3, YOLOv4) và hai giai đoạn (Faster R-CNN, Mask R-CNN) tiền huấn luyện trên COCO và tinh chỉnh qua Detectron2:
| Mô hình |
$AP$ |
$AP_{50}$ |
$AP_{75}$ |
$AP_{small}$ |
$AP_{medium}$ |
$AP_{large}$ |
$AR^{max}_{=1}$ |
$AR^{max}_{=10}$ |
$AR^{max}_{=100}$ |
$AR_{small}$ |
$AR_{medium}$ |
$AR_{large}$ |
| YOLOv3 |
89,2 |
92,4 |
92,1 |
1,1 |
66,4 |
54,1 |
6,5 |
53,6 |
76,4 |
3,2 |
32,5 |
75,9 |
| YOLOv4 |
93,1 |
95,6 |
94,6 |
3,2 |
72,5 |
42,9 |
8,7 |
65,8 |
89,7 |
7,1 |
40,1 |
82,7 |
| Faster R-CNN |
96,2 |
97,9 |
97,9 |
0,9 |
75,8 |
6,3 |
9,6 |
76,8 |
97,6 |
10,0 |
77,8 |
97,6 |
| Mask R-CNN |
92,1 |
98,9 |
97,9 |
0,0 |
32,4 |
92,2 |
9,2 |
73,9 |
94,6 |
0,0 |
50,8 |
94,7 |
Chương 3: Đề xuất kỹ thuật cải tiến cho nhiệm vụ xác định tay
Chương 3 trình bày 3 kỹ thuật cải tiến then chốt phục vụ bài toán định vị bàn tay:
- Kỹ thuật phân tách vùng bàn tay và cẳng tay: Từ mặt nạ phân đoạn toàn bộ cánh tay, tác giả sử dụng bản đồ biến đổi khoảng cách (DTM) để xác định tâm hình học lòng bàn tay. Áp dụng ngưỡng mở rộng $\alpha$ để khoanh vùng hình tròn lòng bàn tay và siêu tham số $\beta$ để kiểm định sự xuất hiện của cẳng tay, từ đó xác định chính xác đường cắt cổ tay, tách biệt độc lập vùng bàn tay và vùng cẳng tay cho cả tay trái và tay phải.
- Kỹ thuật theo bám và xác định tay bệnh nhân (Khử nhiễu): Để giải quyết hiện tượng nhảy định danh (ID switch) trong thuật toán DeepSORT khi tay di chuyển nhanh hoặc bị che khuất, tác giả đề xuất thuật toán MergeTrack. Giải thuật tính toán điểm tương đồng $Score[j]$ dựa trên vị trí, kích thước và phân bố chuyển động để sáp nhập các quỹ đạo bị đứt gãy. Kết hợp kết quả theo bám của MergeTrack với mặt nạ phân đoạn, hệ thống tự động loại bỏ các bàn tay phụ xuất hiện trong khung hình (tay của bác sĩ/kỹ thuật viên), giữ lại chính xác bàn tay chủ thể của bệnh nhân.
- Kỹ thuật ước lượng tư thế tay 2D: Kết hợp vùng đề xuất bàn tay từ Mask R-CNN làm đầu vào tinh chỉnh cho mạng HOPE-Net với mạng trích xuất đặc trưng ResNet-18, giúp tối ưu hóa việc định vị 21 điểm khớp xương bàn tay, giảm thiểu sai số dự đoán pixel so với kiến trúc HOPE-Net gốc.
Chương 4: Đề xuất kỹ thuật nhận biết hoạt động tay trong các bài tập PHCN
Chương 4 hoàn thiện mô hình nhận dạng bài tập vận động:
- Xây dựng kiến trúc mạng nơ-ron không - thời gian $R(2+1)D$ để mô hình hóa chuỗi khung hình video bài tập PHCN. Phân rã tích chập giúp mạng học sâu hơn, nắm bắt tốt các đặc trưng biến đổi cử động tay theo thời gian.
- Thiết kế mô-đun xác định đối tượng tương tác chính (key object): Thuật toán tính toán điểm tương tác $j_0 = \arg\max(Score[j])$ giữa vị trí bàn tay đã theo bám và các lớp đồ vật (bóng, cốc, bát, chai nước, khối trụ, khối vuông).
- Áp dụng kỹ thuật kết hợp muộn (late fusion) giữa phân bố xác suất hành động từ mạng $R(2+1)D$ và nhãn đối tượng tương tác chính, nâng cao độ chính xác phân loại 4 bài tập PHCN, hạn chế tối đa sự nhầm lẫn giữa các bài tập có quỹ đạo chuyển động tay tương đồng.
Kết quả và những đóng góp mới
Những đóng góp mới về mặt khoa học và lý luận
- Xây dựng và công bố bộ dữ liệu RehabHand: Đóng góp một cơ sở dữ liệu chuyên biệt về FPV trong y tế tại Việt Nam gồm 10 bệnh nhân, 58 video bài tập, 4.500 khung hình gán nhãn phân đoạn pixel (8 lớp) và 32 phân đoạn video gán nhãn theo bám (10.984 khung hình), đồng bộ dữ liệu hình ảnh 2D và cảm biến chuyển động gia tốc/con quay hồi chuyển.
- Hệ thống giải thuật cải tiến xác định tay:
- Thuật toán phân tách cẳng tay - bàn tay dựa trên bản đồ biến đổi khoảng cách DTM và các tham số ngưỡng $\alpha, \beta$.
- Thuật toán MergeTrack khắc phục lỗi nhảy ID của DeepSORT, kết hợp phân đoạn để lọc bỏ bàn tay nhiễu của người hỗ trợ.
- Mô hình kết hợp Mask R-CNN và HOPE-Net trên nền ResNet-18 nâng cao độ chính xác ước lượng 21 khớp tay 2D.
- Mô hình nhận biết bài tập PHCN tích hợp ngữ cảnh: Đề xuất mô hình kết hợp muộn giữa mạng tích chập không-thời gian $R(2+1)D$ và mô-đun phát hiện đối tượng tương tác chính, giải quyết hiệu quả bài toán phân loại hoạt động tay trong môi trường y tế.
Đóng góp thực tiễn và kiến nghị giải pháp
- Toàn bộ thuật toán được mô hình hóa toán học và đóng gói thành các mô-đun phần mềm có khả năng tích hợp vào các hệ thống hỗ trợ điều trị y tế thông minh (Ambient Assisted Living - AAL).
- Cho phép các cơ sở y tế tự động hóa việc thống kê số lượng bài tập, tần suất và thời lượng tập luyện của bệnh nhân từ camera đeo mà không đòi hỏi xử lý thời gian thực, giúp giảm áp lực trực tiếp cho đội ngũ y bác sĩ lâm sàng.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế được ghi nhận từ văn bản
- Luận án mới chỉ tập trung thử nghiệm và phân loại trên 4 bài tập phục hồi chức năng chi trên phổ biến.
- Số lượng đối tượng thu thập dữ liệu giới hạn ở 10 bệnh nhân tình nguyện tại một cơ sở y tế (Bệnh viện Đại học Y Hà Nội).
- Dữ liệu FPV vẫn nhạy cảm với các tình huống chuyển động quá nhanh của bệnh nhân dẫn đến hiện tượng nhòe ảnh khung hình.
- Luận án mới dừng lại ở bước nhận diện bài tập và phân tích cử động tay; việc lượng giá định lượng mức độ phục hồi chức năng vận động theo các thang điểm y khoa chuyên sâu nằm ngoài phạm vi đề tài.
Hướng nghiên cứu tiếp theo
- Mở rộng quy mô bộ dữ liệu RehabHand với nhiều dạng bệnh lý và đa dạng hóa các bài tập PHCN khác nhau.
- Khai thác sâu hơn sự kết hợp đa phương thức giữa chuỗi hình ảnh FPV và dữ liệu cảm biến đo lường quán tính (IMU - gia tốc kế, con quay hồi chuyển).
- Xây dựng mô-đun đánh giá tự động góc mở khớp ngón tay và quỹ đạo vận động để hỗ trợ chấm điểm phục hồi lâm sàng.
Giá trị tham khảo
- Đối với nghiên cứu sinh, học viên cao học và giảng viên ngành Thị giác máy tính / Toán tin: Cung cấp tài liệu tham khảo về việc áp dụng mô hình học sâu ($R(2+1)D$, Mask R-CNN, HOPE-Net, MergeTrack) trên dữ liệu góc nhìn thứ nhất (FPV); phương pháp luận xây dựng và gán nhãn bộ dữ liệu đa phương thức.
- Đối với các kỹ sư và chuyên gia phát triển hệ thống y tế thông minh: Tham khảo mã nguồn, cấu trúc bộ dữ liệu RehabHand và quy trình xử lý dữ liệu cảm biến đeo phục vụ giám sát bệnh nhân.
- Đối với các bác sĩ và nhà quản lý cơ sở y tế: Cung cấp cơ sở khoa học để ứng dụng trí tuệ nhân tạo vào theo dõi, đánh giá quá trình tập phục hồi chức năng bán tự động, nâng cao hiệu quả quản lý bệnh nhân nội trú và ngoại trú.
Câu hỏi thường gặp
1. Bộ dữ liệu RehabHand được xây dựng từ những thiết bị nào và có cấu trúc ra sao?
Bộ dữ liệu sử dụng 2 camera GoPro Hero4 gắn trên ngực/đầu (video MPEG-4, 1080p, 30 fps) và đồng hồ thông minh Samsung Gear S3 Frontier (ghi nhận gia tốc, con quay hồi chuyển) trên 10 bệnh nhân tại Bệnh viện Đại học Y Hà Nội. Cấu trúc gồm 10 video thô (4 giờ, 53 GB), chia thành 58 video bài tập và 431 phân đoạn động tác. Dữ liệu gán nhãn gồm 4.500 khung hình mức pixel (8 lớp đối tượng) và 32 video theo bám tay (10.984 khung hình), đồng bộ qua phần mềm ELAN.
2. Thuật toán MergeTrack đề xuất trong Chương 3 giải quyết vấn đề gì?
MergeTrack được đề xuất để khắc phục hiện tượng nhảy định danh (ID switch) của thuật toán DeepSORT khi bàn tay di chuyển nhanh hoặc bị che khuất trong video FPV. Khi kết hợp với kết quả phân đoạn, giải thuật còn tính điểm $Score[j]$ để loại bỏ các bàn tay nhiễu (tay bác sĩ, kỹ thuật viên) xuất hiện trong khung hình, xác định chính xác tay chủ thể của bệnh nhân.
3. Tác giả thực hiện phân tách bàn tay và cẳng tay bằng phương pháp nào?
Tác giả sử dụng bản đồ biến đổi khoảng cách (DTM) trên ảnh mặt nạ phân đoạn toàn bộ cánh tay để định vị tâm lòng bàn tay, sau đó kết hợp ngưỡng mở rộng $\alpha$ (loại bỏ vùng tròn lòng bàn tay) và siêu tham số $\beta$ (xác định sự tồn tại của cẳng tay) để tìm đường ranh giới cổ tay, tách rời độc lập bàn tay và cẳng tay.
4. Mô hình nhận dạng bài tập PHCN trong Chương 4 có kiến trúc như thế nào?
Mô hình sử dụng mạng nơ-ron tích chập không-thời gian $R(2+1)D$ để trích xuất đặc trưng không gian và thời gian từ chuỗi video, sau đó áp dụng cơ chế kết hợp muộn (late fusion) với kết quả nhận dạng đối tượng tương tác chính ($j_0 = \arg\max(Score[j])$) từ các lớp dụng cụ tập luyện nhằm nâng cao độ chính xác phân loại bài tập.
Kết luận
Luận án tiến sĩ của tác giả Nguyễn Sinh Huy đã giải quyết bài toán nhận biết hoạt động của tay từ cảm biến ảnh góc nhìn thứ nhất ứng dụng trong hỗ trợ đánh giá bài tập phục hồi chức năng tại bệnh viện. Tác giả đã xây dựng và công bố bộ dữ liệu thực tế RehabHand, đồng thời đề xuất các cải tiến về phân đoạn bàn tay, theo bám khử nhiễu (MergeTrack), ước lượng tư thế 2D và mô hình nhận dạng hoạt động dựa trên mạng $R(2+1)D$ kết hợp nhận diện vật thể tương tác chính. Các kết quả nghiên cứu được mô hình hóa toán học và thực nghiệm chặt chẽ, tạo cơ sở kỹ thuật cho việc phát triển các hệ thống hỗ trợ theo dõi y tế tự động.
