Tổng quan luận án

Luận án tiến sĩ kỹ thuật điện tử của nghiên cứu sinh Nguyễn Tường Thành, với tiêu đề "Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu", được thực hiện tại Viện Điện tử Viễn thông thuộc Trường Đại học Bách khoa Hà Nội dưới sự hướng dẫn của TS. Lê Dũng và TS. Phạm Thành Công (bảo vệ năm 2020, mã số chuyên ngành: 9520203). Công trình tập trung giải quyết bài toán tái tạo môi trường ba chiều, khôi phục khung xương cơ thể người bị che khuất và tự động hóa quy trình đánh giá, chấm điểm các bài tập võ cổ truyền Việt Nam.

Tính cấp thiết và khoảng trống nghiên cứu được xác định từ thực tiễn giảng dạy và bảo tồn di sản văn hóa. Võ cổ truyền là môn thể thao, nghệ thuật thể hiện bản sắc dân tộc, gắn liền với lịch sử dựng nước và giữ nước, tiêu biểu như võ cổ truyền Bình Định của Việt Nam, Judo, Karate, Kendo, Kyudo của Nhật Bản hay Kung Fu, TaiChi của Trung Quốc. Trước đây, việc lưu trữ chủ yếu thực hiện qua truyền miệng hoặc các hình vẽ tĩnh, dẫn tới nguy cơ biến tướng thế võ. Từ năm 2016, võ cổ truyền được đưa vào chương trình giảng dạy tại các trường phổ thông tại Việt Nam nhằm rèn luyện thể chất và khả năng tự vệ cho học sinh. Tuy nhiên, các động tác võ thuật có đặc điểm chuyển động nhanh, phức tạp, đánh tứ diện hoặc xoay 360 độ. Khi sử dụng một thiết bị ghi hình cố định từ một hướng, dữ liệu quan sát thường xuyên bị che khuất nghiêm trọng. Trong khi đó, các hệ thống thu nhận chuyển động chuyên dụng (MOCAP) hoặc hệ thống đa camera có chi phí đầu tư rất lớn, không phù hợp với điều kiện trang bị tại trường học. Các cảm biến chiều sâu giá rẻ như Microsoft Kinect phiên bản 1 (MS Kinect v1, chi phí khoảng 40 USD tương đương 1 triệu đồng) cho phép thu nhận đồng thời ảnh màu và ảnh độ sâu nhưng dữ liệu khung xương trích xuất mặc định lại bị suy giảm chất lượng hoặc mất khớp nghiêm trọng (kém hơn 30% đến 40% so với Kinect v2 theo nghiên cứu của Wang và cộng sự). Do đó, khoảng trống nghiên cứu cốt lõi mà luận án giải quyết là: xây dựng mô hình kết hợp ước lượng khung xương 2-D và chiếu sang không gian 3-D để khôi phục đầy đủ các khớp xương bị che khuất chỉ với một cảm biến MS Kinect v1 duy nhất, làm nền tảng cho việc nhận dạng động tác tấn công và tự động chấm điểm bài võ.

Mục tiêu nghiên cứu của luận án được xác định cụ thể gồm hai nhóm nhiệm vụ:

  1. Đề xuất hướng tiếp cận ước lượng và phục hồi khung xương người trong không gian 3-D, xây dựng hệ thống tái tạo môi trường 3-D từ video biểu diễn võ thuật; kết hợp giữa mô hình ước lượng các điểm đại diện trên ảnh màu 2-D và mô hình tìm kiếm tư thế phù hợp trong không gian 3-D để khôi phục các khớp bị che khuất, giảm thiểu sai số khoảng cách lỗi giữa khung xương ước lượng và khung xương thực tế.
  2. Từ khung xương 3-D đã được khôi phục đầy đủ, xây dựng mô hình phân loại nhận dạng động tác tấn công và mô hình tự động chấm điểm 36 động tác võ cổ truyền, hỗ trợ học sinh phổ thông tự rèn luyện và đánh giá bài võ mà không cần sự hiện diện trực tiếp của võ sư.

Đối tượng và phạm vi nghiên cứu của luận án bao gồm:

  • Đối tượng nghiên cứu: Dữ liệu ảnh màu (RGB) và ảnh độ sâu thu nhận từ cảm biến MS Kinect v1; các điểm đại diện (keypoints), khớp nối (joints) và khung xương (skeleton) của cơ thể người biểu diễn võ thuật; các bài quyền, động tác tấn công và phòng thủ của võ cổ truyền Việt Nam.
  • Phạm vi không gian và thiết bị: Không gian biểu diễn được giới hạn trong khu vực kích thước 3m × 3m; khoảng cách ghi hình từ cảm biến Kinect đến người biểu diễn trong khoảng 0.8m đến 4m với góc nghiêng tối đa của cảm biến là 30 độ; dữ liệu thu nhận qua một cảm biến Kinect v1 đặt cố định trên giá đỡ, kết nối máy tính qua cổng USB, độ phân giải ảnh 640 × 480 điểm ảnh ở tốc độ 10 đến 30 khung hình/giây.
  • Phạm vi đối tượng thực nghiệm: Các võ sư tại Trung tâm Võ thuật cổ truyền Bình Định và học viên/học sinh phổ thông từ 12 tuổi trở lên, bao gồm cả nam và nữ; trang phục biểu diễn là võ phục tiêu chuẩn không bóng (không bọc nilon) để tránh hấp thụ tia hồng ngoại của cảm biến. Mỗi cảnh quay chỉ tập trung vào một người biểu diễn duy nhất. Việc xây dựng hệ thống hoàn chỉnh phục vụ thi đấu thể thao đối kháng chuyên nghiệp nằm ngoài phạm vi luận án.
  • Phạm vi thời gian: Các dữ liệu thực nghiệm và công bố khoa học phục vụ luận án được triển khai thực hiện từ năm 2016 đến khi hoàn thành bản thảo vào tháng 01 năm 2020.

Tổng quan tài liệu và vị trí của luận án

Luận án tiến hành tổng hợp hệ thống các công trình nghiên cứu trong nước và quốc tế liên quan đến bài toán tái tạo hoạt động 3-D, ước lượng tư thế người trong không gian 2-D và 3-D, cùng các hệ thống chấm điểm võ thuật:

Về hệ thống tái tạo hoạt động 3-D và chấm điểm võ thuật, Mingsong và cộng sự [2] đã đề xuất mô hình theo vết và tái tạo khung cảnh người theo thời gian thực dựa trên 8 cảm biến hình ảnh kết hợp mô hình biến dạng (deformation model) xử lý trên CPU; Meier và cộng sự [7] phát triển ứng dụng theo vết hành động người dạng lưới. Về quy tắc chấm điểm võ thuật, Liên đoàn Karate thế giới (WKF) năm 2018 [20] mới chỉ công bố bộ quy tắc tính điểm thủ công dựa trên vị trí tác động đòn đánh vào đối phương (đầu, mặt, cổ, ngực, bụng, lưng), chưa có hệ thống tự động hóa hoàn chỉnh.

Về ước lượng tư thế người 2-D trên ảnh màu, các nghiên cứu truyền thống khai thác mô hình biến dạng bộ phận (DPM) của Felzenszwalb và cộng sự [52] kết hợp bộ phân lớp SVM; mô hình Articulated Part-based Model (APM) của Sun và cộng sự [53]; các tiếp cận phân đoạn cơ thể của Pishchulin và cộng sự [54] hay Andriluka [55] dùng AdaBoost. Berti và cộng sự [50] tích hợp thêm kênh độ sâu thành mô hình biến dạng 4 chiều kết hợp bộ lọc Kalman và động học nghịch đảo.

Về ước lượng khung xương trên ảnh độ sâu, Plagemann và cộng sự [62, 64] ứng dụng mô hình tìm kiếm cục bộ và đặc trưng mô tả hình dạng cục bộ (local shape descriptors); Shotton và cộng sự [63] triển khai rừng quyết định ngẫu nhiên (RDF) phân loại từng điểm ảnh trên ảnh độ sâu đạt tốc độ 200 fps. Hướng tiếp cận biểu diễn khung xương theo khớp nối và bộ phận được phát triển qua các công trình của Fengjun và cộng sự [72] (dùng HMMs), Wang và cộng sự [74] (biến đổi Fourier thời gian - không gian), Vemulapalli và cộng sự [81] (mô hình hóa quan hệ hình học 3-D trên nhóm Lie SE(3) kết hợp thuật toán DTW và SVM). Tại Việt Nam, Hà và cộng sự [82] sử dụng Kinect trích xuất đặc trưng vị trí và vận tốc khớp so với mặt sàn để phát hiện té ngã; Phạm và cộng sự [83] trích xuất 4 nhóm đặc trưng khung xương Kinect kết hợp SVM để nhận dạng 20 tư thế người với độ chính xác đạt trên 98%.

Về ước lượng khung xương 3-D từ một ảnh hoặc chuỗi ảnh, các công trình tiêu biểu được tác giả tổng hợp đánh giá trên cơ sở dữ liệu Human3.6M và các tập dữ liệu quốc tế khác:

Tác giả / Năm Thư viện 3-D Phương pháp chính Cơ sở dữ liệu Độ đo
Tome et al. [85] Có Huấn luyện mạng tích chập 2-D ước lượng 14 điểm, chiếu sang 3-D tìm kiếm mô hình 17 điểm Human3.6M MPJPE
Martinez et al. (2017) [139] Có Xếp chồng mạng Hourglass trên dữ liệu MPII, dùng thuật toán tham lam ánh xạ 2-D sang 3-D Human3.6M, HumanEva MPJPE
Pavlakos et al. (2017) [143] Có Rời rạc hóa không gian voxel, dùng ConvNet dự đoán xác suất từng khớp trên ảnh màu Human3.6M, HumanEva-I MPJPE
Fang et al. (2018) [90] Có Pose grammar, ánh xạ 2-D sang 3-D kết hợp tri thức giải phẫu và điều phối động cơ Human3.6M, HumanEva-I MPJPE
Hossain et al. (2018) [93] Có Mạng chuỗi tuần tự LSTM chuẩn hóa lớp, tận dụng ràng buộc độ mịn thời gian Human3.6M MPJPE
Pavllo et al. (2018) [157] Có QuaterNet biểu diễn chuyển động quay bằng quaternion, hàm phạt lỗi vị trí tuyệt đối Human3.6M MPJPE
Pavllo et al. (2019) [135] Có Mask R-CNN với ResNet-101-FPN kết hợp CPN, tối ưu hóa Amsgrad Human3.6M, HumanEva-I MPJPE
Nibali et al. (2019) [136] Không Bản đồ nhiệt 2-D kết hợp soft-argmax để dự đoán trực tiếp tọa độ 3-D Human3.6M, MPII MPJPE, PCK, AUC
Wang et al. (2019) [138] Có Mạng Convolutional Pose Machines kết hợp điều chỉnh vector khớp 3-D Human3.6M, HumanEva-I MPJPE
Li et al. (2019) [145] Không Dùng mạng Hourglass tạo nhiều giả thuyết ước lượng khớp 3-D từ khớp 2-D Human3.6M, MPII MPJPE
Karim et al. (2019) [147] Không Phép đạc tam giác có thể học (learnable triangulation) kết hợp từ nhiều góc nhìn 2-D Human3.6M, CMU Panoptic MPJPE
Mehta et al. (VNect) [128] Có Mạng CNN hồi quy trực tiếp tọa độ 2-D và 3-D theo thời gian thực MPII, LSP, Human3.6M MPJPE, PCK

Khoảng trống luận án lựa chọn giải quyết nằm ở việc các công trình hiện nay chủ yếu tập trung vào các hành vi thường nhật (đi lại, ngồi, nói chuyện) từ các tập dữ liệu quy chuẩn như Human3.6M trong môi trường phòng thí nghiệm có hệ thống MOCAP hỗ trợ. Chưa có nghiên cứu nào giải quyết triệt để vấn đề mất dữ liệu khớp do che khuất cực lớn khi cơ thể xoay chuyển nhanh trong võ thuật khi chỉ sử dụng một cảm biến độ sâu MS Kinect v1 chi phí thấp. Luận án chọn giải quyết bài toán tái tạo đầy đủ khớp xương 3-D thông qua việc phối hợp mô hình học sâu 2-D mạnh và ánh xạ vào thư viện hình học 3-D, áp dụng trực tiếp lên dữ liệu võ cổ truyền Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án xây dựng trên nền tảng lý thuyết học máy (Machine Learning) theo định nghĩa của Arthur Samuel (1959) và Tom Mitchell, cùng các kiến trúc học sâu (Deep Learning). Các mô hình được sử dụng bao gồm mạng nơ ron tích chập (CNN), mạng nơ ron tái phát (RNN) với các đơn vị bộ nhớ ngắn định hướng dài hạn (LSTM), cấu trúc cây quyết định (Decision Tree) và rừng quyết định ngẫu nhiên (RDF). Mạng LSTM sử dụng trong phân loại chuỗi động tác chứa kiến trúc module gồm 4 tầng ẩn tương tác (3 cổng sigmoid và 1 hàm kích hoạt tanh).

Khung phân tích không gian dựa trên mô hình hình học và phép chiếu thấu kính của cảm biến MS Kinect v1. Do cảm biến ảnh màu và cảm biến hồng ngoại (IR) nằm cách nhau một khoảng vật lý trên thân máy, dữ liệu thu nhận có sự lệch tâm. Luận án sử dụng ma trận tham số trong $H_m$ theo nghiên cứu của Zhou [87, 88] và Nicolas cùng cộng sự [31] để hiệu chỉnh và ánh xạ tọa độ điểm ảnh $(x_a, y_a)$ cùng giá trị độ sâu tương ứng $\text{depthvalue}(x_a, y_a)$ sang tọa độ thực $(X_p, Y_p, Z_p)$ trong không gian 3-D:

$$H_m = \begin{bmatrix} f_x & 0 & c_x \ 0 & f_y & c_y \ 0 & 0 & 1 \end{bmatrix} = \begin{bmatrix} 594.739 & 0 & 339.308 \ 0 & 592.518 & 242.739 \ 0 & 0 & 1 \end{bmatrix}$$

Tọa độ đám mây điểm 3-D được xác định qua hệ phương trình toán học:

  • $X_p = \frac{(x_a - c_x) \times \text{depthvalue}(x_a, y_a)}{f_x}$
  • $Y_p = \frac{(y_a - c_y) \times \text{depthvalue}(x_a, y_a)}{f_y}$
  • $Z_p = \text{depthvalue}(x_a, y_a)$
  • Màu sắc tương ứng: $C(r, g, b) = \text{colorvalue}(x_a, y_a)$

Quy trình nghiên cứu thực nghiệm được tổ chức thống nhất theo mô hình 3 pha:

  • Pha 1 (Chuẩn bị và tiền xử lý dữ liệu): Thu thập dữ liệu video võ thuật từ cảm biến MS Kinect v1 thông qua Microsoft SDK 1.8 và thư viện OpenCV; thực hiện hiệu chỉnh đồng trục ảnh màu và ảnh độ sâu; tái tạo đám mây điểm 3-D có cấu trúc kích thước 640 × 480 điểm ảnh.
  • Pha 2 (Ước lượng khung xương 2-D và khôi phục 3-D): Huấn luyện các mô hình mạng nơ ron tích chập (CPM, HRNet, Stacked Hourglass) để tạo bản đồ điểm nổi bật (heatmaps), trích xuất 14 hoặc 15 điểm đại diện trên ảnh màu 2-D. Sau đó, các tọa độ này được chiếu vào không gian 3-D thông qua ma trận tham số trong và so khớp với thư viện tư thế chuẩn (chứa hàng triệu mẫu khung xương 3-D) để khôi phục toàn bộ các khớp bị che khuất. Áp dụng các phép biến đổi xoay và dịch ma trận để đồng nhất hệ trục tọa độ của dữ liệu ước lượng với dữ liệu gốc (ground truth).
  • Pha 3 (Phân loại và chấm điểm động tác): Trích xuất 8 vector chi đại diện cho chuyển động tay và chân; sử dụng cây phân loại và mạng nơ ron LSTM để nhận dạng thế tấn công và thế thủ; đối chiếu sai lệch góc của các vector chi tại các vị trí dừng trọng tâm so với dữ liệu chuẩn của võ sư để chấm điểm.

Nguồn dữ liệu sử dụng trong luận án gồm:

  • Cơ sở dữ liệu chuẩn quốc tế: Human3.6M (gồm 3.6 triệu tư thế 3-D của 11 diễn viên thu qua hệ thống MOCAP 10 camera và cảm biến TOF), MS COCO Keypoints Challenge 2016, MPII, HumanEva-I, LSP, và cơ sở dữ liệu MADS (Martial Arts, Dancing and Sports).
  • Cơ sở dữ liệu thực nghiệm xây dựng mới: Bộ cơ sở dữ liệu VNMA (VietNam Martial Arts) và SVNMA do nghiên cứu sinh trực tiếp thu thập tại Quy Nhơn, Bình Định với sự tham gia của 5 võ sư (Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Phạm Ngọc Dương, Bùi Thị Lành, Nguyễn Quốc Tiễn) và học viên, bao gồm 36 động tác quyền thuật cổ truyền hoàn chỉnh.

Các độ đo kỹ thuật dùng để đánh giá gồm: sai số trung bình vị trí các khớp MPJPE (Mean Per Joint Position Error tính bằng milimet - mm), độ chính xác trung bình AP (Average Precision), độ lệch góc trung bình AD (Average Deviation), chỉ số tương tự điểm đại diện OKS và tỷ lệ phát hiện đúng khớp PCK/PCKh.

Nội dung chính theo từng chương

Chương 1: TỔNG QUAN

Chương 1 hệ thống hóa cơ sở lý thuyết về học máy, học sâu và khảo sát toàn diện các công trình nghiên cứu liên quan đến ước lượng tư thế người. Tác giả phân tích cấu trúc của các mô hình phân loại học máy có giám sát và không giám sát, nguyên lý hoạt động của các mạng tích chập sâu và các mạng tuần tự.

Nội dung khảo sát tập trung làm rõ hai nhánh công nghệ chính: các hệ thống khôi phục hoạt động người trong không gian 3-D từ một cảm biến hoặc đa cảm biến và các tiêu chuẩn chấm điểm võ thuật thể thao hiện có. Luận án phân tích sâu các phương pháp ước lượng khung xương 2-D từ ảnh màu và ảnh độ sâu (tiếp cận dựa trên mô hình biến dạng DPM, APM, rừng ngẫu nhiên của Shotton, mạng Hourglass và HRNet), chỉ rõ nhược điểm mất thông tin khi có sự che khuất. Đối với không gian 3-D, chương khảo sát chi tiết các phương pháp ước lượng từ một ảnh đơn (áp dụng thư viện tư thế 3-D) và từ chuỗi hình ảnh liên tiếp (tận dụng mối liên hệ thời gian qua LSTM). Cuối cùng, chương 1 giới thiệu cấu trúc phần cứng cảm biến MS Kinect v1, phân tích giới hạn đo thực tế từ 0.8m đến 4m, các hiện tượng suy hao dữ liệu do hấp thụ bề mặt hồng ngoại, và thiết lập công thức toán học hiệu chỉnh tham số trong ma trận $H_m$ để chuyển đổi dữ liệu pixel sang hệ tọa độ đám mây điểm 3-D.

Chương 2: ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D

Chương 2 trình bày chi tiết phương pháp ước lượng khung xương trên không gian ảnh 2-D, kỹ thuật chiếu sang không gian 3-D và giải quyết bài toán mất dữ liệu do che khuất trên dữ liệu võ thuật cổ truyền.

Trong không gian 2-D, tác giả thực hiện nghiên cứu so sánh giữa các kiến trúc học sâu gồm Convolutional Pose Machines (CPM) và HRNet. Dữ liệu đầu vào từ các video võ thuật được trích xuất đặc trưng bản đồ nhiệt (heatmaps) để định vị 14 đến 17 điểm đại diện (đầu, cổ, vai, khuỷu tay, cổ tay, hông, đầu gối, cổ chân, ngón chân). Kết quả ước lượng 2-D được kiểm nghiệm trên tập dữ liệu VNMA và SVNMA thông qua độ đo độ chính xác trung bình (AP), độ lệch góc trung bình (AD) và khoảng cách sai lệch pixel.

Để đánh giá chính xác trong không gian 3-D, tác giả thiết lập thuật toán xoay và dịch dữ liệu nhằm đồng nhất hệ trục tọa độ giữa khung xương ước lượng và khung xương gốc. Sau đó, tác giả tiến hành so sánh ba phương thức ước lượng 3-D: "3-D_COCO_Method" (huấn luyện trên COCO), "3-D_Human3.6_Method" (huấn luyện trên Human3.6M) và "3-D_VNECT_Method" (huấn luyện trên MPII, LSP) trên hai bộ dữ liệu VNMA và MADS với cấu hình 14 và 15 điểm xương.

Cơ sở dữ liệu Cấu hình điểm xương Phương thức ước lượng Độ đo sai số MPJPE (mm)
VNMA 14 điểm đại diện 3-D_COCO_Method 94.2
VNMA 14 điểm đại diện 3-D_Human3.6_Method 86.5
VNMA 14 điểm đại diện 3-D_VNECT_Method 79.8
MADS 14 điểm đại diện 3-D_COCO_Method 102.4
MADS 14 điểm đại diện 3-D_Human3.6_Method 91.7
MADS 14 điểm đại diện 3-D_VNECT_Method 83.1
VNMA 15 điểm đại diện 3-D_VNECT_Method 81.4
MADS 15 điểm đại diện 3-D_VNECT_Method 85.6

Đặc biệt, chương 2 chứng minh thực nghiệm khả năng khôi phục khung xương bị che khuất: khi người biểu diễn thực hiện động tác xoay nghiêng hoặc quay lưng lại cảm biến (dữ liệu độ sâu của một bên tay hoặc chân bị mất hoàn toàn trên ảnh Kinect), việc kết hợp bộ ước lượng 2-D với thư viện mô hình 3-D đã khôi phục thành công toàn bộ tọa độ các khớp bị che khuất (thể hiện rõ trên video số 1 và video số 24 của tập dữ liệu VNMA).

Chương 3: NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ TRUYỀN VIỆT NAM

Chương 3 trình bày việc xây dựng ứng dụng nhận dạng đòn thế tấn công và hệ thống tự động chấm điểm bài võ cổ truyền.

Từ các khớp xương do Kinect cung cấp, tác giả thiết lập mô hình biểu diễn cơ thể người thông qua 8 vector chi chính, bao gồm: vector cẳng tay phải, cánh tay phải, cẳng tay trái, cánh tay trái, đùi phải, cẳng chân phải, đùi trái và cẳng chân trái. Tọa độ các khớp và góc giữa các vector chi (như góc khuỷu tay, góc đầu gối) được trích xuất làm véc tơ đặc trưng đầu vào cho các thuật toán phân loại.

Đối với bài toán nhận diện động tác tấn công: Tác giả triển khai hai mô hình phân lớp gồm Cây quyết định (Decision Tree / Rừng ngẫu nhiên) và Mạng nơ ron hồi quy LSTM (gồm 4 tầng ẩn: 3 tầng sigmoid và 1 tầng tanh). Mạng LSTM cho khả năng học chuỗi tín hiệu thời gian tốt hơn, phân biệt chính xác giữa các thế võ công và thế võ thủ trên tập kiểm thử (Test).

Đối với mô hình chấm điểm võ thuật:

  1. Thu nhận dữ liệu chuẩn: Tác giả ghi hình và trích xuất khung xương chuyển động chuẩn của các võ sư Bình Định thực hiện 36 động tác võ cổ truyền Việt Nam.
  2. Xác định vị trí dừng: Thuật toán tự động phát hiện các thời điểm vận tốc khớp triệt tiêu hoặc chuyển hướng chuyển động, đánh dấu các vị trí dừng chuẩn của từng thế võ.
  3. Công thức tính điểm: Điểm số của từng động tác được xác định dựa trên mức độ sai lệch góc giữa 8 vector chi của người tập so với vector chi mẫu của võ sư tại các vị trí dừng tương ứng.

Tác giả đã xây dựng phần mềm hoàn chỉnh có giao diện đồ họa trực quan (GUI), cho phép nạp video người tập, hiển thị khung xương 3-D, tự động nhận dạng thế đánh và xuất bảng thống kê điểm trung bình của 36 động tác võ cổ truyền Việt Nam.

Kết quả và những đóng góp mới

Luận án đã đạt được các kết quả cụ thể và đóng góp mới về mặt khoa học cũng như thực tiễn như sau:

Về mặt khoa học và phương pháp luận:

  • Luận án đã đề xuất giải pháp tích hợp giữa mô hình học sâu ước lượng tư thế 2-D trên ảnh màu và mô hình chiếu hình học sang không gian 3-D kết hợp thư viện tư thế chuẩn. Giải pháp này khắc phục được nhược điểm mất khớp do che khuất của cảm biến chiều sâu rẻ tiền MS Kinect v1 từ một góc nhìn duy nhất, đảm bảo tái tạo đầy đủ toàn bộ khung xương 3-D mà không cần trang bị hệ thống thu nhận chuyển động đắt tiền.
  • Thiết lập quy trình toán học hoàn chỉnh về hiệu chỉnh camera, biến đổi ma trận tham số trong và đồng bộ hệ tọa độ dữ liệu thực nghiệm thông qua các phép toán xoay, dịch trong không gian 3-D.

Về mặt thực tiễn và ứng dụng:

  • Xây dựng và công bố bộ cơ sở dữ liệu video và khung xương võ thuật cổ truyền Việt Nam (VNMA và SVNMA) gồm 36 động tác chuẩn của các võ sư Bình Định và học sinh phổ thông, cung cấp nguồn dữ liệu thực nghiệm cho cộng đồng nghiên cứu thị giác máy tính trong nước.
  • Xây dựng mô hình và phần mềm ứng dụng tự động nhận diện đòn đánh tấn công/phòng thủ và chấm điểm kỹ thuật các bài võ cổ truyền. Ứng dụng này tạo tiền đề số hóa cho việc tự học, tự rèn luyện thể chất của học sinh tại các trường phổ thông theo định hướng đổi mới giáo dục thể chất từ năm 2016.

Kiến nghị và giải pháp đề xuất từ tác giả:

  • Đề xuất đưa phần mềm chấm điểm vào hỗ trợ giảng dạy thể dục tại các trường trung học cơ sở và trung học phổ thông, giúp giảm tải công sức hướng dẫn trực tiếp của giáo viên và tăng tính chủ động của học sinh.
  • Kiến nghị mở rộng công tác số hóa dữ liệu chuyển động 3-D cho toàn bộ hệ thống các bài quyền, bài binh khí cổ truyền của các môn phái võ thuật Việt Nam nhằm mục đích bảo tồn di sản văn hóa phi vật thể trước nguy cơ mai một.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu (được tác giả chỉ rõ trong văn bản luận án):

  • Ràng buộc phần cứng của cảm biến MS Kinect v1: Khoảng cách làm việc bị giới hạn nghiêm ngặt trong khoảng 0.8m đến 4m; góc quay nghiêng tối đa chỉ đạt 30 độ; dữ liệu chiều sâu dễ bị mất hoàn toàn nếu bề mặt đối tượng là màu đen, có độ bóng cao (hấp thụ tia hồng ngoại), vùng tóc hoặc khi đối tượng di chuyển ra quá xa vùng đo hiệu dụng.
  • Chi phí thời gian tính toán: Dữ liệu đám mây điểm 3-D tạo ra từ ảnh 640 × 480 có số lượng điểm rất lớn (vài trăm nghìn điểm), kết hợp quy trình ước lượng qua hai giai đoạn (2-D sang 3-D) khiến thời gian xử lý một khung hình còn cao, chưa đạt mức thời gian thực trên các máy tính thông thường không có GPU chuyên dụng mạnh.
  • Giới hạn ngữ cảnh thực nghiệm: Hệ thống hiện mới chỉ xử lý video biểu diễn đơn người (chỉ có duy nhất một người trong khung hình), chưa giải quyết được bài toán phân đoạn và ước lượng khi có nhiều người cùng chuyển động hoặc các tình huống thi đấu đối kháng có sự va chạm, che khuất lẫn nhau.
  • Mức độ hoàn thiện ứng dụng: Hệ thống chấm điểm mới dừng lại ở mô hình thử nghiệm hỗ trợ tập luyện phổ thông, chưa đạt độ chính xác khắt khe để thay thế trọng tài trong các giải thi đấu thể thao chuyên nghiệp.

Hướng nghiên cứu tiếp theo:

  • Tối ưu hóa thuật toán ước lượng và cấu trúc mạng học sâu nhằm giảm thời gian xử lý, hướng tới khả năng khôi phục khung xương và chấm điểm theo thời gian thực (real-time).
  • Nâng cấp và thử nghiệm hệ thống trên các dòng cảm biến chiều sâu thế hệ mới có độ phân giải và độ chính xác cao hơn như Microsoft Kinect v2, Intel RealSense D435.
  • Mở rộng mô hình để giải quyết bài toán ước lượng khung xương nhiều người (multi-person pose estimation) trong các bài tập đối luyện hoặc thi đấu đối kháng trực tiếp.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị chuyên môn cụ thể cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và kỹ sư ngành Kỹ thuật điện tử, Công nghệ thông tin, Thị giác máy tính: Nội dung Chương 2 và các công thức chuyển đổi tọa độ ở Chương 1 cung cấp tài liệu chi tiết về kỹ thuật xử lý ảnh chiều sâu, cách hiệu chỉnh ma trận tham số trong camera, phương pháp xoay dịch đồng nhất tọa độ 3-D và giải pháp khắc phục hiện tượng che khuất dữ liệu bằng mạng CNN kết hợp thư viện tư thế.
  • Giảng viên và nhà nghiên cứu trong lĩnh vực Khoa học thể thao, Văn hóa học: Cung cấp phương pháp luận về việc ứng dụng công nghệ thông tin vào bảo tồn di sản phi vật thể; phương pháp thiết lập bộ cơ sở dữ liệu chuyển động (VNMA) từ các võ sư truyền thống.
  • Cán bộ quản lý giáo dục, giáo viên thể chất tại các trường phổ thông: Mô hình chấm điểm và nhận diện động tác ở Chương 3 cung cấp giải pháp thực tế có thể áp dụng để triển khai các lớp học võ thuật tự động hóa, hỗ trợ kiểm tra và đánh giá học sinh một cách khách quan.

Câu hỏi thường gặp

  1. Thiết bị cảm biến chính được sử dụng trong luận án là gì và có các ràng buộc kỹ thuật nào khi thu thập dữ liệu? Luận án sử dụng duy nhất một cảm biến Microsoft Kinect phiên bản 1 (MS Kinect v1) kết nối với máy tính qua cổng USB. Ràng buộc kỹ thuật gồm: khoảng cách đo từ 0.8m đến 4m; không gian biểu diễn 3m × 3m; góc nghiêng tối đa 30 độ quanh tâm trục; độ phân giải ảnh màu và độ sâu là 640 × 480 điểm ảnh; người thực hiện từ 12 tuổi trở lên, mặc võ phục không bóng để tránh hấp thụ ánh sáng hồng ngoại.

  2. Luận án giải quyết hiện tượng khớp xương bị che khuất trong không gian 3-D bằng cách nào? Tác giả áp dụng mô hình kết hợp: đầu tiên sử dụng mạng nơ ron tích chập (như CPM hoặc HRNet) ước lượng các điểm đại diện trên ảnh màu 2-D; sau đó dùng ma trận tham số trong của cảm biến để chiếu các điểm này vào không gian 3-D; cuối cùng so khớp với thư viện khung xương 3-D chuẩn (xây dựng từ hàng triệu tư thế chuyển động) để bù đắp và khôi phục lại vị trí của các khớp bị che khuất.

  3. Bộ cơ sở dữ liệu VNMA được xây dựng từ nguồn nào và bao gồm những nội dung gì? Bộ dữ liệu VNMA (VietNam Martial Arts) được nghiên cứu sinh thu thập trực tiếp tại thành phố Quy Nhơn, tỉnh Bình Định với sự hỗ trợ chuyên môn của 5 võ sư thuộc Trung tâm Võ thuật cổ truyền Bình Định và các võ sinh phổ thông. Bộ dữ liệu bao gồm các video ảnh màu, ảnh độ sâu và tọa độ khung xương của 36 động tác võ cổ truyền Việt Nam hoàn chỉnh.

  4. Mô hình nhận diện động tác tấn công trong Chương 3 sử dụng thuật toán nào và đạt cấu trúc ra sao? Tác giả sử dụng hai phương pháp: Cây phân loại (Decision Tree / Rừng ngẫu nhiên) dựa trên việc phân chia ngưỡng các đặc trưng góc khuỷu tay và vector chi; và Mạng nơ ron tái phát LSTM được thiết kế gồm 4 tầng ẩn tương tác (3 cổng sigmoid và 1 hàm tanh) để học mối quan hệ thời gian của chuỗi chuyển động, phân loại giữa thế công và thế thủ.

  5. Nguyên lý hoạt động của mô hình tự động chấm điểm động tác võ cổ truyền là gì? Mô hình dựa trên việc trích xuất 8 vector chi từ khung xương người tập. Hệ thống tự động xác định các vị trí dừng trọng tâm của động tác, sau đó đo đạc góc lệch giữa các vector chi của người tập so với vector chi mẫu trong cơ sở dữ liệu chuẩn do võ sư thực hiện, từ đó tính toán điểm số kỹ thuật trung bình cho 36 động tác.

Kết luận

Luận án "Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu" của nghiên cứu sinh Nguyễn Tường Thành đã giải quyết một bài toán kỹ thuật có tính ứng dụng thực tiễn cao: khôi phục khung xương 3-D bị che khuất và tự động hóa đánh giá động tác võ thuật chỉ từ một cảm biến độ sâu Kinect v1 giá rẻ. Bằng việc kết hợp mạng tích chập 2-D với thư viện tư thế 3-D và mô hình phân loại chuỗi thời gian LSTM, luận án đã xây dựng thành công phần mềm nhận dạng thế đánh và chấm điểm 36 động tác võ cổ truyền Việt Nam dựa trên bộ dữ liệu VNMA tự xây dựng. Đây là công trình nghiên cứu hoàn chỉnh, đóng góp cả về mặt giải thuật thị giác máy tính lẫn giá trị thực tiễn trong công tác bảo tồn di sản văn hóa và hiện đại hóa giáo dục thể chất học đường.