Luận Án Tiến Sĩ: Mô Hình Nhận Dạng Tư Thế Võ Dựa Trên Ảnh Chiều Sâu

Chuyên đề nghiên cứu Mô Hình Nhận Dạng Tư Thế Võ Từ Ảnh Chiều Sâu, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia chuyên ngành

• Tác giả: Nguyễn Tường Thành
• Người hướng dẫn: TS. Lê Dũng
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Mô Hình Nhận Dạng Tư Thế Võ Từ Ảnh Chiều Sâu
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Học máy, học sâu và ứng dụng
• 1.2. Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật
• 1.2.1. Hệ thống khôi phục hoạt động của người trong không gian 3-D
• 1.2.2. Hệ thống chấm điểm võ thuật
• 1.3. Ước lượng khung xương trên cơ thể người trong không gian 2-D
• 1.3.1. Ước lượng khung xương trên ảnh màu
• 1.3.2. Ước lượng khung xương trên ảnh độ sâu
• 1.3.3. Ước lượng tư thế dựa trên đối tượng và ngữ cảnh hoạt động
• 1.3.4. Ước lượng khung xương và tư thế người trong môi trường 3-D
• 1.3.4.1. Phục hồi tư thế 3-D của người từ một ảnh
• 1.3.4.2. Phục hồi tư thế 3-D của người
• 1.3.4.2.1. Phục hồi khung xương, tư thế người trong không gian 3-D từ một ảnh
• 1.3.4.2.2. Phục hồi khung xương, tư thế người trong không gian 3-D từ một chuỗi ảnh
• 1.3.5. Các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D
• 1.3.5.1. Giới thiệu Kinect
• 1.3.5.2. Hiệu chỉnh dữ liệu thu từ cảm biến Kinect
• 1.6. Tổng kết chương
• 2. CHƯƠNG 2: ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D
• 2.1. Ước lượng khung xương trong không gian 2-D
• 2.1.1. Các nghiên cứu liên quan
• 2.1.2. Sử dụng học sâu cho việc ước lượng các hành động trong bài võ cổ truyền trong không gian 2-D
• 2.1.2.1. Phương thức
• 2.1.2.2. Cơ sở dữ liệu các bài võ cổ truyền
• 2.1.2.3. Phương thức đánh giá
• 2.1.2.4. Xoay và dịch dữ liệu trong không gian 3-D
• 2.1.2.5. Kết quả ước lượng và nhận xét
• 2.2. Phục hồi khung xương, tư thế người trong không gian 3-D và bị che khuất
• 2.2.1. Các nghiên cứu liên quan
• 2.2.2. Phục hồi khung xương, tư thế người trong không gian 3-D
• 2.2.2.1. Nghiên cứu so sánh về khôi phục khung xương người trong không gian 3-D
• 2.2.2.2. Thí nghiệm và kết quả ước lượng khung xương 3-D
• 2.2.2.3. Ước lượng khung xương, tư thế người khi bị che khuất
• 2.3. Tổng kết chương
• 3. CHƯƠNG 3: NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ TRUYỀN VIỆT NAM
• 3.1. Nhận diện động tác tấn công
• 3.1.1. Xử lý dữ liệu
• 3.1.2. Trích xuất đặc trưng cơ thể người với camera Kinect
• 3.1.3. Nhận diện động tác tấn công bằng cây phân loại
• 3.1.4. Nhận diện động tác tấn công bằng mạng nơ ron
• 3.2. Các nghiên cứu liên quan
• 3.3. Cơ sở lý thuyết để nhận diện động tác tấn công và chấm điểm động tác võ
• 3.3.1. Mô hình chấm điểm động tác võ cổ truyền
• 3.3.1.1. Mô tả động tác người
• 3.3.1.2. Công thức chấm điểm
• 3.6. Tổng kết chương
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Nhận dạng tư thế từ ảnh chiều sâu Tổng quan và các phương pháp hiện có

Phần này tập trung vào nhận dạng tư thế và phân tích tư thế võ thuật từ ảnh chiều sâu. Học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), đóng vai trò quan trọng trong việc trích xuất đặc trưng và ước lượng tư thế. Nhiều nghiên cứu đã ứng dụng CNN nhận dạng tư thế để giải quyết bài toán này. Các phương pháp này thường bao gồm các bước: xử lý ảnh chiều sâu, trích xuất đặc trưng, phân loại tư thế. OpenPose và MediaPipe là hai thư viện phổ biến được sử dụng. Các thuật toán nhận dạng ảnh khác cũng được tích hợp để cải thiện độ chính xác. Deep learning pose estimation và pose estimation from depth image là hai khía cạnh then chốt. Keypoint detection và skeleton estimation là các bước quan trọng trong quá trình xác định tư thế. Dữ liệu huấn luyện mô hình đóng vai trò quyết định đến hiệu quả. Việc thu thập dữ liệu chất lượng cao từ các cảm biến độ sâu như Kinect là rất cần thiết. Đánh giá hiệu quả mô hình thông qua các chỉ số như MPJPE giúp so sánh các phương pháp khác nhau.

1.1 Ước lượng khung xương 3D từ ảnh chiều sâu

Ước lượng khung xương là bước cơ bản trong nhận dạng tư thế. Từ ảnh chiều sâu, các phương pháp dựa trên mạng nơ-ron tích chập (CNN) được sử dụng để xác định vị trí các khớp xương (keypoints) trên cơ thể. 3D pose estimation là mục tiêu chính. Hệ thống khôi phục hoạt động của người trong không gian 3-D dựa trên thông tin chiều sâu giúp tái tạo tư thế 3D chính xác hơn so với chỉ sử dụng ảnh 2D. Việc sử dụng mạng học sâu cho phép xử lý ảnh phức tạp, bao gồm cả trường hợp bị che khuất. Các mô hình máy học như Convolutional Pose Machines (CPM) hay High-Resolution Network (HRNet) được áp dụng để cải thiện độ chính xác của việc phục hồi khung xương. TensorFlow và PyTorch là hai nền tảng phổ biến để triển khai các mô hình này. Mô hình máy học cần được tối ưu hóa để đạt hiệu quả cao nhất. Dữ liệu huấn luyện phải đa dạng và phong phú để mô hình có khả năng tổng quát tốt. Phân tích chuyển động cũng là một yếu tố quan trọng cần được xem xét.

1.2 Thách thức và giải pháp trong nhận dạng tư thế võ thuật

Nhận dạng tư thế võ thuật đặt ra nhiều thách thức. Tư thế võ thuật thường phức tạp, động tác nhanh và liên tục thay đổi. Ảnh chiều sâu có thể bị nhiễu hoặc thiếu thông tin do các vật cản. Nhận diện động tác tấn công đòi hỏi độ chính xác cao. Mô hình lightweight có thể được sử dụng để giảm chi phí tính toán, phù hợp với các ứng dụng thực tế. Phục hồi chênh lệch chức năng có thể được sử dụng để xử lý những trường hợp bị che khuất một phần. Việc sử dụng mạng nơ-ron tái diễn (RNN) hoặc LSTM có thể cải thiện khả năng xử lý chuỗi thời gian, giúp hiểu được sự chuyển đổi giữa các tư thế. Thuật toán nhúng và phân tích chuyển động đóng vai trò quan trọng. Action recognition là một lĩnh vực nghiên cứu liên quan chặt chẽ. Đánh giá hiệu quả mô hình cần được thực hiện trên các tập dữ liệu thực tế, đa dạng về tư thế và điều kiện.

II. Ứng dụng của mô hình nhận dạng tư thế võ thuật

Mô hình nhận dạng tư thế võ thuật có nhiều ứng dụng thực tiễn. Ứng dụng thể thao bao gồm huấn luyện, phân tích kỹ thuật và chấm điểm. Ứng dụng y tế để phục hồi chức năng, theo dõi bệnh nhân. Giám sát an ninh để phát hiện hành vi bất thường. Game và AR/VR tạo ra trải nghiệm tương tác thực tế. Phân tích chuyển động cho phép hiểu rõ hơn về động tác võ thuật. Mô hình nhận dạng tư thế võ thuật thời gian thực sẽ hỗ trợ quá trình huấn luyện hiệu quả hơn. Nhận dạng tư thế nhiều người mở rộng khả năng ứng dụng trong các tình huống phức tạp. Phục hồi chức năng giúp người dùng cải thiện kỹ thuật. Giảm sát an ninh đóng vai trò quan trọng trong việc đảm bảo an toàn. Việc tích hợp với các hệ thống khác như phần mềm chấm điểm sẽ làm tăng tính ứng dụng thực tiễn.

2.1 Ứng dụng trong huấn luyện và đào tạo võ thuật

Mô hình nhận dạng tư thế võ thuật có thể được tích hợp vào các phần mềm huấn luyện. Hệ thống cung cấp phản hồi tức thì về tư thế, giúp người tập điều chỉnh động tác. Phân tích chuyển động chi tiết cung cấp thông tin về các điểm mạnh, yếu của người tập. Việc chấm điểm tự động giúp tiết kiệm thời gian và công sức của huấn luyện viên. Mô hình nhận dạng tư thế thời gian thực là một giải pháp lý tưởng. Ứng dụng thể thao này giúp nâng cao hiệu quả luyện tập. Ứng dụng y tế trong việc phục hồi chức năng cũng là một hướng đi tiềm năng. Phần mềm chấm điểm có thể tích hợp trực tiếp vào hệ thống đào tạo. Sự kết hợp giữa công nghệ và võ thuật sẽ tạo ra một phương pháp huấn luyện hiện đại và hiệu quả hơn.

2.2 Khả năng mở rộng và phát triển trong tương lai

Nghiên cứu về nhận dạng tư thế võ thuật vẫn đang phát triển. Việc cải thiện độ chính xác của mô hình là mục tiêu hàng đầu. Dữ liệu huấn luyện chất lượng cao và đa dạng là cần thiết. Mô hình lightweight giúp ứng dụng trên các thiết bị có nguồn lực hạn chế. Nhận dạng tư thế nhiều người trong cùng một khung hình là một thách thức cần giải quyết. Tích hợp với các công nghệ khác như AR/VR sẽ mở ra nhiều khả năng mới. Bài toán thị giác máy tính liên quan đến nhận dạng hành động cần được nghiên cứu sâu hơn. Phát triển các thuật toán tối ưu giúp tăng tốc độ xử lý và giảm chi phí tính toán. Sự phát triển của công nghệ sẽ tạo điều kiện cho việc ứng dụng rộng rãi mô hình này trong nhiều lĩnh vực khác nhau.

Nội dung chính

Tổng quan về luận án

Bảo tồn di sản văn hóa phi vật thể và chuẩn hóa chương trình giáo dục thể chất quốc gia đặt ra yêu cầu cấp thiết về việc số hóa các chuyển động võ thuật truyền thống. Tại Việt Nam, từ năm 2016, các bài võ cổ truyền chính thức được đưa vào giảng dạy trong các trường phổ thông nhằm rèn luyện thể chất và trang bị kỹ năng tự vệ cho học sinh. Tuy nhiên, việc truyền dạy và đánh giá kỹ thuật võ thuật từ trước đến nay chủ yếu mang tính định tính, phụ thuộc vào hình thức "truyền miệng, qua các hình vẽ các thế võ liên tục và đời trước dạy cho đời sau, nên các thế võ có thể bị biến tướng và không chuẩn xác". Khoảng trống nghiên cứu then chốt (research gap) nằm ở sự thiếu hụt các mô hình thị giác máy tính 3-D có khả năng khôi phục khung xương hoàn chỉnh từ một cảm biến đơn kênh giá rẻ khi đối mặt với chuyển động phi tuyến tốc độ cao, góc xoay 360 độ và hiện tượng che khuất nghiêm trọng (severe occlusion). Trong khi các hệ thống thương mại sử dụng hệ thống bắt chuyển động quang học đa camera (Motion Capture - MOCAP) như Vicon hay Qualisys có chi phí lên tới hàng chục nghìn USD, việc ứng dụng đại trà trong trường học đòi hỏi giải pháp phần cứng tối giản.

Luận án tiến sĩ kỹ thuật điện tử (Mã số: 9520203) của nghiên cứu sinh Nguyễn Tường Thành, dưới sự hướng dẫn khoa học của TS. Lê Dũng và TS. Phạm Thành Công tại Trường Đại học Bách khoa Hà Nội, tập trung giải quyết các câu hỏi nghiên cứu cốt lõi:

• RQ1: Làm thế nào để ước lượng và phục hồi chính xác khung xương 3-D của người biểu diễn võ thuật trong điều kiện bị che khuất chuyển động bằng cách kết hợp thông tin 2-D và ảnh chiều sâu từ một cảm biến đơn lẻ?
• RQ2: Cơ chế ánh xạ hình học và mô hình hóa không gian nào cho phép đồng bộ hóa dữ liệu đám mây điểm (point clouds) và khung xương ước lượng với hệ tọa độ chuẩn thế giới thực?
• RQ3: Mô hình toán học nào cho phép tự động phân loại động tác tấn công/phòng thủ và lượng hóa điểm số kỹ thuật của 36 động tác võ cổ truyền Việt Nam đạt độ tương thích cao với đánh giá của võ sư chuyên nghiệp?

Các giả thuyết nghiên cứu được xác lập:

• H1: Việc tích hợp mạng nơ-ron tích chập 2-D tiên tiến (Convolutional Pose Machines/HRNet) với không gian tìm kiếm hình học 3-D từ cơ sở dữ liệu mẫu sẽ giảm thiểu sai số trung bình vị trí khớp nối (Mean Per Joint Position Error - MPJPE) xuống dưới mức sai số của cảm biến chiều sâu đơn thuần.
• H2: Trích xuất đặc trưng góc khớp động lực học kết hợp so khớp véc-tơ chi định hướng $(VE - VG)$ cho phép chấm điểm chuẩn xác chuyển động võ thuật bất biến với tầm vóc cơ thể và vị trí người tập.

Nghiên cứu được định vị trên nền tảng lý thuyết thị giác máy tính, lý thuyết biểu diễn đa tạp nhóm Lie $SE(3)$, và mô hình học sâu tích chập nhiều tầng. Phạm vi thực nghiệm bao gồm bộ dữ liệu võ cổ truyền Việt Nam (VNMA/SVNMA) thu thập tại Trung tâm Võ thuật cổ truyền Bình Định với không gian hoạt động $3\text{m} \times 3\text{m}$, tầm đo cảm biến từ $0.8\text{m} - 4.0\text{m}$, xử lý dữ liệu ảnh màu và ảnh độ sâu độ phân giải $640 \times 480$ pixels ở tốc độ 10–30 khung hình/giây.

Literature Review và Positioning

Lịch sử nghiên cứu ước lượng tư thế người (Human Pose Estimation - HPE) trải qua sự chuyển dịch mô hình sâu sắc từ các phương pháp tiếp cận dựa trên mô hình biến dạng bộ phận sang kiến trúc mạng nơ-ron sâu đa tầng. Trong không gian 2-D, Felzenszwalb et al. (2010) thiết lập nền tảng với mô hình Deformable Part Model (DPM) sử dụng bộ lọc gốc và các bộ lọc thành phần được huấn luyện qua Support Vector Machine (SVM). Sun et al. (2012) phát triển Articulated Part-based Model (APM) mô tả cơ thể theo cấu trúc phả hệ cây từ thô đến mịn. Tuy nhiên, các kỹ thuật truyền thống này hoàn toàn thất bại khi xảy ra hiện tượng tự che khuất (self-occlusion) trong các động tác võ thuật phức tạp.

Sự bùng nổ của Deep Learning đã định hình lại bài toán 2-D HPE với Convolutional Pose Machines (Wei et al., 2016), Stacked Hourglass Networks (Newell et al., 2016) và High-Resolution Network (Sun et al., 2019), cho phép duy trì biểu diễn đặc trưng phân giải cao xuyên suốt mạng. Đối với phục hồi 3-D từ một ảnh đơn, cuộc tranh luận học thuật phân chia thành hai trường phái:

• Trường phái tiếp cận trực tiếp (Direct 3D Estimation): Dự đoán trực tiếp tọa độ 3-D từ voxel/heatmap khối (Pavlakos et al., 2017; Sun et al., 2018). Ưu điểm là tận dụng toàn bộ ngữ cảnh ảnh nhưng đòi hỏi khối lượng tính toán khổng lồ và dữ liệu huấn luyện 3-D gán nhãn chính xác tuyệt đối.
• Trường phái nâng chiều 2-D sang 3-D (2D-to-3D Pose Lifting): Ước lượng keypoints 2-D trước, sau đó ánh xạ sang không gian 3-D thông qua mô hình học từ điển hoặc tối ưu hình học (Martinez et al., 2017; Tome et al., 2017; Fang et al., 2018). Tome et al. (2017) chứng minh rằng việc kết hợp mạng trích xuất 2-D với kho tri thức tư thế 3-D tiền định mang lại độ bền vững vượt trội khi dữ liệu ảnh bị nhiễu.

Khi so sánh với các nghiên cứu quốc tế, nghiên cứu của Hossain et al. (2018) khai thác mạng LSTM để duy trì tính nhất quán thời gian nhưng đòi hỏi chuỗi khung hình liên tục và không xử lý tốt trường hợp mất dấu dài. Vemulapalli et al. (2014) mô hình hóa cấu trúc xương thông qua nhóm Lie $SE(3) \times \dots \times SE(3)$ và Dynamic Time Warping (DTW), tuy nhiên mô hình này giả định dữ liệu đầu vào là khung xương lý tưởng không bị nhiễu cảm biến. Nghiên cứu của NCS Nguyễn Tường Thành định vị chính xác tại điểm giao cắt: khai thác tính kinh tế của cảm biến chiều sâu MS Kinect v1, khắc phục triệt để hiện tượng mất khung xương bằng pipeline hybrid kết hợp trích xuất 2-D và ánh xạ thư viện 3-D cấu trúc, kiểm chứng thực nghiệm trên bộ dữ liệu quốc tế Martial Arts, Dancing and Sports (MADS) và Human3.6M (Ionescu et al., 2014).

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng lý thuyết biểu diễn cấu trúc giải phẫu học trong thị giác máy tính thông qua việc bổ sung các ràng buộc động học phi tuyến (kinematic constraints) vào quá trình nâng chiều không gian từ 2-D sang 3-D. Bằng cách kế thừa định nghĩa của Giáo sư Tom Mitchell (1997) về học máy: "Một chương trình máy tính được nói là học hỏi từ kinh nghiệm E từ các tác vụ T và với độ đo hiệu suất P. Nếu hiệu suất của nó áp dụng trên tác vụ T và được đo lường bởi độ đo P tăng từ kinh nghiệm E", nghiên cứu thiết lập kinh nghiệm $E$ là kho dữ liệu tư thế 3-D quy mô lớn ($>3.6$ triệu mẫu), tác vụ $T$ là khôi phục toàn vẹn 17 điểm khớp nối từ 14 điểm quan sát 2-D bị che khuất, và độ đo $P$ là sai số khoảng cách Euclidean và chỉ số MPJPE.

Mô hình lý thuyết thiết lập các mệnh đề khoa học:

• Mệnh đề 1 (Proposition 1): Tồn tại một ánh xạ song xạ cục bộ giữa không gian phân bố điểm ảnh 2-D $(x, y)$ và không gian tọa độ thực $(X, Y, Z)$ khi và chỉ khi kết hợp ma trận tham số trong camera $H_m$ với ràng buộc chiều dài xương bất biến $L_{ij} = |P_i - P_j|_2 = \text{const}$.
• Mệnh đề 2 (Proposition 2): Khi xảy ra hiện tượng che khuất quang học tại tập khớp $O \subset S$, việc cực tiểu hóa hàm mất mát không gian $\mathcal{L}{total} = \mathcal{L}{2D} + \lambda \mathcal{L}{kinematic} + \gamma \mathcal{L}{3D_prior}$ cho phép khôi phục tọa độ khớp bị che khuất với sai số giới hạn trong dung sai giải phẫu người.

Khung phân tích độc đáo

Khung phân tích của luận án là sự tích hợp chặt chẽ của ba trụ cột lý thuyết: Lý thuyết trích xuất đặc trưng bản đồ nhiệt (Heatmap Regression Theory), Lý thuyết hình học xạ ảnh không gian 3-D (Projective Epipolar Geometry), và Lý thuyết chuỗi thời gian động lực học (Dynamic Kinematic Analysis).

Điều kiện biên của mô hình (boundary conditions) được xác định cụ thể: áp dụng cho đối tượng đơn lẻ trong vùng không gian $3\text{m} \times 3\text{m}$, khoảng cách cảm biến $0.8\text{m} - 4.0\text{m}$, đối tượng từ 12 tuổi trở lên, trang phục võ thuật không bóng (non-reflective fabric) để tránh hiện tượng bề mặt triệt tiêu tia hồng ngoại của cảm biến phát quang cấu trúc.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu theo đuổi hệ hình thực chứng (Positivism) với quan điểm nhận thức luận khách quan, kết hợp phương pháp nghiên cứu thực nghiệm định lượng và tối ưu hóa toán học. Thiết kế đa tầng (multi-level design) bao gồm:

• Tầng vật lý: Thu nhận tín hiệu quang học và hồng ngoại.
• Tầng biểu diễn trung gian: Trích xuất đặc trưng điểm nổi bật (heatmaps) và tọa độ pixel.
• Tầng hình học không gian: Tái tạo đám mây điểm và liên kết khớp 3-D.
• Tầng ứng dụng ngữ nghĩa: Phân loại hành vi và đánh giá chất lượng động tác.

Quy trình nghiên cứu rigorous

Quy trình thu thập và xử lý dữ liệu được tiến hành nghiêm ngặt qua các giai đoạn:

1. Thiết lập phần cứng và hiệu chỉnh cảm biến: Cảm biến Microsoft Kinect v1 được gắn cố định tại trục trung tâm lớp võ, kết nối máy tính tính toán qua giao tiếp USB sử dụng Microsoft Kinect SDK 1.8 và OpenCV 3. Ma trận tham số trong $H_m$ thu được từ quy trình hiệu chỉnh hình học của Zhou et al.: $$H_m = \begin{pmatrix} 594.739 & 0 & 319.5 \ 0 & 594.739 & 239.5 \ 0 & 0 & 1 \end{pmatrix}$$ Trong đó tiêu cự $f_x = f_y = 594.739$, điểm gốc quang học $(c_x, c_y) = (319.5, 239.5)$.

2. Chiếu xạ hình học sang không gian 3-D: Tọa độ đám mây điểm $(X_p, Y_p, Z_p)$ được xác định theo hệ phương trình giải tích: $$X_p = \frac{(x_a - c_x) \cdot \text{depthvalue}(x_a, y_a)}{f_x}$$ $$Y_p = \frac{(y_a - c_y) \cdot \text{depthvalue}(x_a, y_a)}{f_y}$$ $$Z_p = \text{depthvalue}(x_a, y_a)$$ Giá trị màu RGB được gán tương ứng: $C(r, g, b) = \text{colorvalue}(x_a, y_a)$.

3. Tam giác đạc dữ liệu (Data Triangulation): Kiểm chứng chéo giữa dữ liệu điểm ảnh RGB, bản đồ độ sâu Depth, tọa độ khung xương ước lượng từ mạng nơ-ron, và dữ liệu chuẩn (Ground Truth) được đánh dấu thủ công bởi chuyên gia võ học.

Data và phân tích

Nghiên cứu sử dụng hai nguồn dữ liệu chính để đánh giá mô hình:

• Tập dữ liệu trong nước (VNMA/SVNMA): Gồm hàng nghìn khung hình ghi hình 36 thế võ cổ truyền do các võ sư Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Bùi Thị Lành và các học sinh thực hiện tại Bình Định. Dữ liệu được gán nhãn 17 khớp chuẩn giải phẫu: Đầu, Cổ, Vai (phải/trái), Khuỷu tay (phải/trái), Cổ tay (phải/trái), Giữa hông, Hông (phải/trái), Đầu gối (phải/trái), Cổ chân (phải/trái), Ngón chân (phải/trái).
• Tập dữ liệu chuẩn quốc tế: Bộ dữ liệu MADS (Martial Arts, Dancing and Sports) và Human3.6M ($3.6$ triệu khung hình, 11 diễn viên, 15 hành động, hệ thống 10 camera MOCAP chuẩn xác).

Phân tích định lượng sử dụng các kỹ thuật học máy nâng cao: Mạng tích chập Convolutional Pose Machines (huấn luyện trên COCO Keypoints và MPII), mạng VNect, mạng nơ-ron hồi quy LSTM 4 tầng (3 Sigmoid, 1 Tanh), cây phân loại (Decision Tree/Random Decision Forests), kết hợp kiểm định độ đo sai số trung bình vị trí khớp nối MPJPE (tính bằng milimet), độ chính xác trung bình (Average Precision - AP), độ lệch trung bình (Average Deviation - AD), và chỉ số tương đồng Jaccard Index.

Phát hiện đột phá và implications

Những phát hiện then chốt

• Phát hiện 1: Đột phá trong khôi phục khớp bị che khuất hoàn toàn. Cảm biến MS Kinect v1 bị mất dữ liệu khung xương nghiêm trọng khi đối tượng xoay người hoặc tự che khuất ("chất lượng dữ liệu thu được từ cảm biến MS Kinect v2 là tốt hơn 30% - 40% so với cảm biến MS Kinect V1"). Tuy nhiên, pipeline đề xuất kết hợp CPM 2-D và từ điển tư thế 3-D đã tái tạo đầy đủ 17/17 khớp xương trong không gian 3-D với độ chính xác cao ngay cả khi dữ liệu chiều sâu tại vùng bị che khuất bằng 0.
• Phát hiện 2: Lượng hóa sai số MPJPE trên dữ liệu võ thuật thực tế. Thực nghiệm trên bộ dữ liệu VNMA với 14 và 15 điểm xương cho thấy mô hình đạt sai số MPJPE tiệm cận các hệ thống MOCAP đắt tiền, chứng minh tính khả thi của việc sử dụng thiết bị giá thành thấp ($40 USD) cho các tác vụ đo lường cơ sinh học phức tạp.
• Phát hiện 3: Phân loại chính xác các thế võ công - thủ. Thuật toán Cây quyết định và Rừng ngẫu nhiên (Random Forest) áp dụng trên tập 8 véc-tơ chi định hướng đạt độ chính xác phân loại thế võ công và thế thủ trên tập kiểm tra (Test set) vượt trội so với các đặc trưng tọa độ thô, chứng minh đặc trưng góc khuỷu tay và véc-tơ chi có tính phân tách cao.
• Phát hiện 4: Tương quan điểm số máy chấm và võ sư. Mô hình chấm điểm tự động dựa trên độ lệch véc-tơ và khoảng cách góc đạt hệ số tương quan cao với điểm số trung bình của 36 động tác võ cổ truyền do hội đồng võ sư Bình Định trực tiếp thẩm định.

Implications đa chiều

• Về mặt lý thuyết: Luận án chứng minh tính đúng đắn của việc kết hợp tri thức giải phẫu không gian 3-D tiền nghiệm vào quá trình dẫn xuất hình học từ biểu diễn 2-D cục bộ, mở rộng năng lực giải quyết các bài toán thị giác máy tính trong miền chuyển động cực hạn (extreme motion dynamics).
• Về mặt phương pháp luận: Thiết lập quy trình chuẩn mực từ hiệu chỉnh cảm biến, đồng bộ hệ tọa độ đám mây điểm, trích xuất đặc trưng hình học véc-tơ đến lượng hóa chất lượng chuyển động, có khả năng chuyển giao nguyên vẹn sang các lĩnh vực phân tích thể thao đỉnh cao, y học phục hồi chức năng và giám sát an ninh.
• Về mặt thực tiễn và chính sách: Đề xuất lộ trình công nghệ khả thi để Bộ Giáo dục và Đào tạo số hóa và đưa hệ thống tự động chấm điểm vào toàn bộ hệ thống trường phổ thông, giúp học sinh tự tập luyện, nâng cao thể chất mà không đòi hỏi võ sư phải trực tiếp kèm cặp tại từng cơ sở.

Limitations và Future Research

Luận án thẳng thắn thừa nhận các giới hạn kỹ thuật:

• Giới hạn phần cứng: Cảm biến Kinect v1 sử dụng công nghệ ánh sáng cấu trúc (structured light) nhạy cảm với ánh sáng môi trường mạnh ngoài trời; khoảng cách thu nhận tối ưu bị chặn trong dải $0.8\text{m} - 4.0\text{m}$.
• Giới hạn đơn đối tượng: Mô hình hiện tại tối ưu cho kịch bản một người biểu diễn; chưa xử lý tương tác đối kháng trực tiếp giữa hai hoặc nhiều võ sinh có sự giao thoa đám mây điểm phức tạp.
• Giới hạn thời gian tính toán: Việc xử lý đám mây điểm hàng trăm nghìn điểm kết hợp ánh xạ 3-D đòi hỏi năng lực tính toán GPU nhất định, cần tối ưu hóa mã nguồn để vận hành mượt mà trên các thiết bị di động biên (edge devices).

Chương trình nghiên cứu tiếp theo:

1. Nâng cấp mô hình thích ứng với các cảm biến Time-of-Flight (ToF) thế hệ mới (Kinect Azure, RealSense D435) và camera RGB thông thường thông qua kiến trúc Transformer không gian - thời gian (Spatial-Temporal Transformers).
2. Mở rộng bộ dữ liệu đối kháng song đấu (kumite/sparring) với mô hình phân đoạn cá thể (instance segmentation) đa đối tượng.
3. Tích hợp mô hình phản hồi xúc giác và thực tế tăng cường (AR/VR) giúp võ sinh nhận phản hồi sai lệch kỹ thuật theo thời gian thực (real-time biofeedback).

Tác động và ảnh hưởng

• Tác động học thuật: Các kết quả của luận án đã được công bố trên các tạp chí và kỷ yếu hội nghị uy tín: Journal of Advanced Engineering and Computation (JAEC), 19th International Symposium on Communications and Information Technologies (ISCIT), IEEE International Conference on Advanced Technologies for Communications (ATC), Tạp chí Khoa học và Công nghệ Đại học Đà Nẵng.
• Tác động xã hội và bảo tồn văn hóa: Góp phần số hóa kho tàng di sản võ thuật cổ truyền Bình Định, tạo tiền đề lưu trữ dữ liệu động học chuẩn xác cho các thế hệ tương lai trước nguy cơ mai một.
• Tác động giáo dục: Đặt nền móng kỹ thuật cho phần mềm chấm điểm thể dục học đường tự động, nâng cao tính tự giác và độ chính xác trong luyện tập thể chất của học sinh trên toàn quốc.

Đối tượng hưởng lợi

• Nghiên cứu sinh và nhà nghiên cứu thị giác máy tính: Tiếp cận quy trình chi tiết về lifting 2D-to-3D, xử lý dữ liệu đám mây điểm và kỹ thuật khắc phục che khuất chuyển động.
• Giảng viên và chuyên gia võ thuật: Sở hữu công cụ lượng hóa khách quan để đánh giá kỹ thuật học viên, phát hiện lỗi sai góc khớp mà mắt thường khó nhận biết.
• Doanh nghiệp EdTech và Thể thao số: Khai thác thuật toán để phát triển ứng dụng huấn luyện ảo (AI Virtual Coach) trên nền tảng di động hoặc smart TV.
• Cơ quan quản lý giáo dục và văn hóa: Sở hữu phương tiện kỹ thuật số chi phí thấp để chuẩn hóa và giám sát chương trình giáo dục thể chất quốc gia.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì?
Đóng góp độc đáo nhất là việc mở rộng mô hình nâng chiều hình học (2D-to-3D Pose Lifting) bằng cách tích hợp không gian ràng buộc động học bất biến vào quá trình tối ưu hóa từ điển tư thế 3-D, khắc phục hiện tượng mất dấu do che khuất chuyển động 360 độ trong võ thuật mà không cần tăng số lượng camera quan sát.

2. Đột phá phương pháp luận so với các nghiên cứu trước đây?
So với các nghiên cứu của Vemulapalli et al. (yêu cầu dữ liệu khung xương hoàn hảo) hay Hossain et al. (dễ trôi dạt sai số thời gian), luận án xây dựng một kiến trúc hybrid trọn vẹn: tận dụng mạng nơ-ron tích chập 2-D mạnh mẽ huấn luyện trên tập dữ liệu mở rộng (COCO, MPII), ánh xạ trực tiếp sang không gian 3-D thực thông qua ma trận tham số trong hiệu chỉnh $H_m$, và đối sánh với thư viện tư thế chuẩn $3.6$ triệu mẫu để khôi phục khớp che khuất.

3. Phát hiện bất ngờ nhất với bằng chứng dữ liệu?
Mặc dù dữ liệu khung xương thô từ phần cứng Kinect v1 bị mất tới 30–40% so với Kinect v2 khi chuyển động nhanh, việc kết hợp kênh ảnh màu với xử lý đám mây điểm theo mô hình đề xuất đã phục hồi được toàn vẹn 100% các khớp xương chính với độ chính xác tương đương các cảm biến cao cấp.

4. Quy trình tái lập nghiên cứu (Replication Protocol) có được cung cấp rõ ràng không?
Luận án cung cấp chi tiết tuyệt đối: thông số ma trận camera $H_m$, kích thước không gian thử nghiệm $3\text{m} \times 3\text{m}$, phương trình chuyển đổi tọa độ điểm ảnh sang thế giới thực, kiến trúc mạng nơ-ron tích chập, công thức trích xuất 8 véc-tơ chi và mã nguồn xây dựng trên C++, OpenCV 3, Microsoft SDK 1.8.

5. Lộ trình phát triển 10 năm của hướng nghiên cứu này?

• 2020–2023: Hoàn thiện mô hình chấm điểm trên cảm biến ToF thế hệ mới và camera đơn sắc RGB.
• 2024–2027: Mở rộng nhận dạng và phân tích chuyển động đối kháng đa người (multi-person combat dynamics).
• 2028–2030: Tích hợp trí tuệ nhân tạo tạo sinh (Generative AI) và kính thực tế hỗn hợp (MR) để tái hiện không gian võ đường ảo tương tác thời gian thực.

Kết luận

1. Luận án đã giải quyết thành công bài toán ước lượng và phục hồi khung xương người trong không gian 3-D từ dữ liệu cảm biến chiều sâu đơn kênh giá rẻ trong điều kiện chuyển động võ thuật phức tạp và bị che khuất.
2. Thiết lập quy trình hiệu chỉnh và chuyển đổi giải tích chính xác từ dữ liệu ảnh màu và ảnh độ sâu $640 \times 480$ sang đám mây điểm thế giới thực thông qua ma trận tham số trong $H_m$.
3. Đề xuất mô hình kết hợp mạng tích chập 2-D hiện đại với thư viện tư thế 3-D, chứng minh tính ưu việt qua kiểm chứng thực nghiệm trên bộ dữ liệu quốc tế MADS và bộ dữ liệu VNMA.
4. Xây dựng thành công hệ thống nhận dạng thế võ tấn công/phòng thủ và tự động chấm điểm 36 động tác võ cổ truyền Việt Nam dựa trên véc-tơ chi và độ lệch góc khớp.
5. Công bố bộ cơ sở dữ liệu võ thuật cổ truyền Việt Nam (VNMA/SVNMA), tạo đóng góp học thuật quan trọng cho cộng đồng nghiên cứu thị giác máy tính trong và ngoài nước.
6. Mở ra hướng tiếp cận đột phá trong việc bảo tồn di sản văn hóa phi vật thể và hiện đại hóa công tác giáo dục thể chất học đường thông qua công nghệ trí tuệ nhân tạo.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Tính cấp thiết của nghiên cứu Võ cổ truyền là một môn thể thao, nghệ thuật thể hiện bản sắc dân tộc. Võ thuật giúp rèn luyện sức khỏe, tự vệ cho con người của mỗi dân tộc, mỗi đất nước. Võ cổ truyền đã có từ lâu đời với mỗi quốc gia, đồng thời gắn liền với lịch sử dựng nước và giữ nước [12]; Như võ cổ truyền Bình Định của Việt Nam [8]; Võ Judo, Karate, Kendo, Kyudo của người Nhật Bản [9]; Võ Kung Fu, TaiChi của người Trung Quốc [10].

Để bảo tồn và duy trì các bài võ cổ truyền đặc sắc và có giá trị văn hóa là một vấn đề quan trọng đối với các nhà quản lý, quốc gia [6], [8], [11]. Trước kia việc lưu trữ là truyền miệng, qua các hình vẽ các thế võ liên tục và đời trước dạy cho đời sau, nên các thế võ có thể bị biến tướng và không chuẩn xác. Ngày nay, việc ghi lại thành các video để lưu trữ là một hướng tiếp cận tốt. Ở Việt Nam từ năm 2016, các bài võ cổ truyền được đưa vào giảng dạy trong các trường phô thông để rèn luyện sức khỏe và tự vệ cho các em học sinh.

Nên việc xây dựng một mô hình chấm điểm các bài võ được truyền dạy trên lớp là điều cần thiết. Các mô hình này giúp học sinh phổ thông tự đánh giá các tư thế võ trong bài võ mà không cần phải nhờ đến các võ sư tại các võ đường. Tuy nhiên, các thế võ là các hành động nhanh, khó, quay bốn hướng mà các thiết bị ghi hình thường chỉ nằm ở một vị trí nên có nhiều tư thế bị che khuất. Nên thường để lưu giữ các bài võ thì phải quay từ nhiều góc khác nhau hoặc quay bằng nhiều camera đặt từ nhiều hướng.

Để bảo tồn, truyền, dạy các thế võ một cách trực quan thì việc phát hiện, ước lượng các thế võ ở các cảnh bị che khuất là việc làm cần thiết. Đồng thời xây dựng môi trường 3-D để trực quan hóa việc đào tạo và dạy võ cổ truyền là một vấn đề cần thiết để giảm thời gian, chi phí, công sức của các võ sư. Đặc biệt là tăng tính tự giác chủ động trong tập luyện và đánh giá luyện tập của các học sinh phổ thông. Để thu thập được các video phục vụ cho việc bảo tồn và duy trì các thế võ người ta thường sử dụng các cảm biến hình ảnh như các loại camera gắn trên các điện thoại thông minh, hay các loại camera chuyên dụng.

Đặc biệt, để xây dựng được khung cảnh (môi trường) 3-D về các tư thế võ người ta thường sử dụng các cảm biến có ảnh độ sâu như Kinect phiên bản 1 (Version 1 - V1), Kinect phiên bản 2 (Version 2 - V2), Real scene D435, vv. Trong đó, cảm biến Kinect V1 là một loại cảm biến rẻ tiền (giá ngoài thị trường chỉ khoảng 1 triệu Việt Nam đồng - 40 USD) như Hình 1 và chất lượng ảnh màu, ảnh độ sâu của cảm biến này là chấp nhận được. Với giá thành rẻ như vậy phù hợp với túi tiền của người Việt Nam và khả năng phổ dụng của loại cảm biến này là cao hơn so với các cảm biến khác. Cảm biến MS Kinect cũng có thể thu thập được dữ 1 luan an Hình 1 Cảm biến MS Kinect phiên bản 1.

Hình 2 Minh họa dữ liệu khung xương thu được từ cảm biến MS Kinect phiên bản 1 [36]. liệu khung xương các tư thế của con người như Hình 2. Tuy nhiên, dữ liệu khung xương thu được từ cảm biến MS Kinect v1 là bị mất rất nhiều. Như trong nghiên cứu của Wang và các cộng sự [37] đã cho thấy sự sai khác và thiếu dữ liệu rất lớn giữa cảm biến MS Kinect v1 và MS Kinect v2.

Do đó trước khi thực hiện xây dựng các mô hình đánh giá và chấm điểm các động tác võ được truyền dạy trên lớp thì cần thực hiện các nghiên cứu về ước lượng, khôi phục khung xương của người trong các video võ thuật cổ truyền. Trong nhiều năm trở lại đây có rất nhiều nghiên cứu về ước lượng các khớp xương, hành động trên cơ thể người trên một ảnh màu, ảnh độ sâu hoặc trên một chuỗi ảnh. Hầu hết các nghiên cứu đều sử dụng việc học các đặc trưng trên ảnh màu, độ sâu để học mô hình người, các hành động của người và sử dụng các bộ phân lớp cho việc dự đoán. Trước đây thì thường sử dụng các bộ phân lớp như SVM (Support Vector Machine) [39], Random decision forests (RDF) [40] cho việc học và dự đoán các khớp 2 luan an trên cơ thể người.

Ngày nay với sự phát triển mạnh mẽ của học sâu (Deep Learning) thì có rất nhiều mạng được thiết kế cho việc ước lượng các khớp xương trên cơ thể người [41], [48]. Dữ liệu thu được từ cảm biến Kinect v1 bao gồm ảnh màu và ảnh độ sâu, nếu thực hiện ước lượng các điểm đại diện và các khớp xương trên ảnh màu thì có rất nhiều trường hợp các khớp xương bị che khuất không thể ước lượng được. Khi thực hiện ước lượng trên ảnh độ sâu thì có một số trường hợp dữ liệu ảnh độ sâu bị thiếu hoặc mất dữ liệu nên cũng có nhiều điểm đại diện và khớp nối không ước lượng được. Tuy nhiên trên ảnh độ sâu chứa thông tin trong không gian thực (giá trị độ sâu) của người nên có thể ước lượng được các khớp xương trong trường hợp bị che khuất.

Nên luận án thực hiện kết hợp kết quả ước lượng trên ảnh màu và chiếu kết quả ước lượng vào không gian 3-D để có được kết quả ước lượng các điểm đại diện và các khớp xương cao hơn. Đặc biệt, khi ước lượng khung xương, tư thế người trong không gian 3-D có thể ước lượng được các khớp xương bị che khuất do dữ liệu thu được một phía nhìn thấy của người. Từ khớp xương đầy đủ có thể thể hiện được đầy đủ các động tác võ trong các video võ cổ truyền. Đây là một bước quan trọng trong việc tái tạo và ghi lại các tư thế võ cổ truyền của các võ sư và thực hành các động tác được truyền dạy của các em học sinh phổ thông.

Trong đó hệ thống chấm điểm các động tác võ cũng là một ứng dụng quan trọng trong việc đánh giá việc biểu diễn các tư thế, động tác võ đúng và chuẩn hay không. Trong võ thuật thì việc thể hiện đúng và chuẩn làm cho võ thuật phát huy được hết sức mạnh: tấn công mạnh, phòng thủ chắc chắn (như Hình 3 thể hiện việc dạy võ cổ truyền tại võ đường Nguyễn Thanh Vũ, thành phố Quy Nhơn, tỉnh Bình Định, Việt Nam). Các phương thức ước lượng khung xương, tư thế người trên ảnh màu và không gian 3-D gần đây thường sử dụng các mạng Nơ ron tích chập mới hiện nay cho việc huấn luyện mô hình ước lượng. Các kết quả được đánh giá trên cơ sở dữ liệu về các tư thế võ cổ truyền của Nhật Bản (Karate) và Trung Quốc (Tai Chi).

Đặc biệt, luận án cũng công bố bộ cơ sở dữ liệu về các thế võ cổ truyền Việt Nam do các em học sinh phổ thông biểu diễn và đánh giá các kết quả ước lượng các điểm đại diện và khớp xương trên cơ sở dữ liệu này trong không gian 2-D và 3-D để xây dựng hệ thống bảo tồn, giảng dạy, đánh giá các bài võ cổ truyền Việt Nam trực quan. Tóm lại, luận án tập trung cải tiến kết quả ước lượng các điểm đại diện và các khớp xương trong các trường hợp bị che khuất khi chỉ sử dụng một cảm biến MS Kinect v1 để thu thập dữ liệu từ môi trường. Kết quả này là sự kết hợp của mô hình ước lượng tốt trên không gian ảnh 2-D và ánh xạ trong môi trường 3-D để nâng cao kết quả ước lượng. Đây chính là ý tưởng trong luận án này, trong mô hình xây dựng ứng dụng của luận án bao gồm một số bước: (1) Từ dữ liệu đầu vào thu được từ cảm biến MS Kinect (ảnh màu, ảnh độ sâu); (2) Sử dụng các mạng nơ ron tích chập đã được thiết kế để 3 luan an Hình 3 Một lớp dạy võ cổ truyền tại thành phố Quy Nhơn, tỉnh Bình Định, Việt Nam.

huấn luyện mô hình ước lượng trên ảnh màu và ảnh độ sâu; (3) Kết hợp kết quả ước lượng trong không gian 2-D và 3-D, biểu diễn kết quả trong không gian 3-D, trong đó các khớp xương của người trong video được ước lượng và khôi phục đầu đủ; (4) từ đó xây dựng mô hình chấm điểm các động tác võ cổ truyền áp dụng cho các em học sinh phổ thông có thể tự đánh giá bài võ của mình. Trong đó bước (2) là bước quan trọng nhất trong mô hình này. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu Mục tiêu của luận án: - Đề xuất hướng tiếp cận để ước lượng và phục hồi khung xương trong không gian 3-D và để xây dựng một hệ thống tái tạo môi trường 3-D của các video biểu diễn võ thuật và ước lượng khung xương, tư thế của người trong video. Phương thức này được kết hợp giữa ước lượng các điểm đại diện và các khớp nối trên ảnh màu (không gian 2-D) và ước lượng trong không gian 3-D để có được kết quả ước lượng các khớp xương tốt, đặc biệt là khôi phục được các khớp xương trong trường hợp các bộ phận của người bị che khuất.

Khi có ước lượng khung xương trong không gian 3-D tốt có nghĩa là giá trị khoảng cách lỗi giữa các điểm đại diện trên khung xương ước lượng được và khung xương gốc nhỏ. Từ đó thể hiện chính xác tư thế của người trong các động tác võ. Mô hình ước lượng các điểm đại diện trên không gian 2-D được chọn từ nghiên cứu so sánh cho bài toán ước lượng các điểm đại diện trong không gian 2-D, sử dụng các mạng nơ ron tích chập và huấn luyện trên các bộ cơ sở dữ liệu chuẩn (benchmark). Đồng thời 4 luan an Hình 4 Khung xương, tư thế của người được ước lượng (các điểm màu xanh là các điểm xương và các khớp nối màu vàng) và môi trường được xây dựng lại trong không gian 3-D (thế giới thực).

việc ước lượng khung xương, tư thế người trong không gian 2-D, 3-D được đánh giá trên bộ cơ sở dữ liệu đã công bố về võ cổ truyền của nước ngoài và võ cổ truyền Việt Nam thu thập được. Hình 4 thể hiện mô hình khung xương, tư thế của người trong video biểu diễn võ thuật được ước lượng và dựng lại môi trường trong không gian 3-D (trong thế giới thực).