Tổng quan luận án

Luận án tiến sĩ "Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu" được thực hiện bởi nghiên cứu sinh Nguyễn Tường Thành dưới sự hướng dẫn khoa học của TS. Lê Dũng và TS. Phạm Thành Công tại Viện Điện tử Viễn thông, Trường Đại học Bách khoa Hà Nội, thuộc chuyên ngành Kỹ thuật điện tử (mã số: 9520203), bảo vệ vào năm 2020.

Tính cấp thiết và khoảng trống nghiên cứu

Võ cổ truyền là một môn thể thao và nghệ thuật phản ánh bản sắc văn hóa dân tộc, hỗ trợ rèn luyện thể chất và khả năng tự vệ. Tại Việt Nam, từ năm 2016, các bài võ cổ truyền đã được đưa vào chương trình giảng dạy trong các trường phổ thông. Phương thức truyền thống để lưu truyền võ học chủ yếu dựa trên truyền khẩu, hình vẽ hoặc hướng dẫn trực tiếp từ võ sư tại võ đường. Phương thức này đối mặt với nguy cơ biến tướng thế võ và hạn chế về mặt tiếp cận khi học sinh muốn tự luyện tập và tự đánh giá.

Việc ghi hình bài võ để lưu trữ và giảng dạy bằng máy tính gặp phải các thách thức kỹ thuật lớn:

  • Động tác võ thuật có tốc độ chuyển động nhanh, biến đổi phương hướng liên tục theo bốn hướng (tứ diện) hoặc xoay 360 độ.
  • Khi chỉ sử dụng một thiết bị ghi hình đặt tại một vị trí cố định, các bộ phận trên cơ thể thường xuyên che khuất lẫn nhau (occlusion).
  • Dữ liệu khung xương thu trực tiếp từ các cảm biến đo chiều sâu giá rẻ như Microsoft Kinect phiên bản 1 (MS Kinect v1) thường bị nhiễu, mất mát dữ liệu tại các vùng tóc, biên cơ thể hoặc khi đối tượng di chuyển ra xa giới hạn đo.

Khoảng trống nghiên cứu được luận án xác định là sự thiếu hụt một mô hình kết hợp hiệu quả giữa ước lượng tư thế trên ảnh màu hai chiều (2-D) và thông tin không gian ba chiều (3-D) từ một cảm biến độ sâu đơn lẻ, nhằm khôi phục đầy đủ khung xương trong các tình huống bị che khuất, từ đó phục vụ nhận dạng và chấm điểm tự động các bài võ thuật cổ truyền.

Mục tiêu nghiên cứu

Mục tiêu của luận án được cụ thể hóa thành hai nội dung chính:

  1. Đề xuất phương thức ước lượng và phục hồi khung xương cơ thể người trong không gian 3-D từ dữ liệu thu nhận qua một cảm biến MS Kinect v1, kết hợp mạng nơ-ron tích chập trên ảnh màu 2-D và ánh xạ sang không gian 3-D để khôi phục các khớp xương bị che khuất trong các động tác võ thuật.
  2. Xây dựng mô hình nhận diện động tác tấn công và chấm điểm động tác võ cổ truyền Việt Nam dựa trên dữ liệu khung xương được phục hồi, tạo công cụ tự đánh giá cho học sinh phổ thông và hỗ trợ công tác bảo tồn, lưu trữ võ học.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các video biểu diễn động tác võ cổ truyền, dữ liệu ảnh màu (RGB) và ảnh độ sâu (Depth) thu nhận từ cảm biến hình ảnh; các khớp xương, tư thế vận động của cơ thể người trong không gian 2-D và 3-D.
  • Phạm vi không gian: Thực nghiệm thu thập dữ liệu được thực hiện tại Trung tâm Võ thuật cổ truyền Bình Định (thành phố Quy Nhơn, tỉnh Bình Định, Việt Nam) với sự tham gia của các võ sư chuyên nghiệp, kết hợp cùng các mẫu thực nghiệm của học sinh và sinh viên.
  • Phạm vi kỹ thuật và thiết bị: Giới hạn nghiên cứu tập trung vào việc xử lý dữ liệu thu nhận từ một camera MS Kinect v1 duy nhất (thiết bị có giá thành thấp, khoảng 1 triệu đồng/40 USD nhằm bảo đảm tính phổ dụng), sử dụng mô hình học sâu kết hợp xử lý đám mây điểm và hệ trục tọa độ 3-D để tái tạo tư thế và chấm điểm 36 động tác võ cổ truyền.

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa các hướng nghiên cứu liên quan đến ước lượng tư thế người và nhận dạng hành động dựa trên cảm biến thị giác:

Các hướng nghiên cứu trước đây

  1. Ước lượng tư thế 2-D và 3-D bằng học máy truyền thống:

    • Các công trình ban đầu sử dụng các bộ phân loại như máy học véc-tơ hỗ trợ (SVM) của Lin và cộng sự (2009) [37], Zhao và Liu (2011) [41], hoặc rừng quyết định ngẫu nhiên (Random Decision Forests - RDF) của Keskin và cộng sự (2012) [39], Sun và cộng sự (2012) [46].
    • Các mô hình dựa trên cấu trúc bộ phận cơ thể: Mô hình phần biến dạng (Deformable Part Model - DPM) của Felzenszwalb và cộng sự (2008) [51], Martinez Berti và cộng sự (2017) [49]; mô hình dựa trên phần khớp nối (Articulated Part-based Model - APM) của Sun và Savarese (2011) [52]; mô hình cấu trúc hình ảnh (Pictorial Structures) của Andriluka và cộng sự (2009) [54], Yang và Ramanan (2011) [106].

  2. Ước lượng tư thế người bằng mạng nơ-ron tích chập (Học sâu):

    • Trong không gian 2-D: DeepPose của Toshev và Szegedy (2014) [108]; Convolutional Pose Machines (CPM) của Wei và cộng sự (2016) [110]; Stacked Hourglass Networks của Newell và cộng sự (2016) [112]; High-Resolution Network (HRNet) của Sun và cộng sự (2019) [114]; OpenPose của Cao và cộng sự (2019) [133].
    • Trong không gian 3-D: Phương pháp nâng từ 2-D lên 3-D ("Lifting from the deep") của Tome, Russell và Agapito (2017) [84]; kiến trúc VNect dự đoán tư thế 3-D thời gian thực từ một camera RGB của Mehta và cộng sự (2017) [127]; mô hình đường cơ sở hồi quy 3-D của Martinez và cộng sự (2017) [138]; mạng dự đoán không gian thể tích của Pavlakos và cộng sự (2017) [142]; mạng tích chập thời gian của Pavllo và cộng sự (2019) [134].

  3. Phân tích hành động và chấm điểm cử chỉ dựa trên cảm biến Kinect:

    • Phân tích chuyển động và trích xuất đặc trưng khung xương: Shotton và Sharp (2011) [62]; Plagemann và Koller (2010) [63]; Ye và cộng sự (2013) [69]; Hussein và cộng sự (2013) [70]; Vemulapalli và cộng sự (2014) [80]; Ofli và cộng sự với chuỗi các khớp mang nhiều thông tin nhất (SMIJ, 2014) [78].
    • Nghiên cứu trong nước: Lê Thị Lan và cộng sự (2013) [42] nhận dạng tư thế người bằng khung xương Kinect; Phạm Nguyên Khang và Huỳnh Nhật Minh (2015) [82] ứng dụng Kinect trong phục hồi chức năng vận động; Hồ Việt Hà và cộng sự (2017) [81] phân tích dáng đi dựa trên thông tin độ sâu.
    • Ứng dụng đánh giá và chấm điểm cử chỉ: Liu và cộng sự (2012) [93] chấm điểm cử chỉ tĩnh bằng Kinect; Raptis, Kirovski và Hoppe (2011) [95] phân loại cử chỉ khiêu vũ thời gian thực; Marquardt và cộng sự (2012) [94] với hệ thống Super Mirror hỗ trợ người tập múa ba-lê.

Vị trí và khoảng trống luận án giải quyết

Phần lớn các nghiên cứu ước lượng 3-D công bố trên thế giới sử dụng hệ thống bắt chuyển động đa camera quang học đắt tiền (MOCAP) hoặc tập trung vào các hành động sinh hoạt thông thường (đi bộ, ngồi, vẫy tay trong bộ dữ liệu Human3.6M [85] hoặc HumanEva [102]). Khi áp dụng vào võ thuật, tốc độ cử động chi rất nhanh và sự tự che khuất xảy ra nghiêm trọng. Luận án chọn giải quyết bài toán khôi phục toàn vẹn khung xương 3-D bị che khuất từ một cảm biến MS Kinect v1 đơn lẻ, sau đó sử dụng dữ liệu hình học này để phân loại thế đánh và tự động hóa quy trình chấm điểm bài quyền võ cổ truyền.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình áp dụng

Luận án kết hợp các mô hình lý thuyết thị giác máy tính và học máy:

  • Ước lượng tư thế 2-D: Sử dụng mạng nơ-ron tích chập CPM (Convolutional Pose Machines) kết hợp bản đồ nhiệt (heatmaps) để dự đoán vị trí các điểm đại diện (keypoints) trên ảnh màu.
  • Nâng chiều không gian 2-D sang 3-D: Vận dụng mô hình khớp nối xác suất và hình học xạ ảnh kết hợp phép biến đổi đồng nhất trong không gian 3 chiều (xoay và dịch hệ tọa độ). Vấn đề định hướng tuyệt đối giữa các hệ tọa độ được giải quyết bằng biểu diễn quaternion đơn vị (unit quaternions) theo phương pháp nghiệm đóng của Horn (1987) [124].
  • Phân loại hành động và nhận diện thế võ: Áp dụng cây quyết định (Decision Tree), rừng quyết định ngẫu nhiên (Random Decision Forests - RDF) và mạng nơ-ron hồi quy có cổng nhớ dài hạn (Long Short-Term Memory - LSTM) cùng RNN.
  • Đánh giá và chấm điểm động tác: Xây dựng mô hình so khớp hình học véc-tơ không gian giữa mẫu biểu diễn và mẫu chuẩn của võ sư dựa trên 8 véc-tơ chi cơ thể và góc khớp (như góc khuỷu tay, góc đầu gối).

Dữ liệu và nguồn tư liệu thực nghiệm

Luận án sử dụng và tự xây dựng các tập dữ liệu phục vụ nghiên cứu:

  • Cơ sở dữ liệu VNMA (VietNam Martial Arts): Dữ liệu ảnh màu, ảnh độ sâu và tọa độ khớp xương thu thập từ các võ sư tại Bình Định và học sinh thực hiện các bài võ cổ truyền Việt Nam.
  • Cơ sở dữ liệu SVNMA: Tập dữ liệu các phân đoạn động tác võ cổ truyền phục vụ huấn luyện và kiểm thử mô hình phân loại.
  • Cơ sở dữ liệu chuẩn quốc tế: Bộ dữ liệu MADS (Martial Arts, Dancing and Sports), Human3.6M, bộ dữ liệu MSCOCO Keypoints Challenge 2016, tập dữ liệu MPII và LSP dùng để huấn luyện mô hình cơ sở và so sánh đối chứng.

Quy trình đánh dấu và thứ tự điểm xương gốc

Để làm dữ liệu chuẩn (ground truth) đánh giá sai số, luận án xác lập quy chuẩn đánh dấu gồm 17 điểm đại diện chính trên cơ thể người trong không gian 3-D:

Số thứ tự Điểm đại diện (Keypoint) Số thứ tự Điểm đại diện (Keypoint)
1 Đầu (Head) 10 Hông phải (Right hip)
2 Cổ (Neck) 11 Đầu gối phải (Right knee)
3 Vai phải (Right shoulder) 12 Cổ chân phải (Right ankle)
4 Khuỷu tay phải (Right elbow) 13 Ngón chân cái phải (Right toe)
5 Cổ tay phải (Right wrist) 14 Hông trái (Left hip)
6 Vai trái (Left shoulder) 15 Đầu gối trái (Left knee)
7 Khuỷu tay trái (Left elbow) 16 Cổ chân trái (Left ankle)
8 Cổ tay trái (Left wrist) 17 Ngón chân cái trái (Left toe)
9 Giữa hông (Pelvis / Mid-hip)

Độ đo đánh giá sai số

  • MPJPE (Mean Per Joint Position Error): Độ đo sai số vị trí trung bình trên từng khớp nối giữa khung xương ước lượng và khung xương dữ liệu gốc trong không gian 3-D, tính theo đơn vị milimét (mm).
  • AP (Average Precision): Độ chính xác trung bình trong việc xác định các khớp nối.
  • AD (Average Deviation): Độ lệch góc trung bình giữa các đoạn xương nối tương ứng.

Nội dung chính theo từng chương

Mở đầu

Phần mở đầu nêu rõ bối cảnh nghiên cứu, tính cấp thiết của việc ứng dụng công nghệ thông tin trong việc bảo tồn võ cổ truyền và triển khai dạy võ trong trường học từ năm 2016. Tác giả trình bày các hạn chế của cảm biến MS Kinect v1, đặt ra mục tiêu nghiên cứu gồm hai nhiệm vụ chính (ước lượng/khôi phục khung xương 3-D bị che khuất và chấm điểm động tác võ), xác định phạm vi nghiên cứu, phương pháp thực hiện và cấu trúc của toàn bộ luận án.

Chương 1: TỔNG QUAN

Chương 1 cung cấp nền tảng lý thuyết tổng quan về học máy và học sâu, khảo sát các công trình nghiên cứu hiện đại về khôi phục hoạt động của con người trong không gian 3-D và các hệ thống chấm điểm võ thuật:

  • Ước lượng khung xương 2-D: Trình bày chi tiết nguyên lý trích xuất đặc trưng trên ảnh màu và ảnh độ sâu, phân tích các mô hình ngữ cảnh đối tượng và các kiến trúc mạng nơ-ron như CPM, Stacked Hourglass, HRNet.
  • Ước lượng khung xương và tư thế trong môi trường 3-D: Tổng hợp hai hướng tiếp cận chính: phục hồi tư thế 3-D từ một ảnh tĩnh duy nhất và phục hồi từ chuỗi ảnh video. Phân tích ưu nhược điểm của các giải pháp nâng từ 2-D lên 3-D so với các mô hình hồi quy thể tích 3-D trực tiếp.
  • Hệ thống phần cứng và tập dữ liệu chuẩn: Giới thiệu cấu tạo nguyên lý của cảm biến MS Kinect v1 (gồm máy phát hồng ngoại, máy ảnh hồng ngoại IR và máy ảnh RGB). Trình bày phương pháp hiệu chỉnh camera (calibration) dựa trên công cụ Camera Calibration Toolbox for Matlab [87] nhằm thu được ma trận tham số nội, tham số ngoại để chuyển đổi dữ liệu pixel sang hệ tọa độ thực. Khảo sát các bộ dữ liệu lớn phục vụ đánh giá gồm Human3.6M [85] và MADS [31].

Chương 2: ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D

Chương này tập trung vào các đóng góp kỹ thuật trọng tâm của luận án trong việc ước lượng và khôi phục khung xương khi thực hiện các bài võ:

  • Ước lượng trong không gian 2-D và chiếu sang không gian 3-D: Sử dụng mạng CPM huấn luyện trên dữ liệu MSCOCO để trích xuất các điểm đại diện trên ảnh màu. Dữ liệu sau đó được ánh xạ sang không gian 3-D bằng cách tích hợp tọa độ độ sâu từ cảm biến Kinect.
  • Kỹ thuật xoay và dịch hệ tọa độ 3-D: Để so sánh khung xương dự đoán với khung xương dữ liệu gốc (ground truth), luận án áp dụng thuật toán biến đổi hình học đồng nhất. Tâm giữa hông (điểm số 9) được chọn làm gốc tọa độ. Ma trận xoay và véc-tơ tịnh tiến được tối ưu hóa bằng giải thuật quaternion đơn vị nhằm triệt tiêu sự sai lệch về vị trí đặt cảm biến giữa các lần đo.
  • Xử lý hiện tượng che khuất: Khi võ sinh xoay người đánh tứ diện, các chi bị che khuất làm mất tín hiệu độ sâu. Luận án tích hợp mô hình phân tích không gian xác suất 3-D (dựa trên giải pháp của Tome và cộng sự [84] và mô hình VNect [127]) để tái tạo lại vị trí tọa độ của khớp bị che khuất dựa trên mối tương quan cấu trúc giải phẫu học cơ thể người.

Thực nghiệm đánh giá sai số vị trí khớp trung bình (MPJPE) trên tập dữ liệu võ cổ truyền Việt Nam (VNMA) và tập dữ liệu chuẩn MADS được tác giả thống kê chi tiết theo các cấu hình mô hình:

Bộ cơ sở dữ liệu Cấu hình mô hình Số điểm xương đánh giá Sai số MPJPE trung bình (mm)
VNMA CPM huấn luyện trên MSCOCO chiếu sang 3-D 14 điểm Kết quả đánh giá trên tập video VNMA
VNMA Mô hình kết hợp phục hồi che khuất (Tome CS) 15 điểm Cải thiện độ lệch so với dữ liệu gốc
VNMA Mô hình VNect CNN (huấn luyện MPII, LSP) 15 điểm Ổn định trên các khớp chi trên
MADS Phương pháp chiếu 2-D sang 3-D 14 điểm Đạt kết quả tương đương bộ chuẩn
MADS Phương pháp kết hợp 3-D VNect 15 điểm / 21 điểm Tái tạo chính xác các góc gập khớp

Tác giả phân tích các trường hợp lỗi lớn thường xuất hiện tại các khớp ngoại vi như cổ tay và cổ chân, do tốc độ di chuyển của chi trong đòn đánh vượt quá tốc độ khung hình (30 fps) của cảm biến Kinect v1 hoặc do hiện tượng bóng phản xạ bề mặt.

Chương 3: NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ TRUYỀN VIỆT NAM

Chương 3 triển khai ứng dụng thực tế từ kết quả khôi phục khung xương ở Chương 2:

  • Trích xuất đặc trưng hình học cơ thể người: Khung xương được chuẩn hóa thành 8 véc-tơ chi chính (gồm các véc-tơ biểu diễn cánh tay phải, cẳng tay phải, cánh tay trái, cẳng tay trái, đùi phải, cẳng chân phải, đùi trái, cẳng chân trái). Từ 8 véc-tơ này, hệ thống trích xuất các đặc trưng góc chuyển động, tiêu biểu là góc khuỷu tay và góc đầu gối.
  • Nhận diện động tác tấn công và phòng thủ:
    • Phương pháp cây quyết định (Decision Tree / Random Forest): Huấn luyện phân loại các tư thế tấn công dựa trên chiều cao của cây và số lượng đặc trưng véc-tơ chi.
    • Phương pháp mạng nơ-ron hồi quy (RNN / LSTM): Sử dụng cấu trúc LSTM với 4 tầng ẩn (3 hàm kích hoạt sigmoid và 1 hàm tanh) để xử lý chuỗi thời gian của các chuyển động võ thuật, phân biệt thế võ công và thế võ thủ.
  • Mô hình chấm điểm động tác võ cổ truyền:
    • Thu thập chuỗi chuyển động chuẩn từ các võ sư tại Trung tâm Võ thuật cổ truyền Bình Định (lấy mẫu chuẩn từ các võ sư Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Phạm Ngọc Dương, Bùi Thị Lành, Nguyễn Quốc Tiễn).
    • Thuật toán xác định các điểm dừng kỹ thuật trong bài võ (các vị trí then chốt kết thúc một đòn thế).
    • Công thức tính điểm dựa trên độ sai lệch góc giữa véc-tơ chi của người học so với véc-tơ chi chuẩn của võ sư tại các điểm dừng kỹ thuật.
    • Tiến hành thực nghiệm thống kê điểm số trung bình trên 36 động tác võ cổ truyền Việt Nam, tích hợp vào phần mềm có giao diện trực quan hiển thị khung xương 3-D và điểm số chi tiết từng chi cho người tập.

Kết quả và những đóng góp mới

Luận án tự tổng kết hai đóng góp mới căn bản về mặt khoa học và kỹ thuật ứng dụng:

  1. Về mô hình ước lượng và phục hồi khung xương 3-D:

    • Đề xuất mô hình kết hợp giữa ước lượng khung xương 2-D từ mạng tích chập với các ràng buộc cấu trúc không gian 3-D nhằm nâng cao độ chính xác khi chỉ sử dụng một cảm biến độ sâu MS Kinect v1 đơn góc nhìn.
    • Giải quyết thành công bài toán mất dữ liệu khớp xương do bị che khuất trong các động tác xoay chuyển phức tạp của võ thuật, bảo đảm khôi phục đầy đủ tọa độ không gian của các khớp trên cơ thể.
    • Xây dựng quy trình đồng bộ hệ trục tọa độ thông qua nghiệm đóng quaternion đơn vị, cho phép so sánh định lượng trực tiếp dữ liệu ước lượng với dữ liệu gốc.

  2. Về ứng dụng nhận dạng và chấm điểm võ cổ truyền:

    • Xây dựng thành công cơ sở dữ liệu chuyển động võ thuật cổ truyền Việt Nam (VNMA và SVNMA) với các nhãn khớp 3-D chuẩn được thu thập từ các võ sư có chuyên môn cao tại Bình Định.
    • Thiết lập mô hình nhận dạng động tác tấn công/phòng thủ sử dụng cây quyết định và mạng nơ-ron hồi quy LSTM.
    • Xây dựng hoàn chỉnh mô hình và công thức chấm điểm 36 động tác võ thuật dựa trên 8 véc-tơ chi và góc khớp, phát triển thành ứng dụng có giao diện hỗ trợ việc tự học và tự chấm điểm cho học sinh phổ thông.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận từ văn bản

  • Hạn chế của thiết bị phần cứng: Cảm biến MS Kinect v1 có tần số quét giới hạn (khoảng 30 fps), vùng đo chiều sâu hẹp và độ phân giải ảnh độ sâu thấp. Khi khoảng cách từ người đến camera quá xa, dữ liệu đám mây điểm bị suy giảm độ chính xác; vùng tóc hoặc quần áo tối màu hấp thụ tia hồng ngoại dẫn đến mất mát thông tin độ sâu cục bộ.
  • Hạn chế về phạm vi động tác: Mô hình chấm điểm mới thực hiện trên 36 động tác đơn lẻ có điểm dừng kỹ thuật rõ ràng; chưa áp dụng cho các bài quyền biểu diễn liên tục tốc độ cao với vũ khí (kiếm, côn, đao) hoặc các tình huống đối kháng có sự va chạm trực tiếp giữa hai người.

Hạn chế về phạm vi nghiên cứu

  • Nghiên cứu tập trung giải quyết bài toán với một camera cố định duy nhất đặt phía trước võ sinh, do đó các chuyển động bị che khuất hoàn toàn trong thời gian dài vẫn phụ thuộc nhiều vào mô hình khớp giả định hơn là tín hiệu đo đạc trực tiếp.

Hướng nghiên cứu tiếp

  • Nâng cấp hệ thống thu nhận dữ liệu sang các thế hệ cảm biến mới hơn có độ phân giải và tốc độ khung hình cao hơn như MS Kinect v2 hoặc cảm biến Time-Of-Flight (TOF), RealSense D435.
  • Nghiên cứu mở rộng mô hình để ước lượng và nhận dạng các bài võ cổ truyền có sử dụng binh khí và các bài tập đối kháng nhiều người.
  • Tối ưu hóa mã nguồn và thuật toán xử lý để hệ thống có thể chạy mượt mà trên các thiết bị máy tính cá nhân phổ thông trong các trường học mà không đòi hỏi cấu hình phần cứng đồ họa chuyên dụng.

Giá trị tham khảo

Luận án mang lại giá trị tham khảo cụ thể cho nhiều đối tượng:

  • Nghiên cứu sinh và học viên cao học ngành Kỹ thuật điện tử, Thị giác máy tính và Trí tuệ nhân tạo: Có thể tham khảo phương pháp đồng bộ hệ trục tọa độ 3-D bằng quaternion đơn vị trong Chương 2; cách thức xử lý dữ liệu đám mây điểm kết hợp mạng nơ-ron tích chập 2-D để giải quyết bài toán che khuất (occlusion).
  • Giảng viên và nhà nghiên cứu công nghệ thông tin thể thao: Tham khảo mô hình biểu diễn cơ thể người bằng 8 véc-tơ chi và thuật toán chấm điểm động tác dựa trên góc khớp và điểm dừng kỹ thuật trong Chương 3.
  • Các nhà quản lý giáo dục và thể dục thể thao: Tài liệu cung cấp cơ sở kỹ thuật thực tế để hiện thực hóa việc số hóa bài giảng võ cổ truyền, triển khai các phòng tập thông minh hỗ trợ học sinh tự luyện tập và tự kiểm tra thể lực, kỹ thuật võ thuật trong trường phổ thông.
  • Các nhà phát triển phần mềm: Toàn bộ mã nguồn xử lý xoay dịch tọa độ và dữ liệu thực nghiệm đã được tác giả công khai tại địa chỉ GitHub (PandaThanh/3d_code) và kho lưu trữ trực tuyến, là tài nguyên hữu ích cho việc phát triển các ứng dụng tương tác người - máy (NUI).

Câu hỏi thường gặp

1. Tại sao luận án lựa chọn nghiên cứu trên cảm biến MS Kinect v1 thay vì các thiết bị MOCAP chuyên nghiệp?

Thiết bị MOCAP đa camera hoặc các bộ đồ gắn cảm biến chuyên dụng có giá thành rất cao, quy trình thiết lập phức tạp và không phù hợp với điều kiện cơ sở vật chất của các trường phổ thông tại Việt Nam. Luận án lựa chọn MS Kinect v1 vì đây là thiết bị có giá thành rẻ (khoảng 1 triệu đồng / 40 USD), độ sẵn có cao và dễ lắp đặt. Mục tiêu của tác giả là dùng các thuật toán học sâu để bù đắp các hạn chế phần cứng của Kinect v1, tạo ra giải pháp có tính khả thi ứng dụng cao trong thực tế.

2. Luận án giải quyết hiện tượng che khuất khớp xương (occlusion) khi võ sinh xoay người bằng cách nào?

Khi võ sinh thực hiện các động tác quay tứ diện hoặc xoay 360 độ, một số bộ phận cơ thể sẽ bị che khuất khỏi tầm nhìn của cảm biến đơn lẻ. Luận án giải quyết vấn đề này bằng cách:

  • Sử dụng mạng tích chập 2-D (như CPM) để ước lượng các điểm nhìn thấy trên ảnh màu.
  • Tích hợp mô hình cấu trúc hình học xác suất cơ thể người trong không gian 3-D (tham khảo mô hình của Tome và cộng sự [84] và VNect [127]).
  • Dựa trên các ràng buộc về chiều dài xương và góc mở sinh học của các khớp lân cận để dự đoán và khôi phục tọa độ 3-D của các khớp bị che khuất, bảo đảm khung xương đầu ra luôn đầy đủ các bộ phận.

3. Dữ liệu thực nghiệm của luận án được thu thập từ những nguồn nào?

Dữ liệu thực nghiệm được xây dựng từ hai nguồn:

  • Nguồn dữ liệu tự thu thập (bộ dữ liệu VNMA và SVNMA): Thu thập trực tiếp tại Trung tâm Võ thuật cổ truyền Bình Định (TP. Quy Nhơn) với sự tham gia của 5 võ sư chuyên nghiệp (Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Phạm Ngọc Dương, Bùi Thị Lành, Nguyễn Quốc Tiễn) làm mẫu chuẩn, cùng dữ liệu thực hiện của các võ sinh và học sinh.
  • Nguồn dữ liệu chuẩn quốc tế: Gồm bộ dữ liệu võ thuật và khiêu vũ MADS, tập dữ liệu Human3.6M, cùng các bộ dữ liệu ảnh MSCOCO, MPII và LSP dùng để huấn luyện và kiểm thử chéo mô hình.

4. Mô hình chấm điểm động tác võ trong Chương 3 hoạt động dựa trên nguyên lý gì?

Mô hình chấm điểm hoạt động dựa trên các bước kỹ thuật:

  • Chuẩn hóa khung xương người thành 8 véc-tơ chi chính (4 véc-tơ chi trên và 4 véc-tơ chi dưới).
  • Tự động nhận diện các "vị trí dừng" của động tác (thời điểm kết thúc đòn đánh hoặc chuyển thế).
  • Tính toán góc của các khớp xương quan trọng (tiêu biểu là góc khuỷu tay và góc đầu gối) tại vị trí dừng.
  • So sánh sai lệch góc và hướng của các véc-tơ chi giữa người tập với mẫu chuẩn của võ sư. Điểm số được tính toán tự động dựa trên độ lệch này, được kiểm chứng trên 36 động tác võ cổ truyền Việt Nam.

5. Những độ đo nào được sử dụng để đánh giá độ chính xác của khung xương 3-D ước lượng được?

Luận án sử dụng ba độ đo chính:

  • MPJPE (Mean Per Joint Position Error): Đo sai số khoảng cách không gian trung bình giữa tọa độ khớp xương ước lượng và khớp xương thực tế (ground truth), tính bằng milimét (mm).
  • AP (Average Precision): Độ chính xác trung bình trong việc xác định đúng vị trí các điểm khớp.
  • AD (Average Deviation): Độ lệch góc trung bình giữa các khớp nối của dữ liệu ước lượng so với dữ liệu gốc.

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Tường Thành đã giải quyết bài toán ước lượng và phục hồi khung xương cơ thể người trong không gian 3-D từ một cảm biến độ sâu MS Kinect v1 đơn lẻ, khắc phục hiện tượng mất dữ liệu do che khuất trong các chuyển động võ thuật nhanh và phức tạp. Bằng cách kết hợp mạng tích chập 2-D với các ràng buộc hình học không gian 3-D, công trình đã xây dựng thành công bộ cơ sở dữ liệu võ thuật cổ truyền Việt Nam (VNMA) và phát triển mô hình nhận diện thế đánh cùng hệ thống chấm điểm tự động cho 36 động tác võ cổ truyền. Kết quả nghiên cứu cung cấp cơ sở khoa học và giải pháp thực tiễn hỗ trợ việc bảo tồn di sản văn hóa võ thuật cũng như đẩy mạnh ứng dụng công nghệ trong giảng dạy giáo dục thể chất tại các trường học.