Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Võ cổ truyền là một môn thể thao và nghệ thuật thể hiện bản sắc văn hóa dân tộc, gắn liền với lịch sử dựng nước và giữ nước, điển hình như võ cổ truyền Bình Định của Việt Nam, Judo, Karate, Kendo, Kyudo của Nhật Bản, hay Kung Fu, TaiChi của Trung Quốc. Công tác bảo tồn và duy trì các bài võ cổ truyền có giá trị văn hóa là nhiệm vụ quan trọng đối với các nhà quản lý. Trước đây, việc lưu trữ và truyền dạy võ thuật chủ yếu dựa vào hình thức truyền miệng, các bản vẽ thế võ liên tục hoặc truyền dạy trực tiếp giữa các thế hệ võ sư, dẫn đến nguy cơ các thế võ bị biến tướng và thiếu tính chuẩn xác theo thời gian. Việc ứng dụng công nghệ ghi hình video để số hóa và lưu trữ tư liệu võ thuật là một hướng tiếp cận phù hợp trong bối cảnh hiện nay.

Tại Việt Nam, từ năm 2016, các bài võ cổ truyền đã được đưa vào chương trình giảng dạy trong các trường phổ thông nhằm mục đích rèn luyện thể chất và trang bị kỹ năng tự vệ cho học sinh. Xuất phát từ thực tế này, việc thiết lập một mô hình tự động chấm điểm và đánh giá các bài võ được truyền dạy là yêu cầu cần thiết, hỗ trợ học sinh tự kiểm tra độ chuẩn xác của tư thế mà không bắt buộc phải có sự hiện diện trực tiếp của võ sư tại các võ đường.

Tuy nhiên, các động tác võ thuật mang đặc thù chuyển động nhanh, phức tạp, bao gồm các thế đánh tứ diện hoặc xoay chuyển 360 độ. Trong khi đó, các thiết bị ghi hình thông thường đặt tại một vị trí cố định chỉ thu nhận được hình ảnh từ một phía, dẫn đến hiện tượng nhiều bộ phận cơ thể và khớp xương bị che khuất (occlusion). Việc sử dụng hệ thống nhiều camera thu hình từ nhiều góc độ thường tốn kém chi phí và phức tạp trong khâu lắp đặt. Do đó, việc xây dựng mô hình tái tạo môi trường 3-D và ước lượng, khôi phục khung xương cơ thể trong điều kiện bị che khuất từ một cảm biến ghi hình duy nhất là một khoảng trống nghiên cứu mang tính thực tiễn cao.

Để xây dựng không gian 3-D với chi phí thấp, các cảm biến độ sâu như Microsoft Kinect phiên bản 1 (Kinect v1) được xem là giải pháp khả thi do giá thành thương mại thấp (khoảng 1.000.000 VNĐ, tương đương 40 USD), có khả năng thu nhận đồng thời ảnh màu (RGB) và ảnh độ sâu (Depth). Mặc dù vậy, dữ liệu khung xương trích xuất trực tiếp từ cảm biến Kinect v1 thường bị mất mát rất nhiều thông tin và chứa nhiều nhiễu do điều kiện chiếu sáng và giới hạn phần cứng. Để giải quyết bài toán này, luận án tập trung nghiên cứu giải pháp kết hợp giữa mô hình học sâu ước lượng khung xương 2-D trên ảnh màu và phép chiếu dữ liệu vào không gian 3-D nhằm khôi phục đầy đủ các khớp xương bị che khuất, phục vụ việc đánh giá và chấm điểm động tác võ thuật.

Mục tiêu và câu hỏi nghiên cứu

Mục tiêu nghiên cứu của luận án được xác định cụ thể như sau:

  1. Đề xuất hướng tiếp cận ước lượng và phục hồi khung xương người trong không gian 3-D từ dữ liệu thu thập bởi một cảm biến MS Kinect v1, kết hợp kết quả ước lượng điểm đại diện 2-D trên ảnh màu và dữ liệu ảnh độ sâu để giảm thiểu sai số khoảng cách vị trí khớp (MPJPE), bảo đảm khôi phục đầy đủ các khớp xương trong trường hợp bị che khuất.
  2. Xây dựng mô hình đánh giá và chấm điểm các động tác võ thuật cổ truyền áp dụng trên video biểu diễn của học sinh phổ thông, đồng thời nhận dạng các động tác tấn công dựa trên dữ liệu khung xương nhằm phân tích các đặc tính kỹ thuật của thế võ.
  3. Thiết lập và công bố bộ cơ sở dữ liệu video võ thuật cổ truyền Việt Nam kèm dữ liệu gốc (ground truth) về khung xương 3-D làm cơ sở thực nghiệm cho các nghiên cứu xử lý thị giác máy tính.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Khung xương và tư thế của người biểu diễn võ thuật cổ truyền (bao gồm các điểm đại diện - keypoints và khớp nối - joints); dữ liệu ảnh màu, ảnh độ sâu và dữ liệu đám mây điểm thu nhận từ cảm biến hình ảnh; các mô hình mạng nơ-ron tích chập (CNN) và kỹ thuật xử lý dữ liệu 3-D.
  • Phạm vi không gian và thiết lập thiết bị:
    • Nghiên cứu sử dụng một cảm biến MS Kinect phiên bản 1 đặt cố định trên giá đỡ ở một phía của khu vực biểu diễn, kết nối với máy tính xách tay qua cổng USB.
    • Vùng không gian biểu diễn võ thuật được giới hạn trong diện tích 3m × 3m. Khoảng cách thu nhận dữ liệu từ cảm biến đến người biểu diễn nằm trong phạm vi từ 0,8m đến 4,0m; góc nghiêng tối đa của cảm biến là 30 độ quanh tâm trục.
    • Dữ liệu thực nghiệm được ghi nhận tại võ đường Nguyễn Thanh Vũ, thành phố Quy Nhơn, tỉnh Bình Định, Việt Nam.
  • Phạm vi đối tượng thực nghiệm:
    • Người thực hiện bài võ là các học viên võ thuật có độ tuổi từ 12 tuổi trở lên, bao gồm cả nam và nữ.
    • Quy định trang phục: Người biểu diễn mặc võ phục màu sẫm, chất liệu không bóng (không bọc nilon) để tránh hiện tượng bề mặt phản xạ hoặc hấp thụ ánh sáng hồng ngoại làm mất dữ liệu độ sâu của cảm biến Kinect.
    • Mỗi đoạn video chỉ tập trung xử lý cho một người biểu diễn đơn lẻ trong khung hình.
  • Giới hạn nghiên cứu: Luận án tập trung vào mô hình nền tảng phục vụ hỗ trợ học tập và bảo tồn; việc phát triển một hệ thống thương mại hoàn chỉnh để chấm điểm trực tiếp trong các giải thi đấu thể thao chuyên nghiệp nằm ngoài phạm vi nghiên cứu.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước trong y văn

Trong phần tổng quan tài liệu, tác giả hệ thống hóa các nghiên cứu liên quan theo các hướng tiếp cận chính sau:

  1. Hệ thống khôi phục hoạt động người trong không gian 3-D và chấm điểm thể thao:

    • Mingsong và các cộng sự (2010) [2] xây dựng hệ thống theo vết và tái tạo người 3-D theo thời gian thực sử dụng đồng thời 8 cảm biến hình ảnh, áp dụng mô hình biến dạng (deformation model) và hàm năng lượng bổ sung trên CPU.
    • Meier và các cộng sự [7] phát triển ứng dụng theo vết hành động người 3-D dựa trên mô hình dạng lưới (mesh).
    • Về chấm điểm võ thuật, Liên đoàn Karate Thế giới (2018) [20] mới chỉ công bố bộ quy tắc chấm điểm thủ công dựa trên vùng ra đòn giải phẫu (đầu, mặt, cổ, ngực, bụng, lưng) mà chưa có hệ thống tự động hóa hoàn chỉnh được công bố.

  2. Ước lượng khung xương người trong không gian 2-D:

    • Trên ảnh màu: Felzenszwalb và các cộng sự [52] phát triển mô hình biến dạng thành phần (DPM) kết hợp bộ phân loại SVM; Sun và các cộng sự [53] đề xuất mô hình dựa trên khớp nối (APM); Pishchulin và các cộng sự [54] và Andriluka [55] áp dụng kỹ thuật chia bộ phận cơ thể kết hợp AdaBoost; Berti và các cộng sự [50] kết hợp kênh RGB và kênh độ sâu thành mô hình biến dạng 4-D và bộ lọc Kalman.
    • Trên ảnh độ sâu: Plagemann và các cộng sự [62] sử dụng bộ lọc cục bộ theo thời gian thực (4–10 fps); Shotton và các cộng sự [63] phân loại điểm ảnh thành các bộ phận trung gian trên ảnh độ sâu đạt tốc độ 200 fps; Plagemann và các cộng sự [64] phát hiện điểm cực trị trên bề mặt lưới bằng bộ mô tả hình dạng cục bộ; Jain và các cộng sự [65] kết hợp Haar cascade và mô hình que trên dữ liệu RGB-D (ước lượng đầu đạt độ chính xác 98%, tay đạt 86%).
    • Phương pháp học sâu 2-D: Toshev và các cộng sự [109] sử dụng mạng AlexNet 7 lớp hồi quy tọa độ khớp; Tompson và các cộng sự [110] đề xuất tạo bản đồ nhiệt (heatmaps) đa độ phân giải; Wei và các cộng sự [111] phát triển mạng Convolutional Pose Machines (CPM) đa giai đoạn (đạt 87,x% trên tập MPII); Cao và các cộng sự [24] đề xuất mạng nơ-ron tích chập 2 nhánh kết hợp bản đồ độ tin cậy và trường liên kết bộ phận (Part Affinity Fields - PAFs); Daniil [117] tối ưu OpenPose trên CPU đánh giá trên tập MS COCO; Sun và các cộng sự [115] đề xuất mạng nơ-ron độ phân giải cao HRNet.
    • Nghiên cứu tại Việt Nam: Hà và các cộng sự [82] nhận dạng hành vi ngã qua vị trí khớp Kinect so với mặt sàn trên tập MOCAP; Phạm và các cộng sự [83] sử dụng 4 phương pháp trích xuất đặc trưng khung xương từ Kinect kết hợp thuật toán SVM để nhận dạng 20 tư thế người đạt độ chính xác trên 98%.

  3. Ước lượng khung xương người trong không gian 3-D:

    • Từ một ảnh đơn: Khảo sát của Sarafianos và các cộng sự [84] chỉ ra hướng tiếp cận phổ biến là ước lượng 2-D rồi khớp với thư viện tư thế 3-D. Tome và các cộng sự [85] ánh xạ 14 điểm 2-D sang 17 điểm 3-D trên tập Human3.6M; Fang và các cộng sự [90] xây dựng mạng ngữ pháp tư thế; Timm và các cộng sự [91] dùng ResNet-50 kết hợp tạo dữ liệu che khuất nhân tạo; Pavllo và các cộng sự [135] sử dụng Mask R-CNN với ResNet-101-FPN và CPN đạt sai số MPJPE 51,4 mm; Pavllo và các cộng sự [157] đề xuất mạng QuaterNet biểu diễn phép quay quaternion; Martinez và các cộng sự [139] dùng Stacked Hourglass kết hợp thuật toán tham lam.
    • Từ chuỗi ảnh hoặc đa góc nhìn: Hossain và các cộng sự [93] sử dụng mạng LSTM chuỗi-sang-chuỗi chuẩn hóa lớp, giúp giảm sai số hơn 12% trên tập Human3.6M; Karim và các cộng sự [147] áp dụng phương pháp tam giác đạc học được trên dữ liệu đa hướng nhìn; Bastian và các cộng sự [158] đề xuất mạng đối kháng RepNet; Kocabas và các cộng sự [159] dùng hình học Epipolar trong mạng EpipolarPose.

Khoảng trống luận án lựa chọn giải quyết

Mặc dù các nghiên cứu thị giác máy tính quốc tế đã đạt nhiều bước tiến trên các tập dữ liệu chuẩn như Human3.6M hay MS COCO, hầu hết các thực nghiệm về che khuất mới chỉ dừng lại ở việc tạo nhiễu nhân tạo dạng hình học cắt cúp (như nghiên cứu của Timm [91]). Chưa có công trình nào giải quyết bài toán ước lượng tư thế bị che khuất trong các chuyển động võ thuật thực tế có tính chất phức tạp, biến dạng liên tục và xoay chuyển đa hướng. Bên cạnh đó, việc tái tạo và chấm điểm bài võ cổ truyền Việt Nam từ một cảm biến chiều sâu giá thành thấp vẫn chưa được nghiên cứu một cách có hệ thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình phân tích

Luận án vận dụng nền tảng lý thuyết học máy (Machine Learning) và học sâu (Deep Learning). Quy trình nghiên cứu được tổ chức theo mô hình tích hợp ba giai đoạn (pha) thống nhất:

[Pha 1: Thu thập & Chuẩn bị dữ liệu]
  - Cảm biến MS Kinect v1 -> Thu nhận ảnh màu RGB + ảnh độ sâu (640x480)
  - Hiệu chuẩn tham số trong camera (Nicolas, 2011) -> Đồng bộ hệ trục tọa độ
  - Chuyển đổi và biểu diễn đám mây điểm 3-D (Point Cloud)
[Pha 2: Ước lượng khung xương 2-D và 3-D]
  - Trích xuất đặc trưng & Dự đoán 2-D bằng mạng tích chập CPM (Cao et al., 2017)
  - Nhánh 1: Dự đoán bản đồ độ tin cậy vị trí điểm đại diện (Confidence Maps)
  - Nhánh 2: Dự đoán trường liên kết bộ phận (Part Affinity Fields)
  - Ánh xạ tọa độ (xi, yi) kết hợp độ sâu Zi -> Tọa độ không gian thực (Xp, Yp, Zp)
  - Khôi phục các khớp bị che khuất dựa trên liên kết cấu trúc giải phẫu
[Pha 3: Phát triển ứng dụng chấm điểm võ thuật]
  - Trích xuất góc quay và quan hệ vị trí các khớp xương then chốt
  - Xây dựng mô hình chấm điểm tư thế theo bài võ mẫu
  - Nhận dạng động tác tấn công bằng thuật toán Cây phân loại (Classification Tree)

Phương pháp nghiên cứu thực nghiệm

  • Xử lý ước lượng 2-D: Luận án sử dụng kiến trúc mạng nơ-ron tích chập Convolutional Pose Machines (CPM) gồm 2 nhánh song song và 6 giai đoạn (stages). Kích thước ảnh đầu vào của mạng là $368 \times 368 \times 3$. Mạng áp dụng các mặt nạ tích chập có kích thước $9 \times 9$, $2 \times 2$, và $5 \times 5$. Mô hình được huấn luyện với kích thước batch (batchSize) bằng 16, số lượng ngăn xếp (stacks) bằng 4.
  • Nghiên cứu so sánh 2-D: Luận án thực hiện so sánh đối chứng giữa hai phương thức huấn luyện:
    • Phương thức 1 (Method 1): Huấn luyện mạng CPM trên tập dữ liệu MS COCO Keypoints.
    • Phương thức 2 (Method 2): Huấn luyện mạng CPM trên tập dữ liệu Human3.6M.
  • Phương pháp chiếu không gian 3-D: Tọa độ các điểm đại diện $(x_i, y_i)$ trên ảnh màu được ánh xạ sang không gian 3-D $(X_p, Y_p, Z_p)$ bằng cách kết hợp giá trị độ sâu tương ứng và bộ tham số hình học nội tại (intrinsic parameters) của cảm biến MS Kinect v1 theo công thức chuẩn hóa của Nicolas [31].
  • Môi trường phần cứng và phần mềm:
    • Phần cứng: Máy chủ trang bị bộ vi xử lý Intel Xeon CPU E5-2420 v2 @ 2.20GHz, bộ nhớ RAM 16GB, card đồ họa GPU NVIDIA GeForce GTX 1080 Ti 12GB bộ nhớ.
    • Phần mềm và thư viện: Hệ điều hành Ubuntu 16.04 và Windows; môi trường Microsoft Visual Studio (bản 2010 trở lên); ngôn ngữ lập trình C++, Python, Matlab; thư viện thị giác máy tính OpenCV, thư viện đám mây điểm Point Cloud Library (PCL), thư viện C++ OpenPose, thư viện Nui của Microsoft Kinect SDK 1.8 và nền tảng học sâu TensorFlow phiên bản 1.x.

Nguồn tư liệu và cơ sở dữ liệu

  1. Dữ liệu chuẩn quốc tế:
    • MS COCO (2016): Tập dữ liệu gồm hơn 150.000 người với 1,7 triệu nhãn điểm đại diện.
    • Human3.6M: Cơ sở dữ liệu chứa 3,6 triệu tư thế 3-D của con người trong các hoạt động khác nhau.
    • MPII, LSP, HumanEva, MADS (Martial Arts, Dance and Sports): Tập dữ liệu MADS gồm khoảng 53 chuỗi hành động thuộc các thể loại võ thuật Karate, nhảy Jazz, nhảy Hip-hop và Thể thao (mỗi thể loại 6 chuỗi).
  2. Dữ liệu do luận án tự thu thập và công bố:
    • Bộ dữ liệu VNMA (VietNam Martial Arts): Gồm 24 video ghi lại 24 bài võ do 24 học viên (12 nam, 12 nữ, độ tuổi từ 13 đến 20 tuổi, đã học võ 1 tháng tại Bình Định) biểu diễn. Luận án cung cấp dữ liệu đám mây điểm 3-D và dữ liệu gốc (ground truth) gồm 17 điểm đại diện được đánh dấu thủ công trong không gian 3-D bằng phần mềm tự phát triển trên nền tảng PCL và C++.
    • Bộ dữ liệu SVNMA (Small VietNam Martial Arts): Gồm 14 video ngắn ghi lại 14 thế võ khác nhau của 1 đối tượng nam (26 tuổi, mặc áo xanh nước biển, quần nâu sẫm).
Thông số Bộ dữ liệu VNMA Bộ dữ liệu SVNMA
Số lượng đối tượng 24 người (12 nam, 12 nữ) 01 người (nam, 26 tuổi)
Độ tuổi đối tượng 13 – 20 tuổi 26 tuổi
Kinh nghiệm võ thuật Đã học võ 1 tháng Biểu diễn 14 thế võ
Số lượng video 24 video 14 video
Dữ liệu đi kèm Ảnh màu, ảnh độ sâu, đám mây điểm Ảnh màu, ảnh độ sâu, nhãn 2-D
Nhãn kiểm chứng 3-D 17 điểm khớp xương đánh dấu thủ công Nhãn điểm đại diện cơ thể

Nội dung chính theo từng chương

Phần Mở đầu

Phần này trình bày tính cấp thiết của đề tài, xuất phát từ nhu cầu bảo tồn di sản võ thuật cổ truyền và yêu cầu thực tế khi đưa võ thuật vào trường phổ thông Việt Nam từ năm 2016. Tác giả chỉ ra những khó khăn khi sử dụng một cảm biến camera giá rẻ (MS Kinect v1) do hiện tượng mất mát dữ liệu khung xương khi chuyển động võ thuật bị che khuất hoặc quay 360 độ. Luận án xác định rõ 2 mục tiêu chính, các ràng buộc kỹ thuật (khoảng cách 0,8–4m, vùng 3m × 3m, trang phục không bóng), mô hình nghiên cứu tổng thể 3 pha và cấu trúc tổng quát của luận án gồm 3 chương nội dung.

Chương 1: Tổng quan

Chương 1 hệ thống hóa cơ sở lý thuyết và các nghiên cứu tiền đề trong nước và quốc tế:

  • Tổng kết lịch sử phát triển của học máy từ phép thử Turing (1950), chương trình trò chơi cờ của Arthur Samuel (1952, 1959), mạng nơ-ron của Frank Rosenblatt (1957), và định nghĩa học máy của Tom Mitchell. Trình bày tổng quan về các kiến trúc học sâu (mạng tích chập sâu, mạng nơ-ron hồi quy, mạng niềm tin sâu).
  • Khảo sát các hệ thống ước lượng tư thế người 2-D dựa trên ảnh màu (DPM, APM, OpenPose, CPM, HRNet) và ảnh độ sâu (Shotton, Plagemann, Jain).
  • Khảo sát các kỹ thuật ước lượng khung xương 3-D từ một ảnh hoặc chuỗi ảnh đa góc nhìn trên các bộ dữ liệu chuẩn (Human3.6M, HumanEva-I, MPII, MuPoTS-3D). Phân tích bảng tổng hợp các nghiên cứu 3-D của Pavllo, Nibali, Wang, Veges, Li, Omran, Martinez, Hossain.
  • Giới thiệu cấu tạo, nguyên lý cảm biến MS Kinect v1, các công cụ thu thập dữ liệu (MS Kinect SDK 1.8, OpenCV, PCL) và các bộ cơ sở dữ liệu quốc tế liên quan đến võ thuật (MADS).

Chương 2: Ước lượng khung xương của người từ dữ liệu võ cổ truyền trong không gian 3-D

Chương 2 là nội dung kỹ thuật trọng tâm của luận án, tập trung vào việc ước lượng và khôi phục khung xương từ video võ thuật:

  • Ước lượng 2-D: Thiết lập kiến trúc mạng CPM với 5 lớp tích chập mỗi nhánh, trích xuất 25 điểm đại diện (mũi, cổ, vai phải/trái, khuỷu tay phải/trái, cổ tay phải/trái, hông giữa, hông phải/trái, đầu gối phải/trái, mắt cá chân phải/trái, mắt, tai, ngón chân, gót chân). Khảo sát mạng HRNet duy trì độ phân giải cao song song nhưng ghi nhận hạn chế do yêu cầu tối thiểu 4 GPU để vận hành.
  • Xây dựng bộ dữ liệu VNMA: Công bố chi tiết số lượng khung hình của 24 video bài võ cổ truyền Việt Nam, phản ánh sự biến đổi liên tục của các thế võ.
Video Số khung hình Video Số khung hình
Video 1 50 Video 13 131
Video 2 89 Video 14 71
Video 3 71 Video 15 95
Video 4 77 Video 16 101
Video 5 98 Video 17 108
Video 6 109 Video 18 117
Video 7 87 Video 19 109
Video 8 79 Video 20 112
Video 9 89 Video 21 80
Video 10 76 Video 22 110
Video 11 79 Video 23 96
Video 12 95 Video 24 105
  • Quy trình gán nhãn 3-D Ground Truth: Luận án xây dựng phần mềm chuyên dụng trên nền Visual Studio và PCL (C++) để gán nhãn thủ công 17 điểm đại diện 3-D trên dữ liệu đám mây điểm của bộ VNMA: (1) Đầu, (2) Cổ, (3) Vai phải, (4) Khuỷu tay phải, (5) Cổ tay phải, (6) Vai trái, (7) Khuỷu tay trái, (8) Cổ tay trái, (9) Giữa hông, (10) Hông phải, (11) Đầu gối phải, (12) Cổ chân phải, (13) Ngón chân cái phải, (14) Hông trái, (15) Đầu gối trái, (16) Cổ chân trái, (17) Ngón chân cái trái.
  • Đồng bộ tọa độ và ước lượng 3-D: Trình bày phương pháp đồng bộ hệ trục tọa độ và chiếu kết quả ước lượng 2-D sang không gian 3-D, chứng minh khả năng khôi phục các khớp bị che khuất từ dữ liệu một phía của Kinect v1.
  • Các công bố gắn với chương: Các bài báo trên Journal of Science and Technology (2019), Research and Development on Information and Communication Technology (2019), Hội nghị Quốc tế ISCIT 2019, và Journal of Advanced Engineering and Computation (JAEC) (2019, Vol 3, Iss 3, pp. 471-491).

Chương 3: Ứng dụng đánh giá, chấm điểm các động tác võ cổ truyền và nhận dạng động tác tấn công trong dữ liệu khung xương người

Chương 3 trình bày việc khai thác dữ liệu khung xương 3-D đã khôi phục vào bài toán thực tiễn:

  • Thiết lập mô hình phân tích dữ liệu kỹ thuật trích xuất từ khung xương để tính toán độ sai lệch góc giữa các khớp của người tập so với động tác mẫu chuẩn.
  • Xây dựng mô hình chấm điểm tự động các bài quyền võ cổ truyền dành cho học sinh phổ thông.
  • Xây dựng thuật toán Cây phân loại (Classification Tree) trên dữ liệu khung xương để tự động nhận dạng các động tác tấn công trong bài võ.
  • Các công bố gắn với chương: Bài báo trên Tạp chí Khoa học và Công nghệ - Đại học Đà Nẵng (2016, số 11); bài báo tại Hội nghị Quốc tế IEEE ATC 2017 (pp. 241-244); bài báo tại Hội thảo Khoa học Quốc gia AtiGB lần thứ 5 (2019, pp. 88-97).

Phần Kết luận

Tổng kết toàn bộ các kết quả đạt được về mặt mô hình lý thuyết, thử nghiệm kỹ thuật và cơ sở dữ liệu thực nghiệm; nêu rõ các hạn chế tồn đọng và vạch ra định hướng nghiên cứu tiếp theo.

Kết quả và những đóng góp mới

Đóng góp về mặt lý luận và khoa học

  1. Mô hình ước lượng kết hợp 2-D và 3-D khắc phục che khuất: Đề xuất thành công quy trình tích hợp giữa mô hình mạng nơ-ron tích chập (CPM) ước lượng tốt trên không gian ảnh 2-D và phép ánh xạ dữ liệu độ sâu trong không gian 3-D. Giải pháp này cho phép khôi phục đầy đủ vị trí các khớp xương cơ thể ngay cả khi đối tượng bị che khuất bộ phận do xoay người hoặc tự che khuất trong các động tác võ thuật phức tạp, chỉ sử dụng một cảm biến đơn MS Kinect v1.
  2. Nghiên cứu thực nghiệm đối chứng: Thực hiện đánh giá so sánh hiệu quả ước lượng khung xương 2-D và 3-D khi huấn luyện mô hình trên các tập dữ liệu khác nhau (COCO và Human3.6M) trên dữ liệu võ thuật thực tế.

Đóng góp về mặt thực tiễn

  1. Xây dựng và công bố bộ dữ liệu võ cổ truyền Việt Nam (VNMA và SVNMA): Đóng góp cho cộng đồng nghiên cứu thị giác máy tính bộ cơ sở dữ liệu video võ thuật gồm 24 video chuẩn hóa của 24 học viên tại Bình Định kèm dữ liệu đám mây điểm 3-D và 17 điểm nhãn kiểm chứng 3-D (ground truth).
  2. Mô hình chấm điểm và nhận dạng đòn đánh phục vụ giáo dục: Xây dựng tiền đề kỹ thuật cho hệ thống tự động chấm điểm bài tập võ thuật của học sinh trong trường phổ thông và nhận dạng động tác tấn công bằng cây phân loại, hỗ trợ chuyển đổi số trong công tác bảo tồn di sản văn hóa phi vật thể.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được ghi nhận

  • Giới hạn phần cứng thu thập: Cảm biến MS Kinect v1 sử dụng ánh sáng hồng ngoại nên chất lượng ảnh độ sâu dễ bị suy giảm bởi điều kiện ánh sáng môi trường và hiện tượng hấp thụ ánh sáng của vật liệu trang phục. Tần số khung hình chỉ đạt 10–30 fps, độ phân giải dừng lại ở $640 \times 480$.
  • Hạn chế trong khâu gán nhãn kiểm chứng 3-D: Việc gắn nhãn ground truth 17 điểm khớp 3-D phải thực hiện thủ công trên dữ liệu đám mây điểm từ một phía quan sát của cảm biến. Đối với các thế võ che khuất quá phức tạp, việc xác định tọa độ thực tế của tay/chân bị khuất hoàn toàn vẫn chưa đạt độ chính xác tuyệt đối do chưa trang bị hệ thống ghi nhận chuyển động chuyên dụng MOCAP nhiều góc nhìn.
  • Phạm vi xử lý đối tượng: Hệ thống hiện tại mới chỉ xử lý video có một người biểu diễn duy nhất trong không gian $3\text{m} \times 3\text{m}$; chưa xử lý được các tình huống đối kháng có hai hoặc nhiều người tương tác va chạm.
  • Ràng buộc tài nguyên tính toán: Kiến trúc mạng hiện đại HRNet chưa thể triển khai thực nghiệm trực tiếp trong luận án do đòi hỏi phần cứng vận hành song song tối thiểu 4 GPU.

Hướng nghiên cứu tiếp theo

  • Nâng cấp hệ thống phần cứng và thử nghiệm các mô hình mạng nơ-ron mới (như HRNet) trên môi trường đa GPU.
  • Ứng dụng hệ thống cảm biến quang học hoặc bộ thiết bị MOCAP chuyên dụng để tự động hóa và nâng cao độ chính xác của tập dữ liệu nhãn 3-D trong các tư thế che khuất hoàn toàn.
  • Mở rộng thuật toán để nhận dạng và chấm điểm các bài võ đối kháng có từ hai người trở lên và phát triển hệ thống hoàn chỉnh phục vụ đánh giá thi đấu thể thao.

Giá trị tham khảo

Luận án cung cấp tài liệu tham khảo có giá trị chuyên môn cụ thể cho các nhóm đối tượng sau:

  • Nghiên cứu sinh và học viên cao học ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Thị giác Máy tính: Tham khảo chi tiết kiến trúc mạng nơ-ron tích chập 2 nhánh (CPM), phương pháp xử lý dữ liệu điểm ảnh kết hợp dữ liệu độ sâu và giải thuật ánh xạ tọa độ 2-D sang không gian 3-D trong Chương 1 và Chương 2.
  • Các kỹ sư và lập trình viên phát triển ứng dụng xử lý ảnh / 3-D: Tham khảo phương pháp xây dựng công cụ thu thập, đồng bộ dữ liệu RGB-D trên môi trường C++, OpenCV, PCL và Kinect SDK 1.8.
  • Cộng đồng nghiên cứu xử lý hành động người: Khai thác bộ cơ sở dữ liệu VNMA với 24 chuỗi video bài võ cổ truyền Việt Nam và tập nhãn kiểm chứng 17 khớp xương 3-D đã được tác giả công bố.
  • Cán bộ quản lý giáo dục thể chất và võ sư: Tham khảo mô hình ứng dụng chấm điểm tư thế và nhận dạng động tác tấn công trong Chương 3 để nghiên cứu áp dụng công nghệ hỗ trợ giảng dạy thể dục thể thao trong các trường phổ thông.

Câu hỏi thường gặp

1. Tại sao luận án lại lựa chọn cảm biến MS Kinect phiên bản 1 thay vì các thiết bị thu hình cao cấp khác?
Cảm biến MS Kinect v1 có giá thành rẻ trên thị trường (khoảng 1 triệu VNĐ / 40 USD), phù hợp với điều kiện kinh tế phổ thông tại Việt Nam. Thiết bị này tích hợp đồng thời cảm biến ảnh màu và ảnh độ sâu, cung cấp đủ thông tin không gian thực để nghiên cứu các thuật toán tái tạo 3-D chi phí thấp mà không cần thiết lập dàn camera phức tạp.

2. Luận án giải quyết vấn đề mất dữ liệu khung xương khi bị che khuất trong võ thuật bằng cách nào?
Tác giả không sử dụng khung xương trực tiếp trích xuất từ phần mềm của Kinect v1 (do bị mất dữ liệu rất nhiều). Thay vào đó, luận án sử dụng mạng nơ-ron tích chập CPM để học và ước lượng chính xác vị trí các điểm đại diện trên ảnh màu 2-D, sau đó kết hợp với thông tin tọa độ độ sâu và các ràng buộc liên kết giải phẫu cơ thể để chiếu sang không gian 3-D, từ đó khôi phục lại các khớp xương ở vị trí bị che khuất.

3. Bộ cơ sở dữ liệu VNMA do luận án xây dựng có quy mô và đặc tính kỹ thuật như thế nào?
Bộ dữ liệu VNMA gồm 24 đoạn video ghi lại bài biểu diễn của 24 học viên (12 nam, 12 nữ, 13–20 tuổi) tại võ đường ở Bình Định. Mỗi video có từ 50 đến 131 khung hình (độ phân giải $640 \times 480$). Đi kèm với video là dữ liệu đám mây điểm 3-D và tập nhãn kiểm chứng gồm 17 điểm đại diện khớp xương được đánh dấu thủ công trong không gian 3-D.

4. Vì sao kiến trúc mạng HRNet không được tác giả sử dụng làm mô hình thực nghiệm chính trong nghiên cứu?
Mặc dù HRNet là mạng nơ-ron tích chập có độ chính xác rất cao trên tập dữ liệu COCO, kiến trúc này đòi hỏi tài nguyên tính toán lớn và phải chạy song song tối thiểu trên 4 card đồ họa GPU. Do giới hạn cấu hình phần cứng của máy chủ thực nghiệm tại thời điểm nghiên cứu (trang bị 1 GPU GTX 1080 Ti), tác giả chưa thể triển khai huấn luyện thực tế mô hình HRNet.

5. Luận án đã công bố những bài báo khoa học nào từ các kết quả nghiên cứu?
Các kết quả của luận án đã được công bố trên 4 bài báo quốc tế và tạp chí chuyên ngành (gồm Journal of Science and Technology, Journal of Advanced Engineering and Computation, tạp chí R&D on ICT, và kỷ yếu hội nghị ISCIT 2019) cùng 3 bài báo trong nước liên quan đến mô hình chấm điểm võ thuật và nhận dạng động tác tấn công (Tạp chí Khoa học và Công nghệ ĐH Đà Nẵng, kỷ yếu hội nghị IEEE ATC 2017, và hội thảo quốc gia AtiGB 2019).

Kết luận

Luận án tiến sĩ đã giải quyết bài toán ước lượng và khôi phục khung xương người trong không gian 3-D từ dữ liệu video võ thuật cổ truyền thu nhận bởi một cảm biến MS Kinect v1 duy nhất. Bằng cách kết hợp mạng nơ-ron tích chập CPM trên không gian ảnh 2-D và phép ánh xạ hình học sang không gian 3-D, nghiên cứu đã khắc phục hiệu quả hiện tượng mất mát dữ liệu khớp xương do che khuất chuyển động. Bên cạnh việc xây dựng thành công mô hình chấm điểm bài võ và nhận dạng động tác tấn công phục vụ giảng dạy thể chất trong trường phổ thông, luận án đã đóng góp bộ dữ liệu võ thuật cổ truyền Việt Nam (VNMA) với nhãn kiểm chứng 3-D phục vụ cộng đồng học thuật.