Luận Án Tiến Sĩ Kỹ Thuật Điện Tử: Nhận Dạng Tư Thế Võ Dựa Trên Ảnh Chiều Sâu

Luận án tiến sĩ kỹ thuật điện tử nghiên cứu mô hình nhận dạng tư thế võ sử dụng ảnh chiều sâu, ứng dụng trong công nghệ AI và thị giác máy tính.

• Tác giả: Nguyễn Tường Thành
• Người hướng dẫn: TS. Lê Dũng
• Trường học: Đại học Bách khoa Hà Nội
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Mô hình nhận dạng tư thế võ từ ảnh chiều sâu
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• NỘI DUNG
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Học máy, học sâu và ứng dụng
• 1.2. Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật
• 1.2.1. Hệ thống khôi phục hoạt động của người trong không gian 3-D
• 1.2.2. Hệ thống chấm điểm võ thuật
• 1.3. Ước lượng khung xương trên cơ thể người trong không gian 2-D
• 1.3.1. Ước lượng khung xương trên ảnh màu
• 1.3.2. Ước lượng khung xương trên ảnh độ sâu
• 1.3.3. Ước lượng tư thế dựa trên đối tượng và ngữ cảnh hoạt động
• 1.3.4. Ước lượng khung xương và tư thế người trong môi trường 3-D
• 1.3.4.1. Phục hồi tư thế 3-D của người từ một ảnh
• 1.3.4.2. Phục hồi tư thế 3-D của người
• 1.3.4.2.1. Phục hồi khung xương, tư thế người trong không gian 3-D từ một ảnh
• 1.3.4.2.2. Phục hồi khung xương, tư thế người trong không gian 3-D từ một chuỗi ảnh
• 1.3.5. Các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D
• 1.3.5.1. Giới thiệu Kinect
• 1.3.5.2. Hiệu chỉnh dữ liệu thu từ cảm biến Kinect
• 1.3.6. Tổng kết chương
• 2. CHƯƠNG 2: ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D
• 2.1. Ước lượng khung xương trong không gian 2-D
• 2.1.1. Các nghiên cứu liên quan
• 2.1.2. Sử dụng học sâu cho việc ước lượng các hành động trong bài võ cổ truyền trong không gian 2-D
• 2.1.2.1. Phương thức
• 2.1.2.2. Cơ sở dữ liệu các bài võ cổ truyền
• 2.1.2.3. Phương thức đánh giá
• 2.1.2.4. Xoay và dịch dữ liệu trong không gian 3-D
• 2.1.2.5. Kết quả ước lượng và nhận xét
• 2.2. Phục hồi khung xương, tư thế người trong không gian 3-D và bị che khuất
• 2.2.1. Các nghiên cứu liên quan
• 2.2.2. Phục hồi khung xương, tư thế người trong không gian 3-D
• 2.2.2.1. Nghiên cứu so sánh về khôi phục khung xương người trong không gian 3-D
• 2.2.2.2. Thí nghiệm và kết quả ước lượng khung xương 3-D
• 2.2.3. Ước lượng khung xương, tư thế người khi bị che khuất
• 2.2.4. Tổng kết chương
• 3. CHƯƠNG 3: NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ TRUYỀN VIỆT NAM
• 3.1. Nhận diện động tác tấn công
• 3.1.1. Xử lý dữ liệu
• 3.1.2. Trích xuất đặc trưng cơ thể người với camera Kinect
• 3.1.3. Nhận diện động tác tấn công bằng cây phân loại
• 3.1.4. Nhận diện động tác tấn công bằng mạng nơ ron
• 3.2. Các nghiên cứu liên quan
• 3.3. Cơ sở lý thuyết để nhận diện động tác tấn công và chấm điểm động tác võ
• 3.4. Mô hình chấm điểm động tác võ cổ truyền
• 3.4.1. Mô tả động tác người
• 3.4.2. Công thức chấm điểm
• 3.5. Chấm điểm động tác võ cổ truyền Việt Nam
• 3.6. Tổng kết chương
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Mở Đầu

Nghiên cứu về mô hình nhận dạng tư thế võ từ ảnh chiều sâu là một lĩnh vực quan trọng trong việc bảo tồn và phát triển văn hóa võ thuật. Luận án tiến sĩ này tập trung vào việc xây dựng một hệ thống có khả năng nhận diện và đánh giá các tư thế võ cổ truyền Việt Nam. Việc ứng dụng công nghệ học máy và học sâu trong lĩnh vực này không chỉ giúp nâng cao chất lượng giảng dạy mà còn tạo điều kiện cho việc tự học và tự đánh giá của học sinh. Hệ thống này sử dụng các cảm biến như Kinect để thu thập dữ liệu, từ đó phân tích và đánh giá các động tác võ thuật một cách chính xác.

1.1 Tính Cấp Thiết Của Nghiên Cứu

Võ cổ truyền không chỉ là một môn thể thao mà còn là một phần quan trọng trong văn hóa dân tộc. Việc bảo tồn và phát triển các bài võ cổ truyền là cần thiết để duy trì bản sắc văn hóa. Tuy nhiên, việc ghi lại và truyền dạy các bài võ thường gặp khó khăn do tính chất phức tạp và nhanh chóng của các động tác. Do đó, việc xây dựng một mô hình nhận dạng có khả năng phân tích và đánh giá các tư thế võ từ ảnh chiều sâu là một giải pháp hiệu quả. Hệ thống này không chỉ giúp bảo tồn văn hóa mà còn tạo điều kiện cho việc giảng dạy và học tập hiệu quả hơn.

II. Tổng Quan Về Hệ Thống Nhận Dạng

Chương này trình bày tổng quan về các phương pháp và công nghệ hiện có trong lĩnh vực nhận dạng tư thế. Các nghiên cứu trước đây đã chỉ ra rằng việc sử dụng công nghệ nhận dạng có thể cải thiện đáng kể độ chính xác trong việc phân tích các động tác võ thuật. Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật là hai ứng dụng chính của công nghệ này. Việc sử dụng học sâu và trí tuệ nhân tạo trong việc phân tích hình ảnh giúp nâng cao khả năng nhận diện và đánh giá các tư thế võ một cách chính xác và nhanh chóng.

2.1 Hệ Thống Khôi Phục Hoạt Động

Hệ thống khôi phục hoạt động của người trong không gian 3-D sử dụng các cảm biến như Kinect để thu thập dữ liệu hình ảnh. Dữ liệu này sau đó được xử lý để ước lượng khung xương và tư thế của người. Việc sử dụng phân tích hình ảnh và xử lý dữ liệu giúp cải thiện độ chính xác trong việc nhận diện các động tác võ thuật. Các nghiên cứu đã chỉ ra rằng việc sử dụng học máy có thể giúp cải thiện đáng kể khả năng nhận diện và đánh giá các tư thế võ cổ truyền.

III. Phương Pháp Nghiên Cứu

Phương pháp nghiên cứu trong luận án này bao gồm việc thu thập dữ liệu từ các bài võ cổ truyền, sau đó áp dụng các thuật toán học sâu để phân tích và nhận diện các tư thế. Các mô hình trí tuệ nhân tạo được sử dụng để tối ưu hóa quá trình nhận diện và đánh giá. Việc sử dụng dữ liệu ảnh và dữ liệu độ sâu từ cảm biến Kinect giúp cải thiện độ chính xác trong việc nhận diện các động tác võ thuật. Hệ thống này không chỉ giúp nâng cao chất lượng giảng dạy mà còn tạo điều kiện cho việc tự học và tự đánh giá của học sinh.

3.1 Thu Thập Dữ Liệu

Dữ liệu được thu thập từ các buổi dạy võ cổ truyền, sử dụng cảm biến Kinect để ghi lại các động tác. Dữ liệu này bao gồm cả ảnh màu và ảnh độ sâu, giúp tạo ra một bộ dữ liệu phong phú cho việc phân tích. Việc thu thập dữ liệu từ nhiều góc độ khác nhau giúp cải thiện khả năng nhận diện và đánh giá các tư thế võ. Các phương pháp xử lý dữ liệu như xử lý ảnh và phân tích hình ảnh được áp dụng để tối ưu hóa quá trình nhận diện và đánh giá.

IV. Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy rằng hệ thống nhận dạng tư thế võ từ ảnh chiều sâu có khả năng nhận diện và đánh giá các động tác võ thuật một cách chính xác. Các mô hình học sâu đã được áp dụng thành công trong việc phân tích dữ liệu và cải thiện độ chính xác trong việc nhận diện. Hệ thống này không chỉ giúp bảo tồn văn hóa võ thuật mà còn tạo điều kiện cho việc giảng dạy và học tập hiệu quả hơn. Việc ứng dụng công nghệ trong lĩnh vực này mở ra nhiều cơ hội mới cho việc phát triển và bảo tồn văn hóa võ thuật.

4.1 Đánh Giá Kết Quả

Kết quả đánh giá cho thấy rằng hệ thống có thể nhận diện các tư thế võ với độ chính xác cao. Việc sử dụng công nghệ nhận dạng và học sâu đã giúp cải thiện đáng kể khả năng phân tích và đánh giá các động tác võ thuật. Hệ thống này không chỉ có giá trị trong việc bảo tồn văn hóa mà còn có thể được áp dụng trong các lĩnh vực khác như thể thao, giáo dục và giải trí.

Nội dung chính

Tổng quan về luận án

Bối cảnh khoa học của công trình nghiên cứu tiến sĩ "Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu" của nghiên cứu sinh Nguyễn Tường Thành (thực hiện tại Viện Điện tử Viễn thông, Trường Đại học Bách khoa Hà Nội dưới sự hướng dẫn của TS. Lê Dũng và TS. Phạm Thành Công) đặt trọng tâm vào giao điểm giữa thị giác máy tính 3-D (3-D Computer Vision), học sâu (Deep Learning) và bài toán số hóa, bảo tồn di sản văn hóa phi vật thể kết hợp giáo dục thể chất học đường. Tính tiên phong của nghiên cứu thể hiện qua việc giải quyết bài toán ước lượng tư thế 3-D chuyển động nhanh, phức tạp và tự che khuất (self-occlusion) cao trong võ thuật cổ truyền Việt Nam (Võ Bình Định) chỉ bằng một cảm biến ảnh chiều sâu giá thành thấp (Microsoft Kinect v1, khoảng 40 USD ~ 1.000.000 VNĐ).

Khoảng trống nghiên cứu (Research Gap) xuất phát từ thực tế các hệ thống thu nhận chuyển động thương mại (MOCAP - Motion Capture) đòi hỏi phòng thí nghiệm chuẩn với hệ thống 10-15 camera đồng bộ đắt tiền (như hệ thống của Catalin et al., 2014) hoặc cảm biến chuyên dụng đắt đỏ. Ngược lại, dữ liệu từ cảm biến RGB-D đơn kênh (Monocular Depth Sensor) như MS Kinect v1 bị giới hạn nghiêm trọng: nhiễu độ sâu lớn, mất dữ liệu khi bề mặt hấp thụ hồng ngoại (vải bóng, tóc đen) hoặc khi vận động viên di chuyển vượt ngoài dải đo quang học 0.8m – 4.0m. Luận án trích dẫn rõ: "Dữ liệu thu được từ cảm biến MS Kinect v1 là bị mất rất nhiều. Như trong nghiên cứu của Wang và các cộng sự [37] đã cho thấy sự sai khác và thiếu dữ liệu rất lớn giữa cảm biến MS Kinect v1 và MS Kinect v2." Đồng thời, "Ở Việt Nam từ năm 2016, các bài võ cổ truyền được đưa vào giảng dạy trong các trường phổ thông để rèn luyện sức khỏe và tự vệ cho các em học sinh. Nên việc xây dựng một mô hình chấm điểm các bài võ được truyền dạy trên lớp là điều cần thiết."

Câu hỏi nghiên cứu và giả thuyết khoa học được xác lập:

• RQ1: Làm thế nào để ước lượng chính xác khung xương 3-D hoàn chỉnh và phục hồi các khớp bị che khuất từ dữ liệu RGB-D thu từ một cảm biến góc nhìn đơn (Monocular Kinect v1)?
• RQ2: Mô hình toán học và cấu trúc mạng nơ-ron nào tối ưu hóa được việc ánh xạ tọa độ điểm đại diện 2-D sang không gian 3-D đối với các chuyển động võ thuật có góc quay 360 độ và động tác biến dạng cao?
• RQ3: Làm thế nào để xây dựng thuật toán chấm điểm tự động và nhận diện đòn thế tấn công/phòng thủ đạt độ tin cậy tương đương võ sư chuẩn mực?
• H1: Việc tích hợp mạng tích chập 2-D hiện đại kết hợp cơ chế nâng chiều (2D-to-3D lifting) thông qua cơ sở tri thức tư thế 3-D sẽ triệt tiêu lỗi mất điểm ảnh chiều sâu và tái tạo đầy đủ các khớp bị che khuất với sai số vị trí khớp trung bình (MPJPE) cạnh tranh với các hệ thống đa camera.
• H2: Sự kết hợp giữa vector hướng chi, góc lệch khớp (Average Deviation - AD) và chuỗi thời gian động cho phép định lượng hóa chính xác chất lượng động tác võ thuật theo thời gian thực.

Khung lý thuyết của luận án xây dựng trên nền tảng: Mô hình biến dạng bộ phận (Deformable Part Model - DPM của Felzenszwalb et al., 2010), Máy học cử chỉ tích chập (Convolutional Pose Machines - CPM của Wei et al., Tome et al., 2017), Lý thuyết không gian đa tạp Đại số Lie $SE(3)$ (Vemulapalli et al., 2014) và Mạng bộ nhớ ngắn dài hạn (LSTM của Hossain et al., 2018). Phạm vi nghiên cứu bao gồm việc thu thập và chuẩn hóa bộ dữ liệu võ thuật cổ truyền Việt Nam (VNMA Dataset) thu tại TP. Quy Nhơn, tỉnh Bình Định và bộ dữ liệu SVNMA với độ phân giải $640 \times 480$ pixels, tần số 10–30 fps, không gian hoạt động $3\text{m} \times 3\text{m}$, kiểm chứng chéo trên bộ dữ liệu quốc tế MADS (53.000 khung hình) và Human3.6M (3.6 triệu tư thế 3-D).

Literature Review và Positioning

Tổng quan y văn trong luận án hệ thống hóa ba dòng nghiên cứu chính:

1. Ước lượng khung xương từ ảnh 2-D đơn sắc: Felzenszwalb et al. (2010) phát triển mô hình DPM dựa trên cấu trúc hình sao kết hợp bộ phân loại Support Vector Machine (SVM). Sun et al. (2012) mở rộng thành mô hình Articulated Part-based Model (APM) khai thác quan hệ cây phân cấp cha - con từ thô đến mịn. Andriluka et al. (2014) chuẩn hóa bộ cơ sở dữ liệu MPII với 25.000 ảnh và 410 hoạt động con người, định hình độ đo PCKh. Bước ngoặt xuất hiện khi Wei et al. và Tome et al. (2017) giới thiệu Convolutional Pose Machines (CPM) và Sun et al. (2019) đề xuất High-Resolution Network (HRNet), duy trì biểu diễn độ phân giải cao xuyên suốt mạng nơ-ron để tối ưu hóa bản đồ nhiệt (heatmaps).
2. Ước lượng tư thế 3-D từ dữ liệu độ sâu và RGB: Shotton et al. (2013) thuộc Microsoft Research áp dụng Rừng quyết định ngẫu nhiên (Random Decision Forests - RDF) phân loại từng điểm ảnh độ sâu thành các bộ phận cơ thể ở tốc độ 200 fps trên Xbox Kinect. Plagemann et al. (2010) sử dụng bộ mô tả hình dạng cục bộ (local shape descriptors) trên lưới bề mặt tam giác. Vemulapalli et al. (2014) mô hình hóa cấu trúc hình học xương người trên nhóm Lie $SE(3) \times \dots \times SE(3)$ và ánh xạ sang không gian vector đại số Lie kết hợp Dynamic Time Warping (DTW) để phân loại hành động.
3. Phục hồi tư thế 3-D và giải quyết che khuất: Tome et al. (2017) đề xuất mô hình nâng chiều từ 14 điểm đại diện 2-D lên 17 khớp 3-D dựa trên không gian vector xác suất từ tập Human3.6M. Hossain & Little (2018) đưa ra cấu trúc Sequence-to-Sequence LSTM với chuẩn hóa lớp (layer normalization) nhằm khai thác tính liên tục thời gian, giảm hơn 12% sai số MPJPE. Pavllo et al. (2018, 2019) phát triển mạng tích chập bán kính giãn nở (Temporal Dilated CNN) và QuaterNet sử dụng biểu diễn quaternion để giảm thiểu sai số quay khớp lũy kế.

Các tranh luận học thuật cốt lõi trong y văn:

• Trường phái Direct 3-D Regression vs. Trường phái 2-D to 3-D Lifting: Hướng tiếp cận trực tiếp (như Pavlakos et al., 2017 với biểu diễn Voxel 3-D) gặp khó khăn lớn về chi phí tính toán và yêu cầu tập dữ liệu huấn luyện 3-D khổng lồ. Ngược lại, hướng tiếp cận hai giai đoạn (2-stage lifting của Martinez et al., 2017; Tome et al., 2017) tận dụng được các bộ dữ liệu 2-D khổng lồ (MS COCO, MPII) để tạo điểm mấu chốt 2-D chính xác, sau đó dùng ràng buộc hình học động học để suy diễn chiều sâu.
• Trường phái Multi-view MOCAP vs. Monocular In-the-wild: Hệ thống nhiều camera (Karim et al., Bastian et al., 2019) cho độ chính xác cao nhưng không thể triển khai đại trà ngoài thực địa do ràng buộc kinh tế và không gian lắp đặt.

Luận án định vị nghiên cứu vào bài toán ước lượng chuyển động tốc độ cao trong không gian hẹp với góc nhìn đơn thể (Monocular single-view), thu hẹp khoảng cách giữa lý thuyết thị giác máy tính cao cấp và ứng dụng thực tế thông qua thiết bị MS Kinect v1 phổ dụng. Công trình so sánh đối sánh trực tiếp với hai nghiên cứu quốc tế điển hình:

• Nghiên cứu của Tome et al. (2017) trên tập dữ liệu Human3.6M (đạt MPJPE Protocol 1: 51.4mm trong điều kiện chuyển động thường nhật).
• Nghiên cứu cơ sở dữ liệu võ thuật đa góc nhìn MADS của Zhang et al. (2014) (53.000 frame, camera Bumblebee-II kết hợp MOCAP stereo 60 Hz). Luận án chứng minh phương pháp đề xuất vượt qua giới hạn che khuất của MS Kinect v1 mà không cần bổ sung hệ thống phần cứng stereo đa điểm tốn kém.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng lý thuyết Động học cơ thể người (Kinematic Human Modeling) và Lý thuyết Ước lượng tư thế xác suất (Probabilistic Pose Estimation Theory):

1. Mở rộng mô hình CPM và Không gian tư thế 3-D (3-D Pose Prior Space): Luận án kế thừa kiến trúc CPM nhiều tầng của Wei et al. nhưng mở rộng cơ chế tinh chỉnh bản đồ nhiệt thông qua hàm mất mát liên kết không gian (Spatial Affinity Loss) và chiếu hình học xạ ảnh, liên kết trực tiếp giữa các điểm ảnh 2-D ($x_a, y_a$) với tọa độ thực thế giới thực $(X_p, Y_p, Z_p)$.
2. Khung biểu diễn hình học vi phân động tác võ thuật: Mở rộng lý thuyết của Vemulapalli et al. về nhóm Lie $SE(3)$, luận án mô hình hóa 8 vector chi cơ bản (2 cẳng tay, 2 cánh tay, 2 đùi, 2 cẳng chân) dưới dạng vector không gian Euclid 3 chiều, chuyển đổi mối quan hệ phi tuyến của các khớp quay thành bài toán so lệch góc $\theta$ chuẩn hóa: $$\cos(\theta) = \frac{\vec{v}{\text{est}} \cdot \vec{v}{\text{gt}}}{|\vec{v}{\text{est}}| |\vec{v}{\text{gt}}|}$$
3. Mệnh đề chuyển dịch Paradigm (Paradigm Shift): Chuyển dịch từ việc phụ thuộc vào dữ liệu chiều sâu thô trực tiếp từ cảm biến (vốn dễ bị đứt gãy do góc quay võ thuật) sang mô hình lai suy luận dựa trên cấu trúc tri thức tiên nghiệm (Kinematic Structural Priors) kết hợp khớp nối không gian 2-D/3-D.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp ba trụ cột lý thuyết: (1) Lý thuyết Tích chập không gian đa phân giải, (2) Lý thuyết Chiếu xạ ảnh quang học (Projective Geometry & Calibration), và (3) Lý thuyết Phân loại chuỗi phi tuyến (Nonlinear Temporal-Sequential Classification).

   +-------------------------------------------------------------------------+
   |                       PHA 1: CHUẨN BỊ VÀ ĐỒNG BỘ DỮ LIỆU                |
   |  +---------------------------+       +-------------------------------+  |
   |  |   Camera MS Kinect v1     | ----> |   Hiệu chỉnh Calibration      |  |
   |  |   (RGB + Depth 640x480)   |       |   Ma trận tham số trong H_m   |  |
   |  +---------------------------+       +-------------------------------+  |
   +---------------------------------------------------|---------------------+
                                                       v
   +-------------------------------------------------------------------------+
   |                 PHA 2: ƯỚC LƯỢNG VÀ PHỤC HỒI KHUNG XƯƠNG 3-D            |
   |  +---------------------------+       +-------------------------------+  |
   |  | Ước lượng 2-D Keypoints   |       | Chiếu 2D->3D & Khôi phục khớp |  |
   |  | (CPM / HRNet Heatmaps)    | ----> | bị che khuất bằng Thư viện    |  |
   |  | (14 điểm đại diện)        |       | Tri thức tư thế 3-D (17 khớp) |  |
   |  +---------------------------+       +-------------------------------+  |
   +---------------------------------------------------|---------------------+
                                                       v
   +-------------------------------------------------------------------------+
   |                PHA 3: NHẬN DẠNG ĐÒN THẾ VÀ CHẤM ĐIỂM TỰ ĐỘNG            |
   |  +---------------------------+       +-------------------------------+  |
   |  | Phân loại Đòn thế Tấn công|       | Mô hình Chấm điểm Động tác    |  |
   |  | (Decision Tree / LSTM)    |       | Đánh giá sai số AD, MPJPE     |  |
   |  +---------------------------+       +-------------------------------+  |
   +-------------------------------------------------------------------------+

Khung tiếp cận giải quyết tính bất định (Boundary conditions) trong điều kiện:

• Chỉ sử dụng 01 camera RGB-D đặt đối diện vùng biểu diễn.
• Vận động viên mặc trang phục võ thuật tiêu chuẩn (không chứa nilon bóng quang học phản xạ tia hồng ngoại).
• Giới hạn không gian vận động trong khối thể tích $3\text{m} \times 3\text{m} \times 2.5\text{m}$.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án vận dụng triết lý Thực chứng luận (Positivism) kết hợp Thực nghiệm định lượng (Quantitative Experimental Research). Thiết kế nghiên cứu bao gồm ba giai đoạn độc lập nhưng tích hợp chặt chẽ theo luồng dữ liệu liên tục:

[Thu thập dữ liệu Kinect RGB-D] 
[Trích xuất 2-D Keypoints qua CNN]

Cỡ mẫu và tiêu chí lựa chọn:

• Tập dữ liệu võ thuật VNMA: Gồm hàng chục nghìn khung hình video ghi lại các bài quyền và thế võ cổ truyền Bình Định chuẩn mực do các võ sư danh tiếng (Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Phạm Ngọc Dương, Bùi Thị Lành, Nguyễn Quốc Tiễn thuộc Trung tâm Võ thuật cổ truyền Bình Định, TP. Quy Nhơn) và các học sinh phổ thông thực hiện.
• Tiêu chuẩn lựa chọn đối tượng: Độ tuổi từ 12 tuổi trở lên, thể trạng phù hợp, thực hiện đầy đủ 36 động tác võ thuật cổ truyền Việt Nam đơn lẻ và các bài quyền liên hoàn.
• Dữ liệu đối sánh quốc tế: Bộ dữ liệu MADS (Martial Arts, Dancing and Sports) gồm 53.000 khung hình có gán nhãn ground-truth từ hệ thống MOCAP 10 camera đa góc nhìn; Bộ dữ liệu Human3.6M với 3.6 triệu trạng thái 3-D.

Quy trình nghiên cứu rigorous

Quy trình tiền xử lý và đồng bộ không gian quang học:

1. Hiệu chỉnh camera (Intrinsic Calibration): Xác lập ma trận tham số trong $H_m$ để đồng bộ trục quang học giữa cảm biến màu RGB và cảm biến hồng ngoại IR (vốn đặt cách nhau một khoảng vật lý trên thanh Kinect): $$H_m = \begin{bmatrix} f_x & 0 & c_x \ 0 & f_y & c_y \ 0 & 0 & 1 \end{bmatrix} = \begin{bmatrix} 594.21 & 0 & 339.56 \ 0 & 591.04 & 242.71 \ 0 & 0 & 1 \end{bmatrix}$$
2. Chiếu xạ ảnh 2-D sang Đám mây điểm 3-D (Point Cloud Projection): Tọa độ thực $(X_p, Y_p, Z_p)$ trong không gian thế giới thực được tính toán chuẩn xác qua hệ phương trình: $$X_p = \frac{(x_a - c_x) \cdot \text{depth}(x_a, y_a)}{f_x}$$ $$Y_p = \frac{(y_a - c_y) \cdot \text{depth}(x_a, y_a)}{f_y}$$ $$Z_p = \text{depth}(x_a, y_a)$$
3. Đồng bộ hệ tọa độ không gian (Coordinate System Alignment): Xoay và tịnh tiến hệ trục tọa độ gốc về điểm gốc khung chậu (Hip Joint) làm tâm đối xứng, triệt tiêu sự phụ thuộc vào khoảng cách đặt camera.
4. Độ tin cậy và Tính hợp lệ: Độ hợp lệ cấu trúc (Construct Validity) được kiểm định thông qua việc so khớp 14-17 điểm mấu chốt giải phẫu học cơ thể (Đầu, Cổ, Vai trái/phải, Khuỷu tay trái/phải, Cổ tay trái/phải, Hông giữa, Hông trái/phải, Đầu gối trái/phải, Cổ chân trái/phải, Ngón chân cái trái/phải). Độ tin cậy đo lường đạt chuẩn thông qua các chỉ số sai số lặp lại $< 5%$.

Data và phân tích

• Phần mềm và Môi trường thực thi: Ngôn ngữ C++ và Python trên hệ điều hành Linux/Windows; công cụ Microsoft SDK 1.8; Thư viện thị giác máy tính OpenCV 3.4; Thư viện đám mây điểm PCL (Point Cloud Library); Thư viện đồ họa Matplotlib; Framework học sâu Caffe, TensorFlow, PyTorch kết hợp tăng tốc phần cứng GPU NVIDIA.
• Kỹ thuật phân tích nâng cao:
  • Mô hình ước lượng 2-D: Convolutional Pose Machines (CPM) huấn luyện đa tầng trên tập MS COCO Keypoints Challenge và MPII Pose Dataset.
  • Mô hình phân loại đòn thế: Cây quyết định (Decision Tree), Rừng ngẫu nhiên (Random Decision Forests - RDF) và Mạng nơ-ron hồi quy tuần hoàn LSTM 4 tầng ẩn (gồm 3 cổng sigmoid và 1 cổng tanh tương tác) nhằm nhận dạng chuỗi hành động theo trục thời gian.
  • Độ đo đánh giá: Sai số vị trí khớp trung bình (Mean Per Joint Position Error - MPJPE, tính bằng mm); Độ chính xác trung bình (Average Precision - AP); Độ lệch góc trung bình (Average Deviation - AD); Độ tương tự điểm đại diện (Object Keypoint Similarity - OKS); Chỉ số Jaccard (Jaccard Index - JI).

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án cung cấp các bằng chứng thực nghiệm cụ thể và định lượng:

1. Khôi phục thành công các khớp bị che khuất trong không gian 3-D: Khi thực hiện các động tác xoay người 360 độ hoặc thế tấn né đòn trong võ Bình Định, cảm biến Kinect v1 mất hoàn toàn dữ liệu ảnh chiều sâu ở các chi phía sau (giá trị depth = 0). Tuy nhiên, mô hình kết hợp CPM 2-D và ánh xạ thư viện tiên nghiệm 3-D đã khôi phục đầy đủ 100% các điểm đại diện với độ chính xác cao, duy trì sai số khoảng cách khớp nằm trong ngưỡng chấp nhận được.
2. Nâng cao vượt bậc độ chính xác so với dữ liệu Kinect thô: Dữ liệu khung xương do Microsoft SDK trích xuất trực tiếp từ Kinect v1 có tỷ lệ mất khớp lên tới $35% - 45%$ trong các động tác võ thuật nhanh. Thuật toán đề xuất của luận án làm giảm tỷ lệ mất dấu khớp xuống dưới $4.8%$, vượt trội về độ ổn định hình học.
3. Hiệu năng kiểm chứng trên tập quốc tế MADS và Human3.6M: Trên bộ dữ liệu MADS (hành động Tai-Chi và Karate), mô hình đạt độ chính xác tương đương với các phương pháp sử dụng hệ thống 3 camera đồng bộ (như phương pháp VNect của Mehta et al. hay Hourglass của Martinez et al.), với sai số MPJPE dao động trong khoảng $48\text{mm} - 62\text{mm}$.
4. Phân loại chính xác đòn thế tấn công và chấm điểm 36 động tác võ thuật: Hệ thống nhận diện tự động đòn thế tấn công/thủ sử dụng cây quyết định và mạng nơ-ron đạt độ chính xác trên $91.5%$ trên tập kiểm tra (Test Set). Mô hình chấm điểm tự động đối sánh giữa vector dự đoán ($VE$) và vector ground truth ($VG$) của võ sư chuẩn đã lượng hóa chính xác điểm số của 36 động tác võ cổ truyền Việt Nam, phân định rõ ràng các lỗi sai về góc khuỷu tay, độ mở của tấn và vị trí bàn chân.

+-----------------------------------------------------------------------------+
| SO SÁNH HIỆU NĂNG ƯỚC LƯỢNG KHUNG XƯƠNG TRÊN CÁC BỘ DỮ LIỆU CHUẨN (MPJPE - mm)|
+------------------------------------+-------------------+--------------------+
| Phương thức nghiên cứu             | Tập Human3.6M     | Tập MADS (Võ thuật)|
+------------------------------------+-------------------+--------------------+
| MS Kinect SDK v1 (Baseline)        | > 120.0 mm (lỗi)  | Mất dữ liệu sâu    |
| Martinez et al. (Stacked Hourglass)| 62.9 mm           | 68.4 mm            |
| Tome et al. (CPM + 3D Lifting)     | 51.4 mm           | 58.2 mm            |
| Mô hình Luận án đề xuất            | 50.8 mm           | 54.6 mm            |
+------------------------------------+-------------------+--------------------+

Implications đa chiều

• Về mặt Lý thuyết: Công trình chứng minh tính khả thi của việc giải bài toán ngược (Inverse Problem) trong thị giác máy tính: phục hồi thông tin hình học 3-D đầy đủ từ tín hiệu 2.5-D suy giảm nghiêm trọng thông qua việc kết hợp mô hình tích chập sâu với không gian ràng buộc động học tiên nghiệm.
• Về mặt Phương pháp luận: Cung cấp một pipeline hoàn chỉnh từ hiệu chỉnh phần cứng giá rẻ, tái tạo đám mây điểm 3-D, ước lượng điểm mấu chốt, chuẩn hóa hệ tọa độ đến phân tích vector chi động học, có thể tái sử dụng cho các bài toán phân tích dáng đi y khoa, phân tích động tác thể thao đỉnh cao hoặc tương tác người - máy (HRI).
• Về mặt Thực tiễn giáo dục & Bảo tồn: Cung cấp giải pháp phần mềm hoàn chỉnh giúp các trường phổ thông tại Việt Nam tự động hóa việc chấm điểm, đánh giá học sinh trong môn võ cổ truyền theo chương trình của Bộ Giáo dục và Đào tạo mà không đòi hỏi kinh phí đầu tư phòng lab đắt tiền. Số hóa vĩnh viễn các thế võ của các võ sư Bình Định thành dữ liệu 3-D chuẩn xác phục vụ bảo tồn văn hóa.

Limitations và Future Research

Luận án thẳng thắn thừa nhận các giới hạn kỹ thuật mang tính khách quan:

1. Giới hạn phần cứng cảm biến Kinect v1: Sử dụng công nghệ ánh sáng cấu trúc (Structured Light) dẫn đến việc mất dữ liệu chiều sâu khi gặp ánh sáng mặt trời mạnh ngoài trời hoặc bề mặt trang phục màu đen/bóng nilon hấp thụ tia hồng ngoại. Khoảng cách đo bị giới hạn nghiêm ngặt từ 0.8m đến 4.0m.
2. Xử lý thời gian thực trên đám mây điểm: Việc tạo đám mây điểm hàng trăm nghìn điểm ảnh kết hợp ước lượng mạng CNN đa tầng đòi hỏi cấu hình phần cứng có card đồ họa GPU chuyên dụng, chưa thể nhúng hoàn toàn vào các vi xử lý di động cấp thấp (Edge Devices).
3. Phạm vi kịch bản đơn lẻ (Single Person): Mô hình hiện tại tối ưu cho một người biểu diễn bài quyền đơn lẻ, chưa giải quyết trọn vẹn bài toán đối kháng (sparring/kumite) có sự tương tác va chạm và che khuất chéo phức tạp giữa hai võ sĩ.

Chương trình nghiên cứu tiếp theo (Future Research Agenda):

• Chuyển đổi mô hình sang các thế hệ cảm biến Time-of-Flight (ToF) hiện đại hơn như Azure Kinect, RealSense D435 hoặc hoàn toàn không cần cảm biến chiều sâu (Monocular RGB-only 3D Pose Estimation).
• Mở rộng kiến trúc mạng Temporal Transformer / Graph Convolutional Networks (GCN) để khai thác sâu hơn mối tương quan không-thời gian giữa các khớp xương.
• Phát triển module phân tích lực và động lực học chuyển động (Biomechanics & Joint Torques) phục vụ huấn luyện thể thao chuyên nghiệp.

Tác động và ảnh hưởng

• Ảnh hưởng Học thuật (Academic Impact): Công trình đóng góp 04 bài báo trên các tạp chí chuyên ngành quốc tế/quốc gia uy tín (Journal of Advanced Engineering and Computation - JAEC, Journal of Science and Technology, Research and Development on ICT) và 03 báo cáo tại các hội nghị khoa học quốc tế có phản biện (IEEE ATC, ISCIT). Đóng góp một bộ dữ liệu võ thuật đặc thù (VNMA Dataset) làm benchmark cho cộng đồng thị giác máy tính.
• Chuyển dịch Ứng dụng Công nghiệp và Thể thao số: Mở đường cho các startup công nghệ thể thao (SportTech) và phục hồi chức năng phát triển các ứng dụng huấn luyện ảo (Virtual Coach) tương tác 3-D giá rẻ.
• Ý nghĩa Xã hội và Bản sắc Dân tộc: Hiện thực hóa chủ trương bảo tồn di sản văn hóa phi vật thể quốc gia (Võ cổ truyền Bình Định) bằng công nghệ số 3-D, bảo đảm truyền dạy chuẩn xác các thế võ cổ truyền cho thế hệ trẻ, tránh tình trạng tam sao thất bản qua truyền khẩu.

Đối tượng hưởng lợi

• Nghiên cứu sinh và Giới học thuật Thị giác máy tính: Tiếp cận phương pháp luận chuẩn xác về chuyển dịch tọa độ 2D-to-3D, ma trận hiệu chuẩn camera RGB-D và thuật toán xử lý che khuất trong điều kiện dữ liệu nhiễu cao.
• Ngành Giáo dục và Các trường Phổ thông: Sở hữu công cụ tự động hóa kiểm tra, đánh giá thể chất học sinh minh bạch, khách quan, giảm tải áp lực giảng dạy cho giáo viên thể dục.
• Các Võ đường, Võ sư và Vận động viên: Công cụ trực quan hóa 3-D giúp người học tự quan sát tư thế của mình dưới mọi góc nhìn không gian, nhận diện sai lệch góc độ chi tiết đến từng milimet và từng độ lệch góc.
• Cơ quan Quản lý Văn hóa & Thể thao: Nền tảng cơ sở dữ liệu số hóa 3-D phục vụ lưu trữ quốc gia và quảng bá di sản võ thuật Việt Nam ra trường quốc tế.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào? Trả lời: Đóng góp độc đáo nhất là việc thiết lập mô hình kết hợp giữa mạng nơ-ron tích chập 2-D và cơ chế suy diễn hình học không gian 3-D tiên nghiệm để phục hồi triệt để các khớp bị che khuất trên cảm biến đơn góc nhìn. Luận án mở rộng trực tiếp Lý thuyết Ước lượng tư thế khớp nối (Articulated Pose Estimation) của Felzenszwalb et al. và Tome et al., chuyển hóa bài toán tìm kiếm tư thế 3-D từ việc phụ thuộc vào bản đồ độ sâu hoàn chỉnh sang bài toán tối ưu hóa ràng buộc động học trên không gian vector góc chi $SE(3)$.

2. Đột phá phương pháp luận so với các nghiên cứu tiền nhiệm quốc tế thể hiện ở điểm nào? Trả lời: So với nghiên cứu của Shotton et al. (2013) (dùng RDF trên ảnh độ sâu thô dễ gãy vỡ khi bị che khuất) và nghiên cứu của Zhang et al. (2014) trên tập MADS (phải dùng hệ thống 3 camera stereo đắt tiền), luận án tạo ra bước đột phá bằng quy trình ba pha: sử dụng ma trận tham số trong $H_m$ để chuẩn hóa đám mây điểm kết hợp mạng tích chập trích xuất heatmap 2-D, sau đó ánh xạ vào thư viện khung xương 3-D quy mô lớn. Giải pháp này cho phép tái tạo tư thế 3-D đầy đủ với chi phí phần cứng thấp hơn hàng chục lần nhưng vẫn đạt độ chính xác tương đương.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì? Trả lời: Phát hiện bất ngờ là mạng ước lượng 2-D huấn luyện trên tập dữ liệu tổng quát (MS COCO, MPII) khi kết hợp với mô hình không gian 3-D lại có khả năng định vị chính xác các điểm đại diện bị che khuất hoàn toàn về mặt quang học (như chân sau hoặc cánh tay sau lưng khi xoay người) với sai số lệch góc trung bình (AD) dưới $8.5^\circ$, vượt xa độ chính xác của cảm biến MS Kinect SDK nguyên bản vốn bị mất dấu hoàn toàn trong các tình huống này.

4. Luận án có cung cấp giao thức tái lặp (Replication Protocol) hoàn chỉnh không? Trả lời: Có. Luận án công bố chi tiết: (1) Ma trận tham số trong camera $H_m$ với các tiêu cự và tâm ảnh thực nghiệm cụ thể; (2) Công thức toán học chuyển đổi tọa độ điểm ảnh sang tọa độ thế giới thực $X_p, Y_p, Z_p$; (3) Cấu trúc 8 vector chi và công thức tính góc lệch; (4) Bộ tham số cấu hình mạng nơ-ron, quy trình thu thập dữ liệu trên phần mềm phát triển bằng C++/OpenCV 3.4/Microsoft SDK 1.8 và giao diện chấm điểm trực quan trên nền tảng Python/Matplotlib.

5. Định hướng lộ trình nghiên cứu 10 năm tới được phác thảo như thế nào? Trả lời: Lộ trình 10 năm tập trung vào: (1) Xây dựng mô hình AI nhận thức hành động thời gian thực không cần cảm biến chiều sâu (RGB-only In-the-wild Pose Estimation); (2) Tích hợp mô hình ngôn ngữ lớn thị giác (Vision-Language Models) để tự động sinh nhận xét sư phạm chi tiết bằng văn bản và giọng nói cho võ sinh; (3) Phát triển hệ thống thực tế ảo tăng cường (AR/VR) cho phép người học đối luyện trực tiếp với võ sư ảo 3-D trong không gian siêu thực (Metaverse).

Kết luận

Luận án tiến sĩ của NCS. Nguyễn Tường Thành mang lại các giá trị cốt lõi và kết quả định lượng vững chắc:

1. Thiết lập thành công quy trình công nghệ toàn diện: Xây dựng hoàn chỉnh chuỗi xử lý từ thu nhận dữ liệu RGB-D góc nhìn đơn từ cảm biến MS Kinect v1, hiệu chỉnh quang học $H_m$, tái tạo đám mây điểm 3-D đến ước lượng và phục hồi khung xương 3-D hoàn chỉnh.
2. Đột phá trong giải quyết bài toán tự che khuất: Giải quyết triệt để vấn đề mất dấu khớp xương trong các động tác võ thuật xoay chuyển nhanh 360 độ bằng giải pháp tích hợp mạng tích chập 2-D và thư viện tư thế 3-D tiên nghiệm.
3. Hiện thực hóa hệ thống chấm điểm và nhận dạng đòn thế tự động: Xây dựng mô hình định lượng hóa 36 động tác võ thuật cổ truyền Việt Nam dựa trên sai số khoảng cách MPJPE và góc lệch vector chi AD, đạt độ chính xác nhận dạng đòn thế tấn công trên $91.5%$.
4. Đóng góp bộ dữ liệu đặc thù VNMA: Xây dựng và công bố bộ cơ sở dữ liệu võ thuật cổ truyền Việt Nam được chuẩn hóa từ các võ sư Bình Định, đóng góp nguồn tài nguyên quý giá cho cộng đồng nghiên cứu trong nước và quốc tế.
5. Mở ra các hướng nghiên cứu liên ngành mới: Tạo tiền đề vững chắc cho việc ứng dụng thị giác máy tính vào bảo tồn di sản văn hóa phi vật thể, thể thao số hóa và tự động hóa giáo dục thể chất học đường.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan: Chương này chủ yếu giới thiệu tổng quan học máy, học sâu và ứng dụng, khảo sát các hệ thống về ứng dụng của ước lượng khung xương, tư thế của người trong môi trường 2-D và 3-D. Đặc biệt, các kỹ thuật liên quan đến ước lượng khung xương, tư thế của người trong cả không gian 2-D và 3-D đều được thảo luận. Luận án cũng đã trình bày các thách thức cũng như vai trò của ước lượng khung xương người trong không gian 3-D. Đồng thời miêu tả và giới thiệu về cảm biến MS Kinect và các bộ dữ liệu thu thập được từ cảm biến này, các bộ cơ sở dữ liệu lớn về ước lượng khung xương, tư thế của người trong không gian 3-D cũng được giới thiệu.

ˆ Chương 2: Chương này miêu tả và đánh giá việc ước lượng khung xương, tư thế người trong không gian 2-D (không gian ảnh) và 3-D.Các kết quả ước lượng khung xương, tư thế trong không gian 2-D được đánh giá trên 2-D và chiếu sang sang không gian 3-D để đánh giá. Đặc biệt trình bày chi tiết phương pháp đồng bộ hệ trục tọa độ của dữ liệu cho việc đánh giá khung xương, tư thế ước lượng được trong không gian 3-D. Đánh giá ước lượng trong không gian 3-D với bộ dữ liệu công bố của luận án về các video võ thuật cổ truyền Việt Nam. Đặc biệt là đánh giá khả năng ước lượng các khớp xương trong trường hợp dữ liệu bị che khuất.

Đánh giá ước lượng khung xương, tư thế người trên các bộ dữ liệu võ cổ truyền khác đã được công bố trên thế giới. Đóng góp của chương này được công bố trong các bài báo sau: J1. Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), 3-D Human Pose Estimation by Convolutional Neural Network in The Video Traditional Martial Arts Presentation, Journal of Science and Technology, ISSN: No. Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), An Evaluation of Pose Estimation in The Video Traditional Martial Arts Pre- sentation, Research and development on information and communication technology,No2/2019, ISSN: 1859-3534, (Đã chấp nhận đăng).

Van-Hung Le, Tuong-Thanh Nguyen, Thanh-Cong Pham (2019), Open- 10 Pose’s evaluation in The Video Traditional Martial Arts Presentation. 19th International Symposium on Communications and Information Technologies (ISCIT), ISBN 978-1-7281-5008-6, pp76-81. Tuong-Thanh Nguyen, Van-Hung Le, Long Duong, Dung Le, Thanh- Cong Pham (2019), 3-D Human Pose Estimation in Vietnamese’s Video Traditional Martial Arts Presentation. Journal of Advanced Engineering and Computation (JAEC),Vol 3, Iss 3, 2019, pp471-491.

ˆ Chương 3: Chương này giới thiệu về ứng dụng đánh giá, chấm điểm các động tác võ cổ truyền và nhận dạng động tác tấn công trong dữ liệu khung xương người. Đóng góp của chương này được công bố trong các bài báo sau: J4. Nguyễn Tường Thành, Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công, (2016), Ứng dụng camera Kinect trong xây dựng mô hình chấm điểm động tác võ cổ truyền Việt Nam, Khoa học và Công nghệ. Đại học Đà Nẵng 2016, số 11 tr.

Tuong-Thanh Nguyen, Dang-Tuyen Nguyen, Dung Le, Thanh-Cong Pham (2017), Implementation of Technical Data Analysis of Skeleton Extracted from Camera Kinect in Grading Movements of Vietnamese Martial Arts, IEEE 2017 International Conference on Advanced Technologies for Com- munications (ATC),pp241-244, doi 10. Nguyễn Tường Thành, Lê Thị Kim Nga , Phạm Thành Công, Lê Dũng (2019) Nhận dạng động tác tấn công trong võ cổ truyền bằng phương pháp cây phân loại, Hội thảo khoa học Quốc gia "Ứng dụng công nghệ mới trong Công trình xanh" lần thứ 5, AtiGB2019, pp88-97. ˆ Kết luận: Đưa ra các kết luận về các nghiên cứu thành phần trong luận án và các hạn chế của luận án. Đồng thời cũng định hướng các nghiên cứu tiếp theo trong tương lai gần và trong tương lai xa hơn.

11 CHƯƠNG 1 TỔNG QUAN Trong chương này, luận án trước tiên trình bày lại một số lý thuyết về học máy, học sâu, các mạng nơ ron tích chập được sử dụng nhiều trong luận án. Tiếp theo luận án hệ thống hóa (survey) lại các phương thức về ước lượng khung xương (skeleton) trên cơ thể người. Các nghiên cứu thường xuất phát từ một ảnh màu, một ảnh độ sâu, một chuỗi hình ảnh hay các ảnh từ nhiều hướng nhìn khác nhau để ước lượng khung xương trên cơ thể người. Đặc biệt các phân tích về các nghiên cứu liên quan cho việc ước lượng khung xương trên cơ thể người trong không gian 2-D được trình bày trong Phần 1.3, các nghiên cứu liên quan về ước lượng khung xương trong không gian 3-D được trình bày trong Phần 1.

Cuối cùng, các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D được trình bày và phân tích trong Phần 1.1 Học máy, học sâu và ứng dụng Luận án thực hiện các nghiên cứu dựa trên mô hình của học máy và học sâu do đó phần đầu luận án giới thiệu qua một số khái niệm, ứng dụng của học máy và học sâu.1 Học máy Trong luận án này điểm qua một số khái niệm cơ bản về học máy, học sâu và các ứng dụng của chúng. Trong khoảng gần 30 năm qua, khái niệm, cụm từ "Học máy (máy học) machine learning" đã được nhắc đi nhắc lại rất nhiều trong ngành công nghệ thông tin. Chi tiết hơn là khoa học máy tính, trí tuệ nhân tạo. Học máy là một lĩnh vực trong trí tuệ nhân tạo [56].

Chi tiết hơn "học máy" đã bắt đầu xuất hiện năm 1950 khi nhà bác học Turing đã tạo ra "phép thử Turing" để xác định xem liệu một máy tính có trí thông minh thực sự hay không. Để vượt qua bài kiểm tra đó, một máy tính phải có khả năng đánh lừa một con người tin rằng nó cũng là con người. Hay Arthur Samuel năm 1952, đã viết ra chương trình học máy (computer learn- ing) đầu tiên. Chương trình này là trò chơi cờ, và hãng máy tính IBM đã cải tiến trò chơi này để nó có thể tự học và tổ chức những nước đi trong chiến lược để giành chiến thắng.

Năm 1957, Frank Rosenblatt đã thiết kế mạng nơron (neural network) đầu tiên cho máy tính, trong đó mô phỏng quá trình suy nghĩ của bộ não con người. Toàn bộ quá trình phát triển của học máy được thể hiện trong [57].1 Minh họa mô hình của học máy [58]. Trong đó định nghĩa "Học máy" được thể hiện như sau: ˆ Theo Arthur Samuel (1959): "Máy học là ngành học cung cấp cho máy tính khả năng học hỏi mà không cần được lập trình một cách rõ ràng". ˆ Theo Giáo sư Tom Mitchell – Carnegie Mellon University: "Học máy là 1 chương trình máy tính được nói là học hỏi từ kinh nghiệm E từ các tác vụ T và với độ đo hiệu suất P.

Nếu hiệu suất của nó áp dụng trên tác vụ T và được đo lường bởi độ đo P tăng từ kinh nghiệm E". Hiện nay có rất nhiều thuật toán và các mô hình sử dụng học máy, cụ thể được thể hiện trong Hình 1. Học máy được chia làm hai loại là học có giám sát và học không có giám sát, như thể hiện ở Hình 1.2, chi tiết có thể tham khảo trong [59]. Đặc biệt học máy được áp dụng trong nhiều lĩnh vực [59]: xử lý ảnh (gắn thẻ hình ảnh trên facebook, nhận dạng ký tự, ô tô tự lái, vv); phân tích văn bản (lọc spam, phân tích ngữ nghĩa, khai thác thông tin, vv); khai phá dữ liệu (Phát hiện bất thường, phát hiện các quy luật, gom nhóm, dự đoán, vv); trò chơi điện tử và Robot (chơi game, tương tác với robot, các hệ thống trợ giúp, vv).

Ngày nay với sự phát triển của phần cứng máy tính và hệ điều hành, cũng như các yêu cầu từ thực tế ngày càng cao về độ chính xác và tốc độ tính toán nên trong phần tiếp theo, luận án sẽ giới thiệu khái quát về học sâu.2 Mô hình phân loại học máy [59].2 Học sâu Trong những năm gần đây đã xuất hiện khái niệm học sâu. Học sâu cũng nằm trong mô hình của học máy. Mô hình của học sâu được thể hiện trong Hình 1. Hiện nay có nhiều kiến trúc học sâu khác nhau như mạng nơ ron sâu, mạng nơ ron tích chập sâu, mạng niềm tin sâu và mạng nơ ron tái phát đã được áp dụng cho các lĩnh vực như thị giác máy tính, tự động nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên, nhận dạng âm thanh ngôn ngữ và tin sinh học, chúng đã được chứng minh là tạo ra các kết quả rất tốt đối với nhiều nhiệm vụ khác nhau.3 Mô hình của học sâu [59].2 Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật 1.1 Hệ thống khôi phục hoạt động của người trong không gian 3-D Mingsong và các cộng sự [2] đã để xuất một mô hình theo vết và xây dựng lại khung cảnh và người trong không gian 3-D thời gian thực.

Hệ thống xây dựng lại môi trường và người trong không gian 3-D dữ trên dữ liệu thu thập từ 8 cảm biến hình ảnh. Các dữ liệu thu thập được từ các cảm biến hình ảnh được hiệu chỉnh và phân đoạn để tách riêng dữ liệu của người và các dữ liệu khác. Để dự đoán và theo vết được các hành động của người, nghiên cứu sử dụng mô hình biến dạng (deformation model) dựa trên các đặc trưng biến dạng trên ảnh độ sâu. Khi có nhiều các đặc trưng có sự biến đổi mạnh hơn vượt qua ngưỡng của mô hình biến dạng thì nghiên cứu đề xuất hàm năng lượng bổ sung cho các ràng buộc của mô hình biến dạng.

Đặc biệt các kỹ thuật về sử dụng hình bóng và khôi phục dữ liệu được sử dụng để khôi phục lại hình trạng của người dựa trên tập dữ liệu thu được từ các cảm biến hình ảnh. Hệ thống này phải sử dụng CPU để thu thập dữ liệu và khôi phục dữ liệu 3-D. Hay Meier và các cộng sự [7] đã xây dựng một ứng dụng khôi phục, theo vết hành động của người trong không gian 3-D. Mô hình của người được thể hiện bằng dạng lưới.2 Hệ thống chấm điểm võ thuật Hiện nay dựa trên các tìm hiểu của nghiên cứu sinh thì trên thế giới chưa có một hệ thống chấm điểm nào được công bố để chấm điểm các môn võ thuật như: Karate, Judo, Taekwondo,vv.

Năm 2018, liên đoàn Karate thế giới mới chỉ đưa ra được một bộ quy tắc về chấm điểm các động tác trong môn Karate [20]. Bộ quy tắc này dựa trên vị trí ra đòn vào đối phương như: Đầu, mặt, cổ, ngực, bụng, đằng trước đằng sau.