Chương 1: Tổng quan: Chương này chủ yếu giới thiệu tổng quan học máy, học sâu và ứng dụng, khảo sát các hệ thống về ứng dụng của ước lượng khung xương, tư thế của người trong môi trường 2-D và 3-D. Đặc biệt, các kỹ thuật liên quan đến ước lượng khung xương, tư thế của người trong cả không gian 2-D và 3-D đều được thảo luận. Luận án cũng đã trình bày các thách thức cũng như vai trò của ước lượng khung xương người trong không gian 3-D. Đồng thời miêu tả và giới thiệu về cảm biến MS Kinect và các bộ dữ liệu thu thập được từ cảm biến này, các bộ cơ sở dữ liệu lớn về ước lượng khung xương, tư thế của người trong không gian 3-D cũng được giới thiệu.
Chương 2: Chương này miêu tả và đánh giá việc ước lượng khung xương, tư thế người trong không gian 2-D (không gian ảnh) và 3-D.Các kết quả ước lượng khung xương, tư thế trong không gian 2-D được đánh giá trên 2-D và chiếu sang sang không gian 3-D để đánh giá. Đặc biệt trình bày chi tiết phương pháp đồng bộ hệ trục tọa độ của dữ liệu cho việc đánh giá khung xương, tư thế ước lượng được trong không gian 3-D. Đánh giá ước lượng trong không gian 3-D với bộ dữ liệu công bố của luận án về các video võ thuật cổ truyền Việt Nam. Đặc biệt là đánh giá khả năng ước lượng các khớp xương trong trường hợp dữ liệu bị che khuất.
Đánh giá ước lượng khung xương, tư thế người trên các bộ dữ liệu võ cổ truyền khác đã được công bố trên thế giới. Đóng góp của chương này được công bố trong các bài báo sau: J1. Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), 3-D Human Pose Estimation by Convolutional Neural Network in The Video Traditional Martial Arts Presentation, Journal of Science and Technology, ISSN: No. Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), An Evaluation of Pose Estimation in The Video Traditional Martial Arts Pre- sentation, Research and development on information and communication technology,No2/2019, ISSN: 1859-3534, (Đã chấp nhận đăng).
Van-Hung Le, Tuong-Thanh Nguyen, Thanh-Cong Pham (2019), Open- 10 Pose’s evaluation in The Video Traditional Martial Arts Presentation. 19th International Symposium on Communications and Information Technologies (ISCIT), ISBN 978-1-7281-5008-6, pp76-81. Tuong-Thanh Nguyen, Van-Hung Le, Long Duong, Dung Le, Thanh- Cong Pham (2019), 3-D Human Pose Estimation in Vietnamese’s Video Traditional Martial Arts Presentation. Journal of Advanced Engineering and Computation (JAEC),Vol 3, Iss 3, 2019, pp471-491.
Chương 3: Chương này giới thiệu về ứng dụng đánh giá, chấm điểm các động tác võ cổ truyền và nhận dạng động tác tấn công trong dữ liệu khung xương người. Đóng góp của chương này được công bố trong các bài báo sau: J4. Nguyễn Tường Thành, Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công, (2016), Ứng dụng camera Kinect trong xây dựng mô hình chấm điểm động tác võ cổ truyền Việt Nam, Khoa học và Công nghệ. Đại học Đà Nẵng 2016, số 11 tr.
Tuong-Thanh Nguyen, Dang-Tuyen Nguyen, Dung Le, Thanh-Cong Pham (2017), Implementation of Technical Data Analysis of Skeleton Extracted from Camera Kinect in Grading Movements of Vietnamese Martial Arts, IEEE 2017 International Conference on Advanced Technologies for Com- munications (ATC),pp241-244, doi 10. Nguyễn Tường Thành, Lê Thị Kim Nga , Phạm Thành Công, Lê Dũng (2019) Nhận dạng động tác tấn công trong võ cổ truyền bằng phương pháp cây phân loại, Hội thảo khoa học Quốc gia "Ứng dụng công nghệ mới trong Công trình xanh" lần thứ 5, AtiGB2019, pp88-97. Kết luận: Đưa ra các kết luận về các nghiên cứu thành phần trong luận án và các hạn chế của luận án. Đồng thời cũng định hướng các nghiên cứu tiếp theo trong tương lai gần và trong tương lai xa hơn.
11 CHƯƠNG 1 TỔNG QUAN Trong chương này, luận án trước tiên trình bày lại một số lý thuyết về học máy, học sâu, các mạng nơ ron tích chập được sử dụng nhiều trong luận án. Tiếp theo luận án hệ thống hóa (survey) lại các phương thức về ước lượng khung xương (skeleton) trên cơ thể người. Các nghiên cứu thường xuất phát từ một ảnh màu, một ảnh độ sâu, một chuỗi hình ảnh hay các ảnh từ nhiều hướng nhìn khác nhau để ước lượng khung xương trên cơ thể người. Đặc biệt các phân tích về các nghiên cứu liên quan cho việc ước lượng khung xương trên cơ thể người trong không gian 2-D được trình bày trong Phần 1.3, các nghiên cứu liên quan về ước lượng khung xương trong không gian 3-D được trình bày trong Phần 1.
Cuối cùng, các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D được trình bày và phân tích trong Phần 1.1 Học máy, học sâu và ứng dụng Luận án thực hiện các nghiên cứu dựa trên mô hình của học máy và học sâu do đó phần đầu luận án giới thiệu qua một số khái niệm, ứng dụng của học máy và học sâu.1 Học máy Trong luận án này điểm qua một số khái niệm cơ bản về học máy, học sâu và các ứng dụng của chúng. Trong khoảng gần 30 năm qua, khái niệm, cụm từ "Học máy (máy học) machine learning" đã được nhắc đi nhắc lại rất nhiều trong ngành công nghệ thông tin. Chi tiết hơn là khoa học máy tính, trí tuệ nhân tạo. Học máy là một lĩnh vực trong trí tuệ nhân tạo [56].
Chi tiết hơn "học máy" đã bắt đầu xuất hiện năm 1950 khi nhà bác học Turing đã tạo ra "phép thử Turing" để xác định xem liệu một máy tính có trí thông minh thực sự hay không. Để vượt qua bài kiểm tra đó, một máy tính phải có khả năng đánh lừa một con người tin rằng nó cũng là con người. Hay Arthur Samuel năm 1952, đã viết ra chương trình học máy (computer learn- ing) đầu tiên. Chương trình này là trò chơi cờ, và hãng máy tính IBM đã cải tiến trò chơi này để nó có thể tự học và tổ chức những nước đi trong chiến lược để giành chiến thắng.
Năm 1957, Frank Rosenblatt đã thiết kế mạng nơron (neural network) đầu tiên cho máy tính, trong đó mô phỏng quá trình suy nghĩ của bộ não con người. Toàn bộ quá trình phát triển của học máy được thể hiện trong [57].1 Minh họa mô hình của học máy [58]. Trong đó định nghĩa "Học máy" được thể hiện như sau: Theo Arthur Samuel (1959): "Máy học là ngành học cung cấp cho máy tính khả năng học hỏi mà không cần được lập trình một cách rõ ràng". Theo Giáo sư Tom Mitchell – Carnegie Mellon University: "Học máy là 1 chương trình máy tính được nói là học hỏi từ kinh nghiệm E từ các tác vụ T và với độ đo hiệu suất P.
Nếu hiệu suất của nó áp dụng trên tác vụ T và được đo lường bởi độ đo P tăng từ kinh nghiệm E". Hiện nay có rất nhiều thuật toán và các mô hình sử dụng học máy, cụ thể được thể hiện trong Hình 1. Học máy được chia làm hai loại là học có giám sát và học không có giám sát, như thể hiện ở Hình 1.2, chi tiết có thể tham khảo trong [59]. Đặc biệt học máy được áp dụng trong nhiều lĩnh vực [59]: xử lý ảnh (gắn thẻ hình ảnh trên facebook, nhận dạng ký tự, ô tô tự lái, vv); phân tích văn bản (lọc spam, phân tích ngữ nghĩa, khai thác thông tin, vv); khai phá dữ liệu (Phát hiện bất thường, phát hiện các quy luật, gom nhóm, dự đoán, vv); trò chơi điện tử và Robot (chơi game, tương tác với robot, các hệ thống trợ giúp, vv).
Ngày nay với sự phát triển của phần cứng máy tính và hệ điều hành, cũng như các yêu cầu từ thực tế ngày càng cao về độ chính xác và tốc độ tính toán nên trong phần tiếp theo, luận án sẽ giới thiệu khái quát về học sâu.2 Mô hình phân loại học máy [59].2 Học sâu Trong những năm gần đây đã xuất hiện khái niệm học sâu. Học sâu cũng nằm trong mô hình của học máy. Mô hình của học sâu được thể hiện trong Hình 1. Hiện nay có nhiều kiến trúc học sâu khác nhau như mạng nơ ron sâu, mạng nơ ron tích chập sâu, mạng niềm tin sâu và mạng nơ ron tái phát đã được áp dụng cho các lĩnh vực như thị giác máy tính, tự động nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên, nhận dạng âm thanh ngôn ngữ và tin sinh học, chúng đã được chứng minh là tạo ra các kết quả rất tốt đối với nhiều nhiệm vụ khác nhau.3 Mô hình của học sâu [59].2 Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật 1.1 Hệ thống khôi phục hoạt động của người trong không gian 3-D Mingsong và các cộng sự [2] đã để xuất một mô hình theo vết và xây dựng lại khung cảnh và người trong không gian 3-D thời gian thực.
Hệ thống xây dựng lại môi trường và người trong không gian 3-D dữ trên dữ liệu thu thập từ 8 cảm biến hình ảnh. Các dữ liệu thu thập được từ các cảm biến hình ảnh được hiệu chỉnh và phân đoạn để tách riêng dữ liệu của người và các dữ liệu khác. Để dự đoán và theo vết được các hành động của người, nghiên cứu sử dụng mô hình biến dạng (deformation model) dựa trên các đặc trưng biến dạng trên ảnh độ sâu. Khi có nhiều các đặc trưng có sự biến đổi mạnh hơn vượt qua ngưỡng của mô hình biến dạng thì nghiên cứu đề xuất hàm năng lượng bổ sung cho các ràng buộc của mô hình biến dạng.
Đặc biệt các kỹ thuật về sử dụng hình bóng và khôi phục dữ liệu được sử dụng để khôi phục lại hình trạng của người dựa trên tập dữ liệu thu được từ các cảm biến hình ảnh. Hệ thống này phải sử dụng CPU để thu thập dữ liệu và khôi phục dữ liệu 3-D. Hay Meier và các cộng sự [7] đã xây dựng một ứng dụng khôi phục, theo vết hành động của người trong không gian 3-D. Mô hình của người được thể hiện bằng dạng lưới.2 Hệ thống chấm điểm võ thuật Hiện nay dựa trên các tìm hiểu của nghiên cứu sinh thì trên thế giới chưa có một hệ thống chấm điểm nào được công bố để chấm điểm các môn võ thuật như: Karate, Judo, Taekwondo,vv.
Năm 2018, liên đoàn Karate thế giới mới chỉ đưa ra được một bộ quy tắc về chấm điểm các động tác trong môn Karate [20]. Bộ quy tắc này dựa trên vị trí ra đòn vào đối phương như: Đầu, mặt, cổ, ngực, bụng, đằng trước đằng sau.