CHƯƠNG 1 TỔNG QUAN Trong chương này, luận án trước tiên trình bày lại một số lý thuyết về học máy, học sâu, các mạng nơ ron tích chập được sử dụng nhiều trong luận án. Tiếp theo luận án hệ thống hóa (survey) lại các phương thức về ước lượng khung xương (skeleton) trên cơ thể người. Các nghiên cứu thường xuất phát từ một ảnh màu, một ảnh độ sâu, một chuỗi hình ảnh hay các ảnh từ nhiều hướng nhìn khác nhau để ước lượng khung xương trên cơ thể người. Đặc biệt các phân tích về các nghiên cứu liên quan cho việc ước lượng khung xương trên cơ thể người trong không gian 2-D được trình bày trong Phần 1.3, các nghiên cứu liên quan về ước lượng khung xương trong không gian 3-D được trình bày trong Phần 1.
Cuối cùng, các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D được trình bày và phân tích trong Phần 1.1 Học máy, học sâu và ứng dụng Luận án thực hiện các nghiên cứu dựa trên mô hình của học máy và học sâu do đó phần đầu luận án giới thiệu qua một số khái niệm, ứng dụng của học máy và học sâu.1 Học máy Trong luận án này điểm qua một số khái niệm cơ bản về học máy, học sâu và các ứng dụng của chúng. Trong khoảng gần 30 năm qua, khái niệm, cụm từ "Học máy (máy học) machine learning" đã được nhắc đi nhắc lại rất nhiều trong ngành công nghệ thông tin. Chi tiết hơn là khoa học máy tính, trí tuệ nhân tạo. Học máy là một lĩnh vực trong trí tuệ nhân tạo [56].
Chi tiết hơn "học máy" đã bắt đầu xuất hiện năm 1950 khi nhà bác học Turing đã tạo ra "phép thử Turing" để xác định xem liệu một máy tính có trí thông minh thực sự hay không. Để vượt qua bài kiểm tra đó, một máy tính phải có khả năng đánh lừa một con người tin rằng nó cũng là con người. Hay Arthur Samuel năm 1952, đã viết ra chương trình học máy (computer learn- ing) đầu tiên. Chương trình này là trò chơi cờ, và hãng máy tính IBM đã cải tiến trò chơi này để nó có thể tự học và tổ chức những nước đi trong chiến lược để giành chiến thắng.
Năm 1957, Frank Rosenblatt đã thiết kế mạng nơron (neural network) đầu tiên cho máy tính, trong đó mô phỏng quá trình suy nghĩ của bộ não con người. Toàn bộ quá trình phát triển của học máy được thể hiện trong [57].1 Minh họa mô hình của học máy [58]. Trong đó định nghĩa "Học máy" được thể hiện như sau: Theo Arthur Samuel (1959): "Máy học là ngành học cung cấp cho máy tính khả năng học hỏi mà không cần được lập trình một cách rõ ràng". Theo Giáo sư Tom Mitchell – Carnegie Mellon University: "Học máy là 1 chương trình máy tính được nói là học hỏi từ kinh nghiệm E từ các tác vụ T và với độ đo hiệu suất P.
Nếu hiệu suất của nó áp dụng trên tác vụ T và được đo lường bởi độ đo P tăng từ kinh nghiệm E". Hiện nay có rất nhiều thuật toán và các mô hình sử dụng học máy, cụ thể được thể hiện trong Hình 1. Học máy được chia làm hai loại là học có giám sát và học không có giám sát, như thể hiện ở Hình 1.2, chi tiết có thể tham khảo trong [59]. Đặc biệt học máy được áp dụng trong nhiều lĩnh vực [59]: xử lý ảnh (gắn thẻ hình ảnh trên facebook, nhận dạng ký tự, ô tô tự lái, vv); phân tích văn bản (lọc spam, phân tích ngữ nghĩa, khai thác thông tin, vv); khai phá dữ liệu (Phát hiện bất thường, phát hiện các quy luật, gom nhóm, dự đoán, vv); trò chơi điện tử và Robot (chơi game, tương tác với robot, các hệ thống trợ giúp, vv).
Ngày nay với sự phát triển của phần cứng máy tính và hệ điều hành, cũng như các yêu cầu từ thực tế ngày càng cao về độ chính xác và tốc độ tính toán nên trong phần tiếp theo, luận án sẽ giới thiệu khái quát về học sâu.2 Mô hình phân loại học máy [59].2 Học sâu Trong những năm gần đây đã xuất hiện khái niệm học sâu. Học sâu cũng nằm trong mô hình của học máy. Mô hình của học sâu được thể hiện trong Hình 1. Hiện nay có nhiều kiến trúc học sâu khác nhau như mạng nơ ron sâu, mạng nơ ron tích chập sâu, mạng niềm tin sâu và mạng nơ ron tái phát đã được áp dụng cho các lĩnh vực như thị giác máy tính, tự động nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên, nhận dạng âm thanh ngôn ngữ và tin sinh học, chúng đã được chứng minh là tạo ra các kết quả rất tốt đối với nhiều nhiệm vụ khác nhau.3 Mô hình của học sâu [59].2 Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật 1.1 Hệ thống khôi phục hoạt động của người trong không gian 3-D Mingsong và các cộng sự [2] đã để xuất một mô hình theo vết và xây dựng lại khung cảnh và người trong không gian 3-D thời gian thực.
Hệ thống xây dựng lại môi trường và người trong không gian 3-D dữ trên dữ liệu thu thập từ 8 cảm biến hình ảnh. Các dữ liệu thu thập được từ các cảm biến hình ảnh được hiệu chỉnh và phân đoạn để tách riêng dữ liệu của người và các dữ liệu khác. Để dự đoán và theo vết được các hành động của người, nghiên cứu sử dụng mô hình biến dạng (deformation model) dựa trên các đặc trưng biến dạng trên ảnh độ sâu. Khi có nhiều các đặc trưng có sự biến đổi mạnh hơn vượt qua ngưỡng của mô hình biến dạng thì nghiên cứu đề xuất hàm năng lượng bổ sung cho các ràng buộc của mô hình biến dạng.
Đặc biệt các kỹ thuật về sử dụng hình bóng và khôi phục dữ liệu được sử dụng để khôi phục lại hình trạng của người dựa trên tập dữ liệu thu được từ các cảm biến hình ảnh. Hệ thống này phải sử dụng CPU để thu thập dữ liệu và khôi phục dữ liệu 3-D. Hay Meier và các cộng sự [7] đã xây dựng một ứng dụng khôi phục, theo vết hành động của người trong không gian 3-D. Mô hình của người được thể hiện bằng dạng lưới.2 Hệ thống chấm điểm võ thuật Hiện nay dựa trên các tìm hiểu của nghiên cứu sinh thì trên thế giới chưa có một hệ thống chấm điểm nào được công bố để chấm điểm các môn võ thuật như: Karate, Judo, Taekwondo,vv.
Năm 2018, liên đoàn Karate thế giới mới chỉ đưa ra được một bộ quy tắc về chấm điểm các động tác trong môn Karate [20]. Bộ quy tắc này dựa trên vị trí ra đòn vào đối phương như: Đầu, mặt, cổ, ngực, bụng, đằng trước đằng sau.3 Ước lượng khung xương trên cơ thể người trong không gian 2-D Ước lượng khung xương (skeleton) và các tư thế (pose) của người là bài toán được áp dụng trong nhiều lĩnh vực [49] như: An toàn xã hội, bảo tồn các giá trị bản sắc văn hóa (bảo tồn và duy trì các bài võ, các bài múa cổ truyền dân tộc); Sản xuất các loại đồ chơi, các trò chơi; Tương tác với robot thông minh; Phân tích thể thao (phân tích chiến thuật trong các môn thể thao như bóng đá, tenis, cầu lông, vv); Bảo vệ sức khỏe (phát hiện các sự kiện ngã trong bệnh viện hoặc cho người già);. Để giải quyết những bài toán này có thể dựa trên một tập hợp các phương thức như: phân tích người trong ảnh, xác định vị trí người trong ảnh, xác định vị trí các điểm đại diện trên cơ thể người(key points), xác định các khớp nối (joints) trên các điểm đại diện trên cơ thể người (skeleton). Từ đó, vấn đề ước lượng khung xương và các tư thế của người đã 16 trở thành một vấn đề được quan tâm nghiên cứu nhiều trong thị giác máy tính.
Bài toán ước lượng khung xương của người trên ảnh thường dựa trên ảnh màu, ảnh độ sâu, dựa trên đối tượng và ngữ cảnh hoạt động [49]. Chi tiết của các hướng tiếp cận này được trình bày trong phần tiếp theo.1 Ước lượng khung xương trên ảnh màu Thông tin ảnh màu là thông tin thông dụng nhất thu được từ các camera/cảm biến. Sự thay đổi hình dạng, tư thế của cấu trúc cơ thể người trong ảnh tạo ra đặc trưng biến đổi rất mạnh (deformation). Điều đó làm cho việc ước lượng hình trạng, khung xương trên cơ thể người gặp rất nhiều khó khăn.
Sự biến đổi của cơ thể người phức tạp được tạo thành bởi sự biến đổi của các bộ phận trên cơ thể người, đó có thể chỉ là các phép biến đổi thông thường như: Phép dịch, phép xoay, hay tăng giảm kích thước. Felzenszwalb và các cộng sự [52] đã đề xuất hướng tiếp cận cho việc huấn luyện sự thay đổi kích thước (multiscale) và mô hình biến dạng thành phần (Deformable Part Model - DPM) cho việc phát hiện đối tượng trên ảnh. Trong mô hình biến dạng một phần, cơ thể người được biểu diễn thành cấu trúc hình sao, bao gồm một bộ lọc gốc, một bộ các bộ phát hiện bộ phận và một mô hình biến dạng một phần. Trong mô hình DPM, biến dạng được coi là vị trí tương đối của các bộ phận cơ thể.
Các đặc trưng được trích xuất được huấn luyện trên bộ phân lớp SVM (Support Vector Machine) để dự đoán vị trí của các bộ phận trên cơ thể người. Sun và các cộng sự [53] đã đề xuất mô hình dựa trên phần khớp nối (Articulated Part-based Model (APM)) để phát hiện các bộ phận của cơ thể người và ước lượng tư thế của người. Mô hình APM thể hiện một đối tượng như là một bộ sưu tập của nhiều phần ở mức độ chi tiết khác nhau, từ thô đến mịn, trong đó các bộ phận ở mọi mức độ được kết nối với mức độ thô hơn thông qua mối quan hệ cha con. Các mô hình và quan hệ ở các mức độ được học để phát hiện ra đối tượng.
Pishchulin và các cộng sự [54] cũng như Andriluka [55], đều sử dụng phương thức chia cơ thể người thành các bộ phận và huấn luyện mô hình trên các bộ phận cho việc dự đoán tư thể của người. Như Andriluka [55] thì sử dụng AdaBoost cho việc dự đoán tư thế của người. Berti và các cộng sự [50] đã đề xuất một hướng tiếp cận để cải thiện độ chính xác của ước lượng các hình trạng người sử dụng mô hình biến đổi phần (deformation part model) để vượt qua sự phức tạp tính toán. Mô hình biến dạng bộ phận như trước đây chỉ được trích xuất qua kênh RGB, trong nghiên cứu này, sử dụng thêm kênh độ sâu (depth channel) để có được mô hình biến dạng bốn chiều (4-D).