Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương

• Tác giả: Phạm Đình Tân
• Người hướng dẫn: PTS. Lê Thị Lan
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Nghiên cứu kỹ thuật học sâu trong nhận dạng hoạt động của người từ dữ liệu khung xương
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

• DECLARATION OF AUTHORSHIP
• ACKNOWLEDGEMENT
• ABSTRACT
• 1. CHƯƠNG 1: AN OVERVIEW ON ACTION RECOGNITION
• 1.1. Data modalities for action recognition
• 1.2. Skeleton data collection
• 1.3. Data collection from motion capture systems
• 1.4. Data collection from RGB+D sensors
• 1.5. Data collection from pose estimation
• 1.6. Skeleton-based action recognition methods
• 1.6.1. Handcraft-based methods
• 1.6.2. Joint-based action recognition
• 1.6.3. Body part-based action recognition
• 1.7. Deep learning-based methods
• 1.7.1. Convolutional Neural Networks
• 1.7.2. Recurrent Neural Networks
• 1.8. Research on action recognition in Vietnam
• 1.9. Conclusion of the chapter
• 2. CHƯƠNG 2: JOINT SUBSET SELECTION FOR SKELETON-BASED HUMAN ACTION RECOGNITION
• 2.1. Preset Joint Subset Selection
• 2.2. Spatial-Temporal Representation
• 2.3. Dynamic Time Warping
• 2.4. Fourier Temporal Pyramid
• 2.5. Automatic Joint Subset Selection
• 2.6. Joint weight assignment
• 2.7. Most informative joint selection
• 2.8. Human action recognition based on MIJ joints
• 2.8.1. Preset Joint Subset Selection
• 2.8.2. Automatic Joint Subset Selection
• 2.9. Conclusion of the chapter
• 3. CHƯƠNG 3: FEATURE FUSION FOR THE GRAPH CONVOLUTIONAL NETWORK
• 3.1. Related work on Graph Convolutional Networks
• 3.2. Conclusion of the chapter
• 4. CHƯƠNG 4: THE PROPOSED LIGHTWEIGHT GRAPH CONVOLUTIONAL NETWORK
• 4.1. Related work on Lightweight Graph Convolutional Networks
• 4.2. Conclusion of the chapter
• 5. CHƯƠNG 5: CONCLUSION AND FUTURE WORKS
• ABBREVIATIONS
• SYMBOLS
• LIST OF TABLES
• LIST OF FIGURES

I. Tổng quan về nghiên cứu kỹ thuật học sâu trong nhận dạng hoạt động

Nghiên cứu về nhận dạng hoạt động của con người từ dữ liệu khung xương đang thu hút sự chú ý của cộng đồng khoa học. Kỹ thuật học sâu, đặc biệt là mạng nơ-ron, đã chứng minh hiệu quả trong việc phân tích và nhận diện các hành động phức tạp. Dữ liệu khung xương cung cấp thông tin chính xác về vị trí và chuyển động của các khớp, giúp cải thiện độ chính xác trong nhận dạng hoạt động.

1.1. Tầm quan trọng của nhận dạng hoạt động trong cuộc sống

Nhận dạng hoạt động có nhiều ứng dụng thực tiễn như giám sát an ninh, tương tác giữa người và máy, và theo dõi người cao tuổi. Việc áp dụng machine learning trong lĩnh vực này giúp nâng cao hiệu quả và độ chính xác.

1.2. Các thách thức trong nhận dạng hoạt động từ dữ liệu khung xương

Mặc dù có nhiều lợi ích, nhưng việc nhận dạng hoạt động từ dữ liệu khung xương cũng gặp phải nhiều thách thức như sai số trong ước lượng tư thế, nhiễu trong dữ liệu khung xương, và sự không đầy đủ do che khuất.

II. Phương pháp học sâu trong nhận dạng hoạt động từ dữ liệu khung xương

Các phương pháp học sâu như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi tiếp (RNN) đã được áp dụng để cải thiện khả năng nhận dạng hoạt động. Những phương pháp này cho phép khai thác cấu trúc đồ thị của khung xương, từ đó nâng cao độ chính xác trong việc phân tích hành động.

2.1. Mạng nơ ron tích chập trong nhận dạng hoạt động

Mạng nơ-ron tích chập giúp nhận diện các đặc trưng không gian trong dữ liệu khung xương, từ đó cải thiện khả năng phân loại hành động. Các nghiên cứu đã chỉ ra rằng CNN có thể đạt được độ chính xác cao trong các bài toán nhận dạng phức tạp.

2.2. Mạng nơ ron hồi tiếp và ứng dụng của nó

Mạng nơ-ron hồi tiếp, đặc biệt là LSTM, cho phép xử lý thông tin theo chuỗi thời gian, giúp nhận diện các hành động liên tiếp trong một khoảng thời gian nhất định. Điều này rất quan trọng trong việc phân tích hành động của con người.

III. Kỹ thuật lựa chọn tập hợp khớp cho nhận dạng hoạt động

Kỹ thuật lựa chọn tập hợp khớp là một trong những phương pháp quan trọng để cải thiện hiệu suất nhận dạng hoạt động. Việc lựa chọn các khớp có vai trò quan trọng trong hành động giúp giảm thiểu nhiễu và tăng độ chính xác của mô hình.

3.1. Lựa chọn khớp cố định và tự động

Có hai phương pháp chính để lựa chọn khớp: lựa chọn khớp cố định và lựa chọn khớp tự động. Phương pháp tự động cho phép xác định các khớp quan trọng dựa trên dữ liệu thực tế, từ đó tối ưu hóa quá trình nhận dạng.

3.2. Đánh giá hiệu suất của các phương pháp lựa chọn khớp

Các nghiên cứu đã chỉ ra rằng việc lựa chọn khớp phù hợp có thể cải thiện đáng kể hiệu suất nhận dạng hoạt động, đặc biệt là trong các tập dữ liệu có nhiễu.

IV. Ứng dụng thực tiễn của nhận dạng hoạt động từ dữ liệu khung xương

Nhận dạng hoạt động từ dữ liệu khung xương có nhiều ứng dụng trong các lĩnh vực như giám sát an ninh, tương tác người-máy, và thực tế ảo. Các ứng dụng này không chỉ giúp nâng cao trải nghiệm người dùng mà còn cải thiện hiệu quả trong các hệ thống giám sát.

4.1. Giám sát an ninh và phát hiện sự kiện bất thường

Hệ thống giám sát sử dụng nhận dạng hoạt động có thể phát hiện các hành động bất thường, từ đó cảnh báo kịp thời cho người quản lý. Điều này giúp nâng cao an ninh trong các khu vực công cộng.

4.2. Tương tác giữa người và máy

Nhận dạng hoạt động cũng được áp dụng trong các hệ thống tương tác giữa người và máy, giúp cải thiện khả năng giao tiếp và tương tác tự nhiên hơn giữa con người và thiết bị.

V. Kết luận và tương lai của nghiên cứu nhận dạng hoạt động

Nghiên cứu về nhận dạng hoạt động từ dữ liệu khung xương đang phát triển mạnh mẽ với nhiều ứng dụng tiềm năng. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cải tiến trong công nghệ nhận dạng và ứng dụng thực tiễn.

5.1. Xu hướng phát triển trong nghiên cứu

Các xu hướng nghiên cứu hiện tại đang tập trung vào việc cải thiện độ chính xác và giảm thiểu độ phức tạp của mô hình. Việc phát triển các mô hình nhẹ hơn sẽ giúp ứng dụng dễ dàng hơn trên các thiết bị di động.

5.2. Tầm nhìn tương lai cho nhận dạng hoạt động

Tương lai của nhận dạng hoạt động sẽ tiếp tục mở rộng với sự phát triển của công nghệ computer vision và machine learning, hứa hẹn mang lại những giải pháp mới cho các bài toán phức tạp trong cuộc sống hàng ngày.