Nghiên Cứu Kỹ Thuật Học Sâu Trong Nhận Diện Hành Động Con Người Với Dữ Liệu Xương

Nghiên cứu về các kỹ thuật học sâu trong việc đại diện và nhận diện hành động con người từ dữ liệu xương. Tìm hiểu ứng dụng và hiệu quả.

• Tác giả: Pham Dinh Tan
• Người hướng dẫn: Le Thi Lan
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Computer Engineering
• Đề tài: Nghiên Cứu Kỹ Thuật Học Sâu Trong Nhận Diện Hành Động Con Người Với Dữ Liệu Xương
• Loại tài liệu: Doctoral Dissertation
• Năm xuất bản: 2022
• Địa điểm: Hanoi

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Khái niệm cơ bản
• 1.2. Phương pháp nghiên cứu
• 2. CHƯƠNG 2: CÁC KỸ THUẬT DEEP LEARNING
• 2.1. Mạng nơ-ron sâu
• 2.2. Mạng tích chập
• 3. CHƯƠNG 3: ỨNG DỤNG TRONG NHẬN DẠNG HÀNH ĐỘNG
• 3.1. Biểu diễn dữ liệu skeleton
• 3.2. Phương pháp nhận dạng
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Nghiên Cứu Học Sâu Nhận Diện Hành Động Người

Nhận diện hành động người (HAR) là một lĩnh vực nghiên cứu quan trọng, sử dụng các kỹ thuật machine learning để xác định và phân loại các hành động từ dữ liệu thu thập được. Dữ liệu có thể đến từ nhiều nguồn khác nhau, bao gồm cảm biến đeo được, cảm biến quán tính trên điện thoại thông minh, camera Microsoft Kinect và camera giám sát CCTV. HAR có nhiều ứng dụng thực tế, như tương tác người-máy, giám sát an ninh, trò chơi điện tử, chăm sóc người cao tuổi và thực tế ảo/tăng cường. Mặc dù đã có nhiều nỗ lực nghiên cứu, nhận diện hành động vẫn còn nhiều thách thức do sự đa dạng, biến thể trong lớp và tương đồng giữa các lớp hành động. Các phương pháp tiếp cận dựa trên dữ liệu xương người đang ngày càng trở nên phổ biến nhờ tính hiệu quả về mặt tính toán và lưu trữ, cũng như khả năng bất biến đối với ngoại hình. Nghiên cứu này tập trung vào việc sử dụng kỹ thuật học sâu để giải quyết các thách thức trong nhận diện hành động người từ dữ liệu xương.

1.1. Ứng Dụng Thực Tế Của Nhận Diện Hành Động Người HAR

HAR có nhiều ứng dụng quan trọng trong đời sống và công nghiệp. Trong lĩnh vực chăm sóc sức khỏe, HAR có thể được sử dụng để theo dõi bệnh nhân, phát hiện các hành vi bất thường như té ngã hoặc đột quỵ. Trong tương tác người-máy, HAR cho phép máy tính hiểu và phản ứng với hành động của con người một cách tự nhiên hơn. Trong giám sát an ninh, HAR có thể giúp phát hiện các hành vi đáng ngờ trong khu vực công cộng. Ngoài ra, HAR còn được ứng dụng trong trò chơi điện tử để tạo ra trải nghiệm tương tác chân thực hơn, và trong robotics để điều khiển robot thực hiện các tác vụ phức tạp. Theo [10], các chuyên gia y tế có thể đưa ra lời khuyên về chế độ ăn uống, tập thể dục và thuốc men bằng cách xác định những thay đổi trong các hành động hàng ngày.

1.2. Ưu Điểm Của Dữ Liệu Xương Trong Nhận Diện Hành Động

Dữ liệu xương có nhiều ưu điểm so với các loại dữ liệu khác như hình ảnh và video. Thứ nhất, dữ liệu xương có tính compact và hiệu quả về mặt tính toán và lưu trữ. Thứ hai, dữ liệu xương ít bị ảnh hưởng bởi các yếu tố như ánh sáng, góc nhìn và trang phục. Thứ ba, dữ liệu xương có thể được thu thập từ nhiều nguồn khác nhau, bao gồm cảm biến độ sâu và các hệ thống theo dõi chuyển động. Tuy nhiên, dữ liệu xương cũng có những hạn chế nhất định, như độ chính xác của ước tính tư thế và khả năng xử lý dữ liệu nhiễu. Theo một nghiên cứu năm 1973 [2], các nhà tâm lý học Thụy Điển chỉ ra rằng các hành động của con người như đi bộ và chạy có thể được phân biệt bằng 10-12 điểm đánh dấu trên các khớp cơ thể.

II. Thách Thức Trong Nhận Diện Hành Động Người Từ Dữ Liệu Xương

Mặc dù có nhiều ưu điểm, việc nhận diện hành động người từ dữ liệu xương vẫn đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là sự đa dạng và biến thể trong cách con người thực hiện các hành động. Ví dụ, cùng một hành động chạy có thể được thực hiện với tốc độ khác nhau, với các kiểu vung tay khác nhau. Ngoài ra, sự tương đồng giữa các lớp hành động khác nhau cũng gây khó khăn cho việc phân loại. Ví dụ, hành động chạy và đi bộ có nhiều điểm tương đồng về mặt chuyển động. Thêm vào đó, dữ liệu xương thường bị ảnh hưởng bởi nhiễu và sai sót trong quá trình thu thập và xử lý. Cuối cùng, việc thu thập và gán nhãn dữ liệu xương là một quá trình tốn kém và mất thời gian.

2.1. Biến Thể Trong Lớp Và Tương Đồng Giữa Các Lớp Hành Động

Sự biến thể trong lớp (intra-class variation) và tương đồng giữa các lớp (inter-class similarity) là hai trong số những thách thức lớn nhất trong nhận diện hành động. Sự biến thể trong lớp đề cập đến sự khác biệt trong cách con người thực hiện cùng một hành động. Ví dụ, một người có thể chạy nhanh hoặc chậm, với các kiểu vung tay khác nhau. Sự tương đồng giữa các lớp đề cập đến sự giống nhau giữa các hành động khác nhau. Ví dụ, hành động chạy và đi bộ có nhiều điểm tương đồng về mặt chuyển động, khiến cho việc phân biệt chúng trở nên khó khăn. Các biến thể này sẽ trở nên nghiêm trọng hơn trong các triển khai thực tế. Tuy nhiên, việc dán nhãn dữ liệu rất tẻ nhạt, tốn thời gian và tốn kém. Các bộ dữ liệu quy mô lớn là cần thiết để chuyển mô hình nhận dạng hành động sang các ứng dụng trong thế giới thực.

2.2. Vấn Đề Nhiễu Và Sai Sót Trong Dữ Liệu Xương

Dữ liệu xương thường bị ảnh hưởng bởi nhiễu và sai sót trong quá trình thu thập và xử lý. Nhiễu có thể đến từ nhiều nguồn khác nhau, bao gồm lỗi cảm biến, sự che khuất và các yếu tố môi trường. Sai sót có thể xảy ra trong quá trình ước tính tư thế, đặc biệt là khi đối tượng bị che khuất hoặc di chuyển nhanh. Việc xử lý dữ liệu nhiễu và sai sót là một thách thức quan trọng trong nhận diện hành động. Các kỹ thuật tiền xử lý dữ liệu, như lọc nhiễu và điền khuyết, có thể được sử dụng để cải thiện chất lượng dữ liệu xương. Hình 6 cho thấy nhiễu trong dữ liệu xương của MSR-Action3D được đánh dấu bằng các hộp màu đỏ.

III. Phương Pháp Chọn Lọc Tập Hợp Khớp Tối Ưu Cho Nhận Diện

Một trong những phương pháp để giải quyết các thách thức trong nhận diện hành động là chọn lọc tập hợp khớp (Joint Subset Selection - JSS). Ý tưởng cơ bản là không phải tất cả các khớp trên cơ thể đều quan trọng như nhau đối với việc nhận diện một hành động cụ thể. Bằng cách chọn lọc các khớp quan trọng nhất, có thể giảm thiểu ảnh hưởng của nhiễu và cải thiện hiệu suất nhận diện. Nghiên cứu này đề xuất hai phương pháp JSS: JSS đặt trước (Preset JSS) và lựa chọn MIJ tự động (automatic MIJ selection). Phương pháp Preset JSS sử dụng các quy tắc được xác định trước để chọn các khớp quan trọng. Phương pháp lựa chọn MIJ tự động sử dụng các thuật toán để tự động xác định các khớp quan trọng nhất dựa trên dữ liệu.

3.1. JSS Đặt Trước Preset JSS Sử Dụng DTW Và FTP

Phương pháp JSS đặt trước (Preset JSS) sử dụng các quy tắc được xác định trước để chọn các khớp quan trọng. Trong nghiên cứu này, phương pháp Preset JSS sử dụng thuật toán Dynamic Time Warping (DTW) và Fourier Temporal Pyramid (FTP) để xác định các khớp quan trọng. DTW là một thuật toán được sử dụng để so sánh các chuỗi thời gian có độ dài khác nhau. FTP là một phương pháp được sử dụng để phân tích các tín hiệu thời gian trong miền tần số. Bằng cách kết hợp DTW và FTP, phương pháp Preset JSS có thể xác định các khớp quan trọng nhất cho việc nhận diện hành động. Hình 4 cho thấy một tập hợp con gồm 13 khớp màu xanh lam được chọn từ mô hình xương 20 khớp.

3.2. Lựa Chọn MIJ Tự Động Sử Dụng Covariance Descriptors

Phương pháp lựa chọn MIJ tự động (automatic MIJ selection) sử dụng các thuật toán để tự động xác định các khớp quan trọng nhất dựa trên dữ liệu. Trong nghiên cứu này, phương pháp lựa chọn MIJ tự động sử dụng Covariance Descriptors được trích xuất từ vị trí và vận tốc khớp. Covariance Descriptors là một phương pháp được sử dụng để mô tả sự tương quan giữa các biến khác nhau. Bằng cách sử dụng Covariance Descriptors, phương pháp lựa chọn MIJ tự động có thể xác định các khớp quan trọng nhất cho việc nhận diện hành động một cách tự động. AAGCN (Attention-enhanced Adaptive Convolutional Network) được sử dụng làm mô hình cơ sở.

IV. Đề Xuất Mô đun Kết Hợp Đặc Trưng Feature Fusion Cho AAGCN

Nghiên cứu này đề xuất một mô-đun kết hợp đặc trưng (Feature Fusion - FF) để kết hợp các đặc trưng không gian và thời gian cho mạng Attention-enhanced Adaptive Graph Convolutional Network (AAGCN). Mô-đun FF sử dụng vị trí khớp tương đối (Relative Joint Position) và vận tốc khớp để trích xuất các đặc trưng không gian và thời gian. Sau đó, các đặc trưng này được kết hợp lại để tạo thành một biểu diễn đặc trưng mạnh mẽ hơn. Hiệu suất của FF-AAGCN được đánh giá trên bộ dữ liệu NTURGB+D và CMDFALL. Kết quả đánh giá cho thấy phương pháp đề xuất có khả năng chống nhiễu và bất biến đối với phép tịnh tiến xương.

4.1. Kết Hợp Đặc Trưng Không Gian Và Thời Gian

Mô-đun FF kết hợp các đặc trưng không gian và thời gian để tạo ra một biểu diễn đặc trưng mạnh mẽ hơn. Các đặc trưng không gian mô tả vị trí của các khớp trên cơ thể tại một thời điểm nhất định. Các đặc trưng thời gian mô tả sự thay đổi của vị trí khớp theo thời gian. Bằng cách kết hợp các đặc trưng này, mô-đun FF có thể nắm bắt được cả thông tin về hình dạng và chuyển động của cơ thể. Vị trí khớp tương đối (RJP) và vận tốc khớp được sử dụng để trích xuất các đặc trưng không gian và thời gian.

4.2. Đánh Giá Hiệu Suất Trên NTURGB D Và CMDFALL

Hiệu suất của FF-AAGCN được đánh giá trên bộ dữ liệu NTURGB+D và CMDFALL. NTURGB+D là một bộ dữ liệu lớn chứa dữ liệu xương của hơn 60.000 hành động khác nhau. CMDFALL là một bộ dữ liệu thách thức chứa dữ liệu xương bị nhiễu. Kết quả đánh giá cho thấy FF-AAGCN đạt được kết quả đáng kể trên các bộ dữ liệu này. Đặc biệt, FF-AAGCN cho thấy khả năng chống nhiễu và bất biến đối với phép tịnh tiến xương. Kết quả đánh giá cho thấy phương pháp đề xuất có khả năng chống nhiễu và bất biến đối với phép tịnh tiến xương.

V. Xây Dựng Mô Hình Học Sâu Nhẹ Cho Nhận Diện Hành Động

Do khả năng tính toán của các thiết bị biên có hạn, một mô hình học sâu nhẹ được kỳ vọng cho việc triển khai ứng dụng. Nghiên cứu này đề xuất một mô hình nhẹ LW-FF-AAGCN với số lượng tham số mô hình ít hơn nhiều so với phương pháp cơ sở với hiệu suất cạnh tranh trong nhận diện hành động. LW-FF-AAGCN phù hợp cho việc phát triển ứng dụng trên các thiết bị biên với khả năng tính toán hạn chế.

5.1. Kiến Trúc Của Mô Hình LW FF AAGCN

LW-FF-AAGCN (Lightweight Feature Fusion AAGCN) là một mô hình nhẹ được thiết kế để giảm số lượng tham số và chi phí tính toán so với AAGCN ban đầu. Mô hình này sử dụng các kỹ thuật như giảm kích thước lớp, chia sẻ tham số và sử dụng các phép toán hiệu quả hơn để đạt được hiệu suất tương đương với ít tài nguyên hơn. Hình 2 mô tả sơ đồ hệ thống của LW-FF-AAGCN được đề xuất.

5.2. So Sánh Hiệu Suất Với Các Phương Pháp Khác

Hiệu suất của LW-FF-AAGCN được so sánh với các phương pháp khác trên bộ dữ liệu NTURGB+D. Kết quả cho thấy LW-FF-AAGCN đạt được hiệu suất cạnh tranh với các phương pháp khác, trong khi có số lượng tham số mô hình ít hơn đáng kể. Điều này cho thấy LW-FF-AAGCN là một lựa chọn phù hợp cho việc triển khai ứng dụng trên các thiết bị biên. Bảng 10 so sánh các tham số mô hình, FLOP và độ chính xác (%) trên NTURGB+D.

VI. Kết Luận Và Hướng Nghiên Cứu Tương Lai Về HAR Dữ Liệu Xương

Nghiên cứu này đã trình bày các kỹ thuật học sâu để nhận diện hành động người từ dữ liệu xương. Các phương pháp đề xuất đã đạt được kết quả đáng khích lệ trên các bộ dữ liệu khác nhau. Trong tương lai, có nhiều hướng nghiên cứu tiềm năng trong lĩnh vực này. Một hướng là phát triển các phương pháp để xử lý dữ liệu xương bị nhiễu và sai sót tốt hơn. Một hướng khác là phát triển các mô hình học sâu có khả năng khái quát hóa tốt hơn cho các hành động mới và các môi trường khác nhau. Cuối cùng, việc nghiên cứu các ứng dụng thực tế của nhận diện hành động người là một hướng đi quan trọng.

6.1. Hướng Nghiên Cứu Về Xử Lý Dữ Liệu Nhiễu Và Sai Sót

Một trong những hướng nghiên cứu quan trọng trong tương lai là phát triển các phương pháp để xử lý dữ liệu xương bị nhiễu và sai sót tốt hơn. Các phương pháp này có thể bao gồm các kỹ thuật lọc nhiễu, điền khuyết và ước tính tư thế mạnh mẽ hơn. Việc cải thiện khả năng xử lý dữ liệu nhiễu và sai sót sẽ giúp tăng độ chính xác và độ tin cậy của các hệ thống nhận diện hành động.

6.2. Phát Triển Mô Hình Khái Quát Hóa Tốt Hơn Cho HAR

Một hướng nghiên cứu khác là phát triển các mô hình học sâu có khả năng khái quát hóa tốt hơn cho các hành động mới và các môi trường khác nhau. Các mô hình này có thể sử dụng các kỹ thuật như học chuyển giao (transfer learning), học không giám sát (unsupervised learning) và học bán giám sát (semi-supervised learning) để tận dụng dữ liệu từ các nguồn khác nhau và giảm sự phụ thuộc vào dữ liệu được gán nhãn. Việc cải thiện khả năng khái quát hóa sẽ giúp các hệ thống nhận diện hành động hoạt động tốt hơn trong các tình huống thực tế.

Nội dung chính

Tổng quan về luận án

Nghiên cứu nhận dạng hành động người (Human Action Recognition - HAR) từ dữ liệu cảm biến chiều sâu và màu sắc (RGB-D), đặc biệt là dữ liệu khung xương 3D (3D skeleton data), đang là một trong những chủ đề trọng tâm của thị giác máy tính hiện đại. Đúng như nhận định được trích dẫn trực tiếp trong luận án: "Human action recognition (HAR) from color and depth sensors (RGB-D), especially derived information such as skeleton data, receives the research community’s attention due to its wide applications." Luận án tiến sĩ kỹ thuật máy tính của nghiên cứu sinh Phạm Đình Tân, thực hiện tại Phòng Thí nghiệm Thị giác Máy tính thuộc Viện MICA, Đại học Bách khoa Hà Nội (Hanoi University of Science and Technology - HUST) dưới sự hướng dẫn của PGS. TS. Lê Thị Lan và PGS. TS. Vũ Hải, đã giải quyết căn cơ các bài toán cốt lõi về biểu diễn và nhận dạng hành động người dựa trên học sâu từ dữ liệu khung xương.

Khoảng trống nghiên cứu (Research Gap) chính xuất phát từ bản chất dữ liệu khung xương thu nhận từ các cảm biến RGB-D giá thành thấp (như Microsoft Kinect v1, Kinect v2) hoặc từ các thuật toán ước lượng tư thế 2D/3D (như OpenPose, MediaPipe): dữ liệu thường xuyên bị suy biến bởi nhiễu ước lượng tư thế (pose estimation errors), hiện tượng che khuất các khớp cơ thể (joint occlusions), độ biến thiên lớn giữa các mẫu cùng lớp (intra-class variations) và sự tương đồng cao giữa các lớp hành động khác nhau (inter-class similarities). Mặc dù các mô hình mạng tích chập đồ thị thích ứng nâng cao (Attention-enhanced Adaptive Graph Convolutional Network - AAGCN) đã thiết lập trạng thái dẫn đầu (SOTA) trên các tập chuẩn quy mô lớn, chúng vẫn tồn tại hai hạn chế chí tử: chỉ khai thác đơn thuần tọa độ khớp tuyệt đối mà bỏ qua mối quan hệ tương đối giữa các khớp và động học biến thiên thời gian; đồng thời kích thước tham số và độ phức tạp tính toán quá lớn, gây nghẽn khi triển khai trên các thiết bị biên (edge devices) có năng lực tính toán hạn chế.

Luận án thiết lập hệ thống 3 câu hỏi nghiên cứu (Research Questions - RQ) và các giả thuyết khoa học tương ứng:

• RQ1: Làm thế nào để loại bỏ các khớp dư thừa gây nhiễu nhằm tạo ra biểu diễn khung xương cô đọng nhất mà không làm suy giảm đặc trưng ngữ cảnh của hành động? (Giả thuyết H1: Việc chọn lọc tập con các khớp mang thông tin cốt lõi - Most Informative Joints sẽ tối ưu hóa tỷ lệ tín hiệu trên nhiễu trên các bộ dữ liệu nhiễu cao).
• RQ2: Cơ chế kết hợp đặc trưng không gian và động học thời gian nào có thể bù đắp sai số tịnh tiến và tăng cường tính bất biến của mạng nơ-ron đồ thị? (Giả thuyết H2: Tích hợp vị trí tương đối của khớp - Relative Joint Position và vận tốc khớp - Joint Velocity vào AAGCN sẽ cải thiện vượt bậc độ chính xác trên dữ liệu có chuyển động phức tạp).
• RQ3: Làm thế nào để nén và tối ưu hóa cấu trúc liên kết đồ thị nhằm đáp ứng yêu cầu suy luận thời gian thực trên vi xử lý nhúng? (Giả thuyết H3: Cấu trúc đồ thị rút gọn kết hợp phân tầng không gian - thời gian sẽ cắt giảm đáng kể FLOPs và bộ nhớ nhưng vẫn bảo toàn năng lực phân loại).

Kế thừa lý thuyết nhận thức chuyển động sinh học kinh điển của Gunnar Johansson (1973), khung lý thuyết nhóm Lie (Lie Group Manifolds) và lý thuyết tích chập đồ thị không gian - thời gian (Spatial-Temporal Graph Theory), luận án khảo sát toàn diện trên 4 bộ dữ liệu với thang đo và chất lượng đa dạng: MSR-Action3D, MICA-Action3D, CMDFALL (dữ liệu phát hiện ngã phức tạp, độ nhiễu cao) và NTU RGB+D (bộ chuẩn quy mô lớn gồm 56.880 mẫu).

Literature Review và Positioning

Lịch sử phát triển của các phương pháp nhận dạng hành động dựa trên khung xương trải qua hai giai đoạn chuyển dịch mô hình rõ rệt:

Thứ nhất, nhóm phương pháp trích xuất đặc trưng thủ công (Handcrafted-based methods): Các nghiên cứu ban đầu tập trung trích xuất đặc trưng hình học hoặc động học tĩnh và động. Vemulapalli et al. (2014) biểu diễn khung xương 3D dưới dạng các điểm trên đa tạp nhóm Lie $SE(3) \times \dots \times SE(3)$, mô tả phép quay và tịnh tiến tương đối giữa các bộ phận cơ thể. Hussein et al. (2013) giới thiệu hệ thống phân tầng thời gian của các mô tả ma trận hiệp phương sai (Temporal Hierarchy of Covariance Descriptors - Cov3DJ) trên tọa độ khớp. Wang et al. (2012) đề xuất kỹ thuật khai phá tập hành động con (Actionlet Ensemble) kết hợp khớp cục bộ Fourier Temporal Pyramid. Tuy nhiên, các kỹ thuật thủ công này bộc lộ nhược điểm cố hữu: phụ thuộc hoàn toàn vào trực giác của người thiết kế, không tự thích ứng được với phân bố dữ liệu phức tạp và hoàn toàn bất lực trong việc khai thác cấu trúc đồ thị phi Euclid tự nhiên của cơ thể người.

Thứ hai, nhóm phương pháp học sâu (Deep Learning-based methods): Khi mạng nơ-ron bùng nổ, các kiến trúc Recurrent Neural Networks (RNN/LSTM) được Du et al. (2015) và Liu et al. (2016) áp dụng để mô hình hóa chuỗi thời gian, trong khi Ke et al. (2017) chuyển đổi chuỗi khung xương thành các ảnh biểu diễn màu 2D để đưa vào Convolutional Neural Networks (CNN). Đột phá mang tính bước ngoặt xuất hiện khi Yan et al. (2018) giới thiệu mạng tích chập đồ thị không gian - thời gian (ST-GCN), chính thức mô hình hóa bộ xương người thành một đồ thị động không gian - thời gian $G = (V, E)$. Tiếp nối ST-GCN, Shi et al. (2019) phát triển mạng tích chập đồ thị thích ứng hai luồng (2s-AGCN) cho phép học cấu trúc đồ thị tự do thông qua cơ chế tự chú ý (self-attention), và sau đó nâng cấp thành Attention-enhanced Adaptive Graph Convolutional Network (AAGCN - Shi et al., 2020) với việc bổ sung mô-đun chú ý không gian - thời gian - kênh (STC Attention Module). Gần đây, các hướng tiếp cận như MS-G3D (Liu et al., 2020) hay EfficientGCN (Song et al., 2021) tiếp tục đào sâu vào việc tối ưu hóa đường đi đồ thị đa quy mô.

Luận án định vị nghiên cứu chính xác tại điểm nghẽn của dòng phát triển GCN: các mô hình SOTA như AAGCN hay MS-G3D tuy đạt độ chính xác cao trên tập chuẩn lý tưởng NTU RGB+D nhưng lại suy giảm hiệu năng nghiêm trọng khi gặp dữ liệu thực tế có độ nhiễu cao (như tập dữ liệu CMDFALL) và có chi phí tính toán vượt ngưỡng cho phép của phần cứng biên. So sánh với hai nghiên cứu quốc tế tiêu biểu:

• So với ST-GCN (Yan et al., AAAI 2018): ST-GCN sử dụng ma trận kề vật lý cố định $A$, làm mất đi các liên kết tiềm ẩn phi vật lý giữa các chi cách xa nhau (ví dụ: tay và chân khi vỗ tay); luận án khắc phục bằng ma trận thích ứng toàn cục kết hợp cục bộ và bổ sung mô-đun tích hợp đặc trưng đa diện.
• So với AAGCN (Shi et al., IEEE TIP 2020): AAGCN nguyên bản chỉ dùng dữ liệu khớp $S_p(t)$, rất nhạy cảm với sai lệch tịnh tiến của hệ tọa độ camera; phương pháp FF-AAGCN của luận án đưa vào vị trí tương đối RJP và vận tốc $S_v(t)$, tạo ra tính bất biến hình học vượt trội và đạt độ bền vững cao trước nhiễu.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mang lại ba đóng góp lý thuyết nền tảng cho chuyên ngành Kỹ thuật Máy tính và Thị giác Máy tính:

1. Mở rộng lý thuyết nhận thức chuyển động sinh học trong không gian số: Luận án chứng minh một cách tường minh luận điểm tâm lý học thần kinh của Johansson (1973): "In a study on human visual perception in 1973, Swedish psychologists pointed out that human actions such as walking and running could be distinguished by 10-12 markers placed on body joints." Luận án mở rộng tiền đề này bằng cách chứng minh rằng trên các tập dữ liệu thực tế có chứa nhiễu cảm biến, việc mô hình hóa đầy đủ 20 hoặc 25 khớp cơ thể không những không gia tăng lượng thông tin hữu ích mà còn làm lan truyền sai số ước lượng (error propagation). Việc chỉ sử dụng một tập con gồm 13 khớp trọng yếu (Preset JSS) hoặc trích chọn khớp thích ứng (AMIJ) giúp tối đa hóa tỷ số tín hiệu trên nhiễu (SNR), tạo tiền đề lý thuyết mới cho việc giảm chiều dữ liệu đồ thị khung xương.

2. Thiết lập không gian biểu diễn bất biến tịnh tiến cho mạng tích chập đồ thị: Luận án đề xuất mô hình toán học tích hợp vị trí tương đối giữa các khớp (Relative Joint Position - RJP) được chuẩn hóa theo gốc tọa độ cơ thể (Spine/Hip Base) kết hợp đạo hàm bậc nhất theo thời gian (vận tốc khớp $S_v(t)$). Sự kết hợp này hình thành một không gian đặc trưng topo mở rộng, triệt tiêu hoàn toàn sự phụ thuộc vào khoảng cách và góc đặt của cảm biến RGB-D đối với đối tượng chuyển động.

3. Hình thành lý thuyết nén đồ thị cấu trúc đối xứng (Symmetric Topology Compression): Luận án chứng minh rằng trong chuyển động học của con người, các cặp khớp đối xứng qua trục dọc thân thể (ví dụ: cổ tay trái - cổ tay phải, đầu gối trái - đầu gối phải) chứa đựng các ràng buộc tương quan liên thông mạnh mẽ. Việc thiết lập cấu trúc đồ thị dạng B (JSS-B) bổ sung các cạnh đối xứng cho phép giảm độ sâu mạng (từ 10 khối cơ bản xuống các cấu trúc nông hơn) mà vẫn giữ nguyên năng lực bao quát ngữ nghĩa.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp liền mạch ba trường phái giải thuật: Đại số tuyến tính trên đa tạp Riemann, Lý thuyết đồ thị phổ (Spectral Graph Theory) và Cơ chế tự chú ý đa chiều (Multi-dimensional Attention Mechanism).

Khung phân tích FF-AAGCN được cấu trúc thành một luồng xử lý khép kín: $$\mathcal{F}{out} = \text{Softmax}\left( \text{GAP}\left( \text{ST-BB}{10}\left( \dots \text{ST-BB}1\left( \text{BN}\left( \Phi{FF}(S_p, RJP, S_v) \right) \right) \right) \right) \right)$$ Trong đó:

• $\Phi_{FF}$ là mô-đun Feature Fusion tổng hợp vector tọa độ khớp $p_i(t) = (x_i(t), y_i(t), z_i(t))$, vector vị trí tương đối $RJP_i(t) = p_i(t) - p_{root}(t)$, và vector vận tốc sai phân $S_v(t) = p_i(t+1) - p_i(t-1)$.
• $\text{BN}$ là lớp Batch Normalization giúp chuẩn hóa phân phối đặc trưng đầu vào.
• $\text{ST-BB}$ là các khối cơ bản không gian - thời gian (Spatial-Temporal Basic Blocks), mỗi khối tích hợp phép tích chập không gian thích ứng với 3 thành phần ma trận kề: $$\tilde{A}_k = A_k + B_k + C_k$$ (với $A_k$ là cấu trúc vật lý chuẩn hóa, $B_k$ là ma trận thích ứng toàn cục học được từ dữ liệu, và $C_k$ là ma trận chú ý tương quan cục bộ tính toán động qua hàm Softmax của tích vô hướng đặc trưng).
• Khối STC Attention Module tuần tự áp dụng chú ý theo kênh (Channel Attention - CAM), chú ý không gian (Spatial Attention - SAM) và chú ý thời gian (Temporal Attention - TAM), lọc sạch các phản hồi tín hiệu nhiễu trước khi phân lớp qua lớp tổng hợp trung bình toàn cục (Global Average Pooling - GAP) và hàm Softmax.

Điều kiện biên của mô hình được xác lập chặt chẽ: Áp dụng cho các chuỗi khung xương 3D đã phân đoạn chứa một hành động đơn nhất, với tần số lấy mẫu danh định 30 khung hình/giây (fps), chuẩn hóa kích thước chuỗi tối đa $T_{max}$.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ triết lý nghiên cứu thực chứng quy nạp kết hợp diễn dịch (Positivist Paradigm), dựa trên mô hình hóa toán học chặt chẽ và đối chuẩn thực nghiệm trên diện rộng. Thiết kế nghiên cứu phân tầng thành 3 cấp độ phương pháp luận:

• Cấp độ 1 - Biểu diễn đặc trưng thủ công tối ưu (Handcrafted Paradigm): Xây dựng hai chiến lược chọn lọc khớp: Trích chọn định sẵn (Preset Joint Subset Selection - Preset JSS với 13 khớp được chọn từ mô hình 20 khớp chuẩn của Kinect v1) và Trích chọn tự động khớp chứa nhiều thông tin nhất (Automatic Joint Subset Selection gồm Fixed number MIJ - FMIJ và Adaptive number MIJ - AMIJ). Trích xuất đặc trưng động lực học thông qua Dynamic Time Warping (DTW), Fourier Temporal Pyramid (FTP) và mô tả hiệp phương sai thời gian $COV(S_p), COV(S_v)$, phân loại bằng Support Vector Machines (SVM).
• Cấp độ 2 - Mạng tích chập đồ thị tích hợp đặc trưng (Feature Fusion GCN Paradigm): Phát triển kiến trúc FF-AAGCN, giải quyết triệt để tính nhạy cảm với nhiễu của AAGCN trên dữ liệu không gian 3D.
• Cấp độ 3 - Mạng tích chập đồ thị siêu nhẹ (Lightweight GCN Paradigm): Đề xuất kiến trúc LW-FF-AAGCN, tái định nghĩa cấu trúc đồ thị không gian dựa trên 13 khớp then chốt kết hợp liên kết đối xứng cơ thể, tối ưu hóa triệt để số lượng kênh và số khối ST-BB.

Quy trình nghiên cứu rigorous

Quy trình thực nghiệm được chuẩn hóa nghiêm ngặt qua 5 bước:

1. Tiền xử lý và chuẩn hóa dữ liệu: Khung xương được chuyển đổi về hệ tọa độ gốc đặt tại khớp trung tâm cơ thể (Spine Base đối với Kinect v2, Hip Center đối với Kinect v1). Loại bỏ các mẫu lỗi hoặc mất dấu khớp nghiêm trọng.
2. Thiết lập giao thức đánh giá chuẩn quốc tế (Evaluation Protocols):
   • Cross-Subject (CS) Benchmark: Phân chia đối tượng thực hiện thành hai nhóm độc lập hoàn toàn, 50% số đối tượng dùng để huấn luyện và 50% dùng để kiểm thử.
   • Cross-View (CV) Benchmark: Áp dụng riêng cho tập NTU RGB+D; các chuỗi thu từ camera góc nhìn số 2 và 3 được dùng để huấn luyện, toàn bộ chuỗi thu từ camera góc nhìn số 1 được dùng làm tập kiểm thử.
3. Huấn luyện mô hình: Sử dụng thuật toán tối ưu hóa Gradient Descent theo lô nhỏ (SGD with Nesterov momentum 0.9), suy giảm trọng số (weight decay $0.0001$), hàm mất mát Cross-Entropy Loss kết hợp kỹ thuật điều hòa giảm tốc độ học (learning rate scheduling).
4. Phân tích độ tin cậy và kiểm chuẩn chéo: Sử dụng ma trận nhầm lẫn (Confusion Matrix) để phân tích chi tiết các cặp hành động dễ gây nhầm lẫn; phân tích t-SNE (t-Distributed Stochastic Neighbor Embedding) để trực quan hóa không gian phân tách của các cụm vector đặc trưng trước và sau khi áp dụng mô-đun Feature Fusion.
5. Đánh giá mức tiêu hao tài nguyên: Đo đạc chính xác số lượng tham số mô hình (Parameters tính bằng Mega), khối lượng tính toán (FLOPs tính bằng GigaFLOPs), dung lượng bộ nhớ GPU/RAM và thời gian trễ suy luận trên từng mẫu (Testing latency tính bằng mili-giây - ms).

Data và phân tích

Luận án tiến hành thử nghiệm trên 4 tập dữ liệu đại diện cho đầy đủ các mức độ quy mô và chất lượng:

1. MSR-Action3D: Bộ dữ liệu chuẩn kinh điển gồm 567 chuỗi hành động, 20 lớp hành động thực hiện bởi 10 đối tượng, chia thành 3 tập con AS1, AS2, AS3 (mỗi tập gồm 8 lớp hành động).
2. CMDFALL: Bộ dữ liệu đa phương thức ghi nhận các hành vi té ngã nguy hiểm và hoạt động sống hàng ngày (ADL) gồm 20 lớp hành động, chứa đựng mức độ nhiễu khung xương cực lớn do hiện tượng người nằm/ngã trên sàn nhà khiến thuật toán pose estimation của Kinect bị suy giảm độ chính xác nghiêm trọng.
3. NTU RGB+D: Bộ dữ liệu quy mô lớn hàng đầu thế giới với 56.880 chuỗi hành động, 60 lớp hành động, thực hiện bởi 40 đối tượng khác nhau dưới 80 góc nhìn camera, mô hình khung xương gồm 25 khớp 3D.
4. MICA-Action3D: Bộ dữ liệu do chính nhóm nghiên cứu tại Viện MICA tự thu thập, phục vụ đánh giá so sánh trực tiếp giữa các công cụ trích xuất tư thế từ ảnh màu (OpenPose, MediaPipe) và cảm biến chiều sâu (Kinect SDK).

Môi trường thực nghiệm được triển khai đồng bộ trên hệ điều hành Ubuntu 18.04 LTS, ngôn ngữ lập trình Python, thư viện PyTorch, công cụ đo đạc cấu trúc mô hình Torchinfo và Torchprofile.

Phát hiện đột phá và implications

Những phát hiện then chốt

1. Hiệu ứng "Less is More" trên dữ liệu nhiễu cao: Thực nghiệm với phương pháp Preset JSS (chọn 13 khớp) kết hợp mô tả hiệp phương sai CovMIJ trên tập dữ liệu CMDFALL đã mang lại độ chính xác vượt trội hơn hẳn so với việc sử dụng đầy đủ 20 khớp. Việc loại bỏ 7 khớp ngoại vi không ổn định (bàn tay, bàn chân) giúp triệt tiêu hoàn toàn các vector nhiễu ngẫu nhiên, giúp F1-score tăng trưởng rõ rệt.
2. Khả năng khắc chế biến dạng tư thế của FF-AAGCN: Trên tập dữ liệu phức tạp CMDFALL, mô hình FF-AAGCN đạt bước nhảy vọt về hiệu năng phân loại so với mô hình gốc AAGCN. Phân tích ma trận nhầm lẫn và biểu đồ t-SNE chỉ ra rằng, nếu như AAGCN nguyên bản hoàn toàn bất lực trong việc phân biệt các hành động có quỹ đạo tương đồng như "ngã sang trái" (left fall) và "ngã sang phải" (right fall), thì FF-AAGCN tách biệt hoàn toàn hai cụm dữ liệu này nhờ việc bổ sung thành phần vector vận tốc $S_v(t)$ và tọa độ tương đối RJP.
3. Hiệu năng xuất sắc trên đại chuẩn quốc tế NTU RGB+D: Mô hình FF-AAGCN thiết lập kết quả thực nghiệm cạnh tranh hàng đầu trên cả hai thước đo Cross-Subject (CS) và Cross-View (CV), minh chứng cho khả năng tổng quát hóa phi thường của việc kết hợp đặc trưng hình học vi sai vào mạng tích chập đồ thị thích ứng.
4. Đột phá nén mô hình với LW-FF-AAGCN: Luận án chứng minh một phát hiện có giá trị kỹ thuật thực tiễn rất cao: "A lightweight GCN architecture is proposed to show that the complexity of GCN architecture can still be reduced depending on the dataset’s characteristics." Mô hình LW-FF-AAGCN cắt giảm hơn 65% số lượng tham số và giảm thiểu đáng kể số lượng phép tính FLOPs so với mô hình AAGCN gốc, trong khi độ chính xác trên tập MICA-Action3D và CMDFALL chỉ suy giảm dưới $1.2%$. Thời gian suy luận trên mỗi mẫu đạt mức vài mili-giây, hoàn toàn đáp ứng tiêu chuẩn xử lý thời gian thực trên CPU thông thường và vi xử lý biên.

Implications đa chiều

• Về mặt lý thuyết: Luận án khẳng định tính đúng đắn của việc kết hợp tri thức hình học không gian (Domain-specific Geometric Priors) với cơ chế học sâu thuần túy (Data-driven Learning). Việc đưa RJP và Velocity vào GCN không chỉ là một thủ thuật tiền xử lý mà là sự bổ sung điều kiện biên vật lý giúp mạng nơ-ron hội tụ nhanh hơn và kháng nhiễu tốt hơn.
• Về mặt phương pháp luận: Cung cấp một quy trình khép kín, chuẩn tắc từ khâu tiền xử lý chọn lọc khớp, biểu diễn đặc trưng đa luồng, thiết kế đồ thị liên kết đối xứng cho đến nén mô hình phục vụ triển khai thực tế.
• Về mặt ứng dụng thực tiễn: Tạo tiền đề kỹ thuật vững chắc để hiện thực hóa các hệ thống camera AI thông minh trong đời sống:
  • Hệ thống giám sát y tế và chăm sóc người cao tuổi (Elderly Healthcare Monitoring): Phát hiện chính xác các sự cố té ngã nguy hiểm trong sinh hoạt thường nhật thông qua dữ liệu khung xương, hoàn toàn bảo mật quyền riêng tư của bệnh nhân do không cần lưu trữ hình ảnh RGB nhạy cảm.
  • Hệ thống điều khiển giao thông thông minh: Nhận diện thời gian thực các cử chỉ điều khiển của cảnh sát giao thông (đã được công bố trên tạp chí quốc tế IEEE Access).
  • Ứng dụng hướng dẫn tập luyện thể thao/Yoga tương tác: Đánh giá tư thế và chấm điểm bài tập theo thời gian thực sử dụng camera đơn thông thường kết hợp Google MediaPipe BlazePose.

Limitations và Future Research

Mặc dù đạt được những thành tựu nổi bật, luận án cũng thẳng thắn chỉ ra các giới hạn nghiên cứu (Boundary Conditions):

• Phụ thuộc vào dữ liệu đã phân đoạn (Segmented Sequences): Tất cả các thuật toán hiện tại được tối ưu hóa trên giả định chuỗi khung xương đầu vào đã được cắt đoạn chính xác, chỉ chứa một hành động duy nhất. Trong thực tế đời sống, hành động của con người diễn ra liên tục, đan xen và không có điểm bắt đầu/kết thúc tường minh.
• Hiện tượng mất dấu khớp nghiêm trọng (Severe Occlusions): Khi đối tượng bị che khuất phần lớn cơ thể bởi vật cản lớn, chất lượng trích xuất khung xương từ RGB-D hoặc 2D Pose Estimation bị suy biến hoàn toàn, dẫn đến hiện tượng đồ thị bị khuyết đốt nghiêm trọng mà mạng GCN chưa thể tự phục hồi hoàn toàn.
• Giới hạn về góc nhìn đơn (Single-view Dependency): Luận án tập trung xử lý dữ liệu từ một camera quan sát đơn lẻ tại một thời điểm, chưa mở rộng sang bài toán kết hợp luồng dữ liệu đa góc nhìn đồng thời (Multi-view Collaborative Fusion).

Chương trình nghiên cứu tương lai (Future Research Agenda) được vạch ra với 4 hướng cụ thể:

1. Phát triển mạng nhận dạng và phân đoạn hành động liên tục (Continuous Action Recognition and Action Spotting): Xây dựng kiến trúc đồ thị có khả năng tự động phát hiện ranh giới chuyển tiếp giữa các hành động liên tiếp trong luồng video trực tiếp.
2. Khôi phục nút đồ thị bị che khuất (Graph Node Inpainting/Prediction): Ứng dụng mô hình sinh (Generative Models) hoặc Graph Autoencoders để dự đoán và bù đắp các khớp bị che khuất trước khi đưa vào khối tích chập đồ thị.
3. Mở rộng sang Học sâu Hình học (Geometric Deep Learning): Xây dựng khung toán học tổng quát hóa, thống nhất các cấu trúc CNN, RNN, GCN và Transformers trên các đa tạp phi Euclid.
4. Tích hợp cảm biến đa phương thức (Neuromorphic Vision and Multimodal Sensors): Kết hợp dữ liệu khung xương với cảm biến quán tính (IMU) và camera sự kiện (Event-based Cameras) nhằm tối ưu hóa khả năng nhận diện trong điều kiện môi trường ánh sáng cực đoan.

Tác động và ảnh hưởng

Luận án của NCS Phạm Đình Tân đã tạo ra những tác động học thuật và công nghệ rõ nét:

• Tác động học thuật quốc tế: Các kết quả cốt lõi của luận án đã được bình duyệt độc lập và công bố chính thức tại các tạp chí và hội nghị khoa học uy tín thuộc danh mục Scopus/ISI, bao gồm: Tạp chí chuyên ngành hàng đầu IEEE Access (2021) về ứng dụng Feature Fusion GCN trong nhận dạng cử chỉ giao thông thời gian thực; cùng 3 bài báo tại các hội nghị quốc tế uy tín do IEEE tổ chức gồm IEEE KSE (2018), IEEE NICS (2019) và IEEE MAPR (2020).
• Tác động công nghệ và chuyển đổi số: Cung cấp giải pháp công nghệ lõi cho các bài toán nhận dạng cử chỉ và hành vi con người với chi phí phần cứng siêu thấp. Việc kết hợp mạng LW-FF-AAGCN với các thư viện mã nguồn mở phổ biến như Google MediaPipe cho phép triển khai giải pháp AI thị giác trực tiếp trên các thiết bị di động, camera an ninh thông minh hoặc máy tính bảng phổ thông mà không đòi hỏi hạ tầng máy chủ GPU đắt tiền.

Đối tượng hưởng lợi

• Nghiên cứu sinh và Giới học thuật (Doctoral Researchers & Academics): Luận án cung cấp một tài liệu tham khảo mẫu mực về phương pháp luận nghiên cứu thị giác máy tính, từ cách phân tích lý thuyết nhận thức sinh học, thiết kế kiến trúc đồ thị thích ứng đến kỹ thuật xây dựng ma trận kề không gian - thời gian.
• Kỹ sư R&D Thị giác Máy tính và AI Biên (Edge AI Engineers): Nắm bắt được nguyên lý thiết kế và nén mô hình đồ thị siêu nhẹ (Lightweight GCN), cách trích chọn 13 khớp trọng yếu và tích hợp đặc trưng RJP/Velocity để tối ưu hóa thuật toán trên các dòng chip nhúng (NVIDIA Jetson, Raspberry Pi, NPU di động).
• Các doanh nghiệp Y tế số và Nhà quản lý An ninh Công cộng: Tiếp cận giải pháp công nghệ phát hiện tai nạn, cảnh báo té ngã tự động cho người cao tuổi và giám sát giao thông đô thị với độ chính xác cao, bảo vệ tuyệt đối dữ liệu cá nhân của người dân.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết nào của luận án mang tính đột phá nhất đối với cộng đồng nghiên cứu GCN?

Đóng góp đột phá nhất là việc chứng minh sự vượt trội của không gian đặc trưng tích hợp hình học vi sai (Relative Joint Position kết hợp Joint Velocity) so với không gian tọa độ tuyệt đối truyền thống khi đưa vào mạng tích chập đồ thị thích ứng Attention-enhanced Adaptive GCN. Nghiên cứu đã chứng minh bằng toán học và thực nghiệm rằng mô hình ST-GCN truyền thống và AAGCN gốc rất nhạy cảm với các biến đổi tịnh tiến không gian và nhiễu ước lượng tư thế; trong khi mô-đun Feature Fusion (FF-AAGCN) tạo ra tính bất biến tịnh tiến và ổn định hóa phản hồi của ma trận kề thích ứng $\tilde{A}_k = A_k + B_k + C_k$.

2. Phương pháp luận của luận án có điểm gì đổi mới khi so sánh với các công trình kinh điển thế giới?

So với nghiên cứu nền tảng ST-GCN của Yan et al. (AAAI 2018) vốn sử dụng đồ thị khung xương cố định theo giải phẫu học người, luận án đưa vào cơ chế học ma trận thích ứng toàn cục và cục bộ theo từng mẫu dữ liệu. So với công trình 2s-AGCN của Shi et al. (CVPR 2019), luận án không sử dụng cơ chế xử lý hai luồng độc lập nặng nề mà tích hợp trực tiếp các luồng đặc trưng vị trí tương đối và động học vận tốc vào một cấu trúc đồ thị thống nhất thông qua mô-đun Feature Fusion và khối chú ý STC, giúp giảm thiểu đáng kể chi phí tính toán trong khi gia tăng độ nhạy phân lớp.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất trong quá trình đánh giá dữ liệu?

Phát hiện bất ngờ nhất nằm ở hiệu năng của phương pháp trích chọn khớp Preset JSS (13 khớp) và AMIJ trên bộ dữ liệu nhiễu cao CMDFALL: Việc chủ động loại bỏ 7 khớp chi ngoại vi (vốn thường xuyên bị rung giật và mất dấu trong dữ liệu ngã) không làm giảm độ chính xác mà ngược lại, làm tăng F1-score và độ chính xác phân loại so với việc giữ nguyên toàn bộ 20 khớp. Điều này chứng minh rằng trong bài toán nhận dạng hành động thực tế, việc tối ưu hóa cấu trúc topo đồ thị dựa trên tri thức miền (Domain Knowledge) có giá trị khử nhiễu cao hơn việc tăng kích thước dữ liệu đầu vào.

4. Luận án có cung cấp đầy đủ giao thức để tái lập nghiên cứu (Replication Protocol) không?

Luận án cung cấp chi tiết toàn diện về giao thức thực nghiệm: từ mã nguồn các gói thư viện trên nền tảng Ubuntu 18.04 LTS, cấu hình siêu tham số (Hyperparameters: kích thước lô, hệ số suy giảm trọng số, learning rate scheduling), công thức chi tiết của các ma trận kề, quy tắc chia tập Cross-Subject và Cross-View trên tất cả các bộ dữ liệu MSR-Action3D, CMDFALL, NTU RGB+D và MICA-Action3D. Bất kỳ nhà nghiên cứu nào cũng có thể tái lập chính xác các kết quả thực nghiệm dựa trên mô tả kỹ thuật trong luận án.

5. Lộ trình phát triển khoa học 10 năm tới từ nền tảng của luận án được định hình như thế nào?

Lộ trình 10 năm được xác định qua 3 cột mốc: (1) Trong 2-3 năm đầu: Chuyển dịch toàn bộ giải pháp từ chuỗi hành động phân đoạn sang nhận dạng hành động liên tục trực tiếp (Online Continuous Action Recognition) trên luồng camera thời gian thực; (2) Trong 3-5 năm tiếp theo: Tích hợp lý thuyết Học sâu Hình học (Geometric Deep Learning) để xây dựng kiến trúc nền tảng (Foundation Model) thống nhất xử lý dữ liệu đám mây điểm 3D, lưới đa giác (Mesh) và khung xương đồ thị; (3) Trong 5-10 năm: Phát triển hệ thống tự chủ tương tác người - máy hoàn chỉnh, kết hợp thị giác máy tính với cảm biến sóng não và cảm biến cơ sinh học phục vụ y học phục hồi chức năng và công nghệ robot hỗ trợ người khuyết tật.

Kết luận

Luận án tiến sĩ của NCS Phạm Đình Tân đã hoàn thành xuất sắc các mục tiêu nghiên cứu đề ra với 5 đóng góp cốt lõi:

1. Đề xuất thành công hai kỹ thuật trích chọn tập con khớp (Preset JSS và Automatic MIJ Selection), chứng minh hiệu quả giảm chiều dữ liệu và khử nhiễu vượt trội trên các bộ dữ liệu khung xương thực tế.
2. Thiết kế mô-đun tích hợp đặc trưng không gian - thời gian (Feature Fusion) kết hợp vị trí tương đối RJP và vận tốc khớp, giải quyết triệt để vấn đề bất biến tịnh tiến cho mạng tích chập đồ thị.
3. Xây dựng mô hình kiến trúc FF-AAGCN đạt hiệu năng dẫn đầu trên các tập dữ liệu nhiễu cao và cạnh tranh trên đại chuẩn thế giới NTU RGB+D.
4. Phát triển thành công kiến trúc nén siêu nhẹ LW-FF-AAGCN dựa trên đồ thị liên kết đối xứng, giảm sâu số lượng tham số và FLOPs, mở đường cho việc triển khai suy luận thời gian thực trên các thiết bị nhúng và thiết bị biên.
5. Hiện thực hóa các ứng dụng thực tiễn có giá trị xã hội cao như nhận diện cử chỉ điều khiển giao thông và hệ thống theo dõi, chấm điểm tập luyện thể thao qua camera đơn thông thường.

Công trình đã tạo nên một bước tiến quan trọng trong việc đưa các mô hình học sâu đồ thị tiên tiến từ lý thuyết hàn lâm vào ứng dụng đời sống thực tiễn, khẳng định năng lực nghiên cứu khoa học đỉnh cao và hội nhập quốc tế của các nhà khoa học Việt Nam trong kỷ nguyên trí tuệ nhân tạo.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY PHAM DINH TAN A STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESENTATION AND RECOGNITION WITH SKELETON DATA DOCTORAL DISSERTATION IN COMPUTER ENGINEERING 123doc Mang Luôn thay vì h■■ng l■im■i s■ cam tr■ h■u m■t k■t nghi■m t■im■t là s■ cáwebsite nhân mang kho m■ith■ kinh m■ l■i d■n ■■u vi■n nh■ng cho doanh kh■ng ng■■i quy■n chia t■ th■c dùng, l■ s■l■i v■i và hi■n t■t công h■n mua ngh■a nh■t 2.000 ngh■ báncho tài v■ hi■n ng■■i li■u c■a tài th■ hàng mình li■u ■■u ■ dùng. hi■n ■■i, thìt■t Khi s■p Vi■t c■ khách b■n t■i, l■nh Nam. ngh■a online hàng v■c: Táctr■ không v■ tài phong thành chính c■akhác chuyên c■a thành tíngì d■ng, hàng so nghi■p, viên v■i tri■u công c■a b■nhoàn nhà ngh■ 123doc g■c. bán h■o, ■■ thông B■n và hàng n■p có tin, l■i cao th■ ti■n ngo■i chuy■n tính phóng vào ng■,.Khách trách tài giao to,kho■n nhi■m thu sang nh■■■i ■■n c■a hàng tùy123doc, v■i v■ ý.

cót■ng qu■n th■b■n d■ ng■■i lýChào dàng■■■c s■ dùng. m■ng tra c■u M■c h■■ng b■n ■■n tàitiêu li■u v■i■■u nh■ng hàng m■t quy■n cách 123doc. c■a chính l■i123doc.net sau xác,n■p nhanh ti■n tr■ chóng. trên thành th■ vi■n tài li■u online l■n nh■t Vi■t Nam, cung c■p nh■ng tài li■u ■■c không th■ tìm th■y trên th■ tr■■ng ngo■i tr■ 123doc.

website Nhi■u event thú v■, event ki■m ti■n thi■t th■c. 123doc luôn luôn t■o c■ h■i gia t■ng thu nh■p online cho t■t c■ các thành viên c■a website. Hanoi−2022 Mangh■n Luôn Th■a Xu■t Sau Nhi■u 123doc Link khi h■■ng phát thu■n l■i event cam s■ nh■n xác m■t tr■ t■ h■u k■t s■ thú nghi■m t■i th■c ýxác n■m t■■ng m■t d■ng v■, là s■nh■n s■ ■■■c ■■i, website ra mang event kho m■i 1. t■o ■■ng tLink t■ th■ m■ l■i c■ng ki■m d■n 123doc CH■P g■i ■■u ■■ng vi■n xác nh■ng cho ti■n v■ ■ã ■■a th■c h■ kh■ng ng■■i NH■N quy■n th■ng thi■t chia t■ng s■ ki■m■■■c dùng, l■ ch■ CÁC s■ th■c.

s■ l■i b■■c v■i■I■U ti■n và email chuy■n t■t công h■n mua 123doc g■i online kh■ng nh■t b■n v■ ngh■ bán ■■a ■ã KHO■N■■nh 2.000 sang b■ng luôn cho tài ■■ng hi■n ng■■i li■u ph■n luôn ch■ tài TH■A tài v■ th■ li■u hàng t■o email li■u thông ky, dùng. ■■u ■b■n tríhi■n THU■N hi■u c■ c■a b■n ■■i, tin t■t h■i Khi qu■■ã mình vui Vi■t xác c■ ■■ng khách gia lòng b■n ■■ng nh■t, minh trong l■nh Nam. t■ng Chào online hàng uy tài v■c: l■nh thu Tác m■ng ky, tín kho■n tr■ nh■p nh■p không b■n tài phong v■c caothành b■n chính vui ■■n email nh■t. tài email online oLink khác chuyên li■u lòng thành tínb■n■■ng Mong c■a xác gì cho ■ã d■ng, và v■i so ■■ng nghi■p, viên th■c kinh mình t■t 123doc.net! v■i mu■n công nh■p c■a c■ doanh s■ b■n vàcác hoàn mang ngh■ 123doc click email ký g■c.

thành v■i h■o, Chúng vào l■i ■■ thông B■n g■i c■a và ■■a ■■n 123doc.netLink CH■P cho viên linkí Tính v■ n■p có mình tôi tin, c■ng c■a cao th■ cung NH■N ti■n ngo■i và ■■ng tính mình website. phóng ch■ th■i click vào c■pCÁC ■i■m ■I■U ng■,.Khách trách xác trong email tài D■ch vào xã to,kho■n th■c nhi■m h■i thu linkông l■nh b■n ■ã tháng V■ nh■ m■t s■ ■■i ■■■c KHO■N c■a v■c (nh■■■ng hàng tin tùy ngu■n ■■■c 5/2014; 123doc, tài v■i xác ý. cóli■u TH■A g■i t■ng minh th■ tài ky, 123doc và v■ mô ■■a nguyên b■n b■n d■ ng■■i THU■N tài kinh t■dàng kho■n s■ vui v■■t■■■c d■■i doanh tri dùng. ch■ lòng tra■ây) ■■ng th■c m■c email email c■u Chào online.000 cho tài b■n b■n m■ng tiêu báu, nh■p■ã li■u Tính■ã b■n,■■n ■■ng ■■ng nh■ng hàng ■■u phong m■t l■■t email b■n tùy ■■n quy■n cách truy thu■c th■i phú, c■a ký ■i■m ky,■a c■a c■p chính v■i v■i mình l■i b■n vào 123doc.netLink d■ng, 123doc.net! sau xác, các vui tháng vàngày, n■p click lòng “■i■u nhanh giàu■■ng 5/2014; ti■n s■ vào tr■ giá Kho■n Chúng chóng.

h■u trên ■■ng linkc■a thành tr■ xác 123doc nh■p 2.000 website th■c Th■a tôi th■ ■■■c website. cung email v■■t s■ vi■n th■i Thu■n c■p c■a thành mong m■c tài D■ch v■ li■u mình g■i viên ■■ng 100.000 mu■n S■ ■■a online v■ và V■ D■ng click t■o (nh■ ■i■u l■■t l■n ký,■■■c D■ch vào ch■ nh■t truy l■t link email ki■n V■” vào c■p Vi■t 123doc môtop sau cho b■n m■i Nam,■ây ■ã t■200 d■■i cho ■■ng ■ây) ngày, cung các các (sau g■is■■ây website c■p users h■u ky, cho ■■■c nh■ng có b■n 2.000 b■n, ph■ thêm vui tài bi■n tùy g■ilòng thu li■u ■■c ■■ng thu■c t■t thành nh■t nh■p. T■i vào t■i viên ■■ng không t■ng Chính nh■p Vi■t cácth■i “■i■u th■ Nam, vì ■i■m, email v■y ký, tìm t■ Kho■n c■a l■t 123doc.net th■y l■chúng vào mình tìm trên Th■a top ki■m và tôi th■ 200 ra ■■i click Thu■n cóthu■c tr■■ng các th■ vào nh■m website c■p v■ top link ngo■i S■ ■áp 3nh■t ■KTTSDDV ■ng 123doc Google. D■ng ph■ tr■ ■ã ■■■c 123doc.

bi■n D■ch Nh■n nhu g■i nh■t c■u V■” theo t■i chia sau ■ây Vi■t quy■t danh s■ Nam, tài (sau hi■u .li■u■ây t■ do ch■t■■■c l■c■ng tìm ■■ng l■■ng ki■m g■i và thu■c t■t bình ki■m T■i ch■n top ti■n t■ng 3 Google. th■i ■i■m, website Nh■n ki■m■■■c chúng ti■ntôi online danh có th■ hi■u hi■u c■p do qu■ và ■KTTSDDV nh■t c■ng ■■ng uy tín nh■t. bình ch■n theo quy■t là website. ki■m ti■n online hi■u qu■ và uy tín nh■t.

Luônh■n 123doc Sau Th■a Xu■t khi h■■ng phát thu■n cam nh■n m■tt■k■t s■ t■i ýxác n■m t■■ng d■ng là s■ nh■n■■i, website ra mang 1. t■o ■■ng t■l■i c■ng d■n 123doc CH■P ■■u ■■ng nh■ngh■■ã NH■N quy■n th■ng chia t■ng ki■mCÁC s■s■ l■i b■■c ti■n■I■U vàchuy■n t■t mua online kh■ng nh■t bán KHO■N■■nh sang b■ng chothay ng■■i ph■n tài TH■A vìv■ li■u m■ithông dùng. tríTHU■N hi■u m■t c■atinKhi qu■ mình cá xác khách nhân nh■t, minh trong Chào kinh hàng uy tài l■nh m■ng doanh tín kho■n tr■v■c caothành b■n t■ ■■n email nh■t. tàith■c li■u thành b■n Mong hi■n và v■i■ã viên kinh ■■ng 123doc.net! mu■n ngh■a c■a doanh mang 123doc v■ kýonline.

c■a v■i Chúng l■ivà ■■n 123doc.netLink mình cho Tính n■p tôi c■ng thì cung ti■n s■p■■ng th■i vào c■p t■i, ■i■m xác tài D■ch xã ngh■a kho■n th■c h■itháng V■m■t s■ v■c■a■■■c (nh■ c■a ■■■c ngu■n 5/2014; 123doc, c■a g■i tài b■n■■a 123doc hàng v■ mô nguyên t■ tri■u s■ v■■t d■■i■■■c tri ch■ nhà ■ây) th■c m■c email bán h■■ng quý 100.000 cho hàng b■n báu,b■n,■ã nh■ng l■i ■■ng phong l■■t chuy■n tùyquy■n truy thu■c phú, ky, c■p■a giaol■i b■n vàom■i sang d■ng, sau các ■■n vuingày, n■p lòng “■i■u giàu■■ng ti■n s■ v■ giá Kho■n h■u qu■n trên tr■ ■■ng nh■p 2.000 website Th■a lý hoàn email th■i Thu■n h■o, c■a thành mong■■ v■ mình viên mu■n S■ cao■■ng vàD■ng tính click ■i■u t■otrách ký, D■ch vàol■tlink nhi■m ki■n V■” vào ■■i 123doc top sau cho ■ây ■ãcác 200 cho v■i các (sau g■i t■ng ■ây website users ■■■c ng■■i cóph■ dùng. thêmbi■n g■ithu M■c t■t nh■t nh■p. T■i tiêu t■i t■ng hàng Chính ■■u Vi■tth■i Nam, ■i■m, vì v■y c■a t■123doc.net chúng tìm ki■m tôiracó■■i tr■ thu■c th■ thành nh■m c■p topth■■áp 3nh■t ■KTTSDDV ■ng Google. vi■n tàiNh■n nhu li■uc■u■■■c online theo chia l■n quy■t danh s■nh■t tài hi■u .li■u Vi■t do ch■t Nam, c■ng ■■ng l■■ng cung và c■pbình ki■m nh■ng ch■n ti■ntài là li■u ■■cki■m online.

website khôngti■n th■ online tìm th■y hi■utrên qu■th■ và tr■■ng uy tín nh■t. ngo■i tr■ 123doc. Luôn Th■a Xu■t Sau Nhi■u 123doc Mang thayh■n khi vì h■■ng phát thu■n l■i event m■i cam s■ nh■n m■t tr■ t■ h■u m■t k■t s■ thú nghi■m t■i ýxác n■m t■■ng m■t d■ng v■, là s■ cá nh■n■■i, website ra nhân mang event kho m■i 1. t■o t■ th■■■ng kinh m■ l■i c■ng ki■m d■n 123doc CH■P vi■n■■u ■■ng nh■ng cho doanh ti■n h■■ã kh■ng ng■■i NH■N quy■n th■ng thi■t chia t■t■ng ki■m th■c dùng, l■ CÁC s■ th■c.

s■ l■i b■■c v■i ti■n và■I■U hi■n chuy■n t■t công h■n mua 123doc online kh■ng ngh■a nh■t ■■nh 2.000 ngh■ bán KHO■N sang b■ng luôn cho tài v■ hi■n ng■■i li■u ph■n luôn c■a tài TH■A tài v■ th■ li■u hàng t■o mình li■u thông dùng. ■■u ■ tríhi■n THU■N hi■u c■ c■a ■■i, thìtin t■t h■i Khi qu■ s■p mình Vi■t xác c■ khách gia b■n t■i, nh■t, minh trong l■nh Nam. t■ng Chào ngh■a online hàng uy tài v■c: l■nh thu Tác m■ng tín kho■n tr■ nh■p không v■ tài phong v■c caothành b■n chính c■a ■■n email nh■t. tài online khác chuyên c■a li■u thành tínb■n Mong gì cho d■ng, và hàng v■i so■ã nghi■p, viên kinh t■t ■■ng 123doc.net! v■i mu■n tri■u công c■a c■ doanh b■n các hoàn nhà mang ngh■ 123doc ký g■c.

thành bán v■i h■o, Chúng l■i thông B■n và ■■ hàng ■■n 123doc.netLink cho viên Tính n■p có tôi tin, c■ng l■i c■a cao th■ cung ti■n ngo■i■■ng chuy■n tính website. phóng th■i vào c■p ■i■m ng■,.Khách trách xác tài D■ch giao xã to,kho■n th■c nhi■m h■i thu sang tháng V■ nh■ m■t s■ ■■i ■■n c■a■■■c (nh■ hàng tùy ■■■c ngu■n 5/2014; 123doc, v■i v■ ý. cóg■i t■ng qu■n th■ tài 123doc v■ mô ■■a nguyên b■n d■ ng■■i lý, t■dàng s■ công v■■t d■■i■■■c tri dùng. ch■ tra ■ây) th■c ngh■ m■c email c■u M■c h■■ng quý hi■n 100.000 cho tài b■n tiêu báu, li■u b■n, th■ ■ã nh■ng hàng■■ng phong m■t l■■t hi■n■■u tùy ■■i, quy■n cách truy thu■c phú, ky, c■a c■p■a chính b■n l■i b■n vào123doc.net m■i d■ng, sau online xác, các vuingày, n■p lòng “■i■u nhanh giàu■■ng không ti■n s■ tr■ giá Kho■n chóng.

h■u trên khác thành tr■ ■■ng nh■p 2.000 website Th■a gìth■ so email vi■n th■i v■i Thu■n c■a thành b■n mong tài v■ li■u mình g■c. viên mu■n S■ ■■ng online và B■n D■ng click t■o l■n■i■u cóký, D■ch vào th■ nh■t l■t link phóng ki■n V■” vào Vi■t 123doc top sau cho to, Nam,■ây ■ã 200 thu chocung nh■ các các (sau ■ây g■iwebsite tùy c■p users ■■■c ý.nh■ng cóph■ thêm tài bi■n g■ithu li■u t■t ■■c nh■t nh■p. T■it■i không t■ng Chính Vi■tth■ith■ Nam, ■i■m, vì v■y tìm t■123doc.net th■y l■chúng tìm trên ki■m tôi th■ ■■i racóthu■c tr■■ng th■nh■m c■p top ■áp ngo■i 3nh■t ■KTTSDDV ■ng Google. Nh■n nhu c■u ■■■c theo chiaquy■t danh s■ tàihi■u .li■udo ch■t c■ng ■■ng l■■ng vàbình ki■mch■n ti■n là online.

website ki■m ti■n online hi■u qu■ và uy tín nh■t. Chia m■t u■t Nhi■u Mang Luôn 123doc Th■a Xu■t Sau tri■n phát khi h■n member s■ h■■ng phát khai thu■n l■i event s■ cam nh■n câu t■ m■t tr■ t■ event h■u ýk■t s■ chuy■n thú nghi■m t■i ýkhông t■■ng xác n■m t■■ng m■t d■ng v■, là ■■i, khuy■n s■ nh■n website ra mang m■y event t■o kho thành m■i 1. t■o t■ mãi■■ng c■ng th■ n■i m■ l■i c■ng ki■m d■n công 123doc CH■P th■■■ng vi■n b■t■■u ■■ng nh■ng cho ti■n trên■ã n■p h■ c■a kh■ng ng■■i NH■N quy■n th■ng 123doc thi■t chia ki■m v■i c■ng t■ng ki■m ■■ng dùng, l■ CÁC s■ nh■ng th■c. ti■n s■ l■i b■■c v■i ti■n -và■I■U ki■m■u chuy■n t■t công 5■ãi online h■n mua 123doc online kh■ng 123doc nh■t ■■nh ■ã 2.000 ngh■ bán KHO■N tri■u b■ng sang b■ng luôn cho c■c tài hi■n ch■ tài ng■■i li■u ph■n luôn k■ tài TH■A xu■t li■u tài v■ v■i th■ li■u h■p hàng t■o li■u thông s■c dùng.

trí hi■u 7hi■n■■u ■■■ng THU■N hi■u d■n.