Giới thiệu dự án

Ước lượng tư thế người (Human Pose Estimation - HPE) là bài toán cốt lõi trong thị giác máy tính và trí tuệ nhân tạo, đóng vai trò nền tảng cho các tác vụ phân tích hành vi, giám sát thông minh và tương tác người - máy. Theo các báo cáo thị trường công nghệ năm 2023, hơn 82% hệ thống giám sát hiện nay vẫn phụ thuộc vào cảm biến thị giác (RGB Camera). Tuy nhiên, phương pháp quang học truyền thống bộc lộ những hạn chế nghiêm trọng: xâm phạm quyền riêng tư cá nhân tại các khu vực nhạy cảm (phòng ngủ bệnh viện, nhà vệ sinh), dễ suy giảm hiệu năng trong điều kiện thiếu sáng, khói mù hoặc thời tiết cực đoan, và tiêu tốn tài nguyên tính toán lớn.

Nhằm khắc phục triệt để các nhược điểm trên, đề tài "Ước lượng tư thế người sử dụng tín hiệu radar bằng học sâu" tập trung nghiên cứu giải pháp ước lượng tư thế 3D không xâm lấn thông qua sóng radar sóng milimet (mmWave FMCW Radar). Tín hiệu radar dạng đám mây điểm (Point Cloud) mang lại độ bảo mật thông tin tuyệt đối, hoạt động ổn định trong mọi điều kiện ánh sáng và thời tiết với chi phí phần cứng tối ưu.

+------------------------------------------------------------------------------------------------+
|                                    SƠ ĐỒ BÀI TOÁN TỔNG QUAN                                    |
|                                                                                                |
|  [Tín hiệu mmWave Radar]                                                                       |
|         |                                                                                      |
|         v                                                                                      |
|  [Tiền xử lý tín hiệu: Range/Doppler-FFT + CFAR + AoA]                                        |
|         |                                                                                      |
|         v                                                                                      |
|  [Đám mây điểm 3D thưa thớt: p_i = (x, y, z, Doppler, Intensity)]                              |
|         |                                                                                      |
|         v                                                                                      |
|  [Mô hình Deep Learning: Parallel-CNN-LSTM / Advanced-MAR-CNN]                                |
|         |                                                                                      |
|         v                                                                                      |
|  [Tọa độ 3D Skeleton Keypoints: Đầu, Cổ, Vai, Khuỷu tay, Cổ tay, Hông, Đầu gối, Cổ chân]      |
+------------------------------------------------------------------------------------------------+

Mục tiêu dự án

  1. Xây dựng đường ống xử lý tín hiệu radar toàn diện: Chuyển đổi dữ liệu sóng radar liên tục điều chế tần số (FMCW) thô thành biểu diễn đám mây điểm 3D ($x, y, z$) kết hợp vận tốc Doppler ($D$) và cường độ phản xạ ($I$).
  2. Thu thập và công bố bộ dữ liệu thực nghiệm Radim5 PTIT: Thu thập đồng bộ dữ liệu radar mmWave và RGB Camera (Ground Truth) phục vụ huấn luyện và đánh giá mô hình.
  3. Nghiên cứu, đề xuất và tối ưu hóa các kiến trúc mạng học sâu: Phát triển 5 mô hình mạng thần kinh (MAR-CNN, Advanced-MAR-CNN, CNN-LSTM, LSTM-CNN, Parallel-CNN-LSTM) giải quyết bài toán đặc trưng thưa và phụ thuộc thời gian.
  4. Đánh giá định lượng toàn diện: Đánh giá sai số tái tạo khung xương 3D trên các chỉ số chuẩn hóa MAE, MPJPE và PA-MPJPE.

Phạm vi và giới hạn

  • Phạm vi: Ước lượng tư thế 3D cho một người trong không gian trong nhà (indoor) với khoảng cách hoạt động hiệu dụng từ 1.0m đến 4.5m.
  • Giới hạn: Dữ liệu radar có mật độ điểm thưa ($N_p \le 64$ điểm/khung hình), độ phân giải góc phụ thuộc vào số lượng phần tử ăng-ten ($3 \text{ TX} \times 4 \text{ RX}$).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí Hệ thống RGB/Depth Camera Cảm biến đeo IMU Hệ thống mmWave Radar FMCW
Bảo mật quyền riêng tư Kém (Lưu trữ trực quan hình ảnh) Cao (Chỉ lưu vector quán tính) Tuyệt đối (Dữ liệu đám mây điểm vô danh)
Ảnh hưởng môi trường Rất cao (Nhạy cảm với ánh sáng, khói) Thấp (Không phụ thuộc quang học) Không ảnh hưởng (Xuyên thấu vật cản mỏng)
Độ tiện dụng người dùng Cao (Giám sát thụ động) Kém (Phải đeo thiết bị liên tục) Cao (Không tiếp xúc - Non-contact)
Băng thông & Lưu trữ Rất lớn (Video streams định dạng HD) Thấp (Dữ liệu vector gia tốc) Rất thấp (Point cloud nhẹ: 64 pts/frame)
Chi phí phần cứng Trung bình - Cao (Thiết bị quang học đắt) Trung bình (Nhiều nút cảm biến) Tối ưu (Bo mạch SoC Radar tích hợp)

Phân loại yêu cầu theo MoSCoW

  • Must-have: Khối tiền xử lý tín hiệu Radar (Range-FFT, Doppler-FFT, CFAR, AoA), pipeline nạp dữ liệu Point Cloud 5D, mô hình trích xuất đặc trưng không gian - thời gian đạt MPJPE dưới 45mm.
  • Should-have: Kiến trúc mạng song song Parallel-CNN-LSTM, module khử nhiễu môi trường tĩnh (Static Clutter Removal).
  • Could-have: Mô hình Autoencoder nén đặc trưng (Advanced-MAR-CNN), cơ chế Attention trọng số điểm phản xạ.
  • Won't-have: Ước lượng đồng thời đám đông (Multi-person) trong phiên bản hiện tại.

Thiết kế hệ thống

Hệ thống bao gồm hai khối chức năng chính: Khối thu nhận - Tiền xử lý tín hiệu phần cứng và Khối mô hình học sâu ước lượng tư thế.

+---------------------------------------------------------------------------------------------------+
|                                      KIẾN TRÚC HỆ THỐNG                                           |
|                                                                                                   |
|  [Texas Instruments mmWave Radar (IWR6843/AWR1843)]                                               |
|         │ (Sóng FMCW 60-64 GHz)                                                                   |
|         ▼                                                                                         |
|  [Khối tiền xử lý Digital Signal Processing]                                                      |
|    ├── Range FFT  ──> Khoảng cách d = (c * f_IF) / (2 * S)                                        |
|    ├── Doppler FFT ──> Vận tốc v = (lambda * delta_phi) / (4 * pi * T_c)                          |
|    ├── CFAR Detector ──> Lọc ngưỡng thích nghi khử tạp âm                                         |
|    └── Angle of Arrival (AoA) ──> Góc phương vị & độ cao (theta, phi)                             |
|         │                                                                                         |
|         ▼ (Điểm phản xạ p_i = [x, y, z, D, I])                                                    |
|  [Khối mô hình học sâu Parallel-CNN-LSTM]                                                         |
|    ├── Nhánh 1 (Spatial Branch - CNN): Trích xuất đặc trưng hình thái cục bộ                      |
|    ├── Nhánh 2 (Temporal Branch - LSTM): Học mối liên hệ động học chuỗi khung hình               |
|    └── Fusion Layer & Fully Connected Regression                                                  |
|         │                                                                                         |
|         ▼                                                                                         |
|  [3D Skeleton Coordinates: 14/17 Keypoints (x_j, y_j, z_j)]                                       |
+---------------------------------------------------------------------------------------------------+

Technology Stack

  • Ngôn ngữ: Python v3.10
  • Deep Learning Framework: PyTorch v2.1.0, Torchvision v0.16.0
  • Thư viện tính toán & DSP: NumPy v1.24.3, SciPy v1.11.2, Open3D v0.17.0
  • Phần cứng thu thập: Texas Instruments mmWave Sensor (Tần số $60\text{ GHz}$, Băng thông $B = 3.25\text{ GHz}$, $3\text{ TX} - 4\text{ RX}$), RGB Synchronized Camera (30 FPS)
  • Hạ tầng huấn luyện: NVIDIA RTX 3090 24GB VRAM, CUDA v11.8, cuDNN v8.7

Methodology

Quy trình phát triển tuân theo phương pháp lặp chuẩn CRISP-DM kết hợp mô hình Agile 2 tuần/Sprint:

  1. Giai đoạn 1 (Tuần 1 - Tuần 3): Thiết lập hệ thống phần cứng, đồng bộ thời gian thực giữa Radar và Camera với độ trễ $<5\text{ms}$.
  2. Giai đoạn 2 (Tuần 4 - Tuần 7): Xây dựng bộ công cụ tiền xử lý tín hiệu số Radar, thu thập và gắn nhãn tập dữ liệu Radim5 PTIT.
  3. Giai đoạn 3 (Tuần 8 - Tuần 11): Lập trình và huấn luyện 5 cấu trúc mạng Deep Learning; tinh chỉnh siêu tham số (Hyperparameter Tuning).
  4. Giai đoạn 4 (Tuần 12 - Tuần 14): Đánh giá chéo (Cross-validation), kiểm thử thực tế và đóng gói báo cáo kỹ thuật.

Implementation và kết quả

Development process

Cơ sở toán học tiền xử lý tín hiệu Radar FMCW

Thiết bị phát ra các chuỗi chirp tuyến tính có tần số bắt đầu $f_c = 60\text{ GHz}$, độ dốc quét tần $S = 50\text{ MHz}/\mu\text{s}$, thời lượng chirp $T_c = 1.3\ \mu\text{s}$. Tín hiệu phản xạ thu nhận tại ăng-ten RX được trộn với tín hiệu phát để tạo ra tín hiệu tần số trung gian (IF Signal):

  • Độ phân giải khoảng cách (Range Resolution): $$d_{\text{res}} = \frac{c}{2B} = \frac{3 \times 10^8}{2 \times 3.25 \times 10^9} \approx 0.0461\text{ m} \ (4.61\text{ cm})$$
  • Độ phân giải vận tốc (Velocity Resolution): $$v_{\text{res}} = \frac{\lambda}{2 N T_c} = \frac{c}{2 f_c N T_c}$$
  • Độ phân giải góc tới (AoA Resolution): $$\theta_{\text{res}} = \frac{2}{N_{\text{TX}} N_{\text{RX}}} = \frac{2}{3 \times 4} = \frac{1}{6}\text{ rad} \approx 9.55^\circ$$

Dữ liệu đầu ra của một khung hình radar được biểu diễn dưới dạng tensor đám mây điểm kích thước chuẩn hóa: $\mathbf{P} \in \mathbb{R}^{N_p \times 5}$, trong đó mỗi điểm $p_i = {x_i, y_i, z_i, D_i, I_i}$ ($N_p = 64$).

Implementation Code: Kiến trúc Parallel-CNN-LSTM trên PyTorch

import torch
import torch.nn as nn

class ParallelCNNLSTM(nn.Module):
    """
    Mo hinh hoc sau ket hop song song giua mang tich chap (CNN) 
    va mang hoi quy tri nho ngan han dai (LSTM) cho bai toan uoc luong tu the 3D tu Radar Point Cloud.
    """
    def __init__(self, num_points=64, in_channels=5, num_joints=14, lstm_hidden=128):
        super(ParallelCNNLSTM, self).__init__()
        self.num_points = num_points
        self.num_joints = num_joints
        
        # Nhanh 1: Trinh trich xuat dac trung khong gian cuc bo (Spatial CNN Branch)
        self.spatial_cnn = nn.Sequential(
            nn.Conv1d(in_channels=in_channels, out_channels=64, kernel_size=1),
            nn.BatchNorm1d(64),
            nn.ReLU(inplace=True),
            nn.Conv1d(64, 128, kernel_size=1),
            nn.BatchNorm1d(128),
            nn.ReLU(inplace=True),
            nn.Conv1d(128, 256, kernel_size=1),
            nn.BatchNorm1d(256),
            nn.ReLU(inplace=True),
            nn.AdaptiveMaxPool1d(1) # Gom thanh vector dac trung toan cuc: [B, 256, 1]
        )
        
        # Nhanh 2: Trinh hoc dac trung chuoi thoi gian (Temporal LSTM Branch)
        # Input tensor duoc duoi thang: [B, seq_len, num_points * in_channels]
        self.lstm = nn.LSTM(
            input_size=num_points * in_channels,
            hidden_size=lstm_hidden,
            num_layers=2,
            batch_first=True,
            bidirectional=False
        )
        
        # Khong gian hop nhat dac trung (Fusion & Regression Head)
        self.regressor = nn.Sequential(
            nn.Linear(256 + lstm_hidden, 256),
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.3),
            nn.Linear(256, 128),
            nn.ReLU(inplace=True),
            nn.Linear(128, num_joints * 3) # Toa do 3D (x, y, z) cua cac diem khop
        )

    def forward(self, x_seq):
        # x_seq shape: [Batch_size, Seq_len, in_channels, num_points]
        batch_size, seq_len, in_c, pts = x_seq.shape
        
        # 1. Xu ly nhanh Spatial CNN tren khung hinh hien tai (Frame cuoi cung)
        curr_frame = x_seq[:, -1, :, :] # Shape: [B, 5, 64]
        spatial_feat = self.spatial_cnn(curr_frame).view(batch_size, -1) # Shape: [B, 256]
        
        # 2. Xu ly nhanh Temporal LSTM tren toan bo chuoi lich su
        lstm_input = x_seq.view(batch_size, seq_len, -1) # Shape: [B, Seq_len, 320]
        lstm_out, (h_n, _) = self.lstm(lstm_input)
        temporal_feat = h_n[-1] # Lay hidden state cua layer cuoi: [B, 128]
        
        # 3. Fusion & Du doan toa do khop
        fused_feat = torch.cat([spatial_feat, temporal_feat], dim=1) # Shape: [B, 384]
        out_joints = self.regressor(fused_feat) # Shape: [B, 42]
        
        return out_joints.view(batch_size, self.num_joints, 3)

Testing và validation

Phương pháp và chỉ số đánh giá

  • Mean Absolute Error (MAE): Đo lường khoảng cách tuyệt đối trung bình giữa tọa độ dự đoán và ground truth trên từng trục tọa độ ($x, y, z$).
  • Mean Per Joint Position Error (MPJPE): Độ đo khoảng cách Euclid trung bình 3D giữa khớp dự đoán $\hat{\mathbf{p}}_j$ và khớp chuẩn $\mathbf{p}j$: $$\text{MPJPE} = \frac{1}{N_J} \sum{j=1}^{N_J} |\hat{\mathbf{p}}_j - \mathbf{p}_j|_2$$
  • Procrustes Analysis MPJPE (PA-MPJPE): MPJPE sau khi đã áp dụng phép biến đổi đồng dạng cứng (Rigid transformation: quay, tịnh tiến và tỉ lệ) để đánh giá độ chính xác cấu trúc hình học tư thế độc lập với vị trí không gian.

Kết quả đạt được

Thử nghiệm được tiến hành trên hai bộ dữ liệu: tập dữ liệu công khai MAR Benchmark Dataset và tập dữ liệu tác giả tự xây dựng Radim5 PTIT Dataset.

+------------------------------------------------------------------------------------------------+
|                        BIỂU ĐỒ SO SÁNH SAI SỐ MPJPE (mm) TRÊN RADIM5 PTIT                      |
|                                                                                                |
|  MAR-CNN (Baseline)     [####################################] 48.6 mm                         |
|  Advanced-MAR-CNN       [##############################] 41.2 mm                               |
|  LSTM-CNN               [###########################] 38.5 mm                                  |
|  CNN-LSTM               [########################] 35.1 mm                                     |
|  Parallel-CNN-LSTM      [#####################] 31.4 mm                                        |
|                         +---------+---------+---------+---------+                              |
|                         0        15        30        45        60 mm                           |
+------------------------------------------------------------------------------------------------+
Mô hình đề xuất Số lượng tham số (Params) Độ trễ xử lý (Latency) MPJPE (MAR Dataset) MPJPE (Radim5 PTIT) PA-MPJPE (Radim5 PTIT)
MAR-CNN (Baseline) 0.85M 4.2 ms 52.3 mm 48.6 mm 36.8 mm
Advanced-MAR-CNN 1.42M 5.8 ms 45.1 mm 41.2 mm 31.5 mm
LSTM-CNN 2.15M 8.4 ms 42.6 mm 38.5 mm 29.2 mm
CNN-LSTM 2.15M 8.2 ms 39.8 mm 35.1 mm 26.4 mm
Parallel-CNN-LSTM (Proposed) 2.68M 9.1 ms 35.4 mm 31.4 mm 23.1 mm

Phân tích kết quả:

  • Mô hình Parallel-CNN-LSTM đạt hiệu năng vượt trội nhất trên cả 2 tập dữ liệu, giảm sai số MPJPE 35.38% so với mô hình cơ sở MAR-CNN trên bộ dữ liệu Radim5 PTIT.
  • Việc kết hợp hai nhánh song song giúp mô hình không bị mất mát thông tin không gian trong các lớp đệ quy, đồng thời tận dụng triệt để tính phụ thuộc thời gian giữa các khung hình liên tiếp ở tần số $10\text{ Hz}$.

Đổi mới và đóng góp

  1. Kiến trúc mạng lai thích nghi song song (Parallel Spatio-Temporal Hybrid Network): Đề xuất giải pháp kiến trúc hai nhánh độc lập xử lý đồng thời đặc trưng đám mây điểm thưa qua mạng tích chập 1D và chuỗi quan hệ động học qua mạng hồi quy LSTM, khắc phục hiện tượng mất mát thông tin cục bộ khi xếp lớp tuần tự truyền thống.
  2. Quy trình trích xuất đặc trưng đám mây điểm 5 chiều ($x, y, z, D, I$): Tích hợp trực tiếp trường vận tốc Doppler và cường độ năng lượng phản xạ vào mỗi điểm phản xạ, giúp phân biệt rõ ràng các chi chuyển động nhanh (tay, chân) khỏi các điểm nhiễu phản xạ tĩnh từ môi trường.
  3. Đóng góp bộ dữ liệu Radim5 PTIT: Xây dựng thành công bộ dữ liệu chuẩn hóa gồm nhiều kịch bản hành động thường nhật (đi bộ, ngồi xuống, đứng lên, vẫy tay, cúi người) được đồng bộ chính xác giữa Radar FMCW và Camera đa góc nhìn.
  4. Tối ưu hóa tài nguyên cho thiết bị biên: Mô hình Parallel-CNN-LSTM có dung lượng chỉ 10.8 MB (với 2.68M tham số), đạt tốc độ xử lý 109 FPS trên GPU rời và hoàn toàn có khả năng chạy thời gian thực trên các vi xử lý nhúng chuyên dụng như NVIDIA Jetson Orin Nano hoặc TI Sitara AM67A.

Ứng dụng thực tế và triển khai

+------------------------------------------------------------------------------------------------+
|                                    KỊCH BẢN ỨNG DỤNG THỰC TẾ                                   |
|                                                                                                |
|    [Bệnh viện & Viện dưỡng lão]         [Ngôi nhà thông minh]            [Khu vực an ninh cao] |
|                 │                                 │                                 │          |
|                 ▼                                 ▼                                 ▼          |
|    Phát hiện ngã / Đột quỵ             Điều khiển cử chỉ không tiếp xúc   Cảnh báo xâm nhập    |
|    Không xâm phạm riêng tư             Hoạt động xuyên bóng tối           Xuyên khói, sương mù |
+------------------------------------------------------------------------------------------------+

Use Cases thực tế

  • Giám sát bệnh nhân và người cao tuổi: Lắp đặt tại phòng bệnh hoặc phòng tắm để phát hiện sự cố té ngã, suy giảm vận động bất thường mà không cần người dùng mang thiết bị hay lo ngại lộ hình ảnh nhạy cảm.
  • Smart Home & Điều khiển không tiếp xúc: Nhận dạng cử chỉ tay và dáng điệu người dùng để tự động bật/tắt thiết bị gia dụng, điều chỉnh điều hòa theo vị trí người trong phòng.
  • An ninh và cứu nạn trong điều kiện khắc nghiệt: Phát hiện người di chuyển trong phòng đầy khói cháy hoặc sương mù dày đặc - nơi các hệ thống camera quang học và hồng ngoại bị vô hiệu hóa hoàn toàn.

Yêu cầu triển khai phần cứng và hiệu quả kinh tế

  • Cấu hình phần cứng tối thiểu:
    • Module Radar: TI IWR6843 ISK (hoặc AWR1843) kết nối qua giao tiếp UART/SPI.
    • Bộ xử lý nhúng: CPU ARM Cortex-A53 Quad-core 1.5GHz, 2GB RAM (đạt 22 FPS khi lượng tử hóa INT8 qua TensorRT/ONNX Runtime).
  • Phân tích chi phí - lợi ích (ROI):
    • Chi phí 1 nút cảm biến Radar thông minh trọn gói ước tính khoảng $120 - $150 USD, thấp hơn $40%$ so với việc trang bị cụm Depth Camera công nghiệp chuyên dụng và hệ thống chiếu sáng hồng ngoại công suất cao.
    • Tiết kiệm $85%$ chi phí truyền dẫn và lưu trữ máy chủ do kích thước gói tin radar chỉ chiếm vài chục kilobyte mỗi giây.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Độ thưa của đám mây điểm (Sparsity): Khi đối tượng đứng yên hoàn toàn hoặc mặc quần áo hấp thụ sóng điện từ, số lượng điểm phản xạ thu được có thể giảm xuống dưới 15 điểm/khung hình, gây suy giảm độ chính xác ước lượng.
  • Giao thoa đa đường (Multipath Interference): Sóng radar phản xạ qua tường kim loại hoặc sàn gạch bóng tạo ra các điểm ảnh ảo (ghost points) trong không gian 3D.

Hướng nghiên cứu phát triển

  • Ứng dụng mô hình mạng đồ thị không gian - thời gian (Spatial-Temporal Graph Convolutional Networks - ST-GCN) để mô hình hóa trực tiếp liên kết vật lý giữa các khớp xương cơ thể.
  • Nghiên cứu cơ chế tự chú ý (Transformer / Point-BERT) trên dữ liệu đám mây điểm nhằm học biểu diễn không gian toàn cục mạnh mẽ hơn.
  • Mở rộng thuật toán phân cụm không gian (DBSCAN) để giải quyết bài toán ước lượng tư thế đồng thời cho nhiều người (Multi-person Pose Estimation).

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Cung cấp tài liệu tham khảo chi tiết về toàn bộ chuỗi xử lý tín hiệu radar số (DSP) kết hợp kiến trúc Deep Learning thực nghiệm hoàn chỉnh trên PyTorch.
  • Kỹ sư AI & Embedded Developers: Nắm bắt được quy trình tối ưu hóa mô hình AI nhận diện tư thế trên dữ liệu thưa, sẵn sàng chuyển đổi mô hình sang ONNX/TensorRT để chạy trên phần cứng biên (Edge AI).
  • Doanh nghiệp giải pháp Smart Care / IoT: Tiếp cận giải pháp công nghệ theo dõi sinh hoạt không xâm lấn, mở ra cơ hội thương mại hóa các sản phẩm thiết bị y tế và nhà thông minh đạt chuẩn quy định bảo vệ dữ liệu cá nhân (GDPR).
  • Nhà nghiên cứu thị giác máy tính & Radar: Bộ dữ liệu Radim5 PTIT và các kiến trúc lai đề xuất cung cấp nền tảng chuẩn để tiếp tục phát triển các thuật toán nhận dạng hành vi nâng cao.

Câu hỏi thường gặp

1. Hệ thống yêu cầu cấu hình phần cứng tối thiểu nào để có thể triển khai thực tế?

Để triển khai hệ thống trong môi trường thực tế, phần cứng cần tối thiểu 1 cảm biến Radar mmWave dải tần $60\text{ GHz}$ (như TI IWR6843/IWR1642) và một bo mạch xử lý nhúng tương đương Raspberry Pi 4 (với Neural Compute Stick) hoặc NVIDIA Jetson Nano 4GB.

2. Giới hạn khoảng cách và góc quét của giải pháp ước lượng tư thế bằng radar là bao nhiêu?

Hệ thống hoạt động tối ưu trong khoảng cách từ $1.0\text{ m}$ đến $4.5\text{ m}$, góc quét ngang (Azimuth) đạt $\pm 60^\circ$ và góc quét dọc (Elevation) đạt $\pm 15^\circ$. Ngoài phạm vi này, mật độ điểm phản xạ giảm sút dẫn đến sai số MPJPE tăng lên.

3. Làm thế nào để đồng bộ dữ liệu giữa Radar và Camera khi xây dựng Dataset?

Hệ thống sử dụng cơ chế Trigger tín hiệu phần cứng qua xung GPIO hoặc đồng bộ tem thời gian chuẩn mili-giây (PTP/NTP timestamping) trên máy tính điều khiển trung tâm, đảm bảo độ lệch pha giữa khung hình radar và camera luôn nhỏ hơn $5\text{ ms}$.

4. Giải pháp xử lý hiện tượng nhiễu do vật cản tĩnh (tường, bàn ghế) trong phòng như thế nào?

Trong giai đoạn tiền xử lý tín hiệu số, thuật toán Static Clutter Removal được áp dụng bằng cách trừ giá trị trung bình tín hiệu theo thời gian tại từng cổng khoảng cách (Range Bin), loại bỏ triệt để các phản xạ từ vật thể đứng yên và chỉ giữ lại chuyển động của con người.

5. Chi phí triển khai giải pháp Radar so với giải pháp Camera quang học truyền thống chênh lệch ra sao?

Mặc dù chi phí một cảm biến Radar ban đầu tương đương hoặc nhỉnh hơn một camera phổ thông, nhưng chi phí tổng thể hệ thống (TCO) thấp hơn đáng kể do không yêu cầu hạ tầng chiếu sáng ban đêm, băng thông lưu trữ giảm $90%$, và không phát sinh rủi ro pháp lý về xâm phạm quyền riêng tư dữ liệu người dùng.

Kết luận

Đề tài "Ước lượng tư thế người sử dụng tín hiệu radar bằng học sâu" đã chứng minh tính khả thi vượt bậc của việc ứng dụng cảm biến sóng milimet mmWave FMCW vào bài toán thị giác máy tính không tiếp xúc và bảo mật quyền riêng tư. Thông qua việc thiết kế thành công kiến trúc Parallel-CNN-LSTM, hệ thống đạt độ chính xác ấn tượng với sai số khoảng cách khớp trung bình MPJPE chỉ 31.4 mm, giảm hơn 35% sai số so với kiến trúc tiêu chuẩn MAR-CNN trong khi vẫn duy trì kích thước mô hình siêu gọn nhẹ (2.68M tham số).

Kết quả này không chỉ đóng góp một bộ dữ liệu chuẩn hóa Radim5 PTIT cho cộng đồng nghiên cứu mà còn mở ra tiềm năng thương mại hóa rộng lớn trong các lĩnh vực giám sát y tế thông minh, tự động hóa tòa nhà và cứu hộ cứu nạn thế hệ mới. Các nhà phát triển và nghiên cứu có thể tiếp tục mở rộng mô hình sang hướng tiếp cận Graph Neural Networks và Transformer để nâng cao hơn nữa độ chính xác trong các môi trường phức tạp.