Bối cảnh và vấn đề nghiên cứu
Ước lượng tư thế người (Human Pose Estimation) là một trong những bài toán nền tảng của lĩnh vực thị giác máy tính và trí tuệ nhân tạo, đóng vai trò tiền đề để phát triển các ứng dụng cấp cao hơn như nhận dạng hành vi, theo dõi cử chỉ, phát hiện hành động bất thường, giám sát an ninh và hỗ trợ phục hồi chức năng y tế. Theo khảo sát của tác giả, phần lớn các giải pháp hiện nay chủ yếu khai thác dữ liệu từ hình ảnh hoặc video (2D/3D). Mặc dù các mô hình dựa trên thị giác máy tính đạt độ chính xác cao trong điều kiện phòng thí nghiệm, chúng bộc lộ những rào cản lớn khi triển khai thực tế:
- Nguy cơ xâm phạm quyền riêng tư: Dữ liệu hình ảnh thể hiện trực quan nhận dạng khuôn mặt và không gian cá nhân, gây lo ngại nghiêm trọng về bảo mật thông tin.
- Tính phụ thuộc môi trường: Camera hoạt động kém hiệu quả hoặc mất hoàn toàn tác dụng trong điều kiện thiếu sáng, bóng tối, thời tiết bất lợi (mưa, sương mù, bão, tuyết) hoặc khi đối tượng bị che khuất.
- Chi phí phần cứng và lưu trữ: Hệ thống camera độ phân giải cao đòi hỏi kinh phí thiết lập lớn cùng hạ tầng lưu trữ và tính toán khổng lồ.
Trong khi đó, dữ liệu sóng radar—cụ thể là radar sóng milimet điều chế tần số liên tục (mmWave FMCW Radar)—mang lại giải pháp thay thế tiềm năng nhờ khả năng bảo vệ tính riêng tư cao (tín hiệu phản xạ không chứa thông tin trực quan nhận dạng cá nhân), hoạt động ổn định bất kể điều kiện ánh sáng hay thời tiết, có khả năng xuyên qua vật cản mỏng và dữ liệu đám mây điểm (point-cloud) có dung lượng nhỏ. Tuy nhiên, nghiên cứu ước lượng tư thế người bằng radar đối mặt với 3 thách thức lớn:
- Thiếu hụt các bộ dữ liệu gán nhãn chuẩn hóa được công bố công khai kết hợp đồng bộ giữa radar và camera.
- Các mô hình học sâu hiện hữu chủ yếu phục vụ xử lý ảnh với khối lượng tham số lớn, tiêu tốn tài nguyên tính toán, chưa tối ưu cho phần cứng nhúng hoặc thiết bị hiệu suất thấp.
- Tín hiệu phản xạ radar chứa nhiều tạp âm và nhiễu môi trường, đòi hỏi chuỗi tiền xử lý tín hiệu số phức tạp.
Mục tiêu nghiên cứu:
- Xây dựng một hệ thống hoàn chỉnh tiếp nhận dữ liệu radar thô thông qua quá trình tiền xử lý tín hiệu số để ước lượng tư thế người.
- Đề xuất, thiết kế và thử nghiệm các phương pháp mô hình học sâu gọn nhẹ, tối ưu hóa cho bài toán ước lượng tư thế người từ đám mây điểm radar.
Đối tượng và phạm vi nghiên cứu:
- Đối tượng nghiên cứu: Tín hiệu radar FMCW, đám mây điểm 3D phản xạ từ cơ thể người và các mô hình học sâu (CNN, LSTM, AutoEncoder).
- Phạm vi nghiên cứu: Xây dựng quy trình xử lý tín hiệu từ dạng sóng IF sang đám mây điểm không gian 3 chiều; tinh chỉnh và huấn luyện 5 kiến trúc mô hình học sâu chuyên biệt; đánh giá hiệu năng trên tập dữ liệu chuẩn MAR và tập dữ liệu Radim5 PTIT được thu thập thực nghiệm.
Cơ sở lý thuyết và phương pháp nghiên cứu
Khung lý thuyết và mô hình kỹ thuật
Nghiên cứu tích hợp lý thuyết xử lý tín hiệu radar sóng liên tục và các kiến trúc học sâu:
- Lý thuyết Radar FMCW: Thiết bị phát chuỗi tín hiệu chirp (sóng sin có tần số tăng dần theo thời gian với tần số bắt đầu $f_c$, băng thông $B$, thời lượng $T_c$). Tín hiệu phát từ ăng-ten $TX$ và phản xạ về ăng-ten $RX$ được đưa qua bộ trộn (mixer) để tạo tín hiệu tần số tức thời (Intermediate Frequency - IF signal). Tần số và độ lệch pha của sóng IF biểu diễn khoảng cách và vận tốc của đối tượng.
- Các mô hình học sâu nền tảng: Mạng nơ-ron nhân tạo (ANN), Mạng nơ-ron tích chập (CNN với các kiến trúc tham chiếu LeNet-5, AlexNet, VGG-16, Inception, ResNet), Mạng nơ-ron hồi quy (RNN) và Mạng trí nhớ ngắn hạn dài (LSTM) sử dụng hệ thống cổng (forget, input, output gate) để giải quyết hiện tượng biến mất đạo hàm.
- Các hàm kích hoạt và tối ưu: Sigmoid, Tanh, ReLU, Softmax, thuật toán lan truyền ngược (Backpropagation) kết hợp tối ưu hóa Gradient Descent.
Phương pháp nghiên cứu thực nghiệm
Tác giả áp dụng phương pháp thiết kế hệ thống và thực nghiệm định lượng qua chuỗi quy trình:
- Thu thập tín hiệu đồng bộ: Sử dụng hệ thống cảm biến gồm radar mmWave TI và Camera RGB đặt cố định trên giá ba chân cao 1 mét để thu thập đồng thời tín hiệu phản xạ radar và khung hình quang học làm nhãn chuẩn (ground truth).
- Tiền xử lý tín hiệu số:
- Áp dụng thuật toán biến đổi Fourier nhanh khoảng cách (Range-FFT) trên các mẫu của tín hiệu IF để trích xuất khoảng cách $d$ với độ phân giải $d_{res} = \frac{c}{2B}$ ($c = 3 \times 10^8$ m/s).
- Áp dụng biến đổi Fourier nhanh Doppler (Doppler-FFT) qua chuỗi chirp trong khung hình để trích xuất vận tốc $v$ với độ phân giải $v_{res} = \frac{\lambda}{2NT_c}$.
- Áp dụng thuật toán lọc tỉ lệ báo động giả không đổi (Constant False Alarm Rate - CFAR) để loại bỏ nhiễu môi trường.
- Ước lượng góc tới (Angle of Arrival - AOA) theo phương ngang và phương thẳng đứng qua pha chênh lệch giữa các ăng-ten thu với độ phân giải $\theta_{res} = \frac{2}{N_{TX}N_{RX}}$ radians (khi khoảng cách ăng-ten $d = \frac{\lambda}{2}$).
- Đóng gói dữ liệu đầu vào thành tập hợp các điểm 3D point-cloud có cấu trúc: $p_i = {x_i, y_i, z_i, D_i, I_i}$ ($x, y, z$ là tọa độ không gian; $D$ là vận tốc Doppler; $I$ là cường độ tín hiệu; số điểm tối đa mỗi khung hình $N_p = 64$).
- Đánh giá mô hình: Sử dụng các thang đo sai số chuẩn học thuật gồm sai số tuyệt đối trung bình (MAE), sai số vị trí khớp trung bình (MPJPE) và sai số khớp sau khi căn chỉnh Procrustes (PA-MPJPE).
Nội dung chính theo từng chương
Chương 1: Tổng quan về các tác vụ cho bài ước lượng tư thế người sử dụng tín hiệu radar
Chương 1 thiết lập cơ sở khoa học và định nghĩa bài toán ước lượng tư thế người (2D và 3D). Tác giả so sánh đặc tính kỹ thuật giữa 3 nguồn dữ liệu phổ biến: dữ liệu ảnh/video, cảm biến quán tính (IMU) và cảm biến radar.
| Nguồn dữ liệu |
Ưu điểm |
Nhược điểm / Thách thức |
| Ảnh và Video (RGB/Depth) |
Cung cấp thông tin trực quan chi tiết; độ chính xác cao trong môi trường chuẩn. |
Dễ vi phạm quyền riêng tư; phụ thuộc ánh sáng, góc khuất; chi phí lắp đặt và tính toán cao. |
| Cảm biến quán tính (IMU) |
Theo dõi gia tốc và tốc độ góc chuyển động 3D chính xác. |
Sai số tích tụ theo thời gian; thiếu thông tin chiều sâu không gian tuyệt đối. |
| Cảm biến Radar (mmWave) |
Bảo mật cao; hoạt động trong mọi thời tiết (mưa, tuyết, tối); xuyên vật cản mỏng; dữ liệu nhẹ. |
Độ phân giải không gian thấp hơn ảnh; tín hiệu chứa nhiều nhiễu; đòi hỏi tiền xử lý phức tạp. |
Tác giả chính thức phát biểu bài toán: Đầu vào là tập hợp các điểm đám mây điểm $p_i$ biểu diễn phản xạ từ cơ thể người trong vùng không gian quan sát; đầu ra là tọa độ 3D của các điểm khớp cấu trúc cơ thể người.
Chương 2: Ước lượng tư thế người sử dụng tín hiệu radar bằng học sâu
Chương 2 trình bày chi tiết nền tảng lý thuyết học máy, mạng nơ-ron nhân tạo và thiết kế chi tiết 5 kiến trúc học sâu được đề xuất nhằm giải quyết bài toán:
- Mô hình MAR-CNN: Mô hình mạng nơ-ron tích chập kích thước gọn nhẹ được xây dựng lại dựa trên nghiên cứu của An và Ogras, khai thác khả năng học đặc trưng cục bộ từ các điểm point-cloud 3D.
- Mô hình Advanced-MAR-CNN: Cải tiến từ MAR-CNN kết hợp cấu trúc mạng tự mã hóa (AutoEncoder) gồm 4 lớp tích chập, tăng cường khả năng trích xuất và nén đặc trưng cấu trúc cơ thể.
- Mô hình CNN-LSTM: Chuỗi nơ-ron tích chập đặt trước để trích xuất đặc trưng không gian cục bộ của đám mây điểm, sau đó đưa qua các khối LSTM để mô hình hóa quan hệ động học giữa các khung hình theo trục thời gian (tần số quét radar khoảng 10 Hz).
- Mô hình LSTM-CNN: Khối LSTM xử lý chuỗi thời gian trước để nắm bắt xu hướng vận động, tiếp theo các lớp CNN tổng hợp đặc trưng không gian.
- Mô hình Parallel-CNN-LSTM: Kiến trúc hai nhánh song song; một nhánh CNN trích xuất đặc trưng cục bộ không gian và một nhánh LSTM học quan hệ liên tục theo thời gian, sau đó kết hợp đặc trưng ở tầng kết nối đầy đủ.
Chương 3: Thực nghiệm và kết quả
Chương 3 trình bày toàn bộ quy trình thiết lập phần cứng, xử lý tín hiệu số, xây dựng tập dữ liệu và thực nghiệm kiểm chứng.
Thông số thiết lập hệ thống phần cứng thu thập dữ liệu (Bảng 3.1):
| Thiết bị |
Số lượng |
Tần số thu dữ liệu |
Phương thức kết nối |
Công suất tiêu thụ |
Dạng dữ liệu đầu ra |
| mmWave TI Radar |
1 |
10 Hz |
Có dây |
1.5 W |
Dữ liệu IQ thô (IQ data) |
| RGB Camera |
1 |
30 Hz |
Có dây |
30 W |
Khung hình video |
Thông số cấu hình vận hành sóng radar FMCW (Bảng 3.2):
| Ký hiệu |
Tham số kỹ thuật |
Giá trị |
Ký hiệu |
Tham số kỹ thuật |
Giá trị |
| $f_c$ |
Tần số bắt đầu |
60 GHz |
$v_{max}$ |
Vận tốc tối đa |
128 |
| $T_c$ |
Thời lượng 1 chirp |
1.3 $\mu$s |
$v_{res}$ |
Độ phân giải vận tốc |
128 |
| $B$ |
Băng thông |
3.25 GHz |
$N_{TX}$ |
Số lượng ăng-ten phát |
3 |
| $S$ |
Độ dốc tần số chirp |
50 MHz/$\mu$s |
$\theta_{res}$ |
Độ phân giải góc |
128 |
| $N$ |
Số chirp / khung hình |
128 |
$N_{RX}$ |
Số lượng ăng-ten thu |
4 |
| $d_{res}$ |
Độ phân giải khoảng cách |
128 |
$N_p$ |
Số điểm tối đa / frame |
64 |
Chương này cũng mô tả quy trình xây dựng tập dữ liệu Radim5 PTIT gồm 3 giai đoạn: xây dựng tài liệu hướng dẫn và mẫu động tác, triển khai thu thập có giám sát, tổng hợp và chuẩn hóa dữ liệu. Các mô hình được đánh giá chéo trên cả bộ dữ liệu MAR và Radim5 PTIT thông qua các chỉ số MAE, MPJPE và PA-MPJPE.
Kết quả và đóng góp
Kết quả kỹ thuật đạt được
- Chuỗi tiền xử lý tín hiệu hoàn chỉnh: Xây dựng thành công quy trình xử lý tín hiệu radar dạng sóng liên tục FMCW qua 4 bước: Range-FFT trích xuất khoảng cách, Doppler-FFT trích xuất vận tốc, thuật toán CFAR lọc nhiễu nền, và kỹ thuật AOA ước lượng góc tới 3D.
- Biểu diễn dữ liệu đa chiều gọn nhẹ: Chuyển đổi thành công tín hiệu phản xạ radar dạng sóng thô sang tập dữ liệu đám mây điểm 3D với 5 thuộc tính ${x, y, z, D, I}$, giới hạn tối đa 64 điểm mỗi khung hình giúp giảm thiểu dung lượng lưu trữ và khối lượng tính toán.
- Thiết kế 5 cấu trúc mô hình học sâu chuyên biệt: Hiện thực hóa các mô hình từ CNN cơ bản (MAR-CNN), mạng tự mã hóa (Advanced-MAR-CNN) đến các dạng kết hợp tuần tự và song song thời gian - không gian (CNN-LSTM, LSTM-CNN, Parallel-CNN-LSTM).
- Xây dựng tập dữ liệu thực nghiệm mới: Thu thập và đóng gói tập dữ liệu Radim5 PTIT với cấu hình đồng bộ giữa radar mmWave TI và camera quan sát, phục vụ huấn luyện và kiểm thử.
Đóng góp của đề tài
- Giải pháp thay thế camera bảo mật cao: Chứng minh tính khả thi của việc ứng dụng radar sóng milimet để ước lượng tư thế người trong không gian 3D, giải quyết triệt để rủi ro lộ danh tính và dữ liệu hình ảnh cá nhân.
- Khắc phục phụ thuộc môi trường: Tạo tiền đề cho các hệ thống giám sát có khả năng hoạt động liên tục trong điều kiện thiếu sáng, bóng tối hoàn toàn, khói bụi hoặc thời tiết xấu mà camera quang học không thể đáp ứng.
- Mô hình hóa kết hợp không gian - thời gian: Đề xuất cơ chế tận dụng tính chất liên tục của chuỗi khung hình radar (10 Hz) bằng cách tích hợp mạng LSTM với CNN, giúp tối ưu độ chính xác dự đoán khớp cơ thể trên các chuỗi point-cloud thưa thớt.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế được ghi nhận
- Độ phân giải đám mây điểm thưa thớt: Dữ liệu đầu ra từ radar mmWave có số lượng điểm tối đa hạn chế ($N_p = 64$ điểm/khung hình), dẫn đến mật độ thông tin hình thái cơ thể thấp hơn rất nhiều so với ma trận điểm ảnh từ camera.
- Độ phức tạp xử lý nhiễu môi trường: Dữ liệu radar phản xạ từ nhiều vật thể xung quanh đòi hỏi quy trình tiền xử lý tín hiệu số (CFAR, FFT) công phu, tốn tài nguyên trước khi đưa vào mô hình học sâu.
- Quy mô tập dữ liệu tự thu thập: Bộ dữ liệu Radim5 PTIT được thu thập trong phạm vi phòng thí nghiệm với số lượng người tham gia và mẫu hành động còn giới hạn.
Hướng nghiên cứu tiếp theo
- Nâng cao chất lượng đám mây điểm thông qua việc tối ưu hóa thuật toán lọc nhiễu và ghép nối dữ liệu đa khung hình.
- Thử nghiệm các mô hình học sâu tiên tiến hơn nhằm giảm thiểu sai số MPJPE và PA-MPJPE trên các chuyển động phức tạp.
- Phát triển các bài toán ứng dụng cấp cao dựa trên tư thế ước lượng được, bao gồm: phát hiện người ngã tự động trong bệnh viện/viện dưỡng lão và hệ thống cảnh báo xâm nhập trái phép khu vực cấm trong mọi điều kiện thời tiết.
Giá trị tham khảo
Đồ án là tài liệu tham khảo có giá trị chuyên môn cao cho:
- Sinh viên, học viên ngành Công nghệ thông tin, Khoa học máy tính, Kỹ thuật dữ liệu và Điện tử viễn thông: Cung cấp tài liệu tổng quan và hướng dẫn chi tiết về việc kết hợp giữa xử lý tín hiệu số (DSP) và mạng nơ-ron học sâu (Deep Learning).
- Các nhà nghiên cứu về thị giác máy tính và cảm biến thông minh: Tham khảo phương pháp tiền xử lý tín hiệu radar FMCW (Range-FFT, Doppler-FFT, CFAR, AOA) để chuyển đổi từ dữ liệu sóng thô sang đám mây điểm 3D.
- Kỹ sư phát triển hệ thống IoT và AI nhúng: Cung cấp thông số kỹ thuật phần cứng thực tế (Texas Instruments mmWave Radar, công suất 1.5W, tần số 10 Hz) và các kiến trúc mô hình gọn nhẹ, phù hợp triển khai trên các thiết bị phần cứng có tài nguyên hạn chế.
Câu hỏi thường gặp
1. Tại sao đồ án lựa chọn cảm biến radar mmWave thay vì sử dụng camera RGB truyền thống để ước lượng tư thế người?
Dữ liệu hình ảnh từ camera RGB dễ gây xâm phạm quyền riêng tư cá nhân, chi phí lắp đặt cao và hoạt động kém trong điều kiện ánh sáng yếu, bóng tối hoặc thời tiết xấu (mưa, bão, tuyết). Radar mmWave khắc phục các nhược điểm này do tín hiệu không có tính trừu tượng nhận dạng cá nhân, chi phí cài đặt thấp, hoạt động ổn định trong mọi điều kiện môi trường và dữ liệu point-cloud chiếm dung lượng bộ nhớ rất nhỏ.
2. Cấu trúc một điểm dữ liệu point-cloud đầu vào cho mô hình học sâu gồm những thành phần nào?
Mỗi điểm phản xạ $p_i$ trong không gian 3 chiều được định dạng bởi 5 thông số: $p_i = {x_i, y_i, z_i, D_i, I_i}$, trong đó $x_i, y_i, z_i$ biểu diễn tọa độ không gian 3D, $D_i$ là giá trị vận tốc Doppler, $I_i$ là cường độ tín hiệu phản xạ, với số lượng điểm tối đa trong một khung hình là $N_p = 64$.
3. Tác giả đã sử dụng những thuật toán xử lý tín hiệu số nào để chuyển đổi tín hiệu sóng IF của radar thành dữ liệu point-cloud?
Quy trình tiền xử lý bao gồm: Range-FFT để trích xuất khoảng cách, Doppler-FFT để tính toán vận tốc, thuật toán CFAR (Constant False Alarm Rate) để lọc tạp âm môi trường và thuật toán AOA (Angle of Arrival) để ước lượng góc tới phương ngang và phương thẳng đứng.
4. Những kiến trúc mô hình học sâu nào đã được tác giả thiết kế và thử nghiệm trong đồ án?
Tác giả đề xuất và thử nghiệm 5 kiến trúc: mô hình mạng nơ-ron tích chập đơn giản (MAR-CNN), mạng tự mã hóa tích chập 4 lớp (Advanced-MAR-CNN), mạng kết hợp không gian - thời gian tuần tự (CNN-LSTM và LSTM-CNN), và mạng kết hợp song song (Parallel-CNN-LSTM).
5. Hệ thống phần cứng thu thập dữ liệu thực nghiệm Radim5 PTIT được cấu hình với các thông số nào?
Hệ thống gồm 1 radar mmWave TI (tần số lấy mẫu 10 Hz, công suất 1.5W, kết nối có dây, 3 ăng-ten phát $N_{TX}$, 4 ăng-ten thu $N_{RX}$, băng thông $B = 3.25$ GHz) và 1 RGB Camera (tần số 30 Hz, công suất 30W) cùng đặt trên giá ba chân cao 1 mét.
Kết luận
Đồ án tốt nghiệp của sinh viên Trần Khánh Hưng đã giải quyết toàn diện bài toán ước lượng tư thế người trong không gian 3 chiều bằng cách khai thác tín hiệu radar sóng milimet FMCW kết hợp các mô hình học sâu gọn nhẹ. Tác giả đã hoàn thiện chuỗi tiền xử lý tín hiệu số từ sóng IF sang đám mây điểm 3D point-cloud, đồng thời thiết kế và thử nghiệm 5 kiến trúc mạng nơ-ron (MAR-CNN, Advanced-MAR-CNN, CNN-LSTM, LSTM-CNN, Parallel-CNN-LSTM) trên tập dữ liệu chuẩn MAR và tập dữ liệu thực nghiệm Radim5 PTIT. Nghiên cứu cung cấp giải pháp khả thi, bảo mật cao và bền bỉ trước điều kiện môi trường bất lợi, tạo nền tảng ứng dụng quan trọng cho các hệ thống giám sát an ninh và chăm sóc y tế thông minh.
