Tổng quan nghiên cứu

Trong bối cảnh công nghệ nhận diện hành động không tiếp xúc ngày càng phát triển mạnh mẽ, đặc biệt với sự bùng nổ của các ứng dụng thực tế ảo tăng cường, việc ứng dụng hệ thống Radar FMCW (Frequency-Modulated Continuous Wave) kết hợp với mô hình học sâu đã mở ra nhiều hướng đi mới đầy tiềm năng. Theo ước tính, các hệ thống nhận diện hành động dựa trên radar có thể khắc phục được nhiều hạn chế của công nghệ nhận diện dựa trên camera như phụ thuộc vào điều kiện ánh sáng, môi trường và vấn đề bảo mật dữ liệu hình ảnh. Luận văn thạc sĩ này tập trung nghiên cứu và triển khai hệ thống nhận diện hành động sử dụng module Radar FMCW mmWave kết hợp với các mô hình học sâu gồm CONV1D, LSTM và Transformer.

Mục tiêu cụ thể của nghiên cứu là xây dựng mô hình thu thập dữ liệu cử chỉ từ hệ thống Radar FMCW, phát triển giải thuật nhận diện hành động dựa trên dữ liệu thu thập được, đồng thời đánh giá hiệu quả của các mô hình học sâu trên tập dữ liệu thực nghiệm. Phạm vi nghiên cứu được giới hạn trong môi trường phòng làm việc thông thường tại TP. Hồ Chí Minh, với các thiết bị văn phòng cơ bản như bàn, ghế và máy tính để bàn. Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao độ chính xác và tính ứng dụng của công nghệ nhận diện hành động không tiếp xúc, góp phần thúc đẩy phát triển các ứng dụng điều khiển thiết bị thông minh, thực tế ảo và tự động hóa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: công nghệ Radar FMCW và các mô hình học sâu trong lĩnh vực học máy.

  1. Radar FMCW: Đây là hệ thống radar phát sóng liên tục với tần số được điều chế theo thời gian, cho phép đo chính xác khoảng cách, vận tốc và góc đến của vật thể. Radar FMCW hoạt động ở dải tần milimet (mmWave) với bước sóng khoảng 0.22 mm, cung cấp độ phân giải cao về khoảng cách (độ phân giải khoảng 3 cm) và vận tốc. Module IWR1642BOOST của Texas Instruments được sử dụng làm nền tảng phần cứng, có khả năng thu thập dữ liệu point-cloud đa chiều về chuyển động của đối tượng.

  2. Mô hình học sâu: Ba mô hình chính được áp dụng gồm:

    • CONV1D (Mạng nơ-ron tích chập một chiều): Thích hợp xử lý dữ liệu chuỗi thời gian, giúp trích xuất đặc trưng từ tín hiệu radar.
    • LSTM (Long Short-Term Memory): Mạng hồi quy có khả năng ghi nhớ thông tin dài hạn, phù hợp với dữ liệu chuỗi có tính phụ thuộc thời gian như dữ liệu cử chỉ.
    • Transformer: Mạng sử dụng cơ chế tự tập trung (self-attention), cho phép xử lý song song và nắm bắt các mối quan hệ dài hạn trong chuỗi dữ liệu.

Các khái niệm chính bao gồm: tín hiệu Chirp trong radar FMCW, độ phân giải khoảng cách, vận tốc và góc đến, các cổng trong mạng LSTM (cổng quên, cổng vào, cổng ra), và cơ chế tập trung đa đầu trong Transformer.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp tiếp cận hệ thống, bao gồm các bước:

  • Thu thập dữ liệu: Sử dụng module Radar FMCW IWR1642BOOST để thu thập dữ liệu cử chỉ trong môi trường phòng làm việc. Tổng số mẫu dữ liệu thu thập được khoảng vài trăm mẫu cho mỗi loại hành động, đảm bảo đa dạng và đại diện.
  • Xây dựng tập dữ liệu: Kết hợp dữ liệu tự thu thập với các tập dữ liệu công bố sẵn để tăng tính tổng quát và độ tin cậy.
  • Huấn luyện mô hình: Ba mô hình CONV1D, LSTM và Transformer được huấn luyện trên tập dữ liệu đã xây dựng. Cỡ mẫu huấn luyện khoảng vài nghìn mẫu, sử dụng phương pháp chọn mẫu ngẫu nhiên có kiểm soát để đảm bảo cân bằng giữa các lớp hành động.
  • Phân tích và đánh giá: Đánh giá hiệu quả mô hình dựa trên các chỉ số độ chính xác, độ giảm độ chính xác khi đánh giá trên tập dữ liệu khác nhau. Thời gian nghiên cứu kéo dài từ tháng 2 đến tháng 6 năm 2023.
  • Triển khai hệ thống thực tế: Xây dựng hệ thống nhận diện hành động tích hợp phần cứng và phần mềm, điều khiển ứng dụng âm nhạc trên máy tính thông qua các cử chỉ đơn giản.

Phương pháp phân tích sử dụng các kỹ thuật xử lý tín hiệu số, biến đổi Fourier nhanh (FFT), và thuật toán học sâu với thuật toán lan truyền ngược (backpropagation).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả mô hình LSTM vượt trội: Mô hình LSTM đạt độ chính xác cao nhất 99.17% trên tập dữ liệu huấn luyện và giảm độ chính xác ít nhất khi đánh giá trên tập dữ liệu khác, so với CONV1D và Transformer. Điều này cho thấy LSTM phù hợp nhất với bài toán nhận diện hành động dựa trên dữ liệu chuỗi thời gian từ radar FMCW.

  2. Độ chính xác của CONV1D và Transformer: Mô hình CONV1D và Transformer cũng đạt kết quả khả quan, với độ chính xác lần lượt khoảng 95-97%, tuy nhiên giảm nhiều hơn khi đánh giá trên tập dữ liệu khác. Điều này phản ánh khả năng tổng quát hóa của các mô hình này kém hơn LSTM trong bối cảnh dữ liệu radar.

  3. Tính ổn định của hệ thống trong môi trường thực tế: Hệ thống nhận diện hành động tích hợp module IWR1642BOOST và mô hình LSTM có thể điều khiển ứng dụng âm nhạc trên máy tính thông qua các cử chỉ đơn giản như đưa tay lên để tăng âm lượng, đưa tay xuống để giảm âm lượng, với độ chính xác nhận diện trên 98%.

  4. Ảnh hưởng của môi trường và thiết bị: Dữ liệu thu thập trong môi trường phòng làm việc có nhiều vật dụng xung quanh không gây ảnh hưởng đáng kể đến độ chính xác nhận diện, chứng tỏ khả năng chống nhiễu và độ tin cậy của hệ thống.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả vượt trội của LSTM là khả năng ghi nhớ và xử lý các phụ thuộc dài hạn trong chuỗi dữ liệu radar, điều mà CONV1D và Transformer chưa tối ưu hoàn toàn trong bài toán này. Kết quả này phù hợp với các nghiên cứu gần đây trong lĩnh vực nhận diện hành động sử dụng dữ liệu chuỗi thời gian.

Biểu đồ so sánh độ chính xác của ba mô hình trên các tập dữ liệu khác nhau minh họa rõ sự ổn định của LSTM, trong khi CONV1D và Transformer có sự biến động lớn hơn. Bảng thống kê số lượng mẫu và kết quả đánh giá chi tiết cũng cho thấy sự cân bằng giữa các lớp hành động trong tập dữ liệu giúp mô hình học sâu đạt hiệu quả cao.

Hệ thống thực tế được triển khai chứng minh tính khả thi của việc ứng dụng Radar FMCW kết hợp học sâu trong các ứng dụng điều khiển không tiếp xúc, mở rộng tiềm năng ứng dụng trong thực tế ảo, tự động hóa và thiết bị thông minh.

Đề xuất và khuyến nghị

  1. Tối ưu hóa mô hình LSTM: Tiếp tục nghiên cứu cải tiến kiến trúc LSTM, kết hợp với các kỹ thuật giảm thiểu overfitting và tăng cường dữ liệu để nâng cao độ chính xác và khả năng tổng quát hóa trong các môi trường phức tạp hơn. Thời gian thực hiện dự kiến 6-12 tháng, do nhóm nghiên cứu chuyên sâu về học máy đảm nhiệm.

  2. Mở rộng tập dữ liệu thu thập: Thu thập thêm dữ liệu từ nhiều môi trường khác nhau, bao gồm ngoài trời và các không gian công cộng để đánh giá khả năng ứng dụng rộng rãi của hệ thống. Dự kiến thực hiện trong 12 tháng với sự phối hợp của các phòng thí nghiệm và đối tác công nghiệp.

  3. Phát triển hệ thống đa cảm biến: Kết hợp Radar FMCW với các cảm biến khác như IMU, camera hồng ngoại để tăng cường độ chính xác và khả năng nhận diện trong điều kiện môi trường đa dạng. Thời gian nghiên cứu và phát triển khoảng 18 tháng, phù hợp với các dự án hợp tác đa ngành.

  4. Ứng dụng trong điều khiển thiết bị thông minh: Triển khai hệ thống nhận diện hành động trong các thiết bị gia dụng, thiết bị y tế và thực tế ảo để nâng cao trải nghiệm người dùng. Khuyến nghị các doanh nghiệp công nghệ và trung tâm nghiên cứu đầu tư phát triển trong vòng 2 năm tới.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Kỹ thuật Viễn thông, Điện tử: Luận văn cung cấp kiến thức chuyên sâu về Radar FMCW và ứng dụng học sâu trong nhận diện hành động, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

  2. Kỹ sư phát triển hệ thống nhúng và IoT: Thông tin về module IWR1642BOOST và giải thuật nhận diện hành động giúp thiết kế các sản phẩm điều khiển không tiếp xúc hiệu quả.

  3. Doanh nghiệp công nghệ thực tế ảo và tự động hóa: Nghiên cứu cung cấp cơ sở khoa học và kỹ thuật để ứng dụng công nghệ radar trong các sản phẩm thực tế ảo, điều khiển thiết bị thông minh.

  4. Chuyên gia phát triển phần mềm học máy và trí tuệ nhân tạo: Các mô hình học sâu và phương pháp huấn luyện được trình bày chi tiết, hỗ trợ phát triển các giải pháp nhận diện hành động dựa trên dữ liệu radar.

Câu hỏi thường gặp

  1. Radar FMCW là gì và tại sao được chọn cho nhận diện hành động?
    Radar FMCW là hệ thống radar phát sóng liên tục với tần số điều chế theo thời gian, cho phép đo chính xác khoảng cách và vận tốc vật thể. Nó được chọn vì không bị ảnh hưởng bởi điều kiện ánh sáng, thời tiết và bảo mật tốt hơn so với camera.

  2. Mô hình học sâu nào phù hợp nhất cho nhận diện hành động từ dữ liệu radar?
    Mô hình LSTM được đánh giá là phù hợp nhất với độ chính xác lên đến 99.17%, nhờ khả năng ghi nhớ thông tin dài hạn trong chuỗi dữ liệu thời gian.

  3. Dữ liệu thu thập từ radar có đặc điểm gì?
    Dữ liệu radar là dạng point-cloud đa chiều, chứa thông tin về khoảng cách, vận tốc và góc đến của vật thể, được thu thập liên tục theo thời gian.

  4. Hệ thống có thể ứng dụng trong những lĩnh vực nào?
    Hệ thống có thể ứng dụng trong thực tế ảo, điều khiển thiết bị gia dụng, y tế, tự động hóa và các thiết bị đeo thông minh.

  5. Làm thế nào để cải thiện độ chính xác của hệ thống trong môi trường phức tạp?
    Có thể mở rộng tập dữ liệu, kết hợp đa cảm biến, tối ưu mô hình học sâu và áp dụng các kỹ thuật tăng cường dữ liệu để nâng cao độ chính xác và khả năng tổng quát hóa.

Kết luận

  • Luận văn đã nghiên cứu và triển khai thành công hệ thống nhận diện hành động sử dụng Radar FMCW kết hợp mô hình học sâu, đặc biệt là LSTM với độ chính xác đạt 99.17%.
  • Mô hình LSTM thể hiện sự ổn định và khả năng tổng quát hóa tốt hơn so với CONV1D và Transformer trong bài toán nhận diện hành động.
  • Hệ thống thực tế tích hợp module IWR1642BOOST có thể điều khiển ứng dụng âm nhạc trên máy tính thông qua các cử chỉ đơn giản với độ chính xác cao.
  • Nghiên cứu góp phần mở rộng ứng dụng công nghệ radar trong lĩnh vực nhận diện hành động không tiếp xúc, khắc phục hạn chế của các công nghệ truyền thống.
  • Hướng phát triển tiếp theo bao gồm tối ưu mô hình, mở rộng tập dữ liệu, phát triển hệ thống đa cảm biến và ứng dụng trong các thiết bị thông minh.

Để tiếp tục phát triển công nghệ này, các nhà nghiên cứu và doanh nghiệp được khuyến khích hợp tác, đầu tư vào nghiên cứu và ứng dụng thực tế nhằm nâng cao hiệu quả và mở rộng phạm vi ứng dụng.