Luận văn thạc sĩ: Nhận diện hành động sử dụng hệ thống radar FMCW và mô hình học sâu

Luận văn thạc sĩ nghiên cứu ứng dụng hệ thống radar FMCW và mô hình học sâu trong nhận diện hành động, mở ra hướng phát triển mới trong kỹ thuật viễn thông.

• Tác giả: Nguyễn Chánh Trực
• Người hướng dẫn: TS. Trịnh Xuân Dũng
• Trường học: Đại học Bách Khoa - ĐHQG TP. HCM
• Chuyên ngành: Kỹ thuật Viễn thông
• Đề tài: Nhận Diện Hành Động Sử Dụng Hệ Thống Radar FMCW Và Mô Hình Học Sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. HCM

Mục lục chi tiết

• LỜI CÁM ƠN
• LỜI CAM ĐOAN
• DANH SÁCH BẢNG
• DANH SÁCH HÌNH VẼ
• DANH SÁCH TỪ VIẾT TẮT
• 1. CHƯƠNG 1: ĐẶT VẤN ĐỀ
• 1.1. Mục tiêu và nhiệm vụ của luận văn
• 1.1.1. Mục tiêu
• 1.1.2. Nhiệm vụ luận văn
• 1.2. Đối tượng và phạm vi nghiên cứu
• 1.2.1. Đối tượng nghiên cứu
• 1.2.2. Phạm vi nghiên cứu
• 1.3. Phương pháp nghiên cứu
• 1.4. Bố cục của luận văn
• 2. CHƯƠNG 2: TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU VÀ CƠ SỞ LÝ THUYẾT LIÊN QUAN
• 2.1. Hệ thống nhận diện hành động
• 2.1.1. Hệ thống nhận diện hành động bằng Radar FMCW
• 2.2. Tổng quan về hệ thống Radar FMCW
• 2.2.1. Cấu tạo và cơ chế hoạt động của hệ thống Radar FMCW
• 2.2.2. Khoảng cách vật thể đối với Radar và độ phân giải khoảng cách
• 2.2.3. Vận tốc vật thể đối với Radar và độ phân giải vận tốc
• 2.2.4. Góc đến từ vật thể tới Radar và độ phân giải góc đến
• 2.3. Một số lý thuyết về học máy và học sâu
• 2.3.1. Mạng nơ-ron nhân tạo
• 2.3.2. Hàm kích hoạt
• 2.3.3. Mạng nơ-ron tích chập (CNN)
• 2.3.4. Mạng nơ-ron hồi quy (RNN)
• 2.3.5. Long Short Term Memory (LSTM)
• 2.4. Kết luận chương
• 3. CHƯƠNG 3: THỰC HIỆN VÀ PHÂN TÍCH
• 3.1. Khảo sát bộ dữ liệu hành động tay có sẵn
• 3.2. Mô hình lấy mẫu dữ liệu thực tế
• 3.2.1. Tổng quan module IWR1642BOOST
• 3.2.2. Định dạng dữ liệu từ module IWR1642
• 3.2.3. Sơ đồ khối và giải thuật lấy mẫu hành động
• 3.2.4. Lấy mẫu dữ liệu
• 3.3. Các mô hình nhận diện hành động
• 3.4. Khảo sát kết quả mô hình nhận diện được huấn luyện
• 3.5. Kết luận chương
• 4. CHƯƠNG 4: HIỆN THỰC HÓA HỆ THỐNG NHẬN DIỆN HÀNH ĐỘNG BẰNG RADAR FMCW VÀ MÔ HÌNH HỌC SÂU
• 4.1. Tổng quan hệ thống nhận diện hành động
• 4.2. Triển khai xây dựng hệ thống thực nhận diện hành động
• 4.2.1. Mô hình kết nối phần cứng
• 4.2.2. Mô hình phần mềm tích hợp vào hệ thống
• 4.3. Kết luận chương
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾ TIẾP
• 5.1. Kết luận chung
• 5.2. Các công việc đã thực hiện được
• 5.3. Những hạn chế của luận văn
• 5.4. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về hệ thống Radar FMCW

Hệ thống radar FMCW (Frequency-Modulated Continuous Wave) là một công nghệ tiên tiến trong lĩnh vực viễn thông, cho phép đo đạc khoảng cách và vận tốc của các đối tượng một cách chính xác. Radar FMCW hoạt động dựa trên nguyên lý điều chế tần số, phát tín hiệu liên tục và thu nhận tín hiệu phản xạ từ đối tượng. Một trong những ưu điểm nổi bật của radar FMCW là khả năng hoạt động trong mọi điều kiện ánh sáng và môi trường, điều này giúp nó trở thành một giải pháp lý tưởng cho các ứng dụng nhận diện hành động. Hệ thống này có thể thu thập thông tin về vị trí và vận tốc của đối tượng trong không gian 2D và 3D, từ đó cung cấp dữ liệu cần thiết cho các thuật toán nhận diện hành động.

1.1. Cấu tạo và cơ chế hoạt động

Radar FMCW bao gồm các thành phần chính như bộ phát, bộ thu và các mạch xử lý tín hiệu. Bộ phát phát ra tín hiệu điều chế tần số, trong khi bộ thu nhận tín hiệu phản xạ từ đối tượng. Thông qua việc phân tích độ trễ giữa tín hiệu phát và thu, radar có thể tính toán khoảng cách và vận tốc của đối tượng. Độ phân giải của radar phụ thuộc vào tần số điều chế và băng tần sử dụng, cho phép radar FMCW đạt được độ chính xác cao trong việc nhận diện hành động. Các thông số này có thể được tối ưu hóa để nâng cao hiệu suất của hệ thống.

II. Ứng dụng của radar FMCW trong nhận diện hành động

Việc áp dụng radar FMCW trong nhận diện hành động đã mở ra nhiều cơ hội mới trong các lĩnh vực như tự động hóa, y tế và giải trí. Hệ thống radar có khả năng phát hiện các hành động của con người mà không cần tiếp xúc, điều này đặc biệt hữu ích trong môi trường y tế hoặc trong các ứng dụng thực tế ảo. Bằng cách sử dụng dữ liệu thu thập từ radar, các mô hình học sâu như LSTM và CONV1D có thể được áp dụng để nhận diện và phân loại các hành động một cách hiệu quả. Các nghiên cứu cho thấy rằng việc kết hợp radar FMCW với các thuật toán học sâu có thể đạt được độ chính xác lên đến 99.17% trong việc nhận diện hành động.

2.1. Các mô hình học sâu trong nhận diện hành động

Các mô hình học sâu như LSTM, CONV1D, và Transformer đã được chứng minh là hiệu quả trong việc xử lý dữ liệu thu thập từ radar FMCW. Mô hình LSTM, với khả năng ghi nhớ thông tin theo thời gian, đặc biệt phù hợp cho các bài toán nhận diện hành động liên tục. Trong khi đó, mô hình CONV1D có khả năng xử lý dữ liệu dạng chuỗi và nhận diện các đặc trưng quan trọng từ tín hiệu radar. Việc sử dụng các mô hình này không chỉ nâng cao độ chính xác mà còn giảm thiểu thời gian xử lý, giúp hệ thống hoạt động hiệu quả hơn trong thực tế.

III. Kết quả và đánh giá hiệu quả của hệ thống

Kết quả nghiên cứu cho thấy hệ thống radar FMCW kết hợp với các mô hình học sâu đã đạt được những thành công đáng kể trong việc nhận diện hành động. Đặc biệt, mô hình LSTM đã cho thấy độ chính xác cao nhất trong các thử nghiệm, cho thấy rằng nó là lựa chọn tối ưu cho các ứng dụng nhận diện hành động. Hệ thống đã được thử nghiệm với nhiều loại hành động khác nhau, từ các cử chỉ đơn giản đến các hành động phức tạp, và đều cho kết quả khả quan. Việc phát triển một hệ thống nhận diện hành động hoàn chỉnh không chỉ giúp cải thiện trải nghiệm người dùng mà còn mở ra hướng đi mới cho các nghiên cứu trong lĩnh vực viễn thông.

3.1. Đánh giá hiệu suất hệ thống

Hệ thống đã được đánh giá dựa trên các tiêu chí như độ chính xác, tốc độ xử lý và khả năng thích ứng với các điều kiện khác nhau. Kết quả cho thấy rằng radar FMCW có thể hoạt động hiệu quả trong nhiều môi trường khác nhau mà không bị ảnh hưởng bởi ánh sáng hay thời tiết. Điều này khẳng định giá trị thực tiễn của công nghệ này trong việc phát triển các ứng dụng nhận diện hành động trong tương lai. Hệ thống không chỉ có thể được áp dụng trong lĩnh vực giải trí mà còn có thể mở rộng sang các lĩnh vực như y tế và an ninh.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên phát triển mạnh mẽ của giao diện tương tác người - máy (HMI) và thực tế ảo tăng cường, công nghệ nhận diện cử chỉ không tiếp xúc đang trở thành xu hướng nghiên cứu trọng điểm với tốc độ tăng trưởng dự kiến đạt hơn 25% mỗi năm trên toàn cầu. Các phương pháp thị giác máy tính truyền thống sử dụng camera quang học đang bộc lộ nhiều điểm nghẽn nghiêm trọng, bao gồm sự phụ thuộc lớn vào cường độ ánh sáng, nguy cơ xâm phạm quyền riêng tư khi thu thập hình ảnh cá nhân, và độ tin cậy suy giảm mạnh khi ống kính bị che khuất hoặc bụi bẩn. Nhằm giải quyết triệt để những thách thức này, nghiên cứu tập trung khai thác công nghệ radar sóng milimet (mmWave) sử dụng nguyên lý sóng liên tục điều chế tần số (FMCW) hoạt động ở băng tần cao từ 76 GHz đến 81 GHz kết hợp với các thuật toán học sâu hiện đại.

Mục tiêu cốt lõi của luận văn là nghiên cứu, thiết kế và hiện thực hóa thành công một hệ thống nhận dạng hành động động hoàn chỉnh với độ chính xác cao và độ trễ thấp. Nghiên cứu tập trung vào ba nhiệm vụ then chốt: xây dựng mô hình thu thập dữ liệu đám mây điểm (point-cloud) thời gian thực bằng module phần cứng IWR1642BOOST của hãng Texas Instruments; phát triển và huấn luyện các kiến trúc học sâu chuyên sâu gồm mạng tích chập một chiều (CONV1D), mạng bộ nhớ dài-ngắn (LSTM) và mạng biến đổi (Transformer); sau đó tích hợp toàn diện hệ thống vào ứng dụng điều khiển thực tế. Phạm vi nghiên cứu được thực nghiệm trong không gian phòng làm việc tiêu chuẩn tại Trường Đại học Bách Khoa – ĐHQG TP.HCM từ tháng 02/2023 đến tháng 06/2023. Kết quả thử nghiệm khẳng định mô hình đạt độ chính xác tối ưu 99.17%, đồng thời bảo đảm tính riêng tư tuyệt đối và khả năng hoạt động ổn định trong mọi điều kiện môi trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết truyền sóng vô tuyến radar FMCW và các kiến trúc mạng nơ-ron học sâu tiên tiến phục vụ xử lý chuỗi thời gian:

1. Lý thuyết Radar sóng liên tục điều chế tần số (FMCW mmWave Radar): Hệ thống phát ra các chuỗi tín hiệu Chirp có tần số quét tuyến tính với băng thông quét lên đến 4 GHz. Khi gặp vật thể chuyển động, tín hiệu phản xạ về được trộn với tín hiệu phát tại bộ trộn tần (Mixer) để tạo ra tín hiệu trung tần (Intermediate Frequency - IF). Thông qua phép biến đổi Fourier nhanh (FFT) đa chiều, hệ thống tính toán chính xác ba thông số không gian cốt lõi: khoảng cách vật thể (dựa trên tần số IF), vận tốc dịch chuyển (dựa trên hiệu ứng lệch pha Doppler giữa các Chirp liên tiếp), và góc đến của sóng (dựa trên độ lệch pha giữa các ăng-ten thu RX).
2. Lý thuyết Học sâu cho dữ liệu chuỗi động lực học: Để nắm bắt đặc trưng chuyển động từ dữ liệu đám mây điểm radar, ba mô hình tiêu biểu được khai thác:
   • Mạng tích chập một chiều (CONV1D): Trích xuất các đặc trưng không gian cục bộ dọc theo trục thời gian với chi phí tính toán thấp.
   • Mạng nơ-ron hồi quy với tế bào bộ nhớ dài-ngắn (LSTM): Sử dụng cấu trúc ba cổng chuyên biệt gồm cổng quên, cổng vào và cổng ra kết hợp cùng đường truyền trạng thái ô nhớ để kiểm soát và lưu giữ các phụ thuộc thời gian dài hạn, hạn chế triệt để hiện tượng triệt tiêu đạo hàm.
   • Mạng Transformer: Khai thác cơ chế tự tập trung đa đầu (Multi-Head Self-Attention) giúp mô hình hóa đồng thời mối liên hệ giữa mọi bước thời gian trong chuỗi cử chỉ mà không bị giới hạn tuần tự.

Phương pháp nghiên cứu

Nghiên cứu áp dụng phương pháp tiếp cận thực nghiệm có hệ thống, tích hợp chặt chẽ giữa xử lý tín hiệu phần cứng và tối ưu hóa giải thuật phần mềm:

• Nguồn dữ liệu và cỡ mẫu: Dữ liệu nghiên cứu bao gồm hai nguồn: tập dữ liệu chuẩn đã được công bố trong ngành và tập dữ liệu đo đạc thực tế do tác giả trực tiếp thu thập. Quá trình lấy mẫu thực nghiệm sử dụng phương pháp chọn mẫu thuận tiện có chủ đích với quy mô hơn 1.200 lượt thực hiện cử chỉ từ nhiều người tham gia khác nhau, bao gồm các thao tác đưa tay lên, hạ tay xuống, gạt tay sang trái, gạt tay sang phải, xoay cùng chiều kim đồng hồ và xoay ngược chiều kim đồng hồ.
• Quy trình phân tích dữ liệu: Tín hiệu sau khi số hóa qua bộ chuyển đổi tương tự sang số (ADC) trên chip radar được xử lý DSP để trích xuất các gói dữ liệu chuẩn TLV qua giao tiếp UART tốc độ cao. Dữ liệu tọa độ không gian và vận tốc được chuẩn hóa trước khi đưa vào huấn luyện mô hình.
• Lý do lựa chọn phương pháp: Việc so sánh đối chuẩn giữa CONV1D, LSTM và Transformer cho phép xác định chính xác sự đánh đổi giữa khối lượng tính toán, tốc độ suy luận thời gian thực và khả năng thích ứng khi kiểm thử chéo giữa các tập dữ liệu.
• Thời gian thực hiện: Toàn bộ quá trình đo đạc, xây dựng mô hình và đánh giá hệ thống được triển khai liên tục trong chu kỳ 5 tháng nghiên cứu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và đánh giá trên các tập dữ liệu thử nghiệm độc lập đã mang lại những kết quả kỹ thuật nổi bật:

1. Hiệu năng nhận diện vượt trội của mô hình LSTM: Trong số các kiến trúc được thử nghiệm, mô hình LSTM đạt độ chính xác cao nhất với tỷ lệ 99.17% trên tập dữ liệu kiểm tra, vượt trội hơn so với mô hình Transformer đạt khoảng 95.80% và CONV1D đạt khoảng 92.45%.
2. Khả năng tổng quát hóa dữ liệu liên tập: Khi tiến hành huấn luyện mô hình trên tập dữ liệu chuẩn và kiểm thử chéo trên tập dữ liệu thu thập thực tế tại phòng lab, mô hình LSTM thể hiện sự suy giảm độ chính xác thấp nhất với mức giảm chỉ dưới 3.5%, trong khi mô hình CONV1D bị suy giảm mạnh hơn 12.8% do hiện tượng quá khớp đặc trưng cục bộ.
3. Độ trễ xử lý đáp ứng thời gian thực: Thời gian trích xuất đặc trưng và đưa ra dự đoán của mô hình LSTM trên phần cứng thử nghiệm đạt mức trung bình dưới 45 mili-giây cho mỗi khung cử chỉ, hoàn toàn đáp ứng tiêu chuẩn phản hồi tức thời của các hệ thống điều khiển tương tác.
4. Hiện thực hóa điều khiển phần mềm thành công: Hệ thống tích hợp hoàn chỉnh giữa module IWR1642BOOST và máy tính cá nhân đã thực hiện chính xác 100% các lệnh điều khiển trình phát nhạc cơ bản, bao gồm tăng/giảm âm lượng và chuyển bài hát thông qua thao tác cử chỉ trong không gian 3 chiều.

Thảo luận kết quả

Khả năng phân loại vượt trội của mô hình LSTM xuất phát từ bản chất của tín hiệu radar mmWave: các cử chỉ tay tạo ra chuỗi biến thiên Doppler liên tục theo thời gian, trong đó trạng thái của khung hiện tại phụ thuộc chặt chẽ vào toàn bộ quỹ đạo chuyển động trước đó. Cấu trúc tế bào của LSTM với khả năng điều tiết luồng thông tin qua cổng quên đã lọc bỏ hiệu quả các nhiễu nền tĩnh từ môi trường văn phòng, đồng thời bảo toàn các đặc trưng vận tốc cốt lõi.

Các phát hiện thực nghiệm có thể được tổng hợp trực quan qua biểu đồ cột so sánh độ chính xác giữa ba mô hình trên các kịch bản kiểm thử khác nhau và ma trận nhầm lẫn (Confusion Matrix). Ma trận này phản ánh rõ nét khả năng phân biệt gần như tuyệt đối giữa các hành động có hướng đối nghịch như đưa tay lên so với đưa tay xuống. So với các giải pháp quang học truyền thống bị giảm hơn 50% độ chính xác trong môi trường thiếu sáng, hệ thống radar duy trì độ nhạy và tính ổn định tương đương giữa môi trường ánh sáng mạnh và bóng tối hoàn toàn (0 lux), mở ra tiềm năng ứng dụng to lớn trong các môi trường khắc nghiệt.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, nghiên cứu đề xuất 4 giải pháp trọng tâm nhằm hoàn thiện và ứng dụng hóa công nghệ:

1. Nâng cấp giải thuật loại bỏ phản xạ nền tĩnh: Nhóm nghiên cứu kỹ thuật viễn thông cần triển khai thuật toán lọc thông cao thích ứng và kỹ thuật trừ nền không gian nhằm nâng cao tỷ số tín hiệu trên nhiễu (SNR) thêm ít nhất 15 dB trong vòng 3 tháng tới, giúp triệt tiêu hoàn toàn ảnh hưởng của các vật cản cố định như tường và bàn làm việc.
2. Mở rộng quy mô và độ phức tạp của tập dữ liệu: Đội ngũ phát triển cần tiến hành thu thập bổ sung hơn 3.000 mẫu cử chỉ bao gồm các cử chỉ ngón tay tinh vi và cử chỉ đa người dùng trong thời gian 6 tháng, gia tăng tính đa dạng sinh trắc học để nâng cao độ bền vững của mô hình học sâu.
3. Tối ưu hóa mô hình cho phần cứng biên: Các kỹ sư hệ thống nhúng nên áp dụng kỹ thuật lượng tử hóa trọng số 8-bit và cắt tỉa mạng nơ-ron nhằm giảm dung lượng bộ nhớ của mô hình LSTM hơn 60%, cho phép nhúng trực tiếp thuật toán suy luận vào bộ xử lý vi điều khiển ARM Cortex-R4F tích hợp sẵn trên chip radar trong vòng 4 tháng.
4. Tích hợp thương mại vào hệ thống cabin ô tô thông minh và Smart Home: Các doanh nghiệp công nghệ nên hợp tác triển khai module radar mmWave vào hệ thống điều khiển trung tâm của phương tiện giao thông và thiết bị gia dụng thông minh với mục tiêu đạt thời gian đáp ứng dưới 30 mili-giây trong lộ trình 12 tháng, bảo đảm an toàn lái xe và bảo mật không gian sống.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn chuyên sâu cho 4 nhóm đối tượng chính:

1. Kỹ sư Viễn thông và Xử lý tín hiệu số: Cung cấp tài liệu tham khảo chi tiết về quy trình toán học phân tích tín hiệu radar FMCW, từ việc cấu hình chuỗi xung Chirp, giải mã gói tin TLV qua cổng UART đến thuật toán trích xuất đám mây điểm 3D.
2. Nhà nghiên cứu và Chuyên viên Trí tuệ nhân tạo: Cung cấp khung đối chuẩn thực nghiệm chuyên sâu giữa các kiến trúc mạng CONV1D, LSTM và Transformer khi xử lý dữ liệu cảm biến dạng chuỗi thời gian, hỗ trợ phát triển các mô hình phân loại chuỗi tối ưu.
3. Kỹ sư Phát triển Hệ thống Nhúng và IoT: Hướng dẫn chi tiết phương pháp kết nối phần cứng, cấu hình module vi sóng chuyên dụng IWR1642BOOST và xây dựng các luồng dữ liệu thời gian thực giữa cảm biến và máy tính điều khiển.
4. Doanh nghiệp Sản xuất Ô tô và Thiết bị Gia dụng Thông minh: Cung cấp giải pháp công nghệ khả thi để phát triển giao diện điều khiển không chạm thế hệ mới, thay thế nút bấm vật lý và loại bỏ rủi ro rò rỉ dữ liệu hình ảnh người dùng.

Câu hỏi thường gặp

Tại sao radar FMCW vượt trội hơn camera quang học trong nhận diện cử chỉ?
Radar FMCW sử dụng sóng điện từ bước sóng milimet nên hoàn toàn không phụ thuộc vào điều kiện chiếu sáng, hoạt động tin cậy trong môi trường khói bụi hoặc bóng tối hoàn toàn với độ nhạy cao. Công nghệ này chỉ thu thập tọa độ và vận tốc chuyển động mà không ghi lại hình ảnh khuôn mặt hay không gian riêng tư, bảo đảm tuyệt đối tính bảo mật cá nhân theo các tiêu chuẩn an toàn dữ liệu nghiêm ngặt.

Mô hình LSTM có ưu điểm gì nổi bật so với CONV1D và Transformer trong bài toán này?
Mô hình LSTM được thiết kế tối ưu cho dữ liệu chuỗi tuần tự với cấu trúc cổng ghi nhớ giúp theo dõi liên tục sự thay đổi vận tốc Doppler của cử chỉ tay qua từng khung thời gian. Trong điều kiện kích thước tập dữ liệu radar thực nghiệm ở mức vừa phải, LSTM hội tụ nhanh, không bị hiện tượng quá khớp như Transformer và duy trì độ chính xác cao nhất đạt 99.17%.

Hệ thống radar mmWave trong nghiên cứu đạt độ phân giải khoảng cách và vận tốc như thế nào?
Với băng thông điều chế quét tần số đạt tới 4 GHz ở dải tần 77 GHz, hệ thống đạt độ phân giải khoảng cách vật lý ở mức centimet và độ phân giải vận tốc dưới 0.1 mét/giây. Độ phân giải này cho phép cảm biến phân biệt rõ ràng từng chuyển động vi mô của bàn tay và ngón tay trước radar.

Môi trường văn phòng có gây ảnh hưởng tiêu cực đến độ chính xác của hệ thống không?
Môi trường văn phòng chứa nhiều vật cản phản xạ tĩnh như màn hình máy tính, bàn ghế kim loại. Tuy nhiên, hệ thống đã ứng dụng bộ lọc sơ bộ dựa trên hiệu ứng dịch tần Doppler, chỉ trích xuất các điểm dữ liệu có vận tốc khác không để đưa vào mô hình học sâu, qua đó loại bỏ hầu hết nhiễu phản xạ tĩnh ngoài ý muốn.

Khả năng thương mại hóa và ứng dụng thực tế của đề tài ra sao?
Đề tài đã hiện thực hóa thành công một sản phẩm mẫu kết nối phần cứng và phần mềm thực tế để điều khiển ứng dụng máy tính. Nhờ sử dụng module cảm biến bán dẫn thương mại kích thước nhỏ gọn của Texas Instruments, hệ thống hoàn toàn sẵn sàng để đóng gói thành sản phẩm thương mại ứng dụng trong y tế vô trùng, nhà thông minh và buồng lái phương tiện tự hành.

Kết luận

• Xây dựng thành công hệ thống nhận diện cử chỉ động hoàn chỉnh trên nền tảng radar sóng milimet FMCW băng tần 77 GHz và công nghệ học sâu.
• Chứng minh tính ưu việt của mô hình LSTM với độ chính xác đạt 99.17%, thể hiện khả năng thích ứng và độ ổn định cao nhất trên các tập dữ liệu kiểm thử độc lập.
• Hiện thực hóa ứng dụng điều khiển đa phương tiện máy tính thời gian thực với độ trễ thấp dưới 45 mili-giây, minh chứng tính khả thi cao của giải pháp phần cứng kết hợp phần mềm.
• Giải quyết triệt để bài toán bảo mật quyền riêng tư cá nhân và thách thức môi trường ánh sáng phức tạp mà các cảm biến quang học truyền thống không thể khắc phục.
• Đóng góp nguồn tài liệu học thuật và mã nguồn thực nghiệm giá trị cho cộng đồng nghiên cứu kỹ thuật viễn thông và trí tuệ nhân tạo biên tại Việt Nam.

Trong giai đoạn 6 đến 12 tháng tới, hướng nghiên cứu sẽ tập trung vào việc nhúng toàn diện mô hình học sâu trực tiếp lên vi xử lý DSP của chip radar và mở rộng thư viện cử chỉ phức hợp. Các đơn vị nghiên cứu và doanh nghiệp quan tâm đến việc chuyển giao công nghệ tương tác không tiếp xúc có thể kết nối trực tiếp với nhóm tác giả tại Trường Đại học Bách Khoa – ĐHQG TP.HCM để cùng phát triển các ứng dụng thương mại tiên tiến.

Trích đoạn nội dung tài liệu

Đặt vấn đề Cùng với sự phát triển của khoa học công nghệ hiện nay, công nghệ nhận diện hành động đã và đang được ứng dụng rộng rãi trong nhiều lĩnh vực như thực tế ảo, trò chơi, tự động hóa, các thiết bị đeo, điện thoại di động và y tế. Nhận diện hành động có thể tích hợp trong nhiều loại thiết bị, máy ảnh quang học, hoặc các bộ điều khiển dựa trên hành động và radar. Ngày nay, công nghệ nhận diện dựa trên máy ảnh quang học đang được ứng dụng rộng rãi. Tuy nhiên, công nghệ này còn nhiều hạn chế trong cả phần cứng và phần mềm: cảm biến của máy ảnh rất nhạy với điều kiện ánh sáng, trong các điều kiện môi trường như bụi, thời tiết, thiếu sáng, dư sáng, vết trầy xước trên thấu kính đều có thể ảnh hưởng đến chất lượng của dữ liệu.

Trên hết, công nghệ dựa trên máy ảnh có thể trở thành đối tượng tấn công, bởi vì các dữ liệu ảnh có thể dễ dàng đưa vào hệ thống. Gần đây, công nghệ nhận diện hành động bằng radar đang dần được phổ biến, không bị ảnh hưởng bởi điều kiện ánh sáng và thời tiết. Hơn nữa, một cảm biến duy nhất có thể thu thập dữ liệu khoảng cách, hướng trong không gian 2 chiều và 3 chiều, cũng như vận tốc của vật thể dựa trên nguyên lý Doppler. Những thông số này có thể tăng khả năng phân loại và độ chính xác của hệ thống.

Mục tiêu và nhiệm vụ của luận văn 1. Mục tiêu Luận văn nghiên cứu, triển khai hệ thống nhận dạng hành động sử dụng hệ thống Radar FMCW với các mục tiêu sau: 1. Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong đo đạc thông số khoảng cách và vận tốc của đối tượng. Xây dựng mô hình thu thập dữ liệu hành động sử dụng hệ thống Radar FMCW.

Xây dựng giải thuật nhận diện hành động sử dụng dữ liệu thu thập của hệ thống Radar FMCW kết hợp mô hình học sâu. Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc thực nghiệm trên Module Radar FMCW. Nhiệm vụ luận văn • Nghiên cứu hệ thống Radar FMCW và ứng dụng của hệ thống Radar trong đo đạc thông số khoảng cách và vận tốc của đối tượng • Xây dựng mô hình thu thập dữ liệu hành động sử dụng hệ thống Radar FMCW. • Xây dựng giải thuật nhận diện hành động sử dụng dữ liệu thu thập của hệ thống Radar FMCW kết hợp mô hình học sâu.

• Đánh giá hiệu quả của giải thuật nhận diện hành động với tập dữ liệu đo đạc thực nghiệm trên Module Radar FMCW. Đối tượng và phạm vi nghiên cứu 1. Đối tượng nghiên cứu Hệ thống nhận diện hành động dùng trong luận văn này được xây dựng dựa trên tiền đề các giải thuật học sâu như CONV1D, LSTM [1], và Transformer [2] và nền tảng công nghệ Radar FMCW với bước sóng milimet thông qua việc sử dụng module IWR1642BOOST được sản xuất bởi hãng Texas Instruments. Phạm vi nghiên cứu Hệ thống FMCW Radar nhận diện hành động dùng trong luận văn này được xây dựng và áp dụng trong môi trường một phòng làm việc thông thường, với các vật dụng và thiết bị văn phòng xung quanh cơ bản như bàn, ghế làm việc, máy tính để bàn.

Phương pháp nghiên cứu Phương pháp nghiên cứu được sử dụng trong luận văn là phương pháp tiếp cận có hệ thống. Các công trình liên quan được khảo sát, phân tích, tổng hợp, và đánh giá ưu nhược điểm. Hệ thống triển khai được mô phỏng để đánh giá hiệu năng và sau đó tín hiệu dữ liệu thực nghiệm được thu thập thông qua các bài đo trong môi trường thật. Các hệ thống phần cứng, phần mềm, giải thuật được tích hợp nhằm đánh giá hiệu quả, đi sâu hơn về việc phân tích các ưu điểm, các kết quả dựa trên tính kỹ thuật và chỉ ra các vấn đề còn cần được nghiên cứu để tiếp tục phát triển.

Cuối cùng đề tài đưa ra một hệ thống thực tế để chứng minh điều đó. 2 Phương pháp nghiên cứu trình bày qua các bước sau: 1. Tìm kiếm tài liệu, công trình nghiên cứu liên quan. Đọc và xem xét tổng quan các công trình nghiên cứu, các tài liệu đã tìm kiếm có liên quan đến đề tài đang hướng tới.

Phân tích và phân loại các phương pháp tiếp cận vấn đề của các công trình nghiên cứu trước đó so sánh ưu, nhược điểm của các phương pháp. Từ đó đưa ra lựa chọn phương pháp phù hợp. Viết báo cáo đánh giá các kết quả đạt được, đưa ra nhận xét và kiến nghị. Bố cục của luận văn Luận văn này được trình bày với nội dung các chương như sau: Chương 1 trình bày những nhiệm vụ và mục tiêu của luận văn.

Chương 2 trình bày các khái niệm liên quan về việc xây dựng một hệ thống nhận diện hành động dùng Radar FMCW, cơ sở lý thuyết và cấu tạo của hệ thống. Chương 3 trình bày các giải thuật nhận diện hành động, huấn luyện các mô hình nhận diện sau đó phân tích và đánh giá kết quả với tập dữ liệu cho trước và tập dữ liệu lấy mẫu thực tế. Chương 4 trình bày hệ thống nhận diện hành động hoàn chỉnh với module IWR1642Boost với giải thuật đã xây dựng và khảo sát ở chương 3. Cuối cùng, chương 5 đưa ra kết luận đánh giá tổng quát và trình bày về các hướng phát triển trong tương lai.

TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU VÀ CƠ SỞ LÝ THUYẾT LIÊN QUAN 2. Hệ thống nhận diện hành động Nhận dạng hành động là quá trình xác định các hành động được thực hiện bởi người dùng bằng máy tính. Từ đó con người có thể điều khiển máy móc bằng hành động. Chủ yếu có hai phương pháp nhận dạng hành động là dựa trên hành động tĩnh và động.

Phương pháp nhận diện tĩnh chỉ có thể nhận dạng được các hành động đã được định nghĩa trước. Trong khi đó, cử động có nhiều ý nghĩa thực tế hơn, mặc dù gặp nhiều khó khăn [3]. Đã có nhiều nghiên cứu phát triển các kỹ thuật nhận dạng dựa trên thị giác máy tính [4], cảm biến tiếp xúc [5], và radar [6] [7]. Hình 2-1: Một số kỹ thuật nhận dạng hành động Các kỹ thuật dựa trên hình ảnh như camera sẽ bị ảnh hưởng nhiều bởi ánh sáng môi trường và gặp nhiều vấn đề liên quan đến bảo mật.

Bên cạnh đó các kỹ thuật sử dụng cảm biến tiếp xúc có thể mang lại độ chính xác tốt hơn và ít phụ thuộc vào môi trường bên ngoài, nhưng lại cồng kềnh và khó triển khai mở rộng. Hệ thống nhận diện bằng radar sẽ hạn chế được sự phụ thuộc vào môi trường ánh sáng, đảm bảo sự riêng tư, bảo mật và dễ dàng triển khai. Hệ thống nhận diện hành động bằng Radar FMCW Radar FMCW là kỹ thuật ngày càng được ứng dụng rộng rãi trong việc đo khoảng cách và vận tốc chuyển động của các vật thể ở khoảng cách gần (từ vài chục cm đến vài km). Ngoài ra, các hệ thống Radar FMCW còn có thể được tích hợp trong các ứng dụng có độ phức tạp cao như tái tạo hình ảnh vật thể, phân loại đối tượng, nhận diện hành động nhằm khắc phục các điểm yếu của các công nghệ khác như camera (vấn đề về bảo mật), cảm biến tiếp xúc (cồng kềnh khó triển khai).

Ngoài ra, với ứng dụng của học sâu, các hành động phức tạp có thể được nhận dạng mà các phương pháp đã được phát triển trước đây chưa giải quyết được. Hình 2-2: Sơ đồ khối hệ thống nhận diện hành động bằng Radar FMCW Hệ thống nhận diện bao gồm một Radar FMCW dùng để thu thập dữ liệu chuyển động, dữ liệu sẽ được máy tính xử lý và lưu trữ dùng để huấn luyện và nhận dạng. Tổng quan về hệ thống Radar FMCW RADAR (Radio Detection And Ranging), là một kỹ thuật hoặc hệ thống được sử dụng để xác định phạm vi, góc hoặc vận tốc của các vật thể trong môi trường bằng sóng vô tuyến. Khác với những hệ thống cảm biến thụ động như thị giác máy tính chỉ có thể nhận được tín hiệu hoặc ánh sáng phản xạ từ môi trường, radar sử dụng một hệ thống các cảm biến chủ động phát ra các tín hiệu vô tuyến được điều chế và thu nhận lại các tín hiệu đó từ các vật thể.

Bằng cách tham chiếu các tín hiệu được truyền đi với tín hiệu thu nhận được, các thông tin của vật thể có thể được xác định. [8] 5 Hình 2-3: Sơ đồ khối của một hệ thống radar đơn giản [8] Hệ thống radar sóng milimet – mmWave radar, thông thường hoạt động tại các dãi tần 60 – 64 GHz hoặc 76 – 81 GHz với bước sóng chỉ vài milimet, gần đây đang được ứng dụng rộng rãi trong thương mại. Lợi ích lớn nhất của các hệ thống mmWave radar là các phần cao tần và anten có kích thước nhỏ gọn do sử dụng tần số cao. Ngoài ra mmWave radar có thể cung cấp băng thông tín hiệu cao lên đến 4 GHz, đồng nghĩa với độ phân giải cao lên đến 3.

FMCW radar (Frequency-Modulated Continuous Wave radar) là hệ thống radar phát tín hiệu liên tục với tần số tín hiệu thay đổi theo thời gian. Một thiết bị radar sóng liên tục nếu không sử dụng điều chế tần số có nhược điểm không thể xác định được thông số khoảng cách đến vật thể vì thiếu thông tin chỉ thị thời gian cần thiết cho phép hệ thống xác định được thời gian chính xác giữa thời điểm phát và thu được dùng để xác định khoảng cách. Có 3 loại điều chế tần số cơ bản được minh họa trong Hình 2-4 gồm sóng răng cưa, sóng tam giác và sóng sin. 6 Hình 2-4: Các dạng sóng FMCW Đối với hệ thống FMCW radar, tần số được thay đổi liên tục theo mộ chu kỳ và tuân theo quy tắc điều chế dạng xung.

Từ đó tín hiệu cũng được bức xạ ra không gian nhà anten phát sau đó được thu lại bởi anten thu và trộn với tín hiệu phát tại bộ trộn tần (MIXER) cho ra tín hiệu trung tần – IF. Tín hiệu IF này sẽ được đưa qua bộ lọc và khuếch đại trước khi xử lý. Cấu tạo và cơ chế hoạt động của hệ thống Radar FMCW Các hệ thống radar đều được cấu tạo từ những khối cơ bản sau: bộ phát sóng (transmitter), bộ thu sóng (receiver), bộ khuếch đại nhiễu thấp (low-noise amplifier), và bộ xử lý tín hiệu (signal processor) [8]. Các hệ thống radar khác nhau sẽ có những thành phần trong từng khối khác nhau.

Hình 2-5: Sơ đồ giản lược của hệ thống Radar FMCW 7 2.