Tổng quan nghiên cứu

Nhận diện cử chỉ tay là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong bối cảnh gần 7% dân số Việt Nam từ 2 tuổi trở lên bị điếc hoặc gặp vấn đề về thính giác, tương đương hơn 6,2 triệu người. Việc giao tiếp của nhóm đối tượng này chủ yếu dựa vào ngôn ngữ ký hiệu, vốn có cú pháp khác biệt và khó học, dẫn đến nhiều người khiếm thính không thành thạo ngôn ngữ ký hiệu, gây ra rào cản giao tiếp nghiêm trọng. Nghiên cứu này nhằm phát triển một hệ thống nhận diện cử chỉ tay dựa trên cảm biến trở kháng sinh học, giúp hỗ trợ giao tiếp cho người khiếm thính, nâng cao chất lượng cuộc sống và mở rộng ứng dụng trong các lĩnh vực y tế, giáo dục và công nghiệp.

Mục tiêu cụ thể của luận văn là thiết kế và xây dựng một thiết bị đo trở kháng sinh học sử dụng IC AD5933, thu thập dữ liệu trở kháng từ các cử chỉ tay, và áp dụng mô hình học sâu Convolutional Neural Network (CNN) để nhận dạng cử chỉ theo thời gian thực trên nền tảng Raspberry Pi 4 Model B. Phạm vi nghiên cứu tập trung vào 9 cử chỉ tay phổ biến trong ngôn ngữ ký hiệu Việt Nam, thu thập dữ liệu từ hai người khiếm thính tại TP. Hồ Chí Minh trong năm 2023. Độ chính xác mô hình đạt 92%, cho thấy tiềm năng ứng dụng thực tiễn trong giao tiếp phi ngôn ngữ giữa người với người và người với máy.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: lý thuyết trở kháng điện tử sinh học và mô hình học sâu CNN. Trở kháng sinh học đo đặc tính điện của mô và tế bào, được biểu diễn dưới dạng số phức gồm phần thực và phần ảo, phản ánh điện trở và điện kháng của mô theo tần số tín hiệu kích thích. IC AD5933 được sử dụng để phát tín hiệu xoay chiều 40 kHz và thu nhận tín hiệu phản hồi, xử lý bằng thuật toán biến đổi Fourier rời rạc (DFT) để tính toán trở kháng.

Mô hình CNN được áp dụng để phân loại dữ liệu trở kháng thu thập từ 5 điện cực đặt trên các ngón tay, khai thác khả năng trích xuất đặc trưng tự động từ dữ liệu đa chiều, phù hợp với bài toán nhận dạng cử chỉ tay. Các khái niệm chính bao gồm: trở kháng sinh học, tần số kích thích, điện cực sinh học, học sâu CNN, và nhận dạng cử chỉ tay (Hand Gesture Recognition - HGR).

Phương pháp nghiên cứu

Nguồn dữ liệu được thu thập trực tiếp từ hai người khiếm thính, với 9 loại cử chỉ tay, mỗi cử chỉ được đo trong khoảng 1,5 giây, gồm 5 lần quét tần số, mỗi lần trả về 5 giá trị trở kháng tương ứng 5 ngón tay. Dữ liệu được lưu dưới dạng ma trận 5x5 đặc trưng cho từng cử chỉ.

Phương pháp phân tích sử dụng mô hình học sâu CNN được huấn luyện ngoại tuyến trên máy tính, sau đó triển khai trên Raspberry Pi 4 để nhận dạng cử chỉ theo thời gian thực. Cỡ mẫu tuy hạn chế nhưng đủ để đánh giá hiệu quả mô hình với độ chính xác 92%. Quá trình thu thập và phân tích dữ liệu được thực hiện từ tháng 2 đến tháng 6 năm 2023 tại TP. Hồ Chí Minh.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Độ chính xác mô hình CNN đạt 92% trong nhận dạng 9 cử chỉ tay, vượt trội so với mô hình Fully Connected Network (FCN) trước đó chỉ đạt khoảng 76%. Điều này chứng tỏ CNN phù hợp với bài toán nhận dạng dựa trên dữ liệu trở kháng sinh học.

  2. Dữ liệu trở kháng thu thập từ 5 điện cực trên các ngón tay cho phép phân biệt rõ ràng các cử chỉ tĩnh và động, với sự khác biệt về giá trị trở kháng tại từng ngón tay thể hiện qua ma trận dữ liệu.

  3. Hệ thống vận hành ổn định với tần số kích thích 40 kHz, dòng điện phát ra ≤ 1mA, đảm bảo an toàn theo tiêu chuẩn IEC-60601, đồng thời thu được tín hiệu trở kháng có độ nhạy cao.

  4. Thiết bị nhỏ gọn, sử dụng mạch VCCS và mạch ghép Multiplexer, giúp thu thập dữ liệu đa kênh hiệu quả, phù hợp cho ứng dụng đeo tay và vận hành thời gian thực.

Thảo luận kết quả

Nguyên nhân chính dẫn đến độ chính xác cao của mô hình CNN là khả năng trích xuất đặc trưng không gian và thời gian từ dữ liệu trở kháng đa chiều, giúp phân biệt các cử chỉ tay phức tạp. So với các nghiên cứu sử dụng cảm biến hình ảnh hoặc cảm biến chiều sâu, phương pháp sử dụng cảm biến trở kháng có ưu điểm về bảo mật dữ liệu, giảm thiểu ảnh hưởng của điều kiện ánh sáng và môi trường.

Kết quả này phù hợp với các báo cáo gần đây về ứng dụng trở kháng sinh học trong y sinh, mở rộng sang lĩnh vực nhận dạng cử chỉ tay. Mặc dù cỡ mẫu còn hạn chế, kết quả đủ để khẳng định tính khả thi và hiệu quả của phương pháp, đồng thời làm nền tảng cho các nghiên cứu mở rộng với số lượng mẫu lớn hơn và đa dạng hơn.

Dữ liệu có thể được trình bày qua biểu đồ ma trận nhầm lẫn (confusion matrix) và biểu đồ độ chính xác theo từng lớp cử chỉ, giúp trực quan hóa hiệu suất mô hình và các điểm nhạy cảm trong nhận dạng.

Đề xuất và khuyến nghị

  1. Mở rộng cỡ mẫu và đa dạng hóa đối tượng thử nghiệm nhằm nâng cao độ tin cậy và khả năng tổng quát của mô hình, dự kiến thực hiện trong 12 tháng tiếp theo, do các viện nghiên cứu và trường đại học phối hợp thực hiện.

  2. Phát triển thiết bị thành sản phẩm thương mại nhỏ gọn, dễ sử dụng, tích hợp giao diện người dùng thân thiện, hướng tới ứng dụng trong giáo dục và hỗ trợ người khiếm thính, với mục tiêu hoàn thiện trong 18 tháng.

  3. Nâng cao thuật toán học máy bằng cách áp dụng các mô hình học sâu tiên tiến hơn, như mạng LSTM hoặc kết hợp CNN-RNN để cải thiện nhận dạng cử chỉ động, dự kiến nghiên cứu trong 6 tháng tiếp theo.

  4. Tích hợp hệ thống với các thiết bị hỗ trợ giao tiếp khác, như trợ lý ảo hoặc robot phục vụ y tế, nhằm mở rộng ứng dụng trong chăm sóc sức khỏe và giao tiếp phi ngôn ngữ, triển khai thử nghiệm trong 24 tháng.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Vật lý kỹ thuật, Kỹ thuật y sinh: Nghiên cứu cung cấp kiến thức về cảm biến trở kháng sinh học và ứng dụng trong nhận dạng cử chỉ, hỗ trợ phát triển các đề tài liên quan.

  2. Chuyên gia phát triển thiết bị hỗ trợ người khiếm thính: Tham khảo phương pháp đo trở kháng và mô hình học máy để thiết kế sản phẩm hỗ trợ giao tiếp hiệu quả.

  3. Kỹ sư phần mềm và lập trình viên AI: Áp dụng mô hình CNN và quy trình thu thập dữ liệu thực tế để phát triển các ứng dụng nhận dạng cử chỉ theo thời gian thực.

  4. Cơ quan y tế và tổ chức xã hội: Hiểu rõ tiềm năng công nghệ trong hỗ trợ người khuyết tật, từ đó xây dựng chính sách và chương trình hỗ trợ phù hợp.

Câu hỏi thường gặp

  1. Phương pháp đo trở kháng sinh học có ưu điểm gì so với cảm biến hình ảnh?
    Phương pháp này không phụ thuộc vào điều kiện ánh sáng, bảo mật dữ liệu tốt hơn và giảm thiểu ảnh hưởng môi trường, đồng thời cho phép thu thập tín hiệu sinh lý trực tiếp từ mô.

  2. Tại sao chọn IC AD5933 cho thiết bị đo trở kháng?
    AD5933 tích hợp đầy đủ các thành phần cần thiết như bộ tạo tần số, DAC, ADC và DSP trên một chip nhỏ gọn, cho phép đo trở kháng chính xác ở tần số lên đến 100 kHz, phù hợp với ứng dụng thời gian thực.

  3. Mô hình học máy nào được sử dụng và tại sao?
    Mô hình Convolutional Neural Network (CNN) được chọn vì khả năng tự động trích xuất đặc trưng từ dữ liệu đa chiều, giúp phân loại cử chỉ tay hiệu quả với độ chính xác cao.

  4. Thiết bị có an toàn khi sử dụng trên người không?
    Dòng điện phát ra được kiểm soát ≤ 1mA và tần số kích thích 40 kHz, tuân thủ tiêu chuẩn IEC-60601 về an toàn thiết bị y tế, đảm bảo không gây hại cho người dùng.

  5. Ứng dụng thực tế của hệ thống này là gì?
    Hệ thống có thể hỗ trợ giao tiếp cho người khiếm thính, ứng dụng trong y tế như vật lý trị liệu, điều khiển robot phẫu thuật, và phát triển giao diện người-máy tự nhiên không dùng tiếng nói.

Kết luận

  • Luận văn đã phát triển thành công thiết bị nhận diện cử chỉ tay dựa trên cảm biến trở kháng sinh học sử dụng IC AD5933 và Raspberry Pi 4.
  • Mô hình học sâu CNN đạt độ chính xác 92% trong nhận dạng 9 cử chỉ tay phổ biến của ngôn ngữ ký hiệu Việt Nam.
  • Thiết bị nhỏ gọn, an toàn và vận hành theo thời gian thực, phù hợp ứng dụng trong hỗ trợ người khiếm thính và giao tiếp phi ngôn ngữ.
  • Kết quả nghiên cứu mở ra hướng phát triển mới cho công nghệ nhận dạng cử chỉ không dựa trên hình ảnh, tăng tính bảo mật và khả năng ứng dụng trong nhiều lĩnh vực.
  • Các bước tiếp theo bao gồm mở rộng cỡ mẫu, nâng cao thuật toán và phát triển sản phẩm thương mại, kêu gọi sự hợp tác từ các tổ chức nghiên cứu và doanh nghiệp công nghệ.

Hãy cùng tiếp tục nghiên cứu và ứng dụng công nghệ này để cải thiện cuộc sống cho cộng đồng người khiếm thính và mở rộng giao tiếp không lời trong xã hội hiện đại.