Tổng quan nghiên cứu

Theo thống kê của Tổ chức Y tế Thế giới (WHO), toàn cầu có khoảng 250 triệu người khiếm thính, chiếm tỷ lệ 4,2% dân số thế giới. Tại Việt Nam, kết quả tổng điều tra dân số ghi nhận hơn 2,5 triệu người khiếm thính đang gặp nhiều rào cản lớn trong giao tiếp xã hội do suy giảm thính lực và khả năng biểu đạt ngôn ngữ tự nhiên. Để giải quyết thực trạng này, các công nghệ hỗ trợ chuyển đổi ngôn ngữ ký hiệu sang văn bản hoặc giọng nói đóng vai trò vô cùng cấp thiết. Tuy nhiên, các giải pháp công nghệ hỗ trợ chuyên biệt cho Ngôn ngữ ký hiệu Việt Nam (VSL) tại thời điểm thực hiện đề tài còn rất hạn chế và chưa mang lại hiệu quả cao trong thực tế.

Nghiên cứu tập trung giải quyết bài toán tự động nhận dạng cử chỉ bàn tay trong ngôn ngữ ký hiệu thông qua thiết bị phần cứng găng tay cảm biến kết hợp thuật toán xử lý dữ liệu thông minh. Mục tiêu cụ thể của đề tài là thiết kế, chế tạo thành công một thiết bị găng tay cảm biến giá thành thấp và xây dựng chương trình nhận dạng hoàn chỉnh 43 ký hiệu cơ bản trong tiếng Việt, bao gồm 29 chữ cái trong bảng chữ cái Latinh, 4 dấu thanh tiếng Việt và 10 chữ số tự nhiên.

Nghiên cứu được triển khai trong giai đoạn từ năm 2014 đến năm 2017 tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi mở ra hướng tiếp cận mới trong giao tiếp người - máy, hỗ trợ đắc lực cho công tác giáo dục chuyên biệt và nâng cao năng lực hòa nhập cộng đồng cho hơn 2,5 triệu người khiếm thính trên cả nước.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp chặt chẽ giữa các nền tảng lý thuyết phần cứng nhúng và giải thuật nhận dạng mẫu:

  1. Lý thuyết động học không gian 3 chiều và Góc Euler / Tait-Bryan: Để xác định chính xác hướng và tư thế của bàn tay trong không gian 3 chiều (3D), mô hình ứng dụng hệ trục tọa độ hàng không với 3 góc quay thành phần gồm Yaw (góc quay quanh trục thẳng đứng), Pitch (góc nghiêng lên xuống) và Roll (góc nghiêng cánh tay). Đồng thời, giải pháp xử lý giới hạn góc được thiết lập để khắc phục triệt để hiện tượng khóa trục Gimbal (Gimbal Lock) khi góc nghiêng đạt ngưỡng 90 độ.
  2. Lý thuyết biến đổi tín hiệu tương tự sang số (ADC) và cầu phân áp: Khảo sát đặc tính kỹ thuật của bộ chuyển đổi ADC 10-bit xấp xỉ lần lượt tích hợp trên vi điều khiển, kết hợp mạch cầu chia áp giữa cảm biến uốn cong Flex Sensor (dải điện trở biến thiên từ 25kΩ khi duỗi thẳng đến 45kΩ khi uốn cong tối đa) với điện trở chuẩn R2 xấp xỉ 40kΩ.
  3. Thuật toán Xoắn thời gian động (Dynamic Time Warping - DTW): Cơ sở toán học so khớp chuỗi tín hiệu thời gian phi tuyến, tính toán khoảng cách chuẩn hóa thời gian giữa tín hiệu thu được với tập dữ liệu mẫu nhằm tối ưu hóa độ chính xác nhận dạng.
  4. Các khái niệm cốt lõi: Ngôn ngữ ký hiệu Việt Nam (VSL), Cảm biến quán tính (INS), Giao tiếp nối tiếp RS232/SPI và Công nghệ dựng hình 3D trên nền tảng WPF (Windows Presentation Foundation).

Phương pháp nghiên cứu

  • Nguồn dữ liệu: Dữ liệu thực nghiệm được thu thập trực tiếp từ hệ thống phần cứng găng tay cảm biến gồm 10 cảm biến uốn cong Flex Sensor 2,2 inch gắn trên các khớp ngón tay và 2 cảm biến gia tốc ADXL345 (1 cảm biến gắn ở mu bàn tay để đo hướng tổng thể, 1 cảm biến gắn riêng tại ngón cái để xác định góc xoay tự do).
  • Cỡ mẫu và phương pháp chọn mẫu: Tập dữ liệu chuẩn bao gồm 43 mẫu ký hiệu đặc trưng của VSL. Mẫu được chọn theo phương pháp chọn mẫu mục đích, bao phủ toàn diện 29 chữ cái, 4 dấu thanh (huyền, sắc, hỏi, ngã) và 10 chữ số từ 0 đến 9.
  • Phương pháp phân tích dữ liệu: Sử dụng thuật toán DTW so khớp trên miền cửa sổ trượt 4 mẫu liên tục thay vì các phương pháp so khớp khoảng cách Euclidean tĩnh từng điểm. Lý do lựa chọn là vì cử chỉ thực tế của con người luôn có sự dao động, biến thiên tốc độ và rung lắc nhẹ giữa các lần thao tác; thuật toán DTW trên 4 mẫu liền kề cho phép triệt tiêu nhiễu môi trường và sai số cơ khí.
  • Timeline nghiên cứu: Quá trình thiết kế mạch phần cứng, thu thập dữ liệu, hiệu chuẩn cảm biến và tối ưu hóa giải thuật nhận dạng được thực hiện liên tục từ tháng 9/2014 đến tháng 5/2017.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được các kết quả thực nghiệm nổi bật với hệ thống số liệu định lượng rõ ràng:

  1. Hoàn thiện thiết bị phần cứng găng tay cảm biến: Tích hợp thành công 10 cảm biến cong Flex Sensor và 2 cảm biến gia tốc ADXL345 vào vi điều khiển ATmega32 hoạt động ở tần số 8MHz. Hệ thống xử lý đồng thời 12 kênh ADC và giao tiếp SPI với tốc độ truyền dữ liệu serial ổn định 57.600 baud qua cổng USB/RS232.
  2. Hiệu suất nhận dạng chính xác cao trên tập 43 ký hiệu: Hệ thống nhận dạng thành công toàn bộ 43 ký hiệu ngôn ngữ ký hiệu Việt Nam. Độ chính xác nhận dạng đối với các ký hiệu chữ cái và chữ số ở trạng thái tĩnh đạt trên 95%, trong khi các ký hiệu động có kèm chuyển động xoay cổ tay (như các ký tự đặc thù tiếng Việt Ô, Ơ, Ư, Ê, Â và 4 dấu thanh) đạt độ chính xác từ 90% đến 93%.
  3. Giảm thiểu sai số nhờ giải thuật DTW 4 mẫu liên tục: So với giải thuật so khớp khoảng cách Euclid tĩnh truyền thống (tỷ lệ lỗi nhận diện sai do rung tay lên tới khoảng 18%), việc áp dụng thuật toán DTW trên cửa sổ 4 mẫu liên tục đã giảm tỷ lệ lỗi xuống dưới 5%, đảm bảo khả năng đáp ứng ổn định.
  4. Tái tạo mô hình đồ họa 3D thời gian thực: Ứng dụng mô phỏng 3 chiều trên nền tảng WPF phản hồi nhanh chóng chuyển động của bàn tay với độ trễ xử lý tín hiệu dưới 100 mili-giây (ms), cho phép trực quan hóa tư thế bàn tay người dùng ngay lập tức trên màn hình máy tính.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống đạt độ chính xác cao là nhờ sự kết hợp tối ưu giữa việc trích xuất vector góc Euler từ gia tốc kế ADXL345 và khả năng bù trễ phi tuyến của thuật toán DTW. Khi một người thực hiện ký hiệu cử chỉ tay, tốc độ uốn cong các khớp ngón tay và góc xoay cổ tay thường không đồng nhất theo thời gian. Giải thuật DTW tự động tìm đường bao khớp tối ưu trong ma trận khoảng cách, giúp nhận diện chính xác hình thái cử chỉ mà không bị phụ thuộc vào tốc độ thao tác nhanh hay chậm của người đeo.

So sánh với các phương pháp nhận dạng bằng phân tích hình ảnh qua camera (thường chịu ảnh hưởng mạnh bởi điều kiện ánh sáng môi trường, vật cản và góc quay khuất với tỷ lệ sai lệch hình ảnh trong điều kiện thiếu sáng từ 15% đến 20%), hệ thống găng tay cảm biến chứng minh ưu thế vượt trội về độ ổn định, tính di động và khả năng vận hành độc lập với môi trường xung quanh.

Dữ liệu hiệu năng của hệ thống có thể được minh họa trực quan thông qua biểu đồ cột so sánh độ chính xác nhận dạng giữa phương pháp so khớp tĩnh (khoảng 82%) và phương pháp DTW 4 mẫu (trên 95%), cùng bảng ma trận nhầm lẫn (confusion matrix) chi tiết ghi nhận tỷ lệ phân lớp thành công của 43 ký hiệu cử chỉ tay.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm đạt được, đề tài đề xuất 4 nhóm giải pháp cụ thể nhằm hoàn thiện và thương mại hóa sản phẩm:

  1. Tối ưu hóa thiết kế phần cứng và không dây hóa thiết bị: Tích hợp toàn bộ mạch vi điều khiển, module Bluetooth Low Energy (BLE) và mạch quản lý nguồn pin sạc vào một bo mạch nhỏ gọn gắn trên vòng đeo cổ tay. Mục tiêu định lượng: Giảm 40% kích thước phần cứng, duy trì thời lượng hoạt động liên tục trên 8 giờ. Thời gian thực hiện: 6 - 12 tháng. Chủ thể thực hiện: Nhóm kỹ sư phần cứng và phát triển hệ thống nhúng.
  2. Mở rộng kho dữ liệu từ điển cử chỉ VSL: Mở rộng việc thu thập dữ liệu từ mức ký tự đơn lẻ sang mức nhận diện các từ vựng và câu giao tiếp hoàn chỉnh trong đời sống hàng ngày. Mục tiêu định lượng: Nâng quy mô từ điển nhận dạng từ 43 ký hiệu lên hơn 500 từ và cụm câu thông dụng. Thời gian thực hiện: 12 - 18 tháng. Chủ thể thực hiện: Các viện nghiên cứu phối hợp cùng Hội Người điếc Việt Nam và các trung tâm giáo dục đặc biệt.
  3. Nâng cấp thuật toán sang mô hình học sâu (Deep Learning): Ứng dụng các mạng nơ-ron hồi quy như LSTM (Long Short-Term Memory) hoặc Transformer để phân loại chuỗi thời gian liên tục phức tạp hơn. Mục tiêu định lượng: Đạt độ chính xác nhận dạng trên 98% với độ trễ xử lý dưới 50ms trên các thiết bị di động. Thời gian thực hiện: 6 - 9 tháng. Chủ thể thực hiện: Các nhóm nghiên cứu về Trí tuệ nhân tạo và Khoa học máy tính.
  4. Xây dựng ứng dụng di động chuyển đổi hai chiều: Phát triển ứng dụng trên điện thoại thông minh kết nối với găng tay, hỗ trợ chuyển đổi cử chỉ tay thành giọng nói tiếng Việt và ngược lại từ giọng nói người nghe thành hình ảnh mô phỏng 3D. Mục tiêu định lượng: Đạt 10.000 lượt tải dùng thử và tỷ lệ hài lòng người dùng trên 85%. Thời gian thực hiện: 12 tháng. Chủ thể thực hiện: Các doanh nghiệp công nghệ thông tin và đơn vị phát triển phần mềm hỗ trợ người khuyết tật.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho nhiều nhóm đối tượng:

  1. Sinh viên, học viên cao học chuyên ngành Khoa học máy tính và Kỹ thuật điều khiển: Luận văn cung cấp toàn bộ quy trình từ thiết kế mạch cầu phân áp, xử lý tín hiệu cảm biến ADC 10-bit trên chip AVR ATmega32 đến giải thuật nhận dạng mẫu chuỗi thời gian DTW.
  2. Kỹ sư nghiên cứu và phát triển thiết bị nhúng / Công nghệ thiết bị đeo (Wearable Tech): Tham khảo kiến trúc kết nối phần cứng giữa cảm biến uốn cong Flex Sensor và cảm biến gia tốc ADXL345 qua giao tiếp SPI, phục vụ việc chế tạo các loại găng tay thông minh trong thực tế.
  3. Chuyên gia nghiên cứu Tương tác người - máy (HCI) và Công nghệ Thực tế ảo (VR/AR): Ứng dụng phương pháp đo góc Euler/Tait-Bryan và kỹ thuật dựng hình bàn tay 3D thời gian thực trên WPF để điều khiển các đối tượng ảo và mô phỏng cử động cơ thể.
  4. Các trung tâm giáo dục chuyên biệt và tổ chức xã hội vì người khuyết tật: Khai thác nền tảng giải pháp kỹ thuật để xây dựng các công cụ hỗ trợ giao tiếp và giảng dạy trực quan, giúp người khiếm thính tiếp cận tri thức bình đẳng và hòa nhập xã hội hiệu quả.

Câu hỏi thường gặp

1. Tại sao nghiên cứu lựa chọn găng tay cảm biến thay vì phương pháp nhận dạng qua camera? Phương pháp cảm biến thu nhận trực tiếp dữ liệu uốn cong của từng khớp ngón tay và góc nghiêng của bàn tay, không bị phụ thuộc vào điều kiện ánh sáng, góc quay bị che khuất hay khoảng cách quan sát như camera xử lý ảnh. Điều này giúp hệ thống hoạt động ổn định và chính xác trong mọi không gian thực tế.

2. Thuật toán Xoắn thời gian động (DTW) có vai trò gì trong việc nhận dạng cử chỉ? Thuật toán DTW cho phép so khớp hai chuỗi dữ liệu tín hiệu có độ dài và tốc độ thực hiện khác nhau. Khi kết hợp phân tích trên cửa sổ trượt 4 mẫu liên tục, DTW giúp loại bỏ hoàn toàn các sai số do hiện tượng rung tay hoặc tốc độ thao tác không đều của người sử dụng, nâng cao độ chính xác nhận diện.

3. Hệ thống hiện tại có thể nhận diện được những ký hiệu nào trong tiếng Việt? Hệ thống nhận dạng được trọn vẹn tập dữ liệu 43 ký hiệu chuẩn của Ngôn ngữ ký hiệu Việt Nam (VSL), bao gồm 29 chữ cái Latinh, 4 dấu thanh đặc thù tiếng Việt (huyền, sắc, hỏi, ngã) và 10 chữ số tự nhiên từ 0 đến 9.

4. Thiết bị găng tay sử dụng những loại cảm biến chính nào? Hệ thống sử dụng 10 cảm biến uốn cong Flex Sensor 2,2 inch (gắn trên 2 khớp tích cực của 5 ngón tay) và 2 cảm biến gia tốc 3 trục ADXL345 (1 cảm biến gắn ở mu bàn tay và 1 cảm biến gắn ở ngón cái để xác định góc xoay tự do), kết nối cùng vi điều khiển ATmega32.

5. Hệ thống có thể mở rộng để nhận diện cả câu giao tiếp phức tạp hay không? Hoàn toàn khả thi. Nền tảng phần cứng thu thập 12 kênh dữ liệu và giải thuật xử lý chuỗi thời gian DTW trong luận văn là tiền đề kỹ thuật vững chắc để mở rộng tập từ vựng từ cấp độ ký tự lên cấp độ từ và câu đàm thoại hoàn chỉnh trong tương lai.

Kết luận

  • Chế tạo thành công thiết bị găng tay cảm biến tích hợp 10 cảm biến Flex Sensor 2,2 inch và 2 cảm biến gia tốc ADXL345 trên nền tảng vi điều khiển ATmega32 hoạt động ổn định.
  • Ứng dụng thành công lý thuyết động học góc Euler/Tait-Bryan để xác định chính xác hướng bàn tay trong không gian 3 chiều và xử lý thành công hiện tượng Gimbal Lock.
  • Xây dựng giải thuật so khớp Xoắn thời gian động (DTW) trên cửa sổ 4 mẫu liên tục, nhận dạng chính xác toàn bộ 43 ký hiệu ngôn ngữ ký hiệu Việt Nam với độ chính xác đạt trên 95%.
  • Phát triển phần mềm mô phỏng 3D thời gian thực trên nền tảng WPF với độ trễ phản hồi dưới 100ms, hỗ trợ trực quan hóa cử động bàn tay nhanh chóng.
  • Đóng góp một giải pháp công nghệ giá thành thấp, giàu tính nhân văn, tạo nền móng vững chắc cho việc phát triển các thiết bị giao tiếp thông minh phục vụ cộng đồng khiếm thính.

Trong vòng 12 đến 24 tháng tới, các hướng phát triển tiếp theo cần tập trung vào việc không dây hóa thiết bị qua chuẩn Bluetooth BLE và mở rộng từ điển nhận dạng lên hơn 500 từ vựng. Đề tài mở ra tiềm năng hợp tác to lớn giữa các nhóm nghiên cứu học thuật, doanh nghiệp công nghệ và các tổ chức cộng đồng nhằm sớm đưa sản phẩm vào ứng dụng thực tiễn, góp phần xóa bỏ rào cản giao tiếp cho người khiếm thính tại Việt Nam.