Tổng quan nghiên cứu

Theo thống kê từ Tổ chức Y tế Thế giới, toàn cầu hiện có khoảng 250 triệu người suy giảm thính lực, tương đương 4,2% dân số thế giới. Tại Việt Nam, số liệu từ cuộc Tổng điều tra Dân số và Nhà ở ghi nhận cộng đồng người khiếm thính đã vượt mức 2,5 triệu người. Nhóm dân số này gặp rất nhiều rào cản trong giao tiếp xã hội do khiếm khuyết khả năng tiếp nhận và biểu đạt âm thanh. Ngôn ngữ ký hiệu trở thành phương tiện giao tiếp tự nhiên và là công cụ tư duy thiết yếu của họ. Tuy nhiên, sự bất đồng ngôn ngữ giữa người khiếm thính và đại bộ phận cộng đồng bình thường tạo nên khoảng cách hòa nhập rất lớn. Trong khi các giải pháp thông dịch quốc tế đã có những bước tiến vượt bậc, các sản phẩm công nghệ hỗ trợ ngôn ngữ ký hiệu Việt Nam vẫn còn rất hạn chế và chưa đạt hiệu quả thực tiễn cao.

Mục tiêu trọng tâm của nghiên cứu là thiết kế và chế tạo hoàn chỉnh hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam thông qua thiết bị găng tay cảm biến kết hợp phần mềm xử lý dữ liệu tự động. Đề tài tập trung giải quyết bài toán thu thập tín hiệu chuyển động của bàn tay, số hóa các góc uốn của khớp ngón và góc nghiêng không gian, từ đó phân lớp chính xác cử chỉ thủ ngữ. Phạm vi nghiên cứu được thực hiện tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên trong giai đoạn từ năm 2014 đến năm 2017. Hệ thống hướng đến việc số hóa chuẩn xác 43 ký hiệu cơ bản của tiếng Việt với độ trễ truyền dữ liệu dưới 100 mili giây qua giao tiếp nối tiếp ở tốc độ 57600 baud, tạo nền tảng kỹ thuật vững chắc cho việc phát triển các thiết bị phiên dịch ngôn ngữ ký hiệu thời gian thực tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng kết hợp giữa cơ học động học không gian, kỹ thuật xử lý tín hiệu điện tử và ngôn ngữ học ký hiệu. Về mặt vật lý và toán học, đề tài ứng dụng lý thuyết góc Euler và quy ước góc Tait-Bryan trong không gian 3 chiều với 3 trục tọa độ X, Y, Z để xác định hướng của bàn tay thông qua 3 góc quay chuẩn gồm Roll (quay quanh trục dọc), Pitch (quay quanh trục ngang) và Yaw (quay quanh trục thẳng đứng). Để khắc phục hiện tượng khóa trục Gimbal Lock xảy ra khi góc Pitch đạt 90 độ, các phép chuẩn hóa vector gia tốc tĩnh được tích hợp nhằm duy trì tính toàn vẹn của dữ liệu không gian.

Về mặt kỹ thuật điện tử, nghiên cứu áp dụng nguyên lý chuyển đổi tương tự sang số (ADC) 10-bit theo phương pháp xấp xỉ lần lượt với điện áp tham chiếu tiêu chuẩn, chia dải tín hiệu điện áp thành 1024 mức lượng tử hóa rời rạc. Về mặt ngôn ngữ học, hệ thống bám sát cấu trúc ngữ pháp độc lập của ngôn ngữ ký hiệu Việt Nam, vốn được định hình bởi 5 đặc trưng bản thể gồm hình dạng bàn tay, vị trí so với cơ thể, hướng lòng bàn tay, quỹ đạo chuyển động và biểu cảm khuôn mặt. Ba khái niệm cốt lõi được chuẩn hóa xuyên suốt nghiên cứu gồm: điện trở uốn cong tỷ lệ thuận với góc gập khớp ngón, gia tốc trọng trường 1g trên các trục cảm biến, và độ tương đồng khoảng cách thời gian giữa các chuỗi cử chỉ động.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp mô hình hóa thuật toán số. Cỡ mẫu nghiên cứu được xác định gồm 43 phần tử chuẩn hóa đại diện cho toàn bộ hệ thống ký hiệu chữ cái và số học tiếng Việt, bao gồm 29 chữ cái trong bảng chữ cái Latin mở rộng, 4 dấu thanh đặc thù (huyền, sắc, hỏi, ngã) và 10 chữ số tự nhiên từ 0 đến 9. Phương pháp chọn mẫu cử chỉ được thực hiện có chủ đích dựa trên Quy chuẩn Ngôn ngữ Ký hiệu Việt Nam nhằm bảo đảm tính bao phủ toàn diện cả dạng ký hiệu tĩnh lẫn ký hiệu động có chuyển động xoay quanh cổ tay.

Phần cứng thu thập dữ liệu sử dụng một găng tay chuyên dụng gắn 10 cảm biến độ uốn cong loại 2,2 inch có dải điện trở biến thiên từ 25 kΩ ở trạng thái thẳng đến 45 kΩ khi uốn cong tối đa, phối ghép cùng điện trở phân áp 40 kΩ. Hai cảm biến gia tốc 3 trục ADXL345 với dải đo ±16g được bố trí tại mu bàn tay và đốt ngón tay cái. Toàn bộ tín hiệu được xử lý sơ bộ qua vi điều khiển ATmega32U4 tích hợp 12 kênh ADC 10-bit trước khi truyền lên máy tính. Để phân loại dữ liệu, tác giả lựa chọn thuật toán Xoắn thời gian động (Dynamic Time Warping - DTW) phân tích trên cửa sổ trượt 4 mẫu liên tục thay vì phép so khớp khoảng cách Euclidean tĩnh. Lý do lựa chọn DTW là vì thuật toán này cho phép co giãn phi tuyến tính trục thời gian, giúp nhận dạng chính xác các cử chỉ có tốc độ thực hiện không đồng đều và loại bỏ hoàn toàn các sai số do biến động cơ học ngẫu nhiên.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Hệ thống phần cứng găng tay cảm biến đã vận hành ổn định, thu thập đồng thời 12 kênh tín hiệu tương tự từ các khớp ngón tay và 3 trục gia tốc không gian với tần số lấy mẫu đạt mức đáp ứng thời gian thực qua chuẩn giao tiếp nối tiếp RS232 tốc độ 57600 bps. Dữ liệu thô sau khi đi qua bộ chia áp và mạch ADC 10-bit ghi nhận độ phân giải biên độ rõ rệt, phân biệt chính xác trạng thái gập 45 độ và 90 độ của từng khớp đốt ngón tay với dải giá trị từ 0 đến 1023 đơn vị số hóa.

Thuật toán Xoắn thời gian động trên miền 4 mẫu liên tiếp đã chứng minh hiệu quả vượt trội trong việc phân loại 43 phần tử dữ liệu cử chỉ. Đối với 29 chữ cái tĩnh và 10 chữ số tự nhiên, tỷ lệ nhận dạng đúng đạt trung bình trên 92%, trong đó các ký tự có tư thế bàn tay mở rộng hoàn toàn đạt độ chính xác gần 96%. Đối với 4 dấu thanh tiếng Việt mang tính động (huyền, sắc, hỏi, ngã), việc kết hợp dữ liệu gia tốc góc Roll và Pitch từ cảm biến ADXL345 đã giúp tỷ lệ nhận diện thành công đạt trên 88%, giảm thiểu 85% trường hợp nhận diện sai do hiện tượng rung tay không chủ ý so với phương pháp so khớp tĩnh truyền thống. Bên cạnh đó, ứng dụng phần mềm xây dựng trên nền tảng Windows Presentation Foundation (WPF) đã tái tạo mô hình 3D của bàn tay với 17 bậc tự do ảo, duy trì độ trễ khung hình dưới 50 mili giây.

Thảo luận kết quả

Nguyên nhân giúp hệ thống đạt độ chính xác cao xuất phát từ việc tính toán tối ưu giá trị điện trở phụ R2 xấp xỉ 40 kΩ trong mạch cầu phân áp, tạo ra độ biến thiên điện áp ngõ ra Vout lớn nhất khi điện trở cảm biến flex dao động giữa 25 kΩ và 45 kΩ. Đồng thời, việc chuẩn hóa vector gia tốc theo công thức tổng bình phương 3 trục bằng 1 đã loại bỏ triệt để các sai số do trôi điểm không của cảm biến gia tốc ADXL345.

So với các hệ thống nhận dạng dựa trên thị giác máy tính và camera quang học thông thường, phương pháp găng tay cảm biến khắc phục hoàn toàn điểm yếu về góc khuất ngón tay, không bị ảnh hưởng bởi cường độ ánh sáng môi trường hay màu sắc phông nền, đồng thời cắt giảm hơn 60% khối lượng tính toán phức tạp của bộ vi xử lý. Toàn bộ kết quả thực nghiệm nhận dạng 43 ký hiệu có thể được tổng hợp trực quan thông qua bảng ma trận nhầm lẫn và biểu đồ phân tán góc Euler, minh chứng cho sự phân tách ranh giới rõ ràng giữa các cụm cử chỉ tĩnh và cử chỉ động.

Đề xuất và khuyến nghị

Thứ nhất, nâng cấp cấu trúc phần cứng bằng cách tích hợp cảm biến đo lường quán tính 9 bậc tự do (kết hợp gia tốc kế, con quay hồi chuyển và từ kế số) thay thế cho cảm biến 3 trục đơn lẻ, nhằm loại bỏ hoàn toàn hiện tượng khóa trục Gimbal Lock và nâng độ chính xác của các cử chỉ xoay phức tạp lên trên 97%. Mục tiêu này do các kỹ sư phần cứng và hệ thống nhúng thực hiện trong thời gian 6 tháng.

Thứ hai, mở rộng quy mô ngân hàng dữ liệu ngôn ngữ ký hiệu Việt Nam từ 43 ký hiệu chữ cái và con số đơn lẻ lên hơn 500 từ vựng ngữ nghĩa thông dụng và 100 mẫu câu giao tiếp hoàn chỉnh. Nhóm nghiên cứu cần phối hợp chặt chẽ với Hội Người Điếc và các trường giáo dục chuyên biệt trong lộ trình 12 tháng để chuẩn hóa tập dữ liệu mẫu.

Thứ ba, cải tiến thuật toán phân lớp bằng cách kết hợp thuật toán Xoắn thời gian động với mô hình học sâu chuỗi thời gian như mạng nơ-ron hồi quy LSTM, nhằm rút ngắn thời gian xử lý mẫu xuống dưới 20 mili giây và nâng cao khả năng học thích nghi với từng kích thước bàn tay khác nhau. Công việc này do các chuyên gia trí tuệ nhân tạo đảm nhiệm trong thời gian 9 tháng.

Thứ tư, thương mại hóa thiết bị thông qua việc chuyển đổi giao tiếp cáp USB sang chuẩn kết nối không dây Bluetooth Low Energy 5.0, đồng thời tích hợp pin sạc Lithium-Polymer dung lượng 1000 mAh để tối ưu trọng lượng toàn bộ găng tay dưới 150 gram, bảo đảm tính tiện dụng tối đa cho người khiếm thính trong đời sống thường nhật. Dự án cần sự bảo trợ của các doanh nghiệp công nghệ trợ thính trong vòng 18 tháng.

Đối tượng nên tham khảo luận văn

Thứ nhất, học viên cao học, nghiên cứu sinh và giảng viên chuyên ngành Khoa học máy tính, Kỹ thuật điều khiển và Tự động hóa. Luận văn cung cấp toàn bộ nền tảng toán học về hệ tọa độ Euler, thuật toán so khớp chuỗi thời gian DTW và phương pháp thu thập tín hiệu cảm biến thời gian thực phục vụ các đề tài nghiên cứu tương tự.

Thứ hai, các kỹ sư phát triển hệ thống nhúng, thiết bị IoT và thiết bị đeo thông minh. Tài liệu mang lại hướng dẫn chi tiết về cách ghép nối mạch vi điều khiển ATmega, thiết kế mạch phân áp cho cảm biến flex, lọc nhiễu tín hiệu ADC 10-bit và tối ưu hóa giao thức truyền nhận dữ liệu nối tiếp.

Thứ ba, các nhà giáo dục, chuyên gia công tác xã hội tại các trung tâm bảo trợ và trường dạy trẻ khiếm thính. Luận văn mở ra phương pháp tiếp cận mới trong việc ứng dụng công cụ mô phỏng 3D để trực quan hóa bài giảng ngôn ngữ ký hiệu, giúp học sinh tiếp thu bảng chữ cái và dấu thanh một cách chuẩn xác.

Thứ tư, các doanh nghiệp công nghệ y tế và khởi nghiệp trong lĩnh vực công nghệ hỗ trợ người khuyết tật. Công trình là bản thiết kế mẫu khả thi về mặt kỹ thuật và chi phí để chuyển giao, sản xuất các thiết bị găng tay phiên dịch thủ ngữ thương mại với giá thành hợp lý.

Câu hỏi thường gặp

Hệ thống găng tay cảm biến có ưu thế gì vượt trội so với phương pháp nhận dạng bằng camera? Phương pháp găng tay cảm biến thu thập trực tiếp tín hiệu uốn cong và gia tốc từ 10 cảm biến flex và cảm biến ADXL345, giúp loại bỏ hoàn toàn hiện tượng khuất ngón tay khi bàn tay nắm lại, không phụ thuộc vào điều kiện ánh sáng xung quanh và giảm hơn 60% tải tính toán của chip xử lý.

Thuật toán Xoắn thời gian động DTW giải quyết vấn đề gì trong xử lý tín hiệu cử chỉ? Thuật toán DTW cho phép so khớp chuỗi tín hiệu thời gian thực trên cửa sổ 4 mẫu liên tục với các chuỗi mẫu đã lưu sẵn. Phương pháp này co giãn trục thời gian phi tuyến, giúp nhận diện chính xác các cử chỉ dù người dùng thực hiện nhanh hay chậm, giảm 85% sai số do rung lắc cơ học.

Cấu trúc phần cứng của găng tay gồm những linh kiện cảm biến chính nào? Hệ thống sử dụng 10 cảm biến độ cong dải trở kháng 25 đến 45 kΩ gắn trên 5 ngón tay, 2 cảm biến gia tốc ADXL345 3 trục gắn tại mu tay và ngón cái, cùng vi điều khiển ATmega32U4 thực hiện chuyển đổi 12 kênh ADC 10-bit truyền dữ liệu ở tốc độ 57600 baud.

Tập dữ liệu nhận dạng trong nghiên cứu bao gồm những thành phần cụ thể nào? Tập dữ liệu gồm 43 phần tử chuẩn hóa của ngôn ngữ ký hiệu Việt Nam, chia thành 29 chữ cái tiếng Việt theo bảng chữ cái Latin, 4 dấu thanh đặc thù gồm huyền, sắc, hỏi, ngã và 10 chữ số tự nhiên từ 0 đến 9.

Hệ thống xử lý và phân biệt các dấu thanh trong tiếng Việt như thế nào? Dấu thanh tiếng Việt là các ký hiệu động có chuyển động xoay quanh cổ tay. Hệ thống sử dụng cảm biến gia tốc ADXL345 để đo độ biến thiên của 2 góc nghiêng Roll và Pitch trong không gian 3 chiều, kết hợp thuật toán DTW để phân tách chính xác quỹ đạo chuyển động của từng dấu thanh.

Kết luận

  • Luận văn đã giải quyết thành công bài toán tự động hóa nhận dạng ngôn ngữ ký hiệu Việt Nam bằng công nghệ phần cứng găng tay cảm biến kết hợp phần mềm nhúng.
  • Hệ thống phần cứng tích hợp hoàn chỉnh 10 cảm biến uốn cong và 2 cảm biến gia tốc 3 trục trên nền vi điều khiển ATmega32U4 với 12 kênh ADC chuẩn hóa.
  • Thuật toán Xoắn thời gian động DTW trên cửa sổ trượt 4 mẫu đã phân lớp thành công tập mẫu 43 ký hiệu chữ cái, dấu thanh và chữ số tiếng Việt với độ chính xác đạt trên 92%.
  • Nền tảng đồ họa 3D thời gian thực đã mô phỏng trực quan chuyển động bàn tay với độ trễ phản hồi dưới 50 mili giây, tạo tiền đề vững chắc cho việc xây dựng ứng dụng dịch thuật đa phương tiện.
  • Lộ trình phát triển tiếp theo trong 12 đến 18 tháng tới sẽ tập trung tích hợp kết nối không dây năng lượng thấp và mở rộng từ điển lên hơn 500 từ vựng giao tiếp thực tế.

Đây là tài liệu tham khảo khoa học có giá trị ứng dụng thực tiễn cao dành cho các nhà nghiên cứu, kỹ sư hệ thống nhúng và các đơn vị phát triển công nghệ hỗ trợ cộng đồng người yếu thế. Hãy cùng khai thác và ứng dụng những giải pháp kỹ thuật từ công trình này để thúc đẩy các dự án công nghệ vì cộng đồng người khiếm thính tại Việt Nam.