Tổng quan nghiên cứu

Theo ước tính, cộng đồng người khiếm thính tại Việt Nam ngày càng gia tăng do nhiều nguyên nhân như sự phát triển dân số, ô nhiễm môi trường, và điều kiện làm việc độc hại. Tuy nhiên, hiện nay vẫn còn thiếu các công cụ hỗ trợ giao tiếp hiệu quả giữa người khiếm thính và người bình thường, đặc biệt là các ứng dụng chuyển đổi giọng nói sang ngôn ngữ cử chỉ phù hợp với ngôn ngữ thủ ngữ Việt Nam. Nghiên cứu này tập trung vào việc thiết kế một hệ thống chuyển đổi từ giọng nói sang ngôn ngữ cử chỉ, sử dụng các thuật toán máy học và lập trình Python, nhằm tạo ra một ứng dụng giá rẻ, dễ sử dụng, không yêu cầu phần cứng cao, có thể chạy trên board Raspberry Pi 4 với màn hình hiển thị 7 inch.

Mục tiêu cụ thể của nghiên cứu bao gồm: nghiên cứu công nghệ chuyển đổi giọng nói sang văn bản, nguyên lý và vận hành của ngôn ngữ cử chỉ, ứng dụng máy học trong nhận dạng giọng nói và chuyển đổi sang ngôn ngữ cử chỉ, cũng như thiết kế và triển khai ứng dụng thực tế. Phạm vi nghiên cứu tập trung vào ngôn ngữ tiếng Việt với cơ sở dữ liệu khoảng 200 câu thông dụng trong cuộc sống hàng ngày tại Việt Nam. Ý nghĩa của nghiên cứu thể hiện qua việc hỗ trợ giao tiếp cho người khiếm thính, giúp giảm khoảng cách giữa các cộng đồng, đồng thời tạo ra giải pháp công nghệ phù hợp với điều kiện thực tế và chi phí thấp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình chính trong lĩnh vực nhận dạng giọng nói tự động (Automatic Speech Recognition – ASR) và xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP). Hai mô hình quan trọng được áp dụng là:

  • Mô hình Generative và Hidden Markov Model (HMM): Mô hình Generative sử dụng phân phối xác suất chung giữa đặc trưng âm thanh và chuỗi từ, trong đó HMM đóng vai trò mô hình hóa các trạng thái ẩn của âm thanh theo thời gian. HMM giả định trạng thái hiện tại phụ thuộc vào trạng thái trước đó và xác suất tạo ra vectơ đặc trưng chỉ phụ thuộc vào trạng thái hiện tại, giúp mô hình hóa chuỗi âm thanh liên tục thành các đơn vị âm học cơ bản.

  • Mạng nơ ron nhân tạo (Artificial Neural Network – ANN) và mạng nơ ron hồi quy (Recurrent Neural Network – RNN): ANN được sử dụng để xử lý và học các đặc trưng âm thanh, trong khi RNN đặc biệt phù hợp với dữ liệu tuần tự như lời nói, giúp dự đoán từ tiếp theo dựa trên ngữ cảnh trước đó. Các kỹ thuật học sâu (Deep Learning) như LSTM và mô hình sequence-to-sequence cũng được áp dụng để nâng cao độ chính xác nhận dạng.

Các khái niệm chính bao gồm: trích xuất đặc trưng âm thanh (MFCC, Filter bank), mô hình âm học, mô hình ngôn ngữ (bigram), kỹ thuật Levenshtein Distance để so sánh chuỗi ký tự và phương pháp cải tiến word-based để tăng tốc độ và độ chính xác so sánh.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các câu nói tiếng Việt phổ biến, với cơ sở dữ liệu gồm khoảng 200 câu thông dụng được thu thập và mã hóa thành video ngôn ngữ cử chỉ do Bộ Giáo dục và Đào tạo cung cấp. Hệ thống được thiết kế và triển khai trên phần cứng Raspberry Pi 4 với màn hình 7 inch, sử dụng ngôn ngữ lập trình Python.

Phương pháp phân tích bao gồm:

  • Thu âm giọng nói và chuyển đổi sang văn bản bằng API Speech-to-Text của Google, với khảo sát thực tế cho thấy độ chính xác 100% trong điều kiện môi trường tiếng ồn 60 dB và giọng nói rõ ràng.

  • Áp dụng kỹ thuật Levenshtein Distance cải tiến theo phương pháp word-based để so sánh và tìm kiếm câu tương ứng trong cơ sở dữ liệu, giúp tăng tốc độ xử lý và độ chính xác.

  • Sử dụng mô hình mạng nơ ron nhân tạo để xử lý và phân loại câu nói, so sánh hiệu suất với kỹ thuật Levenshtein Distance.

Thời gian nghiên cứu kéo dài từ tháng 04/2019 đến tháng 05/2021, bao gồm các giai đoạn thu thập dữ liệu, thiết kế hệ thống, lập trình, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Độ chính xác nhận dạng giọng nói: Qua khảo sát 10 câu nói thử nghiệm, API Speech-to-Text của Google đạt 100% độ khớp về ý nghĩa giữa văn bản trả về và câu nói gốc trong điều kiện môi trường tiếng ồn 60 dB và giọng nói rõ ràng, với tốc độ xử lý phụ thuộc vào tốc độ mạng.

  2. Hiệu quả kỹ thuật Levenshtein Distance cải tiến: So sánh giữa kỹ thuật gốc (character-based) và phương pháp word-based cho thấy phương pháp word-based đạt tỷ lệ khớp câu lên đến 93,75% trong một số trường hợp, cao hơn đáng kể so với phương pháp gốc (ví dụ: câu "rất hân hạnh được phục vụ quý khách" đạt 93,75% so với 84,08% của BLEU).

  3. Tốc độ xử lý: Kỹ thuật Levenshtein Distance cải tiến có thời gian xử lý trung bình khoảng 0,005 giây cho 5 lần thử với số từ tăng dần, nhanh hơn nhiều so với mô hình mạng nơ ron nhân tạo (DNN) với thời gian khoảng 0,5 giây, cho thấy ưu thế về tốc độ và tiết kiệm tài nguyên phần cứng.

  4. Thiết kế phần cứng và ứng dụng thực tế: Hệ thống chạy ổn định trên Raspberry Pi 4 với bộ pin Lithium 4000 mAh, cho phép hoạt động liên tục khoảng 1 giờ với dung lượng pin giảm 25%. Giao diện ứng dụng thân thiện, hỗ trợ hiệu chỉnh nhiễu môi trường và hiển thị video ngôn ngữ cử chỉ tương ứng.

Thảo luận kết quả

Nguyên nhân của độ chính xác cao trong nhận dạng giọng nói là do sự kết hợp hiệu quả giữa các mô hình âm học, ngôn ngữ và từ vựng, cùng với việc sử dụng API Speech-to-Text của Google được phát triển dựa trên mạng nơ ron nhiều lớp và kỹ thuật tiền xử lý tiếng ồn. Kỹ thuật Levenshtein Distance cải tiến giúp tăng tốc độ xử lý và độ chính xác so sánh câu, phù hợp với yêu cầu ứng dụng trên phần cứng hạn chế như Raspberry Pi.

So sánh với các nghiên cứu quốc tế, tỷ lệ lỗi ký hiệu (SER) và tỷ lệ khớp (BLEU) của hệ thống trong nghiên cứu này tương đương hoặc tốt hơn, đồng thời phù hợp với đặc thù ngôn ngữ và thủ ngữ Việt Nam. Việc sử dụng cơ sở dữ liệu khoảng 200 câu thông dụng giúp hệ thống có phạm vi ứng dụng thực tế trong giao tiếp hàng ngày, tuy nhiên vẫn còn hạn chế về đa dạng câu và ngữ cảnh.

Dữ liệu có thể được trình bày qua biểu đồ so sánh tỷ lệ khớp câu giữa các phương pháp, bảng thống kê thời gian xử lý và tỷ lệ lỗi ký hiệu, giúp minh họa rõ ràng hiệu quả của hệ thống.

Đề xuất và khuyến nghị

  1. Mở rộng cơ sở dữ liệu câu và video thủ ngữ: Tăng số lượng câu và đa dạng ngữ cảnh giao tiếp để nâng cao phạm vi ứng dụng và độ chính xác của hệ thống. Chủ thể thực hiện: Bộ Giáo dục và Đào tạo phối hợp với các tổ chức người khiếm thính. Thời gian: 12-18 tháng.

  2. Cải tiến thuật toán nhận dạng và chuyển đổi: Áp dụng các mô hình học sâu tiên tiến hơn như Transformer hoặc mô hình sequence-to-sequence để nâng cao độ chính xác và khả năng xử lý ngôn ngữ phức tạp. Chủ thể thực hiện: Các nhóm nghiên cứu công nghệ và phát triển phần mềm. Thời gian: 6-12 tháng.

  3. Phát triển giao diện người dùng thân thiện: Thiết kế giao diện ứng dụng dễ sử dụng, hỗ trợ đa nền tảng và tích hợp các tính năng hiệu chỉnh tiếng ồn tự động, giúp người dùng phổ thông dễ dàng tiếp cận. Chủ thể thực hiện: Nhà phát triển phần mềm và thiết kế UX/UI. Thời gian: 6 tháng.

  4. Triển khai thử nghiệm thực tế và đào tạo người dùng: Thực hiện các chương trình thử nghiệm tại các siêu thị, văn phòng, trường học để thu thập phản hồi và đào tạo nhân viên sử dụng hệ thống hiệu quả. Chủ thể thực hiện: Các tổ chức xã hội, doanh nghiệp và cơ sở giáo dục. Thời gian: 6-9 tháng.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành kỹ thuật điện tử, công nghệ thông tin: Có thể áp dụng các mô hình và thuật toán trong nghiên cứu để phát triển các hệ thống nhận dạng giọng nói và xử lý ngôn ngữ tự nhiên.

  2. Các tổ chức hỗ trợ người khiếm thính và khuyết tật: Sử dụng kết quả nghiên cứu để triển khai các giải pháp công nghệ hỗ trợ giao tiếp, nâng cao chất lượng cuộc sống cho người khiếm thính.

  3. Doanh nghiệp phát triển phần mềm và thiết bị công nghệ hỗ trợ: Tham khảo để thiết kế sản phẩm chuyển đổi giọng nói sang ngôn ngữ cử chỉ phù hợp với thị trường Việt Nam, tiết kiệm chi phí và tối ưu hiệu suất.

  4. Cơ quan giáo dục và đào tạo: Áp dụng trong các chương trình đào tạo, bồi dưỡng giáo viên và nhân viên hỗ trợ giáo dục người khiếm thính, đồng thời phát triển tài liệu giảng dạy ngôn ngữ cử chỉ.

Câu hỏi thường gặp

  1. Hệ thống có thể nhận dạng giọng nói trong môi trường nhiều tiếng ồn không?
    Hệ thống đã được thử nghiệm trong môi trường tiếng ồn khoảng 60 dB và cho kết quả nhận dạng chính xác 100% khi người nói rõ ràng, tuy nhiên tiếng ồn lớn hơn có thể ảnh hưởng đến độ chính xác. Việc tích hợp các kỹ thuật lọc tiếng ồn sẽ được cải tiến trong tương lai.

  2. Ứng dụng có thể chạy trên các thiết bị khác ngoài Raspberry Pi không?
    Có thể, nhưng Raspberry Pi 4 được lựa chọn vì chi phí thấp, kích thước nhỏ gọn và khả năng xử lý đủ cho ứng dụng. Các thiết bị có cấu hình tương đương hoặc cao hơn cũng có thể chạy ứng dụng.

  3. Cơ sở dữ liệu câu có thể mở rộng như thế nào?
    Cơ sở dữ liệu hiện tại gồm khoảng 200 câu thông dụng, có thể mở rộng bằng cách thu thập thêm câu nói từ các tình huống giao tiếp thực tế và mã hóa thành video thủ ngữ tương ứng.

  4. Tỷ lệ lỗi ký hiệu (SER) và tỷ lệ khớp câu (BLEU) của hệ thống là bao nhiêu?
    Theo các nghiên cứu tương tự, tỷ lệ SER khoảng 27,2% và BLEU đạt 0,62 trong các hệ thống chuyển đổi giọng nói sang thủ ngữ. Hệ thống trong nghiên cứu này có hiệu quả tương đương, phù hợp với ngôn ngữ và thủ ngữ Việt Nam.

  5. Làm thế nào để người dùng không biết thủ ngữ có thể sử dụng hệ thống?
    Ứng dụng thiết kế giao diện đơn giản, tự động chuyển đổi giọng nói sang video ngôn ngữ cử chỉ, giúp người dùng không cần biết thủ ngữ vẫn có thể giao tiếp hiệu quả với người khiếm thính.

Kết luận

  • Nghiên cứu đã thiết kế thành công hệ thống chuyển đổi giọng nói sang ngôn ngữ cử chỉ phù hợp với ngôn ngữ và thủ ngữ Việt Nam, sử dụng Raspberry Pi 4 và Python.
  • Kỹ thuật Levenshtein Distance cải tiến theo phương pháp word-based giúp tăng tốc độ xử lý và độ chính xác so sánh câu, phù hợp với phần cứng hạn chế.
  • API Speech-to-Text của Google cung cấp độ chính xác nhận dạng giọng nói cao trong điều kiện môi trường kiểm soát.
  • Hệ thống có thể ứng dụng thực tế trong giao tiếp hàng ngày, hỗ trợ người khiếm thính và người bình thường, đặc biệt trong các môi trường như siêu thị, văn phòng.
  • Đề xuất mở rộng cơ sở dữ liệu, cải tiến thuật toán và phát triển giao diện người dùng để nâng cao hiệu quả và phạm vi ứng dụng trong tương lai.

Tiếp theo, nghiên cứu sẽ tập trung vào mở rộng dữ liệu, áp dụng các mô hình học sâu tiên tiến và triển khai thử nghiệm thực tế rộng rãi. Độc giả và các nhà phát triển được khuyến khích tham khảo và ứng dụng kết quả nghiên cứu để phát triển các giải pháp hỗ trợ người khiếm thính tại Việt Nam.