Thiết kế hệ thống chuyển đổi giọng nói sang ngôn ngữ cử chỉ cho người khiếm thính

• Tác giả: Trương Ngọc Sơn
• Người hướng dẫn: TS. Trương Ngọc Sơn
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa Điện – Điện Tử
• Đề tài: Hệ Thống Chuyển Đổi Giọng Nói Sang Ngôn Ngữ Cử Chỉ Ứng Dụng Cho Người Khiếm Thính
• Loại tài liệu: báo cáo tổng kết đề tài KH&CN cấp trường
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

• MỞ ĐẦU
• 1. CHƯƠNG 1: NHẬN DẠNG GIỌNG NÓI
• 1.1. Giói thiệu
• 1.2. Trích rút đặc trưng tín hiệu lời nói
• 1.3. Các mô hình nhận dạng giọng nói
• TÀI LIỆU THAM KHẢO

I. Hệ thống nhận dạng giọng nói và chuyển đổi sang ngôn ngữ cử chỉ

Nghiên cứu tập trung vào hệ thống chuyển đổi giọng nói sang ngôn ngữ cử chỉ cho người khiếm thính. Hệ thống này bao gồm hai giai đoạn chính: nhận dạng giọng nói và chuyển đổi sang ngôn ngữ cử chỉ. Giai đoạn đầu tiên sử dụng các kỹ thuật nhận dạng giọng nói, cụ thể là trích xuất đặc trưng MFCC (Mel-Frequency Cepstral Coefficients) từ tín hiệu âm thanh. Các đặc trưng này được đưa vào mô hình âm học và mô hình ngôn ngữ để xác định các từ hoặc câu. Công nghệ nhận dạng giọng nói hiện đại, như DeepSpeech hoặc các dịch vụ nhận dạng giọng nói của Google, có thể được tích hợp. Giai đoạn thứ hai chuyển đổi văn bản nhận dạng được sang ngôn ngữ cử chỉ. Ngôn ngữ cử chỉ được biểu diễn dưới dạng ảnh hoặc video, cần mối quan hệ ngữ nghĩa rõ ràng giữa từ hoặc câu và biểu đạt cử chỉ tương ứng. Hệ thống này sử dụng phần mềm xử lý chuyên dụng và có thể tích hợp các thư viện mã nguồn mở. AI hỗ trợ người khiếm thính thông qua việc cung cấp giải pháp giao tiếp trực quan hơn.

1.1. Mô hình nhận dạng giọng nói

Mô hình nhận dạng giọng nói đóng vai trò quan trọng trong hệ thống chuyển đổi giọng nói sang ngôn ngữ cử chỉ. Phần mềm chuyển đổi giọng nói sang ngôn ngữ ký hiệu dựa trên mô hình âm học (Acoustic Model) và mô hình ngôn ngữ (Language Model). Acoustic Model ánh xạ các đặc trưng âm thanh (MFCC) thành các đơn vị ngữ âm. Language Model sử dụng xác suất để dự đoán chuỗi từ có ý nghĩa nhất từ chuỗi ngữ âm. Nghiên cứu này so sánh các mô hình mạng nơ-ron học sâu, như DeepSpeech và ConvNet, cùng với dịch vụ nhận dạng giọng nói của Google, để lựa chọn mô hình tối ưu cho ngôn ngữ Việt Nam. Việc chọn lựa phụ thuộc vào độ chính xác, tốc độ xử lý, và khả năng hoạt động trên các thiết bị có cấu hình thấp. Tập dữ liệu huấn luyện cần đủ lớn và đa dạng để đảm bảo độ chính xác cao. Thực tế ảo và người khiếm thính có thể được kết hợp để nâng cao hiệu quả huấn luyện. Cải thiện giao tiếp cho người khiếm thính là mục tiêu chính của nghiên cứu.

1.2. Chuyển đổi sang ngôn ngữ cử chỉ

Sau khi nhận dạng giọng nói, giai đoạn tiếp theo là chuyển đổi văn bản thành ngôn ngữ cử chỉ. Phần mềm xử lý cần tạo ra các hình ảnh hoặc video thể hiện ngôn ngữ cử chỉ tương ứng với văn bản. Đây đòi hỏi cơ sở dữ liệu lớn về ngôn ngữ ký hiệu với độ phân giải cao và chính xác. Thiết kế phần mềm cần xem xét khả năng hiển thị trên nhiều loại màn hình và thiết bị khác nhau. Tích hợp ngôn ngữ ký hiệu vào ứng dụng hỗ trợ người khiếm thính là một thách thức lớn. Nghiên cứu về ngôn ngữ cử chỉ đóng vai trò then chốt trong việc đảm bảo sự chính xác và tự nhiên của cử chỉ tạo ra. Hệ thống cần xử lý các câu phức tạp và đa dạng, đảm bảo giải pháp giao tiếp cho người khiếm thính hiệu quả. Phát triển ứng dụng cho người khiếm thính đòi hỏi sự phối hợp giữa nhiều chuyên gia.

1.3. Đánh giá hiệu quả hệ thống

Đánh giá hiệu quả hệ thống dựa trên hai tiêu chí chính: tốc độ đáp ứng và độ chính xác. Tốc độ đáp ứng được đo bằng thời gian cần thiết để chuyển đổi giọng nói thành ngôn ngữ cử chỉ. Độ chính xác được đánh giá bằng tỷ lệ các cử chỉ được tạo ra khớp với văn bản. Các thử nghiệm thực tế trên người khiếm thính cần được thực hiện để đánh giá khả năng sử dụng và hiệu quả của hệ thống trong môi trường thực tế. Ứng dụng thực tế tăng cường cho người khiếm thính cần được xem xét. Thử nghiệm hệ thống chuyển đổi giọng nói sang ngôn ngữ cử chỉ cho thấy sự cần thiết của việc tối ưu hóa thuật toán và cải thiện cơ sở dữ liệu. Cải thiện giao tiếp của người khiếm thính được đo lường bằng phản hồi từ người dùng thực tế. Thực tiễn đào tạo và người khiếm thính cần được xem xét trong quá trình đánh giá.