Luận văn thạc sĩ HCMUTE: Nghiên cứu robot hỗ trợ người khiếm thính với công nghệ xử lý ảnh

• Tác giả: Nguyễn Trung Hiếu
• Người hướng dẫn: PGS. Nguyễn Trường Thịnh
• Trường học: Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Cơ Điện Tử
• Đề tài: Nghiên Cứu Robot Hỗ Trợ Người Khiếm Thính Ứng Dụng Công Nghệ Xử Lý Ảnh
• Loại tài liệu: luận văn
• Năm xuất bản: 2017
• Địa điểm: Tp. Hồ Chí Minh

• LÝ LỊCH KHOA HỌC
• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• ABSTRACT
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu đề tài
• 1.3. Tổng quan hoạt động của robot hỗ trợ người khiếm thính
• 1.4. Nội dung nghiên cứu trong luận văn
• 2. CHƯƠNG 2: TỔNG QUAN VỀ NGÔN NGỮ KÝ HIỆU
• 2.1. Khiếm thính
• 2.2. Nguồn gốc và lịch sử phát triển ngôn ngữ ký hiệu
• 2.3. Đặc điểm ngôn ngữ ký hiệu
• 2.4. Ngôn ngữ và cuộc sống
• 2.5. Chuẩn hóa và phổ biến ngôn ngữ ký hiệu
• 2.6. Một số điểm khác biệt về cú pháp của NNKH ở Việt Nam so với ngôn ngữ thông thường - tiếng Việt
• 3. CHƯƠNG 3: NHẬN DẠNG NGÔN NGỮ KÝ HIỆU DỰA TRÊN XỬ LÝ ẢNH
• 3.1. Nguyên lý hoạt động camera cảm biến chiều sâu
• 3.2. Nhận dạng bàn tay dựa trên thông tin về chiều sâu
• 3.3. Giải thuật nhận dạng
• 3.4. Nhận dạng và định nghĩa cử chỉ bàn tay
• 4. CHƯƠNG 4: NHẬN DẠNG TIẾNG NÓI
• 4.1. Hệ thống tiếng nói của con người
• 4.2. Cơ sở lý thuyết xử lý và nhận dạng tiếng nói
• 4.3. Các thành phần cơ bản của một hệ thống nhận dạng tiếng nói
• 4.4. Các phương pháp tiếp cận trong nhận dạng tiếng nói
• 4.5. Phát hiện tiếng nói
• 4.6. Phương pháp trích chọn tham số đặc trưng của tín hiệu tiếng nói
• 4.7. Nhận dạng tiếng nói sử dụng công cụ Google cloud speech API
• 4.8. Lưu đồ giải thuật nhận dạng tiếng nói sử dụng Google cloud speech API
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• TÀI LIỆU THAM KHẢO

I. Giới thiệu đề tài

Nghiên cứu robot hỗ trợ người khiếm thính ứng dụng công nghệ xử lý ảnh là một trong những giải pháp quan trọng nhằm cải thiện khả năng giao tiếp cho người khiếm thính. Theo thống kê của Tổ chức Y tế Thế giới (WHO), có khoảng 278 triệu người khiếm thính trên toàn cầu, trong đó Việt Nam có khoảng 2 triệu người. Việc giao tiếp giữa người khiếm thính và người bình thường gặp nhiều khó khăn do sự khác biệt trong ngôn ngữ. Đề tài này nhằm phát triển một robot hỗ trợ có khả năng nhận diện ngôn ngữ ký hiệu và chuyển đổi thành ngôn ngữ nói, đồng thời nhận diện giọng nói và chuyển đổi thành ngôn ngữ ký hiệu. Điều này không chỉ giúp người khiếm thính giao tiếp dễ dàng hơn mà còn tạo ra một cầu nối giữa họ và cộng đồng.

II. Tổng quan hoạt động của robot hỗ trợ người khiếm thính

Robot hỗ trợ người khiếm thính thực hiện hai nhiệm vụ chính: nhận diện ngôn ngữ ký hiệu và nhận dạng giọng nói. Để thực hiện nhiệm vụ đầu tiên, robot sử dụng công nghệ xử lý ảnh để nhận diện vị trí và cử chỉ của bàn tay, từ đó chuyển đổi thành âm thanh. Nhiệm vụ thứ hai liên quan đến việc nhận dạng giọng nói, sử dụng micro để thu âm và xử lý thông qua các thuật toán điện toán đám mây. Việc sử dụng hệ thống nhận diện hình ảnh và công nghệ AI giúp robot có thể hoạt động hiệu quả trong thời gian thực, tạo điều kiện thuận lợi cho việc giao tiếp giữa người khiếm thính và người bình thường.

III. Công nghệ xử lý ảnh trong nhận diện ngôn ngữ ký hiệu

Công nghệ xử lý ảnh đóng vai trò quan trọng trong việc nhận diện ngôn ngữ ký hiệu. Robot sử dụng camera cảm biến chiều sâu để thu thập dữ liệu về cử chỉ của bàn tay và cánh tay. Các thuật toán như DTW (Dynamic Time Warping) được áp dụng để so sánh và nhận diện các cử chỉ. Việc nhận diện chính xác các cử chỉ không chỉ phụ thuộc vào công nghệ mà còn vào việc xây dựng cơ sở dữ liệu phong phú về ngôn ngữ ký hiệu. Điều này giúp robot có thể hiểu và chuyển đổi các cử chỉ thành âm thanh một cách chính xác, từ đó hỗ trợ người khiếm thính trong giao tiếp.

IV. Nhận dạng tiếng nói và chuyển đổi thành ngôn ngữ ký hiệu

Nhận dạng tiếng nói là một phần quan trọng trong hệ thống robot hỗ trợ người khiếm thính. Hệ thống sử dụng các công nghệ tiên tiến như Google Cloud Speech API để nhận diện giọng nói. Sau khi giọng nói được nhận diện và chuyển đổi thành văn bản, robot sẽ hiển thị ngôn ngữ ký hiệu tương ứng trên màn hình. Việc này không chỉ giúp người khiếm thính hiểu được thông điệp mà còn tạo ra một trải nghiệm giao tiếp tự nhiên hơn. Sự kết hợp giữa nhận diện giọng nói và ngôn ngữ ký hiệu là một bước tiến lớn trong việc hỗ trợ người khiếm thính trong cuộc sống hàng ngày.

V. Giá trị và ứng dụng thực tiễn của nghiên cứu

Nghiên cứu này không chỉ mang lại giá trị lý thuyết mà còn có ứng dụng thực tiễn cao. Việc phát triển robot hỗ trợ người khiếm thính có thể giúp cải thiện chất lượng cuộc sống cho hàng triệu người. Nó mở ra cơ hội cho người khiếm thính giao tiếp hiệu quả hơn với cộng đồng, từ đó giảm bớt sự cô lập và nâng cao khả năng hòa nhập xã hội. Hơn nữa, nghiên cứu này cũng góp phần vào sự phát triển của công nghệ thông minh trong lĩnh vực hỗ trợ người khuyết tật, tạo ra những giải pháp sáng tạo và thiết thực cho các vấn đề xã hội.