Xây Dựng Hệ Thống Dịch Ngôn Ngữ Ký Hiệu Cho Người Khiếm Thính Qua Công Nghệ Generative AI

Khóa luận nghiên cứu xây dựng module chuyển đổi ngôn ngữ ký hiệu cho người khiếm thính bằng công nghệ AI tạo sinh, nâng cao giao tiếp.

• Tác giả: Nguyễn Quốc Khánh
• Người hướng dẫn: TS. Nguyễn Thành Bình
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hệ Thống Dịch Ngôn Ngữ Ký Hiệu Cho Người Khiếm Thính Sử Dụng Công Nghệ Generative AI
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Đặt vấn đề hiện trạng và vấn đề
• 1.2. Mục tiêu đề tài
• 1.3. Phạm vi nghiên cứu
• 1.4. Phương pháp thực hiện
• 1.5. Công cụ và môi trường phát triển
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Các công trình nghiên cứu liên quan về nhận diện và dịch ngôn ngữ ký hiệu
• 2.1.1. Sign Language Recognition and Translation Systems for Enhanced Communication for the Hearing Impaired
• 2.1.2. Real-Time Sign Language Recognition using Deep Learning Techniques
• 2.1.3. Sign Language Translation Across Multiple Languages
• 2.1.4. A two-stage sign language recognition method focusing on the semantic features of label text
• 2.1.5. Sign Language to Text Translation with Computer Vision: Bridging the Communication Gap
• 2.2. Các công trình nghiên cứu liên quan về hệ thống chuyển đổi ngôn ngữ ký hiệu
• 2.2.1. A Comprehensive Application for Sign Language Alphabet and Word Recognition, Text-to-Action Conversion for Learners, Multi-Language Support and Integrated Voice Output Functionality
• 2.2.2. Software based sign language CONVERTER
• 2.2.3. Real-Time Gesture Based Sign Language Recognition System
• 2.2.4. Deaf talk using 3D animated sign language: A sign language interpreter using Microsoft's technology
• 2.2.5. Design and Development of Teaching and Learning Tool Using Sign Language Translator to Enhance the Learning Skills for Students With Hearing and Verbal Impairment
• 2.3. Các công trình nghiên cứu liên quan tại Việt Nam
• 2.3.1. SOS - Máy phiên dịch ngôn ngữ ký hiệu dành cho người khiếm thính
• 2.3.2. Thiết bị giao tiếp thông minh dành cho người khiếm thanh, khiếm thính — Speak your mind (SYM)
• 2.3.3. SIGNTEGRATE - Ứng dụng dịch thuật Ngôn ngữ kí hiệu sử dụng trí tuệ nhân tạo
• 2.3.4. Phương pháp đề xuất
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Giới thiệu ngôn ngữ ký hiệu
• 3.2. Lịch sử của ngôn ngữ ký hiệu và văn hóa người khiếm thính
• 3.3. Tổng quan về ngôn ngữ ký hiệu
• 3.4. Biểu diễn ngôn ngữ ký hiệu
• 3.5. Các bài toán của ngôn ngữ ký hiệu
• 3.5.1. Phát hiện ngôn ngữ ký hiệu
• 3.5.2. Nhận dạng ngôn ngữ ký hiệu
• 3.5.3. Phân đoạn ngôn ngữ ký hiệu
• 3.5.4. Nhận dạng, dịch và tạo ngôn ngữ ký hiệu
• 3.5.5. Video-to-Pose
• 3.6. Pose-to-Video
• 3.7. Mô hình tạo ảnh và video
• 3.8. Phương pháp đánh giá - Evaluation Metrics
• 3.9. Truy xuất ngôn ngữ ký hiệu
• 3.10. Fingerspelling - Đánh vần bằng ngón tay
• 3.11. Pretraining and Representation Learning
• 4. CHƯƠNG 4: THỰC NGHIỆM PHƯƠNG PHÁP CHUYỂN ĐỔI NGÔN NGỮ KÝ HIỆU
• 4.1. Giới thiệu về Công nghệ Nhận diện Ngôn ngữ Ký hiệu
• 4.2. Các thành phần của hệ thống chuyển đổi
• 4.2.1. Hệ thống Chuyển đổi Ngôn ngữ Ký hiệu
• 4.2.2. Kiến trúc hệ thống
• 4.2.3. Công nghệ và công cụ sử dụng
• 4.2.4. Quy trình hoạt động của hệ thống
• 4.3. Nhận diện ngôn ngữ
• 4.4. Ngôn ngữ ký hiệu - SignWriting
• 4.4.1. Sign Writing - Illustration
• 4.4.2. Sign Writing Description
• 5. CHƯƠNG 5: THIẾT KẾ VÀ TRIỂN KHAI ỨNG DỤNG CHUYỂN ĐỔI NGÔN NGỮ KÝ HIỆU
• 5.1. Thiết kế và triển khai giao diện người dùng
• 5.2. Chuyển đổi các Gloss thành Pose
• 5.3. Chuyển đổi Pose thành Video
• 5.4. Hỗ trợ quốc tế hóa nhiều ngôn ngữ
• 6. CHƯƠNG 6: KẾT QUẢ ĐẠT ĐƯỢC VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết quả đạt được
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Hệ Thống Dịch Ngôn Ngữ Ký Hiệu Sử Dụng Generative AI

Hệ thống dịch ngôn ngữ ký hiệu cho người khiếm thính đang trở thành một trong những ứng dụng quan trọng của công nghệ AI. Với sự phát triển của Generative AI, việc tạo ra các công cụ hỗ trợ giao tiếp cho người khiếm thính trở nên khả thi hơn bao giờ hết. Hệ thống này không chỉ giúp cải thiện khả năng giao tiếp mà còn tạo ra một môi trường hòa nhập cho người khiếm thính trong xã hội. Việc áp dụng công nghệ AI trong dịch ngôn ngữ ký hiệu mở ra nhiều cơ hội mới cho việc tương tác và kết nối giữa các cộng đồng.

1.1. Định nghĩa và Vai trò của Ngôn Ngữ Ký Hiệu

Ngôn ngữ ký hiệu là phương tiện giao tiếp chính của người khiếm thính. Nó không chỉ là một tập hợp các cử chỉ mà còn chứa đựng ngữ nghĩa và ngữ pháp riêng. Việc hiểu rõ vai trò của ngôn ngữ ký hiệu giúp nâng cao nhận thức về nhu cầu giao tiếp của người khiếm thính.

1.2. Tại sao Cần Hệ Thống Dịch Ngôn Ngữ Ký Hiệu

Sự thiếu hụt phiên dịch viên ngôn ngữ ký hiệu và các công cụ hỗ trợ giao tiếp hiện tại đã tạo ra rào cản lớn cho người khiếm thính. Hệ thống dịch ngôn ngữ ký hiệu sử dụng AI giúp giải quyết vấn đề này, tạo điều kiện cho người khiếm thính giao tiếp dễ dàng hơn.

II. Thách Thức Trong Việc Phát Triển Hệ Thống Dịch Ngôn Ngữ Ký Hiệu

Mặc dù công nghệ AI đã phát triển mạnh mẽ, nhưng việc phát triển hệ thống dịch ngôn ngữ ký hiệu vẫn gặp nhiều thách thức. Các vấn đề như độ chính xác trong nhận diện cử chỉ, sự đa dạng của ngôn ngữ ký hiệu và khả năng tương tác giữa người dùng và hệ thống là những yếu tố cần được giải quyết. Đặc biệt, việc thiếu dữ liệu huấn luyện chất lượng cao cũng là một rào cản lớn.

2.1. Độ Chính Xác Trong Nhận Diện Cử Chỉ

Độ chính xác trong việc nhận diện cử chỉ là yếu tố quyết định đến hiệu quả của hệ thống. Các mô hình AI cần được huấn luyện trên các bộ dữ liệu phong phú và đa dạng để cải thiện khả năng nhận diện.

2.2. Sự Đa Dạng Của Ngôn Ngữ Ký Hiệu

Mỗi quốc gia có ngôn ngữ ký hiệu riêng, điều này tạo ra thách thức lớn trong việc phát triển một hệ thống có thể dịch được nhiều ngôn ngữ ký hiệu khác nhau. Việc này đòi hỏi sự nghiên cứu và phát triển liên tục.

III. Phương Pháp Phát Triển Hệ Thống Dịch Ngôn Ngữ Ký Hiệu

Để phát triển hệ thống dịch ngôn ngữ ký hiệu hiệu quả, cần áp dụng các phương pháp tiên tiến trong lĩnh vực AI. Việc sử dụng các mô hình học sâu như Generative Adversarial Networks (GANs) và Variational Autoencoders (VAEs) sẽ giúp cải thiện khả năng nhận diện và dịch thuật. Hệ thống cũng cần được tối ưu hóa để đảm bảo hiệu suất cao nhất.

3.1. Sử Dụng Mô Hình Học Sâu

Mô hình học sâu giúp hệ thống học hỏi từ dữ liệu lớn, từ đó cải thiện độ chính xác trong việc nhận diện và dịch ngôn ngữ ký hiệu. Việc áp dụng các mô hình như CNN và RNN cũng rất quan trọng.

3.2. Tích Hợp Công Nghệ Nhận Diện Hình Ảnh

Công nghệ nhận diện hình ảnh giúp chuyển đổi cử chỉ thành văn bản một cách nhanh chóng và chính xác. Việc tích hợp công nghệ này vào hệ thống sẽ tạo ra trải nghiệm người dùng tốt hơn.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Dịch Ngôn Ngữ Ký Hiệu

Hệ thống dịch ngôn ngữ ký hiệu không chỉ có giá trị trong việc giao tiếp hàng ngày mà còn có thể được ứng dụng trong nhiều lĩnh vực khác nhau như giáo dục, y tế và dịch vụ công cộng. Việc sử dụng công nghệ AI trong các lĩnh vực này sẽ giúp nâng cao chất lượng cuộc sống cho người khiếm thính và tạo ra một xã hội hòa nhập hơn.

4.1. Ứng Dụng Trong Giáo Dục

Hệ thống có thể được sử dụng trong các lớp học để giúp học sinh khiếm thính tiếp cận kiến thức một cách dễ dàng hơn. Việc này không chỉ giúp cải thiện kết quả học tập mà còn tạo ra môi trường học tập tích cực.

4.2. Ứng Dụng Trong Y Tế

Trong lĩnh vực y tế, hệ thống có thể giúp người khiếm thính giao tiếp với bác sĩ và nhân viên y tế, từ đó nâng cao chất lượng dịch vụ chăm sóc sức khỏe.

V. Kết Luận và Tương Lai Của Hệ Thống Dịch Ngôn Ngữ Ký Hiệu

Hệ thống dịch ngôn ngữ ký hiệu sử dụng công nghệ Generative AI đang mở ra nhiều cơ hội mới cho người khiếm thính. Tuy nhiên, để đạt được hiệu quả tối ưu, cần tiếp tục nghiên cứu và phát triển các công nghệ mới. Tương lai của hệ thống này hứa hẹn sẽ mang lại nhiều giá trị cho cộng đồng người khiếm thính và xã hội nói chung.

5.1. Hướng Phát Triển Trong Tương Lai

Cần tiếp tục nghiên cứu và phát triển các mô hình AI mới để cải thiện độ chính xác và khả năng tương tác của hệ thống. Việc này sẽ giúp hệ thống ngày càng hoàn thiện hơn.

5.2. Tạo Ra Một Xã Hội Hòa Nhập

Mục tiêu cuối cùng là tạo ra một xã hội không còn rào cản giao tiếp giữa người khiếm thính và cộng đồng. Hệ thống dịch ngôn ngữ ký hiệu sẽ đóng vai trò quan trọng trong việc đạt được mục tiêu này.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Theo số liệu từ Tổ chức Y tế Thế giới (WHO) được trích dẫn trong khóa luận, toàn cầu hiện có hơn 1,5 tỷ người (chiếm gần 20% dân số thế giới) đang sống chung với tình trạng nghe kém, trong đó khoảng 430 triệu người bị điếc hoàn toàn. Dự báo đến năm 2050, số lượng người điếc có thể tăng lên mức 700 triệu người. Mặc dù 50% các trường hợp điếc có thể phòng tránh được (và đối với trẻ em là 60% thông qua các biện pháp tiêm chủng, chăm sóc sản khoa và điều trị viêm tai giữa), nhóm người khiếm thính vẫn là một trong những đối tượng chịu thiệt thòi lớn nhất trong tiếp cận thông tin do sự khan hiếm của các phương tiện truyền thông hỗ trợ ngôn ngữ ký hiệu.

Tại Việt Nam, rào cản giao tiếp đối với người khiếm thính diễn ra nghiêm trọng do sự thiếu hụt trầm trọng nhân lực phiên dịch chuyên nghiệp. Số liệu thống kê trong nghiên cứu chỉ ra rằng tại Hà Nội chỉ có 6 người đạt trình độ phiên dịch ngôn ngữ ký hiệu cho người điếc trên các lĩnh vực chuyên môn, và cả nước chỉ có khoảng 10 người. Người khiếm thính chủ yếu sử dụng thủ ngữ (ngôn ngữ ký hiệu Việt Nam) để giao tiếp, tuy nhiên phương thức này đòi hỏi người tương tác bắt buộc phải có kiến thức về thủ ngữ, trong khi số lượng trung tâm đào tạo lại rất ít. Thực trạng này dẫn đến sự cô lập trong tiếp cận y tế, giáo dục, tỉ lệ thất nghiệp cao và cảm nhận bị kỳ thị trong xã hội.

Nhằm giải quyết bài toán giao tiếp hai chiều giữa người khiếm thính và cộng đồng, tác giả Nguyễn Quốc Khánh (ngành Hệ thống Thông tin, Trường Đại học Công nghệ Thông tin – ĐHQG-HCM) đã thực hiện đề tài nghiên cứu xây dựng hệ thống chuyển đổi ngôn ngữ ký hiệu ứng dụng công nghệ Trí tuệ nhân tạo tạo sinh (Generative AI). Các mục tiêu và phạm vi nghiên cứu được xác định cụ thể trong văn bản bao gồm:

• Mục tiêu nghiên cứu:
  1. Phát triển một hệ thống sử dụng công nghệ AI để chuyển đổi ngôn ngữ ký hiệu thành văn bản và phát âm.
  2. Tạo điều kiện giao tiếp mượt mà hơn cho người khiếm thính với những người không biết ngôn ngữ ký hiệu.
  3. Tăng cường khả năng hòa nhập và tương tác xã hội cho cộng đồng người khiếm thính.
• Đối tượng nghiên cứu: Cộng đồng người khiếm thính và các hệ thống biểu diễn ngôn ngữ ký hiệu.
• Phạm vi nghiên cứu: Khóa luận tập trung nghiên cứu và thực nghiệm trên các bộ dữ liệu sẵn có của ngôn ngữ ký hiệu, đồng thời định hướng thiết kế hệ thống có khả năng mở rộng cho ngôn ngữ ký hiệu tại Việt Nam.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên sự giao thoa giữa Ngôn ngữ học ký hiệu, Thị giác máy tính (Computer Vision - CV) và Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Tác giả làm rõ bản chất của ngôn ngữ ký hiệu là một hệ thống ngôn ngữ tự nhiên độc lập, sở hữu đầy đủ các quy tắc âm vị học, hình thái học, cú pháp và ngữ nghĩa, sử dụng kênh thị giác – cử chỉ thay cho kênh thính giác – phát âm.

Các đặc điểm ngôn ngữ học cốt lõi được tác giả tổng hợp bao gồm:

• Ngữ âm học: Các dấu hiệu được cấu thành từ các yếu tố thủ công (cấu hình bàn tay, hướng lòng bàn tay, vị trí, sự tiếp xúc, chuyển động đường đi, chuyển động cục bộ) kết hợp với các yếu tố phi thủ công (khẩu độ mắt, chuyển động đầu, định vị thân người).
• Tính đồng thời (Simultaneity): Dẫn chứng nghiên cứu của Bellugi và Fischer (1972), tác giả chỉ ra rằng mặc dù tốc độ tạo một ký hiệu cử chỉ chậm gấp đôi một từ nói, tốc độ truyền đạt thông tin giữa hai ngôn ngữ là tương đương nhau nhờ khả năng truyền tải song song nhiều tín hiệu thị giác (vừa ký hiệu bàn tay vừa biểu cảm nét mặt hoặc dùng tay còn lại chỉ định vị trí).
• Tham chiếu không gian và bộ phân loại: Khả năng định vị không gian để đại diện cho các thực thể và chuyển đổi vai trò (role shifting) để trích dẫn lời thoại.
• Đánh vần bằng ngón tay (Fingerspelling): Sự tích hợp hệ thống chữ viết vào cử chỉ tay (như hệ thống 1 tay trong ASL, LSF hoặc 2 tay trong BSL).

Về mặt biểu diễn dữ liệu, tác giả hệ thống hóa 4 phương thức chính trong bài toán Xử lý ngôn ngữ ký hiệu (Sign Language Processing - SLP):

1. Video thô (Raw Video): Giữ nguyên vẹn thông tin nhưng có số chiều lớn, tốn tài nguyên tính toán và gặp trở ngại về ẩn danh khuôn mặt.
2. Tư thế bộ xương (Skeleton/Pose): Giảm chiều dữ liệu bằng cách trích xuất tọa độ các khớp nối cơ thể (2D hoặc 3D), hỗ trợ bán ẩn danh nhưng vẫn mang tính liên tục.
3. Hệ thống ký hiệu chữ viết (Sign Notations): Biểu diễn rời rạc gồm SignWriting (hệ thống tượng hình hai chiều của Sutton, 1990) và HamNoSys (hệ thống ký tự chữ cái tuyến tính của Prillwitz và Zienert, 1990).
4. Bóng ngữ (Glosses): Phiên âm ngôn ngữ ký hiệu theo từng nhãn từ vựng đơn lẻ, kèm theo các phân tích hạn chế từ nghiên cứu của Müller et al. (2023) về sự thiếu hụt thông tin không gian và biểu cảm.

Phương pháp nghiên cứu thực nghiệm được xây dựng qua quy trình xử lý dữ liệu và mô hình hóa toán học:

• Phương pháp thu thập dữ liệu: Tổng hợp dữ liệu video ngôn ngữ ký hiệu và văn bản/giọng nói đối ứng từ các nguồn mở và cộng đồng.
• Phương pháp mô hình hóa: Ứng dụng các kiến trúc học sâu bao gồm Mạng nơ-ron tích chập (CNN), Mạng nơ-ron hồi quy cổng nhớ dài (LSTM), Mạng sinh đối kháng (GAN), Mô hình tự mã hóa biến phân có điều kiện (Conditional Variational Autoencoder - CVAE), và mô hình tham số cơ thể người 3D (SMPL-X).
• Công cụ nhận dạng và xử lý: Sử dụng Whisper hoặc Google Cloud Speech-to-Text để nhận dạng âm thanh; mô hình Compact Language Detector v3 (cld3) của Google và MediaPipe Solutions để phát hiện ngôn ngữ; trích xuất tư thế thông qua OpenPose và MediaPipe Holistic.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo kiến trúc ứng dụng web hỗ trợ chuyển đổi hai chiều giữa ngôn ngữ nói/viết và ngôn ngữ ký hiệu, bao gồm hai luồng xử lý chính:

Kiến trúc luồng Spoken-to-Signed (Từ tiếng nói/văn bản sang ngôn ngữ ký hiệu)

1. Thu nhận và nhận diện ngôn ngữ: Tiếp nhận đầu vào giọng nói qua micro, chuyển thành văn bản bằng Google Cloud Speech-to-Text hoặc Whisper. Nhận diện mã ngôn ngữ thông qua mô hình phân loại đa lớp Google cld3.
2. Chuẩn hóa văn bản: Đưa văn bản qua Mô hình ngôn ngữ lớn (LLM) để tiền xử lý, sửa lỗi ngữ pháp và ánh xạ ngữ nghĩa chuẩn bị cho việc dịch.
3. Dịch máy sang hệ thống ký hiệu: Sử dụng mô hình CVAE để dịch chuỗi văn bản đã chuẩn hóa sang biểu diễn ký hiệu SignWriting.
4. Tạo chuỗi tư thế và hoạt ảnh 3D: Áp dụng mô hình cơ thể người SMPL-X để chuyển đổi các ký hiệu SignWriting thành chuỗi khung xương 3D (Pose sequence). Từ chuỗi tọa độ này, hệ thống áp dụng kỹ thuật kết xuất (Pose-to-Video) bằng mô hình sinh để tái hiện avatar động thực hiện các cử chỉ ký hiệu.

Kiến trúc luồng Signed-to-Spoken (Từ ngôn ngữ ký hiệu sang tiếng nói/văn bản)

1. Thu nhận hình ảnh: Nhận luồng video thời gian thực từ webcam hoặc tệp video tải lên.
2. Ước tính tư thế (Video-to-Pose): Sử dụng MediaPipe Holistic hoặc OpenPose để theo dõi đồng thời các điểm mốc trên khuôn mặt, thân mình và 21 điểm mốc trên mỗi bàn tay.
3. Nhận dạng và biên dịch cử chỉ: Sử dụng mạng nơ-ron trích xuất đặc trưng không gian - thời gian (kết hợp CNN và LSTM) để nhận dạng chuỗi hành động và giải mã thành câu văn bản.
4. Phát âm (Text-to-Speech): Sử dụng Google Cloud Text-to-Speech để chuyển đổi câu văn bản kết quả thành âm thanh giọng nói phát ra loa.

Công nghệ và môi trường phát triển

• Giao diện người dùng (Frontend): Xây dựng trên framework Angular (TypeScript) theo mô hình MVVM (Model-View-ViewModel), kết hợp HTML, SCSS và JavaScript.
• Hệ thống máy chủ (Backend): Phát triển trên nền tảng Node.js và framework Express.js để xây dựng các giao diện lập trình ứng dụng (RESTful API).
• Thư viện chuyên dụng: TensorFlow, Keras, OpenPose, MediaPipe Holistic, Google Cloud API.
• Công cụ hỗ trợ quản trị và thiết kế: Visual Studio Code, Postman, Git, GitHub, Figma, draw.io, Microsoft Visio.

Nội dung chính theo từng chương

Chương 1. Giới thiệu đề tài

Chương mở đầu phân tích số liệu thực trạng về cộng đồng người khiếm thính trên thế giới và tại Việt Nam, nêu bật sự chênh lệch lớn giữa nhu cầu giao tiếp xã hội và nguồn lực phiên dịch viên ngôn ngữ ký hiệu. Tác giả xác định ba mục tiêu lớn của đề tài, phạm vi ứng dụng công nghệ AI trên các tập dữ liệu chuẩn và lộ trình phương pháp luận bao gồm 5 giai đoạn: thu thập dữ liệu, mô hình hóa tạo sinh (GAN/VAE), xây dựng thuật toán nhận dạng, thử nghiệm tối ưu và triển khai giao diện web.

Chương 2. Các công trình nghiên cứu liên quan

Tác giả tiến hành khảo cứu có hệ thống các công trình nghiên cứu trong và ngoài nước về nhận dạng cử chỉ, dịch máy ngôn ngữ ký hiệu và các giải pháp kỹ thuật hỗ trợ người khiếm thính. Nội dung khảo cứu được tổng hợp theo các nhóm nghiên cứu chính trong bảng dưới đây:

Tác giả / Đề tài	Năm	Công nghệ chủ đạo	Kết quả / Số liệu chính ghi nhận
Kambhampati Sai Sindhu et al.	2024	Khung tính toán SLR và SLT	Giải quyết ngữ pháp phức tạp và sự đa dạng phương ngữ tại Ấn Độ.
Abhishek Wahane et al.	2022	SSD kết hợp Inception v3 (Transfer Learning)	Nhận diện cử chỉ bảng chữ cái ASL thời gian thực đạt độ chính xác 89%.
Sonali M. Antad et al.	2024	Mạng nơ-ron tích chập (CNN)	Dịch giữa Ngôn ngữ ký hiệu Ấn Độ (ISL), Mỹ (ASL) sang các ngôn ngữ khu vực.
Xuebin Xu et al.	2024	Mô hình hai giai đoạn + Sửa lỗi ngữ nghĩa nhãn	Thử nghiệm trên tập dữ liệu chuẩn RWTH-PHOENIX-Weather-2014-T và CSL.
So Xue Thong et al.	2024	CNN, LSTM, Word-ninja, LLM, TTS	Độ chính xác ký hiệu tĩnh đạt 99,20%, ký hiệu động đạt 90,08%, tạo câu đạt 90%.
D. Shofia Priyadharshini et al.	2024	Text-to-Action, Speech-to-Sign đa ngữ	Xây dựng ứng dụng toàn diện chuyển văn bản thành cử chỉ hành động và phát âm.
Keerthi S. Warrier et al.	2016	Xử lý ngôn ngữ tự nhiên (NLP), LabVIEW	Nhận diện cử chỉ ASL và phát âm ra loa (ví dụ nhận diện cử chỉ số "5" phát âm "FIVE").
Jeet Debnath et al.	2024	OpenCV, MediaPipe Holistic, LSTM	Ước lượng cử chỉ ASL thời gian thực với độ trễ thấp và độ chính xác cao.
Mateen Ahmed et al.	2016	Cảm biến Microsoft Kinect v2	Độ chính xác chuyển giọng nói thành ký hiệu đạt 87%, chuyển ký hiệu thành giọng nói đạt 84%.
Mehwish Sultana et al.	2024	MediaPipe, LSTM, TensorFlow/Keras	Chuyển đổi hai chiều giữa ngôn ngữ ký hiệu Ấn Độ (ISL) và văn bản trên nền web.
Dự án SOS (ĐH Bách Khoa TP.HCM)	2021	Thị giác máy tính và học sâu trên phần cứng nhỏ gọn	Thiết bị độc lập chuyển thủ ngữ sang văn bản và giọng nói tiếng Việt.
Dự án SYM (ĐH Bách Khoa TP.HCM)	-	Camera gắn trên nón kết nối ứng dụng Android	Mã hóa tiếng Việt, hỗ trợ giao tiếp cho người khiếm thanh, khiếm thính.
Dự án Signtegrate (Hà Nội)	2021	Trích chọn khung xương trong thời gian thực	Dịch 10 câu đàm thoại ngôn ngữ ký hiệu Hà Nội sang tiếng Việt với độ chính xác 90%, độ trễ 1 giây sau 120 khung hình.

Dựa trên việc đối sánh các nghiên cứu, tác giả đề xuất phương pháp luận riêng: kết hợp nhận diện giọng nói (Whisper/Google), nhận diện ngôn ngữ (cld3), chuẩn hóa ngữ nghĩa (LLM), dịch máy sinh ký hiệu (CVAE/SMPL-X) và kết xuất avatar 3D.

Chương 3. Cơ sở lý thuyết

Chương 3 là phần nghiên cứu chuyên sâu về mặt lý thuyết ngôn ngữ ký hiệu và xử lý tín hiệu thị giác. Nội dung bao gồm lịch sử công nhận ngôn ngữ ký hiệu (từ sự kiện cấm đoán năm 1880 tại Milan đến công trình tái khẳng định của Stokoe Jr năm 1960), cấu trúc ngữ âm học và tính đồng thời. Tác giả phân tích sơ đồ ngũ giác bao gồm 20 tác vụ chuyển đổi giữa các dạng biểu diễn (Video, Pose, SignWriting, HamNoSys, Gloss, Text).

Đồng thời, chương này đi sâu vào phân tích toán học và thuật toán của các bài toán:

• Phát hiện hoạt động ký hiệu (Sign Language Detection): Tương tự VAD trong tiếng nói; đối sánh mô hình VGG-16 + GRU của Borg & Camilleri (2019), mô hình luồng quang trên tư thế khớp xương của Moryossef et al. (2020), và phân tích đánh giá chồng chéo người ký của Pal et al. (2023).
• Phân biệt ngôn ngữ ký hiệu (Sign Language Identification): Phân loại BSL và ENN (F1 đạt 95%), phân biệt BSL và LSF (F1 đạt 98% trên nền tĩnh), ASL và BSL (F1 đạt 70%).
• Phân đoạn cử chỉ (Sign Segmentation): Áp dụng mạng ST-GCN kết hợp BiLSTM, mạng tích chập 3D, mô hình Transformer kết hợp phụ đề BERT và sơ đồ gán nhãn BIO.
• Ước lượng tư thế (Video-to-Pose): Phân tích hệ thống 135 điểm mốc của OpenPose, mô hình phân đoạn DensePose, các kỹ thuật nâng tọa độ 2D lên 3D có giám sát và không giám sát (Pavllo et al., Zelinka & Kanis), phương pháp động học nghịch đảo (Inverse Kinematics với 26 bậc tự do của Panteleris et al.), và kiến trúc MediaPipe Holistic đa nền tảng chạy trên CPU.
• Hoạt ảnh hóa tư thế (Pose-to-Video): Nghiên cứu phương pháp chuyển đổi hình ảnh sang hình ảnh dựa trên khung xương của Chan et al. (2019), mô hình DensePose của Wang et al. (2018), và đánh giá mức độ nhận thức hình ảnh người dùng của Giró-i-Nieto (2020).

Chương 4. Thực nghiệm phương pháp chuyển đổi ngôn ngữ ký hiệu

Trình bày chi tiết các mô-đun thực nghiệm: cấu trúc phân lớp của mạng Google cld3 dùng trong nhận diện ngôn ngữ văn bản đầu vào; nguyên lý mã hóa tượng hình của hệ thống SignWriting và cách thức chuyển đổi các ký tự hình vẽ sang ngôn ngữ nói; cấu trúc khung xương (Skeleton Viewer) và quy trình chuyển đổi tuần tự từ nhãn Gloss qua ký hiệu HamNoSys sang biểu diễn video.

Chương 5. Thiết kế và triển khai ứng dụng chuyển đổi ngôn ngữ ký hiệu

Mô tả quy trình xây dựng các mô-đun chức năng trên ứng dụng web:

• Triển khai giao diện dịch ngôn ngữ ký hiệu tổng thể (Web Application UI).
• Giao diện dịch từ chuỗi văn bản đầu vào thành hoạt cảnh khung xương cử chỉ ký hiệu tương ứng.
• Giao diện tiếp nhận luồng hình ảnh trực tiếp từ camera/video để dịch ngược về văn bản tiếng Việt.
• Quy trình pipeline chi tiết chuyển từ văn bản sang Gloss, từ Gloss sang Pose và từ Pose sang video avatar 3D.
• Tích hợp tính năng hỗ trợ quốc tế hóa đa ngôn ngữ trên hệ thống giao diện.

Chương 6. Kết quả đạt được và hướng phát triển

Tổng kết mức độ hoàn thành hệ thống theo các tiêu chí thiết kế đã đặt ra tại Chương 1, ghi nhận khả năng vận hành của ứng dụng chuyển đổi hai chiều trên môi trường web, và xác định các hạn chế kỹ thuật cần tiếp tục giải quyết trong các giai đoạn tiếp theo.

Kết quả và đóng góp

• Kết quả kỹ thuật ghi nhận trong văn bản:

  • Xây dựng thành công kiến trúc pipeline hoàn chỉnh cho hệ thống dịch hai chiều: luồng Spoken-to-Signed (tích hợp Whisper/Google STT, Google cld3, LLM chuẩn hóa, CVAE dịch SignWriting và SMPL-X sinh khung xương 3D) và luồng Signed-to-Spoken (tích hợp trích xuất khung xương và chuyển văn bản thành giọng nói).
  • Thiết kế và triển khai ứng dụng web hoàn chỉnh trên nền tảng Angular và Node.js/Express, cung cấp giao diện trực quan hỗ trợ nhập văn bản, thu âm giọng nói và tương tác trực tiếp qua camera.
  • Ứng dụng thành công hệ thống ký hiệu trung gian SignWriting và mô hình cơ thể người SMPL-X để tạo chuỗi Pose, thay thế phương pháp hiển thị khung xương que đơn giản bằng hoạt ảnh 3D avatar trực quan hơn.

• Đóng góp học thuật và thực tiễn:

  • Hệ thống hóa toàn diện cơ sở lý thuyết ngôn ngữ học ký hiệu và khảo cứu chi tiết 20 bài toán chuyển đổi biểu diễn dữ liệu trong lĩnh vực SLP.
  • Khắc phục nhược điểm của các nghiên cứu trước đây tại Việt Nam (vốn chủ yếu tập trung vào phần cứng độc lập hoặc dịch một chiều từ cử chỉ sang chữ viết với từ vựng hạn chế như dự án SOS, SYM hay 10 câu đàm thoại của Signtegrate) bằng cách tiếp cận giải pháp phần mềm web hai chiều, ứng dụng mô hình tạo sinh Generative AI.
  • Đề xuất quy trình giải quyết tính phức tạp ngôn ngữ bằng cách đưa tầng chuẩn hóa văn bản thông qua LLM vào trước khâu biên dịch máy sang ký hiệu.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế được đề cập trong văn bản:

  • Tính toàn vẹn ngữ nghĩa: Việc chuyển đổi qua nhiều bước trung gian (Văn bản $\rightarrow$ Gloss/SignWriting $\rightarrow$ Chuỗi Pose $\rightarrow$ Video Avatar) dễ dẫn đến hiện tượng thất thoát thông tin ngôn ngữ, đặc biệt là các thành phần phi thủ công như nét mặt, ánh mắt và vị trí tương đối trong không gian.
  • Nguồn dữ liệu: Khóa luận chủ yếu thực nghiệm trên các bộ dữ liệu sẵn có của các ngôn ngữ ký hiệu phổ biến trên thế giới; nguồn ngữ liệu chuẩn hóa quy mô lớn dành riêng cho thủ ngữ Việt Nam vẫn còn hạn chế.
  • Điều kiện môi trường: Độ chính xác của pha nhận diện cử chỉ từ camera vẫn chịu sự chi phối bởi yếu tố ánh sáng, góc quay và độ phức tạp của hậu cảnh.

• Hướng phát triển tiếp theo:

  • Mở rộng và chuẩn hóa bộ dữ liệu video cử chỉ dành riêng cho hệ thống ngôn ngữ ký hiệu tại Việt Nam nhằm nâng cao độ chính xác nhận dạng cục bộ.
  • Tối ưu hóa các mô hình học sâu để giảm độ trễ tính toán, hướng đến khả năng phiên dịch thời gian thực mượt mà trên nhiều thiết bị di động có cấu hình hạn chế.
  • Cải thiện chất lượng đồ họa và độ tự nhiên của Avatar 3D, tái hiện chân thực các biểu cảm khuôn mặt và cử động ngón tay phức tạp dựa trên các mô hình sinh hình ảnh tiên tiến.

Giá trị tham khảo

Khóa luận tốt nghiệp của tác giả Nguyễn Quốc Khánh là tài liệu chuyên khảo có giá trị chuyên môn cao đối với:

• Sinh viên và học viên ngành Hệ thống Thông tin, Khoa học Máy tính, Kỹ thuật Phần mềm: Cung cấp tài liệu tham khảo chi tiết về kiến trúc tích hợp các dịch vụ AI phân tán (Speech API, NLP, Computer Vision) vào một hệ thống phần mềm web hoàn chỉnh bằng Angular và Node.js.
• Các nhà nghiên cứu trong lĩnh vực Xử lý Ngôn ngữ Ký hiệu (SLP) và Công nghệ Trợ năng (Assistive Technology): Chương 2 và Chương 3 đóng vai trò là một báo cáo tổng quan tài liệu (literature review) rất kỹ lưỡng, phân loại rõ ràng 20 bài toán chuyển đổi biểu diễn và đối sánh phương pháp luận của các mô hình trích xuất tư thế hiện đại (OpenPose, MediaPipe Holistic, DensePose).
• Phần đáng tham khảo nhất: Quy trình pipeline chuyển đổi từ văn bản tự nhiên sang biểu diễn trung gian SignWriting và sinh chuỗi Pose 3D thông qua mô hình SMPL-X (Chương 4 và Chương 5).

Câu hỏi thường gặp

1. Vì sao hệ thống không dịch trực tiếp từ văn bản sang video mà phải chuyển đổi qua các biểu diễn trung gian như SignWriting và Pose?
Trả lời: Video thô là dữ liệu đa chiều, tốn nhiều chi phí tính toán để sinh trực tiếp và khó đồng bộ ngữ nghĩa chuyển động. Việc sử dụng các biểu diễn trung gian như hệ thống tượng hình SignWriting và chuỗi khung xương (Pose) thông qua mô hình SMPL-X giúp giảm số chiều của bài toán, giữ lại các đặc trưng cử chỉ cốt lõi, từ đó cho phép mô hình tạo sinh Avatar 3D hoạt động chính xác và khả thi về mặt tính toán.

2. Mô hình nào được sử dụng để giải quyết bước nhận diện ngôn ngữ đầu vào và chuẩn hóa câu trong hệ thống?
Trả lời: Tác giả sử dụng mô hình Google Compact Language Detector v3 (cld3) hoặc MediaPipe Solutions để tự động nhận dạng mã ngôn ngữ của văn bản đầu vào. Sau đó, một Mô hình ngôn ngữ lớn (LLM) được tích hợp để chuẩn hóa ngữ pháp và ngữ nghĩa của câu trước khi đưa vào mô hình dịch máy CVAE.

3. Khóa luận phân tích sự khác nhau cơ bản giữa OpenPose và MediaPipe Holistic trong tác vụ ước tính tư thế (Video-to-Pose) như thế nào?
Trả lời: OpenPose phát hiện đồng thời 135 điểm mốc (cơ thể, tay, mặt, chân) ở dạng 2D thông qua mạng nơ-ron sâu nhưng đòi hỏi tài nguyên tính toán cao. Ngược lại, MediaPipe Holistic ước tính tư thế dạng 3D, được tối ưu hóa để có thể chạy thời gian thực trực tiếp trên CPU của các thiết bị di động cấu hình phổ thông, hỗ trợ đa nền tảng từ C++, Python đến Web JavaScript.

4. Những dự án nghiên cứu hỗ trợ người khiếm thính tại Việt Nam nào được tác giả khảo sát và đối sánh trong khóa luận?
Trả lời: Tác giả khảo sát 3 công trình tiêu biểu tại Việt Nam: (1) Thiết bị SOS (ĐH Bách Khoa TP.HCM) – máy phiên dịch phần cứng độc lập; (2) Thiết bị Speak Your Mind (SYM - ĐH Bách Khoa TP.HCM) – camera gắn trên nón kết nối điện thoại Android; và (3) Ứng dụng Signtegrate (Hà Nội) – phần mềm nhận diện trích chọn khung xương thời gian thực, dịch 10 câu đàm thoại thủ ngữ Hà Nội với độ chính xác 90%.

5. Khóa luận đề cập đến những khuyến nghị gì của Müller et al. (2023) đối với việc sử dụng nhãn Gloss trong dịch máy ngôn ngữ ký hiệu?
Trả lời: Nghiên cứu của Müller et al. (2023) khuyến nghị các nhà nghiên cứu cần: nhận thức rõ hạn chế làm mất thông tin không gian của phương pháp dùng Gloss; mở rộng tập dữ liệu ra ngoài bộ RWTH-PHOENIX-Weather-2014T; sử dụng thước đo SacreBLEU được chuẩn hóa thay cho BLEU tùy biến; và áp dụng các phương pháp tối ưu hóa dành cho dịch máy tài nguyên thấp (low-resource MT).

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Quốc Khánh đã nghiên cứu và đề xuất giải pháp kỹ thuật toàn diện cho bài toán giao tiếp hai chiều giữa người khiếm thính và cộng đồng thông qua việc kết hợp các công nghệ Generative AI, Thị giác máy tính và Xử lý ngôn ngữ tự nhiên. Bằng cách thiết lập quy trình chuyển đổi đa tầng qua các dạng biểu diễn trung gian như SignWriting, mô hình SMPL-X và Avatar 3D, nghiên cứu đã khắc phục nhiều rào cản tính toán trong việc tạo sinh ngôn ngữ ký hiệu từ ngôn ngữ nói. Hệ thống được triển khai thực nghiệm dưới dạng ứng dụng web hoàn chỉnh, đặt nền tảng phương pháp luận và kỹ thuật quan trọng cho các hướng phát triển công nghệ trợ năng phục vụ cộng đồng khiếm thính tại Việt Nam.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIEU DE TAI - CHƯƠNG 2: CAC CONG TRINH NGHIÊN CỨU LIEN QUAN - CHUONG 3: CO SO LY THUYET - CHUONG 4: THUC NGHIEM PHUONG PHAP CHUYEN DOI NGON NGU KY HIEU - CHƯƠNG 5: THIẾT KE VA TRIEN KHAI UNG DUNG CHUYEN DOI NGON NGU KY HIEU - CHUONG 6: KET QUA DAT ĐƯỢC VÀ HƯỚNG PHAT TRIEN - CHUONG 7: TAI LIEU THAM KHAO CHUONG 1. GIỚI THIEU DE TÀI 1.1 Dat van dé Hién trang va van dé Hiện có hon 1,5 tỷ người (gần 20% dân số toàn cầu) sống chung với tinh trạng nghe kém, trong đó có 430 triệu người bị điếc tai. Dự kiến đến năm 2050, con số 430 triệu người bị điếc tai có thể tăng đến 700 triệu nguoi. Nhung 50% các trường hợp điếc tai có thé phòng tránh được.

Riêng ở trẻ em, 60% trường hợp điếc tai có thể ngăn ngừa được bằng các biện pháp như tiêm chủng ngừa rubella và viêm màng não; cải thiện chăm sóc sức khỏe bà mẹ và trẻ sơ sinh; tầm soát và xử trí sớm bệnh viêm tai giữa. Còn với người lớn, biết cách nghe “an toàn”, cần tránh tiếng ồn, không dùng bừa bãi các loại thuốc gây độc cho tai và vệ sinh tai tốt sẽ giúp giảm nguy cơ mất thính lực. Ngoài ra, cũng cần khám sảng lọc dé phat hién bénh va diéu tri kip thoi. Mặc dù tỉ lệ người khiếm thính cao, nhưng họ lại là một trong những nhóm đối tượng thiệt thòi nhất trong việc tiếp cận thông tin.

Nguyên nhân chủ yếu là do rất ít các phương tiện truyền thông sử dụng ngôn ngữ ký hiệu dành cho người khiếm thính. Điều này dẫn đến sự cách biệt lớn trong việc tiếp nhận thông tin giữa người khiếm thính và cộng đồng. Sự khan hiếm phiên dịch viên ngôn ngữ ký hiệu Một trong những khó khăn lớn nhất đối với người khiếm thính là sự thiếu hụt tram trong cua các phiên dịch viên ngôn ngữ ky hiệu. Tai Ha Nội, chi có 6 người đạt trình độ có thể dịch các lĩnh vực cho người điếc, trong khi cả nước chỉ có khoảng 10 người.

Điều này khiến cho người khiếm thính gặp rất nhiều khó khăn trong giao tiếp và tiếp cận thông tin trong các lĩnh vực quan trọng như y tê, giáo dục, và dịch vụ công cộng. Hạn chê của ngôn ngữ ký hiệu Hiện nay, người khiếm thính chủ yếu sử dụng thủ ngữ (ngôn ngữ ký hiệu Việt Nam) dé giao tiếp trong cuộc sống hàng ngày. Tuy nhiên, phương pháp này tồn tại nhiều hạn chế. Dé giao tiếp, người tương tác buộc phải biết thủ ngữ, dẫn đến việc tương tác trở nên khó khăn và mắt nhiều thời gian.

Hơn nữa, việc giao tiếp bằng thủ ngữ dé dẫn đến hiểu lầm và nhằm lẫn. Dù nhu cau học và sử dụng ngôn ngữ ký hiệu rất lớn, nhưng hiện nay Việt Nam có rất ít trung tâm dạy thủ ngữ, làm hạn chế khả năng tiếp cận của người khiếm thính. Khó khăn trong tiếp cận dịch vụ và cảm nhận kỳ thị Người khuyết tật nói chung và người khiếm thính nói riêng gặp nhiều khó khăn trong việc tiếp cận các dịch vụ y tẾ, giáo dục vả có tỷ lệ thất nghiệp cao. Cảm nhận bị kỳ thị và phân biệt đối xử cũng ảnh hưởng nghiêm trọng đến đời sống vật chất và tinh thần của họ.

Việc thiếu các công cụ hỗ trợ giao tiếp hiệu quả càng làm tăng thêm khó khăn này. Đề xuất giải pháp Đây chính là những lý do quan trọng dé nhóm chọn đề tài xây dựng hệ thống chuyền ngôn ngữ ký hiệu sang. Mục tiêu của đề tài này là tạo ra một công cụ hỗ trợ giao tiếp hiệu quả, giúp người khiếm thính dé dàng trao đổi thông tin với mọi người.