CHƯƠNG 1: GIỚI THIEU DE TAI - CHƯƠNG 2: CAC CONG TRINH NGHIÊN CỨU LIEN QUAN - CHUONG 3: CO SO LY THUYET - CHUONG 4: THUC NGHIEM PHUONG PHAP CHUYEN DOI NGON NGU KY HIEU - CHƯƠNG 5: THIẾT KE VA TRIEN KHAI UNG DUNG CHUYEN DOI NGON NGU KY HIEU - CHUONG 6: KET QUA DAT ĐƯỢC VÀ HƯỚNG PHAT TRIEN - CHUONG 7: TAI LIEU THAM KHAO CHUONG 1. GIỚI THIEU DE TÀI 1.1 Dat van dé Hién trang va van dé Hiện có hon 1,5 tỷ người (gần 20% dân số toàn cầu) sống chung với tinh trạng nghe kém, trong đó có 430 triệu người bị điếc tai. Dự kiến đến năm 2050, con số 430 triệu người bị điếc tai có thể tăng đến 700 triệu nguoi. Nhung 50% các trường hợp điếc tai có thé phòng tránh được.
Riêng ở trẻ em, 60% trường hợp điếc tai có thể ngăn ngừa được bằng các biện pháp như tiêm chủng ngừa rubella và viêm màng não; cải thiện chăm sóc sức khỏe bà mẹ và trẻ sơ sinh; tầm soát và xử trí sớm bệnh viêm tai giữa. Còn với người lớn, biết cách nghe “an toàn”, cần tránh tiếng ồn, không dùng bừa bãi các loại thuốc gây độc cho tai và vệ sinh tai tốt sẽ giúp giảm nguy cơ mất thính lực. Ngoài ra, cũng cần khám sảng lọc dé phat hién bénh va diéu tri kip thoi. Mặc dù tỉ lệ người khiếm thính cao, nhưng họ lại là một trong những nhóm đối tượng thiệt thòi nhất trong việc tiếp cận thông tin.
Nguyên nhân chủ yếu là do rất ít các phương tiện truyền thông sử dụng ngôn ngữ ký hiệu dành cho người khiếm thính. Điều này dẫn đến sự cách biệt lớn trong việc tiếp nhận thông tin giữa người khiếm thính và cộng đồng. Sự khan hiếm phiên dịch viên ngôn ngữ ký hiệu Một trong những khó khăn lớn nhất đối với người khiếm thính là sự thiếu hụt tram trong cua các phiên dịch viên ngôn ngữ ky hiệu. Tai Ha Nội, chi có 6 người đạt trình độ có thể dịch các lĩnh vực cho người điếc, trong khi cả nước chỉ có khoảng 10 người.
Điều này khiến cho người khiếm thính gặp rất nhiều khó khăn trong giao tiếp và tiếp cận thông tin trong các lĩnh vực quan trọng như y tê, giáo dục, và dịch vụ công cộng. Hạn chê của ngôn ngữ ký hiệu Hiện nay, người khiếm thính chủ yếu sử dụng thủ ngữ (ngôn ngữ ký hiệu Việt Nam) dé giao tiếp trong cuộc sống hàng ngày. Tuy nhiên, phương pháp này tồn tại nhiều hạn chế. Dé giao tiếp, người tương tác buộc phải biết thủ ngữ, dẫn đến việc tương tác trở nên khó khăn và mắt nhiều thời gian.
Hơn nữa, việc giao tiếp bằng thủ ngữ dé dẫn đến hiểu lầm và nhằm lẫn. Dù nhu cau học và sử dụng ngôn ngữ ký hiệu rất lớn, nhưng hiện nay Việt Nam có rất ít trung tâm dạy thủ ngữ, làm hạn chế khả năng tiếp cận của người khiếm thính. Khó khăn trong tiếp cận dịch vụ và cảm nhận kỳ thị Người khuyết tật nói chung và người khiếm thính nói riêng gặp nhiều khó khăn trong việc tiếp cận các dịch vụ y tẾ, giáo dục vả có tỷ lệ thất nghiệp cao. Cảm nhận bị kỳ thị và phân biệt đối xử cũng ảnh hưởng nghiêm trọng đến đời sống vật chất và tinh thần của họ.
Việc thiếu các công cụ hỗ trợ giao tiếp hiệu quả càng làm tăng thêm khó khăn này. Đề xuất giải pháp Đây chính là những lý do quan trọng dé nhóm chọn đề tài xây dựng hệ thống chuyền ngôn ngữ ký hiệu sang. Mục tiêu của đề tài này là tạo ra một công cụ hỗ trợ giao tiếp hiệu quả, giúp người khiếm thính dé dàng trao đổi thông tin với mọi người. Hệ thống này không chỉ giúp cải thiện chất lượng cuộc sống của người khiếm thính mà còn góp phần tạo ra một xã hội hòa nhập và không còn rào cản giao tiếp.2 Mục tiêu đề tài - Phat triển một hệ thống sử dung công nghệ AI dé chuyền đổi ngôn ngữ ký hiệu thành văn bản và phát âm.
- Tao điều kiện giao tiếp mượt mà hơn cho người khiếm thính với những người không biết ngôn ngữ ký hiệu. - Tang cường khả năng hòa nhập và tương tác xã hội cho cộng đồng người khiếm thính.3 Pham vi nghiên cứu - _ Nghiên cứu và thực hiện trên bộ dữ liệu có sẵn cho ngôn ngữ ký hiệu, với đối tượng là người khiếm thính - Phát triển hệ thống có kha năng mở rộng cho các ngôn ngữ ký hiệu Việt.4 Phương pháp thực hiện - Thu thập dữ liệu video ngôn ngữ ký hiệu và tương ứng văn ban/phat âm từ nguồn mở và cộng đồng người khiếm thính. - Su dụng các mô hình AI tạo sinh như Generative Adversarial Networks (GANs) hoặc Variational Autoencoders (VAEs) dé phân tích và học hỏi từ dit liệu. - Phat triển thuật toán dé nhận dạng chính xác các ký hiệu và chuyền đổi chúng thành văn bản/phát âm.
- Kiểm thử và tối ưu hệ thống thông qua các bước lặp để đạt được hiệu suất tối ưu.5 Công cụ và môi trường phát triển Công nghệ phát triển Frontend: e Framework: Angular (TypeScript) - Angular là một framework phát triển ứng dụng web được viết bằng ngôn ngữ TypeScript, phát triển bởi Google. Nó cung cấp các công cụ và khung làm việc cho các lập trình viên để tạo ra các ứng dụng web động và đa dạng. Angular cho phép phát triển ứng dụng theo mô hình MVVM (Model-View-ViewModel), với các tính năng như bộ lọc, các hàm giao tiếp với API, routing, dependency injection và nhiều tính năng khác giúp đơn giản hóa quá trình phát triển ứng dụng. Ngôn ngữ lập trình: TypeScript, HTML, SCSS, JavaScript, Tex.
Backend: Ngôn ngữ lập trình: Node.js là môi trường chạy JavaScript phía server, cho phép xây dựng các ứng dụng server hiệu suât cao.js là một framework web đành cho Node.js, được sử dung dé xây dựng các API backend hiệu quả. Framework và Công cụ phát triển Framework: - Angular: Framework phát triển ứng dụng web, sử dung TypeScript.js: Framework web dành cho Node.js, được sử dụng dé xây dung cac API backend. Công cu phát triển: - Visual Studio Code: Trình soạn thảo mã nguồn đa năng, hỗ trợ nhiều ngôn ngữ lập trình. - Postman: Công cụ kiểm tra API.
- Git: Hệ thống quan ly mã nguồn phân tán. - GitHub: Nền tảng lưu trữ mã nguồn và cộng tác phát triển phần mềm. Công cụ thiết kế: - draw.io: Công cụ thiết kế sơ dé, flowchart. - Figma: Công cụ thiết kế giao diện người dùng (UI/UX).
- Visio: Công cụ thiết kế sơ đồ chuyên nghiệp. ‹ Cac bộ công cụ phát triển khác: - TensorFlow và Keras: Thư viện học máy va deep learning. - OpenPose: Thư viện phát hiện và nhận diện tư thế của con người. - Google Cloud Speech-to-Text: Công cụ chuyền đổi giọng nói thành văn bản.
- Google Cloud Text-to-Speech: Công cụ chuyển đổi văn bản thành giong nói. e¢ - Công cụ quản lý mã nguôn (source code): - GitHub: Nền tang lưu trữ và quản lý mã nguồn. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2.1 Các công trình nghiên cứu liên quan về nhận diên và dịch ngôn ngữ ký hiệu 2.1 Sign Language Recognition and Translation Systems for Enhanced Communication for the Hearing Impaired Nhóm tác giả: Kambhampati Sai Sindhu cùng các cộng sự xuất bản 2024 [1] tai Ist International Conference on Cognitive, Green and Ubiquitous Computing (IC-CGU). Bài báo này dé cập đến những thách thức trong Hệ thống nhận dạng ngôn ngữ ký hiệu (SLR) và Biên dịch ngôn ngữ ký hiệu (SLT), tập trung vào việc biên dịch ngôn ngữ ký hiệu sang văn bản/lời nói va quá trình ngược lại.
Cấu trúc ngữ pháp độc đáo của ngôn ngữ ký hiệu đặt ra một van đề cốt lõi, thúc day sự phát triển của các mô hình tính toán. Mô-đun Biên dịch ngôn ngữ ký hiệu (SLT), biên dịch thuật ngữ được nhận dạng thành văn bản ngôn ngữ nói, đặt ra một thách thức to lớn do sự phức tạp về ngữ pháp và ngữ nghĩa. Ngoài ra, nhu cầu về các tập dữ liệu đa dạng, bao gồm nhiều phương ngữ ngôn ngữ ký hiệu khác nhau ở Ấn Độ, làm phức tạp thêm quá trình phát triển các hệ thống SLR va SLT mạnh mẽ. Bài báo khám phá những tiến bộ công nghệ, thách thức và giải pháp trong cả hai mô-đun, góp phần tạo nên các công cụ giao tiếp toàn diện.2 Real-Time Sign Language Recognition using Deep Learning Techniques Nhóm tác giả: Abhishek Wahane cùng các cộng sự xuất ban 2022 [2] tại International Conference on Advanced Computer Science and Information Systems (ICACSIS) Công nghệ sử dung: Nhận diện cử chỉ: Hệ thống nhận diện cử chỉ sử dụng mô hình kép của Single Shot Multibox Detector (SSD) va mô hình Machine Learning dựa trên tọa độ 2D-Pose của người dùng tai thời gian thực.
Nhận diện bảng chữ cái ASL: Module này sử dụng Inception v3 của Google để học chuyển giao (transfer learning), đạt độ chính xác 89. Nghiên cứu có thé hoạt động hiệu qua trong thời gian thực, hỗ trợ đáng ké cho người khiếm thính và người có khiếm khuyết ngôn ngữ trong giao tiếp hàng ngày.3 Sign Language Translation Across Multiple Languages Nhóm tác giả: Sonali M. Antad và các cộng sự xuất ban 2024 [3] tai International Conference on Emerging Systems and Intelligent Computing (ESIC) Công trình nghiên cứu này của nhóm tác giả đã phát triển thành công một nền tảng hỗ trợ dịch ngôn ngữ ký hiệu qua nhiều ngôn ngữ khác nhau. Băng cách sử dụng Mạng nơ-ron tích chập (CNN) và các thuật toán học sâu, nền tảng này cung cấp khả năng lựa chọn giữa Ngôn ngữ Ký hiệu Án Độ và Ngôn ngữ Ký hiệu Mỹ, và dịch sang nhiều ngôn ngữ khu vực An Độ.
Điều này giúp người sử dụng ngôn ngữ ký hiệu khác nhau giao tiếp hiệu quả và cung cấp văn bản viết cho những người không hiểu ngôn ngữ ký hiệu, tạo điều kiện cho sự hòa nhập và tiếp cận thông tin trong cộng đồng người khiếm thính trên toàn cầu. Công nghệ sử dụng: - Mang nơ-ron tích chập (Convolutional Neural Networks - CNN): Sử dung CNN và các thuật toán học sâu khác dé nhận diện và dịch ngôn ngữ ký hiệu. - Dé liệu huấn luyện: Nền tảng được huấn luyện trên bộ dữ liệu bao gồm các ký hiệu từ Ngôn ngữ Ký hiệu Ấn Độ và Ngôn ngữ Ký hiệu Mỹ, cũng như các ngôn ngữ khu vực Ấn Độ. Kết quả đạt được: - Nén tảng cho phép người dùng lựa chọn giữa Ngôn ngữ Ký hiệu An Độ và Ngôn ngữ Ký hiệu Mỹ.
- _ Cung cấp bản dịch sang nhiều ngôn ngữ khu vực An Độ, giúp cải thiện giao tiếp giữa người khiếm thính và cộng đồng rộng lớn hơn.4 A two-stage sign language recognition method focusing on the semantic features of label text Nhóm tác giả: Xuebin Xu và các cộng su xuất bản 2024 [4] tại 20th CSI International Symposium on Artificial Intelligence and Signal Processing (AISP).