Chương 1: Mở dau. Chương 2: Tổng quan và cơ sở lý thuyết. Chương 3: Phương pháp xây dựng hệ thống nhận dang ngôn ngữ ký hiệu tiếng Việt, hỗ trợ hiểu ngôn ngữ của người khiếm thính bằng phương pháp học sâu. Chương 4: Thực nghiệm và đánh giá.
Chương 5: Kết luận và hướng phát triển. TỎNG QUAN VÀ CƠ SỞ LÝ THUYET 2. Tình hình nghiên cứu và phát triển 2. Tình hình nghiên cứu Xã hội ngày càng quan tâm đối với người khiếm thính, và đặc biệt có hệ thống nhà nước.
Các nỗ lực trong mở các cơ sở giáo dục cho người khiém thính, các chính sách giúp đỡ người khiếm thính và khuyến khích các nghiên cứu hỗ trợ người khiếm thính ngày càng được mở rộng. Giống như tiếng nói, ngôn ngữ ký hiệu (NNKH) cũng có sự khác nhau ở từng quốc gia và từng khu vực trên đất nước. Ở Việt Nam, có nhiều nhóm ngôn ngữ ký hiệu hình thành ở các khu vực như Thành phố Hồ Chí Minh, Hà Nội, Hải Phòng, v. Đã có nhiều dự án dé chuẩn hóa NNKH ở Việt Nam, nhằm mục đích đem đến sự thông nhất NNKH trên cả nước.
Các nhà nghiên cứu trong và ngoài nước luôn liên tục xây dựng các bộ dữ liệu phục vụ cho việc nhận dạng ngôn ngữ ký hiệu của các quốc gia và đồng thời tìm các phương pháp dé cải tiền mô hình nhận dang. Các mô hình cần đám bảo rằng độ chính xác nhất định trên các cử chỉ. Hầu hết các phương hướng nghiên cứu nhận dạng NNKH đạt hiệu suất cao thường được chia làm hai loại là dựa trên thiết bị cảm biến hoặc dựa trên thị giác máy tính. Thiết bị cảm biến hoạt động dựa trên cảm biến quỹ đạo chuyên động của hai bàn tay và được chế tác thành bút hoặc găng tay có cảm biến và khả năng lọc nhiều từ môi trường, tuy nhiên phương pháp này gặp một số khó khăn dé phé biến rộng rãi vì giá thành của các thiết bị cảm biến và sự bat tiện khi có thể đeo nhiều thiết bị.
Dựa trên thị giác máy tính có thé đem đến sự thuận tiện và dé dang sử dụng các ứng dụng nhận diện hơn khi mà các thiết bị ghi hình như điện thoại trở nên phô biến. Thị giác máy tính là một lĩnh vực trong trí tuệ nhân tạo và khoa học máy tính tập trung vào việc phát trién các thuật toán máy học giúp máy tinh có thé học và xử lí các dữ liệu vẻ hình ảnh, trích xuất hình ảnh và nhận dang đối tượng, ngữ cảnh cụ thé. Với sự tiền bộ trong lĩnh vực học sâu, nhiều nghiên cứu đã tập trung vào việc nhận diện l4 NNKH, dẫn đến sự phát triển của các mô hình có khả năng nhận biết cử chỉ ban tay và học được các đặc điểm của các ký hiệu. Những mô hình được phát trién sử dụng mạng nơ-ron tích chập (Convolutional Neural Network - CNN), mạng nơ-ron tuần hoàn (Recurrent neural network - RNN), mạng bộ nhớ đài-ngắn (Long Short-Term Memory - LSTM), Transformer đã đạt được những kết quả nhất định trong việc nhận dạng NNKH [3].
Trong khi CNN có khả năng trích thông tin từ ảnh tĩnh thì các mô hình như RNN, LSTM, Tranformer thê hiện mạnh mẽ hon ở các thông tin dạng chuỗi. Tùy theo cách tiếp cận mà có thể cho mô hình học những đặc trưng khác nhau và cá kết hợp các đặc trưng khác nhau cho mô hình. Người ta có thé dé cho mô hình nhận diện với các đầu vào có thé là anh tĩnh hoặc video; ảnh/video RBG, depth; học các đặc trưng về khung xương, thông tin về Sự chuyền động [4]. Phương hướng tiếp cận và các nghiên cứu quốc tế: Một số công nghệ mới phô biến được các nhà nghiên cứu chuyên hướng tiếp cận trong lĩnh vực thị giác máy tính là các mạng nơ ron học sâu, mạng nơ ron tích chập CNN hoặc mang nơ ron hồi quy (LSTM, RNN,.
Anil Osman Tur và các cộng sự [5]. (2021) đã cung cap một khung hinh 3 tầng dựa trên LSTM, HMM và CNN cho hệ thông của họ dé giải quyết vấn đề isolated sign classification. Module đầu được dùng đề trích xuất đặc trưng va mô hình CNN-based dùng đẻ giảm chiều dit liệu (reduce dimension), Sau cùng đưa qua model HMM đê phân loại isolated sign, thu được độ chính xác 90.15% trên bộ đữ liệu Montalbano sử dụng RGB, Skeletal data, Ankita Wadhawan và cộng sự [6] dé xuất hệ thong nhận dạng ngôn ngữ ký hiệu gồm 4 giai đoạn chính: thu thập dữ liệu, tiền xử lý ảnh, huấn luyện và thử nghiệm bộ phân loại CNN, Những hình ảnh ký hiệu tiền xử lý được đưa vào lớp phân loại dé gan chúng vào danh mục thích hợp. Hệ thông đạt được độ chính xác đào tạo và xác thực lần lượt là 99,76% và 98,35% khi sử dụng RMSProp và người ta nhận thấy rằng SGDoptimizer vượt trội hơn Adam, RMSProp và các trình tôi ưu hóa khác về độ chính xác.
Sundar Ba và đồng sự đã dé xuất vision-based system, cho ra mắt model nhận dạng NNKH cho alphabets sử dụng LSTM va Mediapipe [7]. Hệ thống nay có thé được sử dụng dé dịch ngôn ngữ ký hiệu thành văn bản và giao điện người-máy (HCI), sử dụng trong HCI dé tương tác với máy tính dựa trên các cử chỉ thực hiện. Hệ thông nhận dạng NNKH bằng cử chỉ tay sử dụng 15 mô hình Long Short-term memory (LSTM) được nghiên cứu với 26 chit cái và đã đạt độ chính xác 99%. Gần đây, một loại mạng mới đã xuất hiện và gây tiếng vang lớn là Transformer.
2022, Matyas Bohacek và Marek Hruz đã đề xuất mô hình SPOTER [8], nhận thay tiềm năng của nó trong việc sử dụng hệ thống nhận điện ngôn ngữ ký hiệu ở mức độ từ trên các thiết bị cầm tay, nhằm đến một phương pháp có chi phí thấp. Mô hình này có phương hướng chuẩn hóa (normalization) va tang cường (augmentations) vị trí cơ thê mạnh mẽ so với các mô hình trước đó, cải thiện đáng ké độ chính xác trên 2 tập dir liệu LSA64, WLASL. Yu Liu và cộng sự đề xuất mô hình vision transformer-based [9] (2023), sử dụng phương pháp được gọi là Detection Transformer (DETR), hướng đến mục tiêu cải thiện tôi ưu độ chính xác mô hình nhận dang NNKH. Phương pháp DETR được dé cập có khả nang nhận dạng NNKH từ digital videos với độ chính xác cao, sử dụng mô hình học mới ResNet152 va Feature Pyramid Network (FPN).
Kết quả nghiên cứu chỉ ra rang DETR có tiềm năng lớn trong việc cải thiện độ chính xác mô hình, dat overall accuracy lên đến 96.45%, Một số nghiên cứu nhận diện ngôn ngữ ký hiệu tiếng Việt: Việt Nam là một đất nước đông dân với sự gia tăng đáng kẻ trong việc đầu tư và thúc đây nghiên cứu về ngôn ngữ người khiếm thính. Các tô chức nghiên cứu, cùng với các trường đại học đã công hién không ngừng sức lực va tài nguyên cho những dự án về ngôn ngữ và trợ giúp cho người khiếm thính. Anh Vo vả cộng sự [10] đã tiến hành nhận dạng các tư thế từ bộ dữ liệu VSL trên video. Từ chuỗi video đầu vào các frame (khung hình) được trích xuất thủ công, loại bỏ các vùng liên quan đến mặt và chỉ lay các vùng liên quan đến tay.
Thử nghiệm với 2 cách tiếp cận, các mô hình máy học truyền thống và mô hình Deep Learning (Học sâu). Mô hình truyền thống và học sâu được sử dung để nhận điện NNKH lần lượt là Support Vector Machine (SVM) và LSTM. Train SVM và LSTM đạt được độ chính xác đạt được lần lượt là 88. Duc-Hoang Vo và các cộng sự [11] nghiên cứu phân loại các hành động được thực hiện một cách liên tục.
Các hành động được quay bằng camera Kinect được sản xuất bởi Microsoft dé trích xuất các đặc trưng về mảu sắc, độ sâu được tính toán dựa l6 trên tín hiệu hồng ngoại. Bài toán sử dụng mô hình SVM kết hợp với mô hình Markov ân (HMM) với độ chính xác lên đến 95% với bộ dữ liệu nhóm thu thập. Khuất Duy Bách và cộng sự [12] đã đề xuất phương pháp triển khai sử dụng mạng nơ-ron tái điển (RNN) với khung theo dõi tay Mediapipe để nhận dang cử chỉ ngôn ngữ kí hiệu. Dữ liệu huấn luyện được sản sinh từ video đầu vào bang mô hình theo đði nhiều tay va mô hình học sâu có thé nhận dạng cử chỉ bằng các điểm mốc trên tay qua mỗi khung hình đào tạo RNN.
Tập dữ liệu chứa cử chỉ của các từ thông dụng nhất trong tiếng Việt. Mô hình này cho kết qua chính xác tốt trong nhận dang từ. Một số thách thức Một trong những thách thức lớn nhất là sự đa dạng và phong phú của cử chỉ vả biéu hiện kí hiệu. Từ sự khác biệt về văn hoá, tiếng nói, xã hội dẫn đến ngôn ngữ kí hiệu có nhiêu phiên bản khác nhau.
Mỗi ngôn ngữ kí hiệu có những đặc điểm riêng biệt và cần một quy trình nhận dạng và dịch riêng biệt. Thêm vào đó, trong các điều kiện khác nhau, ánh sáng, góc độ khác nhau hoặc nền nhiễu có thẻ dẫn đến sự nhận dang khác nhau trong cùng một hệ thông nhận dạng đối với cùng một từ, cụm từ hoặc câu. So với bài toán nhận điện hành động, có nhiều khó khăn khi nhận diện một ngôn ngữ ký hiệu. Xem xét một ký hiệu cần phải xem xét cử chỉ trên cơ thé, hình dang của các ngón tay và bàn tay, ngoài ra còn có thể kết hợp với cảm xúc khuôn mặt, tốc độ nhanh chậm, số lần lặp lại.
Do phân lớn các ký hiệu đều thực hiện từ hông trở lên, rất ít các ký hiệu được thực hiện từ hông trở xuống {13]. việc chọn lọc các thông tin vào mô hình là cần thiết dé tránh mô hình học quá khớp. Và việc nhận diện cũng sẽ gặp không ít khó khăn khi tùy người biéu dién mà có tốc độ, tay thuận khác nhau. Ngoài ra, nhận điện ngôn ngữ ký hiệu cũng gặp nhiều khó khăn khi bộ dữ liệu phù hợp dé dao tạo mô hình cũng còn rất hạn chế vả đôi khi xa rời với thực tế [14].
Sơ lược về các tập đữ liệu Đề phục vụ cho việc đảo tạo các mô hình nhận diện ngôn ngữ ký hiệu, nhiều bộ dữ liệu đã được xây dựng. Một số bộ dữ liệu được công khai có thé kể đến như: Bộ dữ liệu WLASL, bộ dit liệu LSA64, bộ dit liệu INCLUDE, bộ dit liệu DUL-VSL v.