Phát triển ứng dụng nhận dạng ngôn ngữ ký hiệu tiếng Việt

Đồ án phát triển ứng dụng nhận dạng ngôn ngữ ký hiệu tiếng Việt tại ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Lê Đình Đạt
• Người hướng dẫn: PGS.TS. Hoàng Văn Dũng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát triển ứng dụng nhận dạng ngôn ngữ ký hiệu tiếng Việt
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan nghiên cứu nhận dạng ngôn ngữ ký hiệu tiếng Việt

Ngôn ngữ ký hiệu là phương tiện giao tiếp tự nhiên của người khiếm thính. Hệ thống kết hợp cử chỉ bàn tay, chuyển động cơ thể và nét mặt. Tại Việt Nam, rào cản ngôn ngữ gây nhiều trở ngại trong hòa nhập xã hội. Đề tài tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh đặt mục tiêu giải quyết vấn đề này. Nhóm nghiên cứu thuộc Khoa Công nghệ Thông tin triển khai xây dựng phần mềm nhận dạng tự động. Công trình do Phó Giáo sư Hoàng Văn Dũng trực tiếp hướng dẫn. Các tác giả gồm Lê Đình Đạt, Lê Nam Hưng và Đào Quang Duy. Đề tài tập trung xây dựng mô hình thị giác máy tính thông minh. Công nghệ chuyển đổi hình ảnh cử chỉ thành văn bản tiếng Việt rõ ràng. Quá trình xử lý diễn ra trực tiếp qua máy ảnh kỹ thuật số. Người khiếm thính có thể tương tác tự nhiên với người bình thường. Nghiên cứu tạo nền tảng chuyển đổi số trong giáo dục đặc biệt. Kết quả đóng góp vào kho tàng nghiên cứu trí tuệ nhân tạo nước nhà. Đề tài mở ra tiềm năng lớn cho dịch vụ công và y tế.

1.1. Bối cảnh phát triển ngôn ngữ ký hiệu Việt Nam

Ngôn ngữ ký hiệu Việt Nam hình thành và phát triển qua nhiều thập kỷ. Mỗi vùng miền sở hữu những biến thể ký hiệu đặc thù riêng biệt. Người khiếm thính tại Hà Nội, Đà Nẵng hay Thành phố Hồ Chí Minh có sự khác biệt nhỏ về cử chỉ. Tuy nhiên, cấu trúc ngữ pháp cơ bản vẫn duy trì tính nhất quán cao. Sự thiếu hụt từ điển điện tử gây khó khăn cho việc chuẩn hóa. Người bình thường rất khó học và hiểu trọn vẹn cử chỉ tay. Do đó, việc ứng dụng công nghệ thông tin là xu hướng tất yếu. Các công cụ nhận dạng số giúp bắc nhịp cầu giao tiếp giữa hai cộng đồng.

1.2. Mục tiêu nghiên cứu đồ án tốt nghiệp tại HCMUTE

Đồ án tốt nghiệp tại Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh tập trung vào giải pháp thực tiễn. Mục tiêu chính là xây dựng ứng dụng nhận dạng ký hiệu theo thời gian thực. Hệ thống phải đạt độ chính xác cao và thời gian phản hồi thấp. Nhóm sinh viên kỹ thuật số hóa dữ liệu video chuyển động thực tế. Dữ liệu bao gồm các bảng chữ cái, chữ số và cụm từ thông dụng. Sản phẩm hướng tới khả năng cài đặt trên thiết bị cá nhân di động. Đề tài cung cấp giải pháp công nghệ giá rẻ cho trường học chuyên biệt. Kết quả nghiên cứu khẳng định năng lực đào tạo kỹ thuật chuyên sâu của nhà trường.

II. Khó khăn khi phân tích nhận dạng ngôn ngữ ký hiệu tiếng Việt

Nhận dạng ngôn ngữ ký hiệu gặp nhiều rào cản kỹ thuật phức tạp. Cử chỉ tay diễn ra nhanh và liên tục theo thời gian. Mỗi người thực hiện ký hiệu với tốc độ và biên độ khác nhau. Yếu tố ngoại cảnh như ánh sáng và góc quay camera gây nhiễu lớn. Bàn tay người chuyển động nhanh thường tạo ra hiện tượng nhòe hình ảnh. Các ngón tay che khuất lẫn nhau làm mất thông tin khớp xương quan trọng. Khuôn mặt biểu cảm cũng thay đổi liên tục theo ngữ cảnh giao tiếp. Vấn đề dữ liệu huấn luyện tại Việt Nam còn nhiều hạn chế nghiêm trọng. Hiện chưa có bộ dữ liệu chuẩn hóa quy mô lớn cho tiếng Việt. Việc thu thập video cử chỉ đòi hỏi nhiều công sức và tình nguyện viên khiếm thính. Chi phí gán nhãn dữ liệu video cử chỉ cũng rất cao. Ngoài ra, sự đa dạng vùng miền tạo nên nhiều biến thể cử chỉ khác nhau. Các mô hình học máy truyền thống thường bị quá khớp hoặc hoạt động kém chính xác. Do đó, bài toán đòi hỏi kiến trúc mạng nơ-ron sâu với khả năng khái quát hóa vượt trội.

2.1. Thách thức về triệt tiêu đạo hàm trong học sâu

Khi huấn luyện các mạng nơ-ron rất sâu, hiện tượng triệt tiêu đạo hàm thường xuyên xảy ra. Quá trình lan truyền ngược yêu cầu nhân liên tiếp nhiều ma trận trọng số. Nếu giá trị đạo hàm nhỏ, phép nhân lặp lại khiến đạo hàm tiến dần về 0. Trọng số ở các lớp đầu tiên không thể cập nhật giá trị mới. Hiện tượng này làm mạng ngưng học và suy giảm độ chính xác nhận dạng. Ngược lại, hiện tượng bùng nổ đạo hàm làm trọng số tăng quá mức kiểm soát. Mô hình mất ổn định và không thể hội tụ trong quá trình huấn luyện cử chỉ phức tạp. Đây là thách thức lớn khi xây dựng hệ thống nhận dạng chuỗi video dài.

2.2. Sự phức tạp trong không gian chuyển động cử chỉ

Ngôn ngữ ký hiệu không chỉ đơn thuần là các cử chỉ tĩnh tại chỗ. Mỗi câu giao tiếp là chuỗi biến đổi liên tục trong không gian ba chiều. Vị trí bàn tay tương quan mật thiết với vai, ngực và khuôn mặt. Chỉ một thay đổi nhỏ về hướng xoay cổ tay sẽ làm đổi lệch hoàn toàn nghĩa từ vựng. Bên cạnh đó, tốc độ cử động của người dùng thay đổi tùy theo cảm xúc cá nhân. Video thu nhận thường có tốc độ khung hình biến thiên theo thiết bị phần cứng. Việc đồng bộ thời gian và trích xuất đúng tọa độ không gian đòi hỏi thuật toán xử lý cực kỳ khắt khe. Mô hình cần phân biệt ranh giới giữa các từ ký hiệu liên tiếp.

III. Phương pháp học sâu nhận dạng ngôn ngữ ký hiệu tiếng Việt

Nhóm nghiên cứu tại HCMUTE đề xuất giải pháp kết hợp đa mô hình học sâu hiện đại. Kiến trúc tích hợp mạng nơ-ron tích chập không gian và mạng hồi quy thời gian. Mạng 3D-CNN trích xuất đồng thời đặc trưng không gian và thời gian từ chuỗi khung hình. Luồng xử lý phân tích hình dáng bàn tay kết hợp với chuyển động tổng thể thân người. Cơ chế chú ý trong mô hình LSTM giúp nhận biết trọng tâm vào các thời điểm quan trọng. Hệ thống loại bỏ các khoảng thời gian tĩnh không mang thông điệp ngôn ngữ. Bên cạnh đó, kỹ thuật kết nối dư thừa Residual Connection được đưa vào cấu trúc mạng. Kỹ thuật này giải quyết triệt để vấn đề triệt tiêu đạo hàm ở các tầng sâu. Mạng học hàm sai biệt thay vì phải học trực tiếp ánh xạ phức tạp. Nhờ vậy, quá trình huấn luyện diễn ra nhanh hơn và độ chính xác phân loại tăng cao. Đường tắt đồng nhất bảo toàn tín hiệu gradient nguyên vẹn qua nhiều lớp tích chập. Giải pháp công nghệ này nâng cao khả năng xử lý các cử chỉ tiếng Việt phức tạp trong thực tế.

3.1. Ứng dụng mạng 3D CNN hai luồng và LSTM

Mạng 3D-CNN hai luồng giữ vai trò cốt lõi trong việc nhận diện cử chỉ động. Luồng thứ nhất tiếp nhận luồng hình ảnh RGB để nắm bắt hình dáng bàn tay và nét mặt. Luồng thứ hai xử lý dòng quang học để nắm bắt hướng di chuyển của cử chỉ. Cả hai luồng dữ liệu hợp nhất tại các tầng nơ-ron đặc trưng trung gian. Sau đó, mạng LSTM tiếp nhận chuỗi đặc trưng để mô hình hóa mối quan hệ thời gian. Cơ chế tự chú ý gán trọng số cao cho những khung hình chứa cử chỉ quyết định ý nghĩa. Sự kết hợp này mang lại khả năng phân loại cử chỉ tiếng Việt mượt mà và chính xác.

3.2. Tối ưu hóa mô hình với Residual Connection

Kỹ thuật kết nối dư thừa cải thiện đáng kể tính ổn định khi tối ưu hóa mạng nơ-ron. Thay vì huấn luyện hàm mục tiêu F(x), mạng học phần dư F(x) = H(x) - x. Đầu ra của khối xử lý được định nghĩa lại bằng công thức F(x) + x. Đường tắt đồng nhất truyền tín hiệu trực tiếp mà không qua nhân ma trận trọng số. Đạo hàm lan truyền ngược được bảo toàn nguyên vẹn về các tầng nơ-ron đầu tiên. Kỹ thuật này ngăn chặn hoàn toàn nguy cơ biến mất gradient khi số tầng mạng tăng cao. Thời gian hội tụ của mô hình nhận dạng ngôn ngữ ký hiệu giảm đi rõ rệt. Nhờ đó, ứng dụng hoạt động ổn định trên các thiết bị máy tính thông thường.

IV. Ứng dụng thực tiễn nhận dạng ngôn ngữ ký hiệu tiếng Việt

Ứng dụng nhận dạng ngôn ngữ ký hiệu mang lại giá trị nhân văn và xã hội sâu sắc. Công nghệ phá vỡ rào cản giao tiếp giữa người khiếm thính và cộng đồng xung quanh. Hệ thống có khả năng tích hợp linh hoạt vào nhiều môi trường thực tế khác nhau. Bệnh viện và trung tâm y tế có thể dùng ứng dụng để tiếp đón bệnh nhân câm điếc. Cơ quan hành chính công nâng cao chất lượng phục vụ mọi tầng lớp nhân dân bình đẳng. Ngành giáo dục tận dụng phần mềm như công cụ giảng dạy tương tác trong lớp học hòa nhập. Thành công của đề tài khẳng định năng lực ứng dụng nghiên cứu của sinh viên Sư phạm Kỹ thuật. Giải pháp kỹ thuật mở ra hướng phát triển các thiết bị trợ thính thông minh thế hệ mới. Trong tương lai, mô hình có thể mở rộng nhận dạng câu hoàn chỉnh với vốn từ vựng phong phú. Hệ thống camera giám sát thông minh cũng có thể tích hợp để cảnh báo nguy hiểm khẩn cấp. Việc tiếp tục chuẩn hóa dữ liệu sẽ đưa sản phẩm ứng dụng rộng rãi vào đời sống hàng ngày.

4.1. Hỗ trợ giao tiếp y tế và dịch vụ công cộng

Tại các bệnh viện, người khiếm thính thường gặp trở ngại nghiêm trọng khi mô tả triệu chứng bệnh. Phần mềm nhận dạng ký hiệu tự động chuyển đổi cử chỉ thành lời nói hoặc văn bản tức thì. Bác sĩ nắm bắt chính xác tình trạng sức khỏe mà không cần phiên dịch viên đi kèm. Điều này bảo vệ quyền riêng tư cá nhân và tăng tốc độ xử lý cấp cứu y tế. Tại quầy giao dịch hành chính công, hệ thống hỗ trợ người dân làm thủ tục giấy tờ thuận lợi. Quy trình phục vụ trở nên văn minh, thân thiện và xóa bỏ định kiến xã hội. Công nghệ góp phần kiến tạo môi trường sống hòa nhập và nhân ái.

4.2. Triển vọng tích hợp trên thiết bị di động cá nhân

Mô hình học sâu sau khi tối ưu hóa có kích thước tệp nhẹ và tốc độ xử lý cao. Ứng dụng dễ dàng vận hành trực tiếp trên điện thoại thông minh hoặc máy tính bảng phổ thông. Người dùng chỉ cần hướng camera vào tay người nói để đọc phụ đề trực tiếp trên màn hình. Thiết kế giao diện thân thiện giúp người cao tuổi và trẻ em dễ dàng làm quen sử dụng. Hướng nghiên cứu tiếp theo sẽ phát triển tính năng chuyển đổi ngược từ giọng nói sang ký hiệu 3D. Ứng dụng di động hứa hẹn trở thành công cụ hỗ trợ tin cậy của cộng đồng khiếm thính khắp cả nước.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Theo số liệu thống kê được tác giả trích dẫn từ báo Sức khỏe và Lao động, Việt Nam hiện có khoảng 2,5 triệu người khiếm thính, trong đó có tới 60% đang trong độ tuổi lao động. Dù nhu cầu tham gia vào các hoạt động đời sống, học tập và tiếp cận dịch vụ xã hội của cộng đồng này là rất lớn, ngành dịch thuật ngôn ngữ ký hiệu tại Việt Nam vẫn còn khan hiếm nhân lực và khó tiếp cận trên diện rộng. Rào cản giao tiếp giữa người khiếm thính và người nghe nói thông thường do đó vẫn là một vấn đề xã hội chưa được giải quyết triệt để.

Về mặt kỹ thuật, các giải pháp hỗ trợ giao tiếp dựa trên thiết bị phần cứng như cảm biến đeo tay tuy đã xuất hiện nhưng bộc lộ nhiều điểm hạn chế: gây khó chịu, vướng víu trong quá trình thao tác tự nhiên và đòi hỏi chi phí trang bị cao, cản trở khả năng tiếp cận của người dùng. Ngược lại, tiếp cận bằng thị giác máy tính kết hợp học sâu (Deep Learning) mang lại tiềm năng lớn khi chỉ cần dữ liệu hình ảnh từ camera thông thường. Tuy nhiên, việc nhận dạng ngôn ngữ ký hiệu liên tục vẫn gặp thách thức do tính phức tạp, đa dạng của chuyển động tay và cơ thể, cũng như yêu cầu tối ưu hóa mô hình để hoạt động trên các thiết bị có tài nguyên tính toán giới hạn.

Từ bối cảnh thực tiễn và kỹ thuật đó, nhóm nghiên cứu xác định các mục tiêu và nhiệm vụ cụ thể bao gồm:

1. Tìm hiểu về ngôn ngữ ký hiệu: Nghiên cứu các đặc điểm, cấu trúc ngữ pháp cũng như vai trò của ngôn ngữ ký hiệu đối với cộng đồng người khiếm thính.
2. Tìm hiểu lý thuyết nền tảng: Nghiên cứu các kiến trúc mạng nơ-ron hồi quy LSTM, mạng nơ-ron đồ thị GCN cùng cơ chế, phương pháp nhận dạng cử chỉ con người.
3. Thiết kế giải pháp: Đề xuất hướng tiếp cận thị giác máy tính không phụ thuộc vào cảm biến đeo nhằm hỗ trợ người khiếm thính giao tiếp thuận tiện.
4. Xây dựng tập dữ liệu và huấn luyện mô hình: Tự thu thập, tiền xử lý và gán nhãn tập dữ liệu gồm khoảng 2.500 video cử chỉ ngôn ngữ ký hiệu tiếng Việt; tiến hành huấn luyện các mô hình học sâu để nhận dạng 100 từ và cụm từ tiếng Việt.
5. Đánh giá và tổng kết: Đánh giá mô hình qua các độ đo định lượng và thực nghiệm thực tế, chỉ ra khó khăn, hạn chế và đề xuất giải pháp hoàn thiện.

Đối tượng nghiên cứu của đồ án là giải pháp hỗ trợ giao tiếp cho người khiếm thính thông qua nhận dạng ngôn ngữ ký hiệu ở cấp độ từ và cụm từ, sau đó chuyển đổi thành dạng văn bản và tự động ghép thành câu hoàn chỉnh. Phạm vi nghiên cứu giới hạn ở việc tiếp cận ngôn ngữ ký hiệu tiếng Việt thông qua khung trích xuất tọa độ khung xương MediaPipe từ camera thời gian thực; tập dữ liệu thực nghiệm bao gồm 100 từ và cụm từ do 3 thành viên nghiên cứu tự ghi hình trong giai đoạn từ tháng 03/2024 đến tháng 06/2025 tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đồ án được xây dựng từ đặc trưng ngôn ngữ học của ngôn ngữ ký hiệu Việt Nam kết hợp các mô hình toán học và kiến trúc học sâu hiện đại:

• Đặc trưng ngôn ngữ ký hiệu Việt Nam: Hệ thống ngôn ngữ ký hiệu Việt Nam hiện có 3 vùng phương ngữ chính gồm Hà Nội, Hải Phòng và TP. Hồ Chí Minh. Về mặt cú pháp, ngôn ngữ ký hiệu tiếng Việt vận hành dựa trên hai đặc trưng cơ bản là "lướt gọn" (lược bỏ các liên từ, từ nối không mang tải thông tin cốt lõi) và "nhấn mạnh" (đưa từ khóa trọng tâm lên đầu câu hoặc chuyển từ phủ định về cuối câu đối với các câu tường thuật, nghi vấn, phủ định và mệnh lệnh).
• Trích xuất đặc trưng tư thế: Đề tài sử dụng pipeline MediaPipe Holistic từ Google nhằm định vị tọa độ không gian các khớp xương theo thời gian thực mà không cần phần cứng chuyên dụng. Hệ thống trích xuất 25 điểm mốc trên phần thân trên và 21 điểm mốc cho mỗi bàn tay (tổng cộng 42 điểm mốc hai tay).
• Mô hình hóa chuỗi và đồ thị: Đồ án kế thừa kiến trúc mạng nơ-ron hồi quy RNN với thuật toán lan truyền ngược qua thời gian (BPTT), mạng bộ nhớ dài-ngắn hạn (LSTM) với 3 cổng điều khiển (cổng quên, cổng đầu vào, cổng đầu ra) và trạng thái tế bào (cell state) nhằm triệt tiêu hiện tượng tiêu biến/bùng nổ đạo hàm (vanishing/exploding gradient). Đồng thời, đồ án khảo sát mạng nơ-ron đồ thị (GNN) cùng mạng tích chập đồ thị (GCN) dựa trên cơ chế truyền thông điệp (message passing) và kỹ thuật kết nối tắt phần dư (Residual Connection) nhằm tối ưu hóa độ sâu của mạng.
• Tổng quan các công trình liên quan: Nhóm tác giả phân tích ba nghiên cứu nền tảng:
  1. Mô hình 3D CNN-LSTM phân đoạn thời gian đa lớp cho nhận dạng cử chỉ tay của Letizia Gionfrida và cộng sự (đạt độ chính xác 93,95% ± 0,37 và chỉ số Jaccard 0,812 ± 0,105 trên tập 113.410 khung hình của 22 người tham gia).
  2. Hệ thống nhận dạng đánh vần chữ cái ngón tay (fingerspelling) ASL trong môi trường thực tế của Bowen Shi và cộng sự (áp dụng kiến trúc Attention-based Encoder-Decoder và Connectionist Temporal Classification - CTC).
  3. Mô hình 3D-CNN hai luồng kết hợp LSTM và cơ chế chú ý nhận dạng ngôn ngữ ký hiệu Trung Quốc của Luo Yin và cộng sự (đạt độ chính xác 98,4% trên bộ dữ liệu DEVISIGN-D).

Phương pháp nghiên cứu thực nghiệm chủ đạo là tiếp cận dựa trên tư thế (Pose-Based Approach). Dữ liệu video thô được chuyển đổi hoàn toàn sang chuỗi tọa độ khớp xương lưu trữ dưới định dạng tệp CSV hoặc tensor PyTorch (.pt). Các chuỗi này sau đó được chuẩn hóa, tăng cường dữ liệu và đưa vào các mạng học sâu để thực hiện hai nhiệm vụ: phân loại cử chỉ và phân đoạn thời gian các đoạn ký hiệu liên tục.

Thiết kế và triển khai

Hệ thống được thiết kế theo quy trình 5 bước khép kín: (1) Đặt ra vấn đề, (2) Thu thập dữ liệu cho huấn luyện và đánh giá, (3) Xây dựng mô hình học sâu, (4) Kiểm tra và đánh giá mô hình, (5) Triển khai ứng dụng.

Hai phương pháp nhận dạng chính được xây dựng và thử nghiệm song song:

1. Mô hình LSTM kết hợp cơ chế chú ý đa đầu (Multi-Head Attention): Sử dụng các tầng LSTM để bắt trọn sự phụ thuộc theo chiều thời gian của chuỗi tọa độ khung xương, kết hợp tầng Multi-Head Attention nhằm tập trung trọng số vào các khung hình chứa chuyển động mang ý nghĩa quyết định trong cử chỉ.
2. Mô hình mạng tích chập đồ thị không gian - thời gian (ST-GCN): Biểu diễn cơ thể và bàn tay người thành một đồ thị không-thời gian với các khớp là nút (nodes) và các liên kết giải phẫu tự nhiên hoặc liên kết thời gian là cạnh (edges). ST-GCN trích xuất đồng thời đặc trưng quan hệ không gian giữa các khớp trong từng khung hình và đặc trưng biến thiên theo thời gian qua các phép tích chập đồ thị.

Đối với bài toán nhận dạng chuỗi video liên tục, đồ án thiết kế mô hình phân đoạn thời gian (Temporal Segmentation) gồm 6 thành phần:

• Trích xuất tư thế (Pose Extraction): Lấy tọa độ 25 điểm thân trên và các điểm bàn tay bằng MediaPipe.
• Tính toán luồng quang học (Optical Flow): Nắm bắt tốc độ và hướng di chuyển của các điểm ảnh hoặc khớp tay giữa các khung hình liên tiếp.
• Chuẩn hóa hình dạng 3D của bàn tay: Loại bỏ sự sai lệch do khoảng cách giữa người dùng và camera.
• Mã hóa chuỗi bằng LSTM (Sequence Encoder): Nén chuỗi đặc trưng động học vào không gian biểu diễn ẩn.
• Gán nhãn khung hình bằng BIO Tagging: Gán nhãn cho từng khung hình theo định dạng B (Begin - bắt đầu cử chỉ), I (Inside - bên trong cử chỉ), O (Outside - khung hình nền/không phải ký hiệu) ở cấp độ từ vựng (sign) và cụm từ (phrase).
• Giải mã phân đoạn bằng thuật toán Greedy Decoding: Trích xuất các ranh giới cử chỉ độc lập dựa trên xác suất nhãn BIO dự đoán.

Về mặt công nghệ triển khai, nhóm nghiên cứu phát triển một ứng dụng web hoàn chỉnh:

• Backend: Xây dựng bằng framework FastAPI (Python), sử dụng OpenCV (cv2) để bắt luồng video từ webcam, gọi pipeline trích xuất MediaPipe và truyền dữ liệu qua mô hình suy luận.
• Frontend: Thiết kế bằng React.js, cung cấp giao diện trực quan cho phép người dùng mở camera, quan sát các điểm đánh dấu khung xương được vẽ phủ theo thời gian thực và nhận diện kết quả dịch thuật hiển thị dưới dạng văn bản tức thì.

Nội dung chính theo từng chương

Chương 1: Tổng quan lý thuyết

Chương 1 hệ thống hóa toàn bộ cơ sở lý luận về ngôn ngữ ký hiệu và nền tảng thị giác máy tính. Nội dung bắt đầu bằng lịch sử hình thành ngôn ngữ ký hiệu từ công trình năm 1620 của Juan Bonet, phân tích 3 phương ngữ chính tại Việt Nam và các quy tắc biến đổi cú pháp đặc thù (câu tường thuật, nghi vấn, phủ định, mệnh lệnh). Tiếp đó, chương giới thiệu thư viện MediaPipe và pipeline MediaPipe Holistic với ưu điểm vận hành ổn định trên phần cứng phổ thông. Về học máy và học sâu, chương trình bày chi tiết về mạng nơ-ron nhân tạo (ANN), thuật toán lan truyền ngược, các hàm kích hoạt phi tuyến (ReLU, Sigmoid, Tanh), mạng CNN, mạng hồi quy RNN và kỹ thuật BPTT. Tác giả chỉ rõ nhược điểm tiêu biến/bùng nổ đạo hàm của RNN, từ đó làm rõ cấu trúc 4 tầng của tế bào LSTM (cổng quên, cổng đầu vào, trạng thái tế bào, cổng đầu ra). Cuối cùng, chương khái quát mạng nơ-ron đồ thị GNN, cơ chế truyền thông điệp (message passing), lớp tích chập GCN và kỹ thuật Residual Connection hỗ trợ luân chuyển gradient an toàn qua các lớp sâu.

Chương 2: Đề xuất giải pháp và xây dựng mô hình

Chương 2 tập trung vào thiết kế giải pháp kỹ thuật, mở đầu bằng sự so sánh giữa hai hướng tiếp cận nhận dạng:

Tiêu chí	Tiếp cận dựa trên tư thế (Pose-Based)	Tiếp cận dựa trên hình ảnh (Image-Appearance-Based)
Bản chất dữ liệu	Tọa độ điểm mốc khung xương (x, y, z)	Dữ liệu ma trận pixel ảnh/video RGB thô
Độ phức tạp tính toán	Thấp, kích thước tệp nhẹ (CSV, PT tensor)	Rất cao, đòi hỏi GPU mạnh để xử lý ảnh 2D/3D
Độ nhạy môi trường	Bền vững trước thay đổi ánh sáng, phông nền	Dễ bị ảnh hưởng bởi ánh sáng, góc quay, nhiễu nền
Khả năng triển khai	Phù hợp thiết bị hiệu năng thấp, di động, web	Khó chạy thời gian thực trên thiết bị phổ thông

Chương trình bày chi tiết cấu trúc mô hình LSTM kết hợp Multi-Head Attention và mô hình ST-GCN với các chiến lược phân vùng đồ thị không gian. Phần tiếp theo mô tả giải pháp phân đoạn thời gian cử chỉ liên tục từ luồng video thông qua sự kết hợp của Optical Flow, chuẩn hóa 3D, mã hóa chuỗi LSTM, gán nhãn BIO Tagging và giải mã bằng giải thuật Greedy Decoding.

Chương 3: Thực nghiệm và đánh giá kết quả

Chương 3 trình bày toàn bộ quy trình thực nghiệm từ thu thập dữ liệu đến kiểm thử hệ thống. Do nguồn tài nguyên dữ liệu ngôn ngữ ký hiệu tiếng Việt công khai còn hạn chế, nhóm tác giả đã tự xây dựng bộ dữ liệu video gồm 100 từ và cụm từ thông dụng (thuộc các chủ đề: ẩm thực như "Bánh mì", "Cà phê"; hoạt động như "Đá bóng"; ngày trong tuần; y tế như "Bệnh viện"; câu giao tiếp như "Bạn khỏe không?", "Tôi khỏe"). Dữ liệu sau đó được trích xuất tọa độ điểm mốc và lưu vào các tệp CSV.

Để mở rộng tập dữ liệu và chống hiện tượng quá khớp (overfitting), tác giả áp dụng 3 kỹ thuật tăng cường dữ liệu:

1. Lấy ngẫu nhiên khung hình (Random frame sampling)
2. Cắt xén ngẫu nhiên (Random cropping)
3. Nội suy thời gian (Temporal interpolation)

Quá trình huấn luyện được thực hiện và so sánh trên hai không gian tọa độ: tập dữ liệu $xys$ (tọa độ $x, y$ và chỉ số tin cậy score/visibility) và tập dữ liệu $xyz$ (tọa độ không gian 3 chiều). Kết quả được đánh giá thông qua sự biến thiên của hàm mất mát (loss value) và các độ đo chính xác trên tập huấn luyện lẫn tập kiểm tra qua từng epoch đối với cả mô hình LSTM và ST-GCN. Cuối cùng, chương mô tả việc đóng gói và kiểm thử trang web nhận dạng thời gian thực kết hợp giữa FastAPI và React.js.

Kết quả và đóng góp

Về kết quả thực nghiệm, đồ án đã hoàn thành các mục tiêu đề ra với những kết quả cụ thể:

• Thu thập và chuẩn hóa thành công bộ dữ liệu video ngôn ngữ ký hiệu tiếng Việt gồm khoảng 2.500 video cho 100 từ và cụm từ giao tiếp thường ngày.
• Xây dựng thành công quy trình trích xuất đặc trưng tự động, chuyển đổi video cử chỉ thành chuỗi tọa độ 25 điểm thân trên và 42 điểm hai bàn tay thông qua MediaPipe Holistic, giảm đáng kể dung lượng lưu trữ và chi phí tính toán so với việc xử lý trực tiếp trên khung hình RGB.
• Huấn luyện và kiểm chứng tính khả thi của hai mô hình học sâu (LSTM kết hợp Multi-Head Attention và ST-GCN), đồng thời áp dụng giải thuật phân đoạn thời gian dựa trên BIO Tagging và Greedy Decoding để xử lý các chuỗi ký hiệu nối tiếp.
• Triển khai thành công ứng dụng web nhận dạng thời gian thực, kết nối mượt mà giữa mô hình suy luận Python (FastAPI/OpenCV) và giao diện người dùng React.js.

Đóng góp chính của đề tài là đề xuất một giải pháp kỹ thuật hoàn chỉnh, gọn nhẹ cho bài toán nhận dạng ngôn ngữ ký hiệu tiếng Việt không phụ thuộc vào cảm biến đeo. Bằng việc chứng minh tính hiệu quả của phương pháp tiếp cận dựa trên khung xương (Pose-Based), đề tài mở ra tiền đề để xây dựng các công cụ hỗ trợ giao tiếp giá thành thấp, có khả năng vận hành trực tiếp trên các thiết bị cấu hình khiêm tốn như máy tính cá nhân hoặc điện thoại thông minh trong tương lai.

Hạn chế và hướng nghiên cứu tiếp

Mặc dù đạt được những kết quả khả quan, báo cáo khóa luận cũng thẳng thắn chỉ ra các hạn chế cố hữu trong phạm vi nghiên cứu:

• Quy mô tập từ vựng còn hạn chế: Mô hình mới chỉ được huấn luyện trên 100 từ và cụm từ tiếng Việt, chưa bao quát được toàn bộ hệ thống từ vựng phong phú và phức tạp của ngôn ngữ ký hiệu ngoài đời thực.
• Tính đa dạng của tập dữ liệu: Toàn bộ 2.500 video đều do 3 thành viên trong nhóm nghiên cứu tự quay dựa trên tài liệu hướng dẫn, chưa thu thập được dữ liệu thực tế từ cộng đồng người khiếm thính bản ngữ. Do đó, sự biến thiên về thói quen chuyển động, tốc độ biểu đạt, đặc điểm nhân trắc học và môi trường ánh sáng chưa thực sự phong phú.

Hướng phát triển tiếp theo được tác giả đề xuất bao gồm:

• Mở rộng tập dữ liệu cả về số lượng từ vựng, số lượng mẫu và phối hợp thu thập dữ liệu trực tiếp từ cộng đồng người khiếm thính.
• Nghiên cứu tối ưu hóa kiến trúc mạng để nâng cao độ chính xác khi nhận dạng các câu ký hiệu dài và liên tục.
• Tối ưu hóa mô hình để đóng gói và triển khai trực tiếp dưới dạng ứng dụng di động trên các hệ điều hành iOS và Android hoặc các thiết bị nhúng IoT.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo thiết thực cho sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Công nghệ Thông tin, Khoa học Máy tính, Trí tuệ Nhân tạo và Thị giác Máy tính đang thực hiện các đề tài về nhận dạng hành động người (Human Action Recognition) hoặc nhận dạng cử chỉ/ngôn ngữ ký hiệu (Sign Language Recognition - SLR).

Những phần có giá trị tham khảo ứng dụng cao bao gồm:

• Toàn bộ quy trình xây dựng pipeline trích xuất tọa độ khớp xương bằng MediaPipe Holistic kết hợp các phương pháp tăng cường dữ liệu chuỗi thời gian (Random frame sampling, Random cropping, Temporal interpolation).
• Phương pháp luận phân đoạn cử chỉ thời gian thực sử dụng kỹ thuật gán nhãn BIO Tagging và giải mã Greedy Decoding.
• Kiến trúc tích hợp thực tế giữa mô hình học máy xử lý luồng camera thời gian thực (FastAPI + OpenCV) với ứng dụng giao diện web hiện đại (React.js).

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại lựa chọn hướng tiếp cận dựa trên khung xương (Pose-Based) thay vì xử lý ảnh RGB truyền thống hay dùng găng tay cảm biến?
Tiếp cận cảm biến gây vướng víu và tốn kém chi phí trang bị cho người khiếm thính. Trong khi đó, xử lý ảnh RGB nguyên bản đòi hỏi tài nguyên tính toán rất lớn và dễ bị nhiễu do phông nền, ánh sáng. Nhóm chọn giải pháp Pose-Based thông qua MediaPipe Holistic vì dữ liệu tọa độ khớp xương rất nhẹ, triệt tiêu được ảnh hưởng của bối cảnh môi trường và phù hợp để triển khai trên các thiết bị hiệu năng thấp.

2. Tập dữ liệu thực nghiệm trong khóa luận được thu thập và tổ chức như thế nào?
Bộ dữ liệu gồm khoảng 2.500 video do 3 thành viên nhóm nghiên cứu tự ghi hình theo các tài liệu hướng dẫn ngôn ngữ ký hiệu tiếng Việt chuẩn. Bộ dữ liệu bao quát 100 từ và cụm từ thuộc các chủ đề đời sống (như "Bánh mì", "Cà phê", "Đá bóng", "Bệnh viện", các thứ trong tuần, câu hỏi thăm "Bạn khỏe không?"). Dữ liệu được trích xuất thành các tệp CSV chứa tọa độ điểm mốc thân trên (25 điểm) và hai bàn tay (42 điểm).

3. Hai kiến trúc mô hình học sâu chính được triển khai cho bài toán nhận dạng trong đồ án là gì?
Đó là mô hình mạng hồi quy LSTM kết hợp cơ chế chú ý đa đầu (Multi-Head Attention) và mô hình mạng tích chập đồ thị không - thời gian ST-GCN (Spatial Temporal Graph Convolutional Networks).

4. Cơ chế phân đoạn video ngôn ngữ ký hiệu liên tục được thực hiện bằng giải pháp nào?
Mô hình phân đoạn kết hợp trích xuất tư thế MediaPipe, tính toán Optical Flow, chuẩn hóa bàn tay 3D, đưa qua bộ mã hóa chuỗi LSTM, sau đó sử dụng phương pháp BIO Tagging (Begin, Inside, Outside) để phân loại nhãn từng khung hình và áp dụng thuật toán Greedy Decoding để giải mã các phân đoạn từ/cụm từ độc lập.

5. Ứng dụng web nhận dạng thời gian thực được xây dựng dựa trên công nghệ nào?
Hệ thống sử dụng Python với framework FastAPI và thư viện OpenCV (cv2) ở tầng backend để thu nhận luồng hình ảnh từ camera và suy luận mô hình; tầng frontend sử dụng thư viện React.js để hiển thị giao diện tương tác, vẽ các điểm mốc khung xương và hiển thị kết quả dịch thuật văn bản trực tiếp cho người dùng.

Kết luận

Khóa luận tốt nghiệp của nhóm tác giả tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh đã giải quyết trọn vẹn bài toán xây dựng hệ thống nhận dạng ngôn ngữ ký hiệu tiếng Việt dựa trên thị giác máy tính và học sâu. Bằng việc kết hợp pipeline trích xuất khung xương MediaPipe Holistic với các mô hình học chuỗi/đồ thị (LSTM kết hợp Attention và ST-GCN) cùng kỹ thuật phân đoạn BIO Tagging, nghiên cứu đã nhận dạng thành công 100 từ và cụm từ giao tiếp trên tập dữ liệu 2.500 video tự xây dựng. Hệ thống được đóng gói hoàn chỉnh thành một ứng dụng web thời gian thực sử dụng FastAPI và React.js, tạo nền tảng vững chắc cho các nghiên cứu mở rộng quy mô từ vựng và triển khai trên các thiết bị di động trong tương lai.

Trích đoạn nội dung tài liệu

PHẦN MỞ ĐẦU 1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI Ngôn ngữ ký hiệu là phương thức giao tiếp phổ biến và quan trọng của cộng đồng người khiếm thính. Theo thống kê của báo Sức khỏe và Lao động, hiện nay nước ta có khoảng 2,5 triệu người khiếm thính, trong đó có đến 60% người khiếm thính đang trong độ tuổi đi làm, trong khi đó ngành dịch ngôn ngữ ký lại rất ít người quan tâm và cũng rất khó tiếp cận. Người khiếm thính có nhu cầu giao tiếp như người bình thường, họ cũng tham gia vào các hoạt động thường ngày của xã hội nên việc tiếp cận với các thông tin, dịch vụ là điều tất yếu.

Việc thiếu người thông dịch ngôn ngữ ký hiệu và các phương pháp hiệu quả để hỗ trợ người bình thường giao tiếp với người khiếm thính đòi hỏi phải có một công cụ tiện dụng giúp ngôn ngữ ký hiệu trở nên thân thiện với mọi người. Từ những đặc điểm đa dạng cũng như vai trò quan trọng của ngôn ngữ ký hiệu với cộng đồng khiếm thính, nhóm chúng em nhận thấy nhu cầu cần có một giải pháp để giúp việc giao tiếp thuận tiện hơn. Vì thế, nhóm quyết định thực hiện đề tài khóa luận “Phát triển ứng dụng nhận dạng ngôn ngữ ký hiệu” với mong muốn đóng góp một phần sức lực, giúp cộng đồng khiếm thính thêm gắn kết với mọi người. Tuy rằng đề tài chưa thể nhận diện được hết tất cả các từ hoặc câu trong tiếng Việt, bởi số lượng từ vựng thật sự rất lớn và phức tạp, cũng như chỉ được huấn luyện với khoảng 100 từ, cụm từ, nhưng điều mà nhóm chúng em hướng đến chính là đóng góp về ý tưởng, hướng giải quyết, phương pháp, cũng như động lực dám nghĩ, dám làm để tiếp tục hoàn thiện thêm trong tương lai.

Ngày nay, công nghệ máy tính đang ngày càng phát triển và cả sự cải tiến của các mạng nơ-ron, nhiều mô hình ngôn ngữ ký hiệu đã ra đời và chứng minh sức mạnh của chúng trong nhận dạng cử chỉ và học chuỗi các cử chỉ ký hiệu. Việc sử dụng các mạng nơ-ron để tạo ra các công cụ hỗ trợ con người đã đạt được những bước tiến đáng kể trong đó mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) là những đại diện tiêu biểu. Tuy nhiên, áp dụng các mạng nơ-ron sâu để giải quyết bài toán nhận dạng ngôn ngữ ký hiệu vẫn là một thách thức lớn. Bên cạnh đó một số phương pháp tiếp cận 1 theo hướng sử dụng cảm biến chưa thể hiện được tính thực tiễn bởi nó yêu cầu người dùng phải đeo hoặc mang theo các thiết bị cảm biến, điều này gây ra sự khó chịu trong lúc giao tiếp và chi phí để tiếp cận các thiết bị này cũng là một trở ngại lớn với người khiếm thính.

Trong đề tài tiểu luận chuyên ngành lần này, chúng em nghiên cứu giải pháp theo hướng tiếp cận dựa trên thị giác máy tính, nhận diện ngôn ngữ ký hiệu thông qua video với việc sử dụng framework mediaPipe từ Google và mạng nơ-ron học sâu. Với việc trích xuất dữ liệu khung xương, ta có thể tạo ra các mô hình nhỏ gọn, đây là tiền đề để nhóm hướng đến việc xây dựng mô hình sử dụng được trên các thiết bị hiệu năng thấp như điện thoại di động. Rất mong đề tài này sẽ có thể góp phần vào công cuộc phát triển các hệ sinh thái phần mềm cũng như công cụ hỗ trợ cho việc giao tiếp dành cho người khuyết tật, người gặp khó khăn trong vấn đề giao tiếp thường ngày bằng giọng nói. MỤC TIÊU CỦA ĐỀ TÀI Đề tài là tập trung nghiên cứu về các mô hình học sâu như LSTM và GCN, từ đó xây dựng nên một hệ thống có khả năng nhận dạng cử chỉ tay của con người, với mục đích hỗ trợ những người bị khiếm thính nói chung hoặc đang gặp vấn đề khó khăn đến việc sử dụng giọng nói trong giao tiếp thường ngày.

Các mô hình sẽ được cố gắng thiết kế để phù hợp với việc tích hợp vào các thiết bị hiệu năng thấp. Hệ thống sẽ phát hiện, nhận dạng các cử chỉ tay, sau đó chuyển đổi chúng thành dạng văn bản hoặc tiếng nói để người bình thường có thể đọc, nghe và hiểu người khiếm thính muốn nói gì. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 3. Đối tượng nghiên cứu Đề tài tập trung nghiên cứu về giải pháp hỗ trợ giao tiếp giữa người khiếm thính và người nghe nói thông thường.

Cụ thể, đề tài áp dụng các mô hình học sâu để nhận diện ngôn ngữ ký hiệu ở mức từ/cụm từ, sau khi nhận diện sẽ chuyển đổi sang văn bản rồi sau đó tự ghép lại thành một câu hoàn chỉnh (nếu nhận dạng được nhiều từ/cụm từ liên tiếp), giúp hai phía hiểu nhau một cách thuận tiện hơn. Phạm vi nghiên cứu Đề tài của nhóm tiếp cận ngôn ngữ ký hiệu tiếng Việt bằng cách sử dụng framework Mediapipe của Google để nhận diện động tác từ hình ảnh camera thời gian thực mà không cần thêm bất cứ thiết bị phụ trợ nào. Tập dữ liệu được sử dụng trong quá trình nghiên cứu đề tài toàn bộ là các video ngôn ngữ ký hiệu tiếng Việt do chính 3 thành viên của nhóm tự thực hiện, bám sát nội dung từ các tài liệu hướng dẫn về ngôn ngữ ký hiệu. Tuy nhiên, do thời gian, tài lực cũng như mức độ phức tạp của bài toán, mô hình chỉ được huấn luyện để nhận diện khoảng 100 từ và cụm từ tiếng Việt thay vì bao quát hoàn toàn hệ thống ngôn ngữ ký hiệu.

Việc này dẫn đến một số giới hạn về khả năng nhận biết, chưa hoàn thành được nhu cầu giao tiếp đa dạng của cộng đồng người khiếm thính. Mặc dù vậy, đề tài vẫn hướng đến mục tiêu xây dựng được một mô hình khả thi trong việc nhận dạng các ký hiệu tiếng Việt, từ đó tiếp tục hoàn thiện, mở rộng thêm về số lượng từ cũng như hoàn thiện về độ chính xác của mô hình trong tương lai. Danh sách 100 từ và cụm từ mà nhóm sử dụng để xây dựng tập dữ liệu sẽ được trình bày chi tiết tại mục “3. Xây dựng và xử lý tập dữ liệu” thuộc “Chương 3: Thực nghiệm và đánh giá”.

Mô hình cũng được thiết kế theo hướng gọn nhẹ, tiện dụng, với mục tiêu sau này hoàn toàn có thể triển khai lên các thiết bị di động như điện thoại hoặc máy tính bảng, giúp tăng khả năng tiếp cận cũng như tiện dụng trong thực tế. CẤU TRÚC TỔNG QUAN CỦA ĐỀ TÀI VÀ HƯỚNG NGHIÊN CỨU 4. Sơ đồ khối tổng quát của đề tài Bước 1: Đặt ra vấn đề Bước 2: Thu thập dữ liệu cho huấn luyện và đánh giá mô hình Bước 3: Xây dựng mô hình học sâu nhận dạng ngôn ngữ ký hiệu Bước 4: Kiểm tra và đánh giá mô hình Bước 5: Triển khai mô hình 3 Hình 1: Sơ đồ khối của đề tài 4. Hướng tiếp cận đề tài Quỹ đạo của bộ xương và khớp của cơ thể con người rất mạnh mẽ trước sự thay đổi ánh sáng và biến đổi cảnh, đồng thời dễ dàng thu được chúng nhờ các cảm biến độ sâu có độ chính xác cao hoặc thuật toán ước tính tư thế.

Do đó, có rất nhiều phương pháp để giải quyết bài toán nhận dạng hành động dựa trên khung xương. Loại phương pháp tiếp cận đầu tiên thiết kế một số tính năng thủ công để nắm bắt được động lực của chuyển động khớp. Đây có thể là ma trận hiệp phương sai của quỹ đạo khớp, vị trí tương đối của khớp, hoặc chuyển động quay và dịch chuyển giữa các bộ phận cơ thể. Thành công gần đây của deep learning đã dẫn đến sự phát triển của các phương pháp mô hình hóa bộ xương dựa trên deep learning.

Những công trình này đã sử dụng mạng RNN và CNN để giải quyết bài toán. Trong số các phương pháp tiếp cận này, nhiều phương pháp đã đặc biệt quan tâm đến việc mô hình hóa các khớp quan trọng của cơ thể con người. 4 Hình 2: Spatiotemporal map of human skeleton Trích xuất các điểm đặc trưng trên tập dữ liệu bằng mô hình Mediapipe để làm dữ liệu cho mô hình. Các điểm đặc trưng lấy từ các khung hình bao gồm 25 điểm trên phần thân trên và 21 điểm cho cả hai tay.

Sau đó lưu các điểm đặc trưng đã trích xuất dưới dạng các tệp csv, pt, mỗi tệp có thể được xem là một điểm đặc trưng đại diện cho từng khung hình của video. Việc lưu trữ các điểm đặc trưng như vậy, giúp quá trình quản lý và sử dụng dữ liệu khung xương và đổi thành các tensor đầu vào cho mô hình dễ dàng, thuận tiện hơn. KẾT QUẢ DỰ KIẾN - Nghiên cứu và sử dụng được các mô hình deep learning tiên tiến hiện nay, áp dụng các mô hình mạng nơ ron như CNN, RNN vào trong bài toán nhận dạng ngôn ngữ ký hiệu tiếng Việt. Từ đó xác định ra được mô hình có hiệu suất cao nhất trong việc phân loại và nhận dạng cử chỉ.

- Cải thiện được hiệu suất của các mô hình mà nhóm sử dụng bằng cách phân tích và điều chỉnh thêm các tham số của mô hình, với mục tiêu là mô hinh sẽ đạt được độ chính xác lý tưởng từ (80-95%) trong việc nhận dạng ngôn ngữ ký hiệu. - Thu thập và xây dựng được một bộ dữ liệu tiêu chuẩn chứa các video về động tác thực hiện ngôn ngữ ký hiệu tiếng Việt theo các cấp độ từ/cụm từ, chuẩn hóa tập dữ liệu này và đưa ra được các phương pháp tiền xử lý dữ liệu, tăng cường dữ liệu trước khi đưa vào mô hình huấn luyện. 5 - Phân tích và đánh giá hiệu suất hoạt động của mô hình bằng việc tính toán các độ đo và thông qua thực nghiệm 6. PHÂN TÍCH CÁC CÔNG TRÌNH LIÊN QUAN Trong quá trình nghiên cứu và phát triển hệ thống nhận dạng ngôn ngữ ký hiệu tiếng Việt, việc tham khảo các công trình khoa học trước đó là rất cần thiết để nắm bắt xu hướng công nghệ, xác định các phương pháp tiếp cận hiệu quả cũng như rút ra bài học từ những thách thức đã được giải quyết.

Với mục tiêu xây dựng một ứng dụng nhận dạng ngôn ngữ ký hiệu dựa trên dữ liệu hình ảnh đầu vào và sử dụng các mô hình học sâu như LSTM, nhóm đã lựa chọn ra ba công trình tiêu biểu mang tính nền tảng và có liên quan trực tiếp đến hướng nghiên cứu.