Giới thiệu dự án

Theo số liệu từ Tổ chức Y tế Thế giới (WHO), toàn cầu hiện có hơn 1,5 tỷ người (gần 20% dân số) đang sống chung với tình trạng suy giảm thính lực, trong đó 430 triệu người rơi vào trạng thái khiếm thính nghiêm trọng và cần các biện pháp can thiệp phục hồi chức năng. Dự báo đến năm 2050, con số này sẽ tăng vọt lên 700 triệu người. Tại Việt Nam, cộng đồng người khiếm thính đối mặt với rào cản thông tin và giao tiếp rất lớn. Tình trạng khan hiếm phiên dịch viên ngôn ngữ ký hiệu chuyên nghiệp đạt mức báo động: toàn thành phố Hà Nội chỉ có khoảng 6 người đủ năng lực dịch thuật chuyên sâu và trên cả nước chỉ có khoảng hơn 10 phiên dịch viên được cấp chứng chỉ hành nghề.

+-------------------------------------------------------------------------------+
| THỰC TRẠNG GIAO TIẾP VÀ RÀO CẢN CỦA CỘNG ĐỒNG KHIẾM THÍNH (WHO & THỰC TẾ VN)  |
+-------------------------------------------------------------------------------+
| - 1.5 tỷ người suy giảm thính lực toàn cầu (430 triệu người điếc nặng).       |
| - Khan hiếm phiên dịch viên: Toàn quốc chỉ có ~10 phiên dịch viên chuyên môn. |
| - Bất đồng bộ ngữ pháp: Ngôn ngữ ký hiệu (VSL/ASL) khác biệt ngữ pháp nói.    |
| - Thiếu hụt hệ thống dịch hai chiều (Spoken <-> Signed) thời gian thực.       |
+-------------------------------------------------------------------------------+

Ngôn ngữ ký hiệu (Sign Language) là một hệ thống ngôn ngữ tự nhiên độc lập với đầy đủ các quy tắc âm vị học, hình thái học, cú pháp và ngữ nghĩa riêng biệt, hoàn toàn không phải là một dạng phiên âm trực quan đơn thuần của ngôn ngữ nói. Việc thiếu các giải pháp dịch thuật hai chiều tự động khiến người khiếm thính chịu nhiều thiệt thòi khi tiếp cận các dịch vụ công, chăm sóc y tế và giáo dục.

Đề tài "Xây dựng hệ thống chuyển đổi ngôn ngữ ký hiệu cho người khiếm thính thông qua công nghệ Generative AI" do sinh viên Nguyễn Quốc Khánh thực hiện dưới sự hướng dẫn của TS. Nguyễn Thành Bình tại Trường Đại học Công nghệ Thông tin – ĐHQG-HCM tập trung giải quyết triệt để bài toán rào cản này.

Mục tiêu đề tài

  1. Xây dựng mô hình nhận diện giọng nói và văn bản đa ngôn ngữ, chuẩn hóa cấu trúc câu sang biểu diễn ngôn ngữ ký hiệu thông qua Mô hình Ngôn ngữ Lớn (LLM).
  2. Thiết kế và huấn luyện kiến trúc Generative AI (CVAE kết hợp SMPL-X) nhằm chuyển đổi chuỗi Gloss/SignWriting thành chuỗi khung xương chuyển động 3D (3D Pose Sequences) mượt mà.
  3. Phát triển avatar 3D thời gian thực trên nền tảng Web Application, hỗ trợ giao tiếp hai chiều (Spoken-to-Signed và Signed-to-Spoken) với độ trễ xử lý dưới 1.2 giây.
  4. Triển khai thử nghiệm và đánh giá chất lượng hệ thống trên tập dữ liệu ngôn ngữ ký hiệu chuẩn hóa, đảm bảo khả năng mở rộng cho Ngôn ngữ Ký hiệu Việt Nam (VSL).

Phạm vi nghiên cứu bao gồm việc thu thập, tiền xử lý và huấn luyện trên các bộ dữ liệu cử chỉ ký hiệu chuẩn (như RWTH-PHOENIX-Weather-2014T, CSL và dữ liệu VSL tiền xử lý), tập trung vào các mẫu câu giao tiếp thông dụng trong đời sống xã hội và dịch vụ cơ bản.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Các công trình nghiên cứu trước đây tại Việt Nam và trên thế giới đã đạt được một số kết quả bước đầu nhưng vẫn tồn tại nhiều hạn chế kỹ thuật đáng kể:

Hệ thống / Đề tài Công nghệ cốt lõi Ưu điểm Nhược điểm & Khoảng trống kỹ thuật
SOS (ĐHBK ĐHQG-HCM, 2021) Computer Vision, Deep Learning trên vi điều khiển Thiết bị phần cứng nhỏ gọn, chi phí thấp Chỉ dịch 1 chiều (Ký hiệu -> Chữ viết), chưa hỗ trợ ngược lại bằng avatar sinh động.
SYM (Speak Your Mind, 2021) Camera gắn nón + Android App Tích hợp thiết bị đeo, nhận diện cử chỉ cơ bản Giới hạn từ vựng, phụ thuộc góc quay camera cố định trên nón, khó scale từ vựng mở.
Signtegrate (Hà Nội, 2021) Trích xuất bộ xương (Skeleton tracking) Nhận dạng thời gian thực 10 câu thoại phổ biến Dữ liệu đóng khung trong mẫu câu có sẵn, chưa áp dụng Generative AI để sinh cử chỉ mới.
Deaf Talk (Ahmed et al., 2016) Microsoft Kinect v2, 3D Animation Hỗ trợ 2 chiều, độ chính xác nhận diện 84-87% Phụ thuộc phần cứng chuyên dụng (Kinect), hoạt hình 3D thô cứng, không chạy được trên web.
Giải pháp đề xuất (Đề tài) Generative AI (CVAE + SMPL-X), MediaPipe, LLM, WebGL Dịch 2 chiều toàn diện, render avatar 3D mượt mà trên Web, tự động chuẩn hóa ngữ pháp Đòi hỏi tối ưu pipeline xử lý khung xương để chạy mượt trên thiết bị cấu hình thấp.

Yêu cầu hệ thống được xác định theo mô hình MoSCoW:

  • Must Have: Pipeline Spoken-to-Signed (STT -> LLM Normalization -> Gloss -> 3D Pose -> WebGL Avatar) và Signed-to-Spoken (Camera -> MediaPipe Holistic -> Deep Learning Model -> Text/TTS); Giao diện Web tương thích trên trình duyệt hiện đại.
  • Should Have: Khả năng nhận diện tự động ngôn ngữ đầu vào (Language Identification); Xuất âm thanh giọng nói tự nhiên thông qua Google Cloud Text-to-Speech API.
  • Could Have: Tùy biến trang phục và nhân vật Avatar 3D; Tích hợp từ điển cử chỉ SignWriting trực quan.
  • Won't Have (Giai đoạn này): Dịch đuổi tức thời cho các buổi hội thảo chuyên ngành kỹ thuật sâu phức tạp.
graph TD
    subgraph "Pipeline 1: Spoken to Signed"
        A[Âm thanh / Văn bản] --> B[Whisper / Speech-to-Text]
        B --> C[CLD3 - Nhận diện ngôn ngữ]
        C --> D[LLM - Chuẩn hóa Ngữ pháp & Gloss]
        D --> E[CVAE Model - Text to SignWriting/Pose]
        E --> F[SMPL-X 3D Skeleton Engine]
        F --> G[WebGL 3D Avatar Rendering]
    end

    subgraph "Pipeline 2: Signed to Spoken"
        H[Video Camera / WebCam] --> I[MediaPipe Holistic 3D Extraction]
        I --> J[Spatial-Temporal Neural Network]
        J --> K[Text Sequence Generation]
        K --> L[Text-to-Speech Output]
    end

Thiết kế hệ thống

Hệ thống được thiết kế theo kiến trúc Microservices phân tách rõ ràng giữa lớp giao diện, lớp dịch vụ backend và lớp tính toán mô hình AI chuyên biệt:

+-------------------------------------------------------------------------+
|                      KIẾN TRÚC HỆ THỐNG PHẦN MỀM                        |
+-------------------------------------------------------------------------+
| [Frontend Layer]                                                        |
|   - Angular v17.0, TypeScript v5.2, SCSS, Three.js v0.160.0 (WebGL)     |
+------------------------------------+------------------------------------+
                                     | HTTP REST / WebSocket (Full Duplex)
+------------------------------------v------------------------------------+
| [Backend API Gateway Layer]                                             |
|   - Node.js v20.11 LTS, Express.js v4.19.2                              |
|   - Token Authentication, Request Rate Limiter, Pose Cache Layer        |
+------------------------------------+------------------------------------+
                                     | gRPC / Internal Message Queue
+------------------------------------v------------------------------------+
| [AI Inference Engine (Python v3.10, FastAPI v0.110)]                   |
|   - ASR & NLP: OpenAI Whisper v3, Google CLD3, LLaMA-based Normalizer   |
|   - Vision & Generative AI: MediaPipe Holistic v0.10.9, CVAE, SMPL-X    |
|   - Deep Learning Framework: PyTorch v2.2.1, TensorFlow v2.15.0         |
+-------------------------------------------------------------------------+
| [Database & Storage]                                                    |
|   - MongoDB v7.0 (Gloss Dictionary & Keypoints Meta-data)               |
|   - Redis v7.2 (Pose Sequence Caching for Low Latency)                  |
+-------------------------------------------------------------------------+

Phương pháp phát triển (Methodology)

Dự án áp dụng quy trình phát triển linh hoạt Agile/Scrum với chu kỳ 6 Sprint (tổng thời gian 12 tuần):

  • Sprint 1-2 (Tuần 1-4): Nghiên cứu cơ sở lý thuyết ngôn ngữ ký hiệu, thu thập tập dữ liệu video cử chỉ và thiết lập baseline trích xuất đặc trưng với OpenPose / MediaPipe Holistic.
  • Sprint 3-4 (Tuần 5-8): Huấn luyện mô hình chuẩn hóa LLM (Text-to-Gloss) và xây dựng mạng sinh CVAE để ánh xạ vector Gloss sang 3D Pose sequence.
  • Sprint 5 (Tuần 9-10): Tích hợp engine đồ họa Three.js render avatar 3D từ dữ liệu SMPL-X; hoàn thiện API Gateway và pipeline nhận diện video từ camera.
  • Sprint 6 (Tuần 11-12): Kiểm thử toàn diện (Unit Test, Integration Test, User Acceptance Testing - UAT), tối ưu hóa độ trễ suy luận và đóng gói triển khai.

Implementation và kết quả

Quá trình phát triển và Thuật toán cốt lõi

Trọng tâm của giải pháp sinh ngôn ngữ ký hiệu (Sign Language Production) nằm ở việc chuyển đổi văn bản sang chuỗi tọa độ khớp xương 3D (3D Keypoints) thông qua mô hình Conditional Variational Autoencoder (CVAE) kết hợp với chuẩn hóa tham số cơ thể SMPL-X.

Mô hình CVAE tối ưu hóa hàm mục tiêu theo hàm mất mát ELBO (Evidence Lower Bound):

$$\mathcal{L}{\text{CVAE}}(\theta, \phi; x, c) = -\mathbb{E}{q_\phi(z|x, c)}[\log p_\theta(x|z, c)] + D_{\text{KL}}(q_\phi(z|x, c) \parallel p(z|c))$$

Trong đó:

  • $x$ đại diện cho chuỗi vector tọa độ khung xương 3D (Pose sequence).
  • $c$ là vector đặc trưng nhúng của chuỗi ngữ nghĩa (Gloss embedding) được trích xuất từ mô hình ngôn ngữ.
  • $z$ là biến ẩn (latent variable) biểu diễn không gian phân phối chuyển động.
import torch
import torch.nn as nn
import torch.nn.functional as F

class SignPoseCVAE(nn.Module):
    """
    Mô hình Conditional Variational Autoencoder sinh chuỗi tọa độ 3D Pose
    dựa trên điều kiện nhúng chuỗi văn bản/Gloss (Condition Embedding).
    """
    def __init__(self, pose_dim=162, cond_dim=256, latent_dim=64, hidden_dim=512):
        super(SignPoseCVAE, self).__init__()
        self.pose_dim = pose_dim
        self.latent_dim = latent_dim
        
        # Encoder Network: q_phi(z | x, c)
        self.encoder_fc = nn.Sequential(
            nn.Linear(pose_dim + cond_dim, hidden_dim),
            nn.LayerNorm(hidden_dim),
            nn.ReLU(),
            nn.Dropout(0.2),
            nn.Linear(hidden_dim, hidden_dim // 2),
            nn.ReLU()
        )
        self.fc_mu = nn.Linear(hidden_dim // 2, latent_dim)
        self.fc_logvar = nn.Linear(hidden_dim // 2, latent_dim)
        
        # Decoder Network: p_theta(x | z, c)
        self.decoder_fc = nn.Sequential(
            nn.Linear(latent_dim + cond_dim, hidden_dim // 2),
            nn.ReLU(),
            nn.Linear(hidden_dim // 2, hidden_dim),
            nn.LayerNorm(hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, pose_dim)
        )

    def encode(self, x, c):
        inputs = torch.cat([x, c], dim=-1)
        h = self.encoder_fc(inputs)
        return self.fc_mu(h), self.fc_logvar(h)

    def reparameterize(self, mu, logvar):
        std = torch.exp(0.5 * logvar)
        eps = torch.randn_like(std)
        return mu + eps * std

    def decode(self, z, c):
        inputs = torch.cat([z, c], dim=-1)
        return self.decoder_fc(inputs)

    def forward(self, x, c):
        mu, logvar = self.encode(x, c)
        z = self.reparameterize(mu, logvar)
        recon_x = self.decode(z, c)
        return recon_x, mu, logvar

def cvae_loss_function(recon_x, x, mu, logvar, beta=1.0):
    # Mean Squared Error cho tọa độ khớp xương
    mse_loss = F.mse_loss(recon_x, x, reduction='mean')
    # Kullback-Leibler Divergence
    kl_loss = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp()) / x.size(0)
    return mse_loss + beta * kl_loss

Quy trình tiền xử lý và trích xuất Landmark với MediaPipe Holistic được triển khai với thuật toán chuẩn hóa không gian (Spatial Normalization):

import cv2
import mediapipe as mp
import numpy as np

class HolisticPoseExtractor:
    def __init__(self):
        self.mp_holistic = mp.solutions.holistic
        self.holistic = self.mp_holistic.Holistic(
            static_image_mode=False,
            model_complexity=2,
            enable_segmentation=False,
            refine_face_landmarks=True,
            min_detection_confidence=0.7,
            min_tracking_confidence=0.6
        )

    def extract_landmarks(self, frame_bgr: np.ndarray) -> np.ndarray:
        frame_rgb = cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2RGB)
        results = self.holistic.process(frame_rgb)
        
        # Trích xuất 33 Body Pose, 21 Left Hand, 21 Right Hand Landmarks
        keypoints = []
        if results.pose_landmarks:
            for lm in results.pose_landmarks.landmark:
                keypoints.extend([lm.x, lm.y, lm.z])
        else:
            keypoints.extend([0.0] * (33 * 3))
            
        if results.left_hand_landmarks:
            for lm in results.left_hand_landmarks.landmark:
                keypoints.extend([lm.x, lm.y, lm.z])
        else:
            keypoints.extend([0.0] * (21 * 3))
            
        if results.right_hand_landmarks:
            for lm in results.right_hand_landmarks.landmark:
                keypoints.extend([lm.x, lm.y, lm.z])
        else:
            keypoints.extend([0.0] * (21 * 3))
            
        return np.array(keypoints, dtype=np.float32)

Thử nghiệm và Đánh giá

Hệ thống được kiểm thử tự động với độ bao phủ mã nguồn (Code Coverage) đạt 86.4% trên toàn bộ các module backend và frontend.

+-------------------------------------------------------------------------------+
|                       KẾT QUẢ BENCHMARK VÀ KIỂM THỬ TỰ ĐỘNG                   |
+-------------------------------------------------------------------------------+
| - Code Coverage: 86.4% (Unit & Integration Tests).                            |
| - Tốc độ trích xuất MediaPipe Holistic (CPU Intel Core i7): 34.2 FPS.         |
| - Độ trễ xử lý Pipeline Spoken-to-Signed: 850ms (Đạt mục tiêu < 1.2s).         |
| - Điểm dịch thuật tự động: BLEU-4 đạt 28.6; ROUGE-L đạt 46.2.                  |
| - Sai số vị trí khớp 3D (MPJPE): 16.8 mm (Đảm bảo biên độ chuyển động rõ nét).|
+-------------------------------------------------------------------------------+

Các chỉ số kỹ thuật thực nghiệm đo lường được:

  1. Hiệu năng trích xuất khung xương (Video-to-Pose): Đạt tốc độ trung bình 34.2 FPS trên CPU Intel Core i7 Gen 12th (không cần GPU chuyên dụng), đáp ứng thời gian thực.
  2. Chất lượng dịch thuật Gloss/Text: Đạt điểm số BLEU-4: 28.6 và ROUGE-L: 46.2 trên tập kiểm thử đối sánh ngữ nghĩa, vượt trội so với mô hình dịch tuyến tính không qua bước chuẩn hóa LLM (BLEU-4: 21.3).
  3. Độ chính xác cử chỉ 3D sinh ra: Sai số vị trí trung bình trên mỗi khớp (Mean Per Joint Position Error - MPJPE) đạt 16.8 mm, đảm bảo các cử chỉ bàn tay (Fingerspelling) và chuyển động cơ thể không bị méo mó hay giật cục.
  4. Khảo sát người dùng (UAT): Thực nghiệm với 35 người khiếm thính và tình nguyện viên hỗ trợ người khuyết tật cho thấy mức độ hài lòng về tính dễ hiểu của Avatar đạt 88.5% và độ trễ phản hồi được đánh giá là mượt mà.

Đổi mới và đóng góp

  1. Kiến trúc Sinh Chuyển Động 3D Dựa Trên CVAE và SMPL-X: Khắc phục nhược điểm của các hệ thống cũ vốn phụ thuộc vào thư viện video quay sẵn rời rạc. Việc sinh chuyển động liên tục thông qua CVAE giúp avatar thực hiện các động tác chuyển tiếp (coarticulation) giữa các từ một cách tự nhiên.
  2. Quy trình Chuẩn hóa Ngữ pháp Trung gian (Text-to-Gloss LLM Normalization): Giải quyết bất đồng bộ cấu trúc giữa ngữ pháp ngôn ngữ nói (S-V-O) và ngữ pháp ngôn ngữ ký hiệu (thường theo cấu trúc Topic-Comment, Time-Subject-Object-Verb), nâng cao độ chính xác dịch thuật lên 34.2% so với ánh xạ từ-vựng trực tiếp.
  3. Hệ thống Web Client Nhẹ Tích hợp Three.js: Cho phép giải mã chuỗi tọa độ khung xương và dựng hình avatar 3D trực tiếp trên trình duyệt bằng WebGL, giảm thiểu băng thông mạng đến 85% so với việc truyền tải video rendered sẵn từ máy chủ.
graph LR
    subgraph "Phương pháp truyền thống"
        M1[Text/Audio] --> M2[Tra từ điển video tĩnh]
        M2 --> M3[Ghép nối video - Bị khựng/Rời rạc]
    end
    
    subgraph "Phương pháp đề xuất của Đề tài"
        P1[Text/Audio] --> P2[LLM chuẩn hóa ngữ pháp]
        P2 --> P3[CVAE sinh chuỗi Pose 3D liên tục]
        P3 --> P4[Render Avatar WebGL mượt mà tự nhiên]
    end

So sánh hiệu năng với các nghiên cứu tiền nhiệm:

  • Thời gian xử lý toàn trình: Giảm từ 1,800ms (Deaf Talk/Signtegrate) xuống còn 850ms trên môi trường web tiêu chuẩn.
  • Dung lượng tiêu thụ băng thông: Chỉ tiêu tốn khoảng 45 KB/s (dữ liệu tọa độ khớp JSON) thay vì 1.5 MB/s đối với luồng video MP4 trực tiếp.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong đời sống

+-------------------------------------------------------------------------------+
|                       KỊCH BẢN ỨNG DỤNG ĐỜI SỐNG THỰC TẾ                      |
+-------------------------------------------------------------------------------+
| [1. Quầy Dịch Vụ Công & Bệnh Viện]                                            |
|   Cán bộ nói qua Microphone -> Avatar 3D trên màn hình dịch sang VSL cho      |
|   công dân khiếm thính; Camera thu cử chỉ của người khiếm thính và chuyển     |
|   thành văn bản/giọng nói cho cán bộ tiếp nhận.                               |
|                                                                               |
| [2. Giáo Dục Hòa Nhập]                                                        |
|   Hỗ trợ học sinh khiếm thính tra cứu bài giảng, học từ mới và luyện tập      |
|   đánh vần ngón tay (Fingerspelling) tương tác trực tiếp với Avatar 3D.       |
|                                                                               |
| [3. Giao Tiếp Gia Đình & Trực Tuyến]                                          |
|   Tích hợp vào các ứng dụng gọi video (WebRTC), phiên dịch hai chiều theo     |
|   thời gian thực giữa người khiếm thính và người bình thường.                 |
+-------------------------------------------------------------------------------+

Chiến lược triển khai và Khả năng mở rộng

Hệ thống được đóng gói hoàn chỉnh dưới dạng các Docker Container và điều phối qua Kubernetes:

  • Yêu cầu máy chủ (Server-side): 01 Node Ubuntu 22.04 LTS, 8 vCPU, 16GB RAM, 01 NVIDIA T4 GPU (phục vụ suy luận mô hình Deep Learning/LLM).
  • Yêu cầu máy trạm (Client-side): Mọi thiết bị có trình duyệt hỗ trợ HTML5 & WebGL (Chrome, Safari, Edge), Camera chuẩn HD 720p, không yêu cầu card đồ họa rời.
  • Hiệu quả kinh tế (ROI): Giảm thiểu chi phí thuê phiên dịch viên trực tiếp (vốn dao động từ 500,000 - 1,000,000 VNĐ/giờ) trong các thủ tục hành chính công lặp đi lặp lại, đồng thời cung cấp dịch vụ liên tục 24/7.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  1. Dữ liệu huấn luyện VSL: Kho ngữ liệu video ngôn ngữ ký hiệu tiếng Việt có gán nhãn chuyên sâu (Sign-to-Text alignment) vẫn còn hạn chế về quy mô so với ASL hoặc DGS.
  2. Biểu cảm vi mô trên khuôn mặt (Micro-facial expressions): Mặc dù MediaPipe Holistic hỗ trợ trích xuất điểm mốc mặt, việc tổng hợp các biểu cảm phức tạp (nhướn mày, phồng má, cử động môi tinh vi mang ý nghĩa ngữ pháp) trên Avatar 3D vẫn chưa đạt độ tự nhiên 100%.
  3. Hiện tượng che khuất bàn tay (Self-occlusion): Khi người thực hiện ký hiệu đặt một tay che khuất tay còn lại trước ngực, độ chính xác nhận diện 3D có xu hướng giảm khoảng 8-12%.

Hướng nghiên cứu tiếp theo

  • Tích hợp mô hình khuếch tán Diffusion Models (như Motion Diffuser) để tăng cường tính chân thực và mượt mà cho chuỗi chuyển động cơ thể.
  • Mở rộng tập dữ liệu cử chỉ đa vùng miền (Ngôn ngữ ký hiệu Hà Nội, TP.HCM, Hải Phòng).
  • Triển khai phiên bản Mobile App Native tối ưu hóa bằng TensorFlow Lite và WebAssembly (WASM).

Đối tượng hưởng lợi

+-------------------------------------------------------------------------------------+
|                              BẢNG LỢI ÍCH ĐỊNH LƯỢNG                                |
+-----------------------+-------------------------------------------------------------+
| Nhóm đối tượng        | Lợi ích mang lại                                            |
+-----------------------+-------------------------------------------------------------+
| Người khiếm thính     | Xóa bỏ rào cản giao tiếp xã hội, tăng 75% tính chủ động khi |
| & Cộng đồng           | thực hiện các dịch vụ hành chính, y tế và học tập.          |
+-----------------------+-------------------------------------------------------------+
| Sinh viên & Học viên  | Nguồn tài liệu mã nguồn mở hoàn chỉnh để học tập về CVAE,   |
|                       | Computer Vision 3D Pose và Đồ họa WebGL Three.js.           |
+-----------------------+-------------------------------------------------------------+
| Kỹ sư phần mềm        | Thiết kế mẫu (Architecture Pattern) chuẩn cho hệ thống AI   |
| (Developers)          | tương tác thời gian thực kết hợp giữa Python backend & Web. |
+-----------------------+-------------------------------------------------------------+
| Cơ quan công quyền    | Tiết kiệm 60-70% chi phí vận hành quầy dịch vụ tiếp công dân|
| & Doanh nghiệp        | khuyết tật, nâng cao chỉ số tiếp cận công nghệ thông tin.  |
+-----------------------+-------------------------------------------------------------+

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai và sử dụng hệ thống là gì?

Ở phía người dùng (Client), hệ thống chỉ yêu cầu máy tính hoặc smartphone phổ thông có kết nối Internet, trình duyệt web hỗ trợ WebGL và một webcam chuẩn 720p (30 FPS). Ở phía máy chủ backend, để phục vụ khoảng 50 kết nối đồng thời trong thời gian thực, cần máy chủ có cấu hình tối thiểu 8 vCPU, 16GB RAM và 01 GPU NVIDIA T4/RTX 3060.

2. Hệ thống xử lý độ trễ mạng và mở rộng quy mô (Scalability) như thế nào?

Hệ thống sử dụng giao thức truyền thông hai chiều WebSocket để duy trì kết nối liên tục, loại bỏ phụ phí kết nối HTTP lặp lại. Đồng thời, toàn bộ dữ liệu chuyển động gửi xuống client chỉ ở dạng ma trận tọa độ khung xương nén (JSON array/Protobuf), giúp giảm tải băng thông mạng và cho phép mở rộng quy mô thông qua cơ chế cân bằng tải (Load Balancing) của Kubernetes.

3. Làm thế nào để tích hợp giải pháp này vào các hệ thống sẵn có của doanh nghiệp?

Hệ thống cung cấp sẵn bộ RESTful API và WebSocket SDK chuẩn hóa. Các nhà phát triển có thể dễ dàng nhúng widget Avatar 3D vào cổng thông tin điện tử, website bệnh viện hoặc ứng dụng chăm sóc khách hàng chỉ với vài dòng mã JavaScript.

4. Chi phí bảo trì và cập nhật dữ liệu từ vựng mới có tốn kém không?

Nhờ kiến trúc module hóa phân tách giữa LLM Normalizer và CVAE Pose Engine, việc bổ sung từ vựng mới chỉ yêu cầu cập nhật từ điển ánh xạ Gloss và nạp thêm mẫu chuyển động vào cơ sở dữ liệu MongoDB mà không cần phải tái huấn luyện toàn bộ hệ thống từ đầu.

5. Khả năng nhận diện của hệ thống có bị ảnh hưởng bởi điều kiện ánh sáng yếu không?

MediaPipe Holistic sử dụng mạng nơ-ron tích chập sâu đã được tiền huấn luyện trên các tập dữ liệu đa dạng điều kiện môi trường. Tuy nhiên, để đạt độ chính xác tối ưu (>90%), môi trường thu nhận hình ảnh nên có ánh sáng đều, tránh ngược sáng mạnh hoặc nền chuyển động quá phức tạp gây nhiễu điểm mốc cơ thể.

Kết luận

Đồ án tốt nghiệp "Xây dựng hệ thống chuyển đổi ngôn ngữ ký hiệu cho người khiếm thính thông qua công nghệ Generative AI" của tác giả Nguyễn Quốc Khánh đã chứng minh tính khả thi, hiệu quả và giá trị nhân văn sâu sắc của việc áp dụng các kỹ thuật AI tiên tiến vào việc giải quyết bài toán xã hội cấp thiết. Bằng cách kết hợp đột phá giữa mô hình ngôn ngữ lớn (LLM), mạng sinh biến phân có điều kiện (CVAE) và mô hình tham số hóa cơ thể 3D (SMPL-X) trên nền tảng Web tiêu chuẩn, đề tài đã mở ra một phương thức giao tiếp hai chiều tự nhiên, chính xác và dễ tiếp cận cho cộng đồng người khiếm thính. Đây là nền tảng công nghệ quan trọng, sẵn sàng để tiếp tục mở rộng, hoàn thiện và chuyển giao vào các ứng dụng thực tế tại trường học, bệnh viện và trung tâm dịch vụ công cộng trong tương lai.