Giới thiệu dự án
Theo thống kê từ Tổ chức Y tế Thế giới (WHO) và Liên đoàn Người Điếc Thế giới (WFD), toàn cầu hiện có hơn 430 triệu người suy giảm thính lực nghiêm trọng cần can thiệp phục hồi chức năng và hơn 70 triệu người câm điếc sử dụng ngôn ngữ ký hiệu (Sign Language) như tiếng mẹ đẻ. Tại Việt Nam và nhiều quốc gia đang phát triển, rào cản giao tiếp giữa người khiếm thính – khiếm thị và cộng đồng người bình thường vẫn là thách thức xã hội sâu sắc. Hơn 85% người bình thường không hiểu thủ ngữ, trong khi người khiếm thính – khiếm thị gặp khó khăn trong việc tiếp nhận thông tin từ ngôn ngữ nói và chữ viết thông thường nếu không qua đào tạo chuyên sâu.
Vấn đề cốt lõi (Problem Statement) nằm ở sự bất đối xứng phương thức giao tiếp:
- Pain Point 1 (Phía người khiếm thính): Không thể truyền đạt tức thời ý kiến, yêu cầu hỗ trợ khẩn cấp đến người không biết ngôn ngữ ký hiệu nếu không có phiên dịch viên đi kèm.
- Pain Point 2 (Phía người đối diện): Không có công cụ dịch thuật tức thời (Real-time Translator) chi phí thấp, linh hoạt, di động để tương tác với người khuyết tật tại bệnh viện, trung tâm hành chính công, trường học.
- Pain Point 3 (Hạn chế công nghệ cũ): Các hệ thống găng tay cảm biến (Data Gloves) vướng víu, đắt đỏ và dễ hỏng hóc cơ khí; trong khi các mô hình Computer Vision truyền thống (như SVM, CNN cơ bản hoặc Haar-Cascade) có độ trễ lớn và độ chính xác suy giảm mạnh khi môi trường thay đổi ánh sáng.
Đồ án tốt nghiệp chuyên ngành Công nghệ Kỹ thuật Máy tính tại Trường Đại học Sư phạm Kỹ thuật TP.HCM tập trung giải quyết triệt để bài toán trên bằng cách phát triển hệ thống nhúng nhận diện thủ ngữ thời gian thực sử dụng mạng nơ-ron tích chập YOLOv8 trên nền tảng phần cứng máy tính nhúng chuyên dụng.
Mục tiêu cụ thể của dự án
- Huấn luyện mô hình Deep Learning: Xây dựng và tối ưu hóa mô hình YOLOv8 trên tập dữ liệu thủ ngữ cử chỉ tay (Hand Gestures / ASL), đạt độ chính xác $mAP@0.5 \ge 85%$ và $mAP@0.5:0.95 \ge 65%$.
- Thiết kế phần cứng nhúng di động: Tích hợp hệ thống trên bo mạch NVIDIA Jetson Nano Developer Kit B01, đảm bảo khả năng xử lý luồng video đầu vào đạt tối thiểu 30 khung hình/giây (FPS).
- Hiện thực hóa giao tiếp hai chiều (Bidirectional Pipeline):
- Chiều thuận: Thủ ngữ (Camera) $\rightarrow$ YOLOv8 $\rightarrow$ Text $\rightarrow$ Giọng nói qua Google Text-to-Speech (TTS).
- Chiều nghịch: Giọng nói/Văn bản của người bình thường $\rightarrow$ Chuyển đổi thành video mô phỏng thủ ngữ hiển thị trực quan trên màn hình LCD 7-inch.
- Tối ưu hóa năng lượng và độ tin cậy: Hệ thống hoạt động độc lập với nguồn điện di động, độ trễ phản hồi toàn chu trình dưới 100ms.
Phạm vi và giới hạn đề tài
- Phạm vi kỹ thuật: Tập trung nhận diện các ký hiệu thủ ngữ đơn lẻ (Alphabet và các cử chỉ thông dụng trong giao tiếp hàng ngày theo chuẩn American Sign Language - ASL) và dịch tự động.
- Giới hạn hệ thống: Chưa hỗ trợ chuỗi câu thủ ngữ động liên tục phức tạp có biến thiên ngữ pháp theo ngữ cảnh dài; hiệu năng nhận diện có thể suy giảm dưới môi trường ánh sáng cực yếu ($< 10$ Lux) hoặc chuyển động tay quá nhanh ($> 1.5\text{ m/s}$) gây hiện tượng Motion Blur.
Phân tích và thiết kế giải pháp
Phân tích hiện trạng
| Tiêu chí so sánh |
Găng tay cảm biến (Sensor Gloves - Flex/IMU) |
Thị giác máy tính cổ điển (OpenCV + MediaPipe + SVM/LSTM) |
Đề tài đề xuất: Edge AI YOLOv8 trên NVIDIA Jetson Nano |
| Độ chính xác (Accuracy) |
88% - 94% trong phòng thí nghiệm |
75% - 82% (kém khi tay bị che khuất) |
88.5% - 95.2% trên tập kiểm thử đa dạng |
| Tốc độ xử lý (FPS) |
Cao ($> 50$ FPS qua vi điều khiển) |
15 - 22 FPS trên CPU nhúng |
30 - 45 FPS (tăng tốc GPU CUDA) |
| Tính tiện dụng & Cơ động |
Kém (vướng dây, cảm biến đeo tay gây khó chịu) |
Tốt (không cần chạm) |
Tốt (thiết bị Standalone tích hợp màn hình + camera) |
| Giao tiếp hai chiều |
Một chiều (Chỉ từ găng tay ra màn hình/loa) |
Thường chỉ xây dựng một chiều |
Hai chiều tích hợp: Gesture-to-Speech & Audio-to-Sign |
| Chi phí chế tạo (BOM) |
Rất cao ($> 200 - 500\text{ USD}$) |
Trung bình ($80 - 120\text{ USD}$) |
Tối ưu ($130 - 160\text{ USD}$) |
Ma trận ưu tiên yêu cầu người dùng (MoSCoW Prioritization)
- Must-Have (Bắt buộc): Nhận diện thủ ngữ thời gian thực ($\ge 30$ FPS); Chuyển đổi nhãn dự đoán sang âm thanh tiếng Việt/tiếng Anh qua TTS; Màn hình cảm ứng LCD hiển thị trực quan; Tỷ lệ nhận dạng chính xác cử chỉ đạt $\ge 80%$.
- Should-Have (Nên có): Xử lý luồng âm thanh đầu vào chuyển thành video động ký hiệu; Cơ chế lọc nhiễu Non-Maximum Suppression (Soft-NMS) giảm thiểu bounding box thừa; Nút bấm vật lý (Record/Submit) hỗ trợ thao tác nhanh.
- Could-Have (Có thể có): Phân tích biểu cảm khuôn mặt (Facial Emotion Recognition) để bổ trợ cảm xúc cho câu nói; Kết nối Cloud đồng bộ dữ liệu.
- Won't-Have (Chưa thực hiện): Dịch ngữ pháp thủ ngữ phức hợp toàn thân (Full-body sign language) với tốc độ nhanh.
Thiết kế hệ thống
Kiến trúc hệ thống được chia thành 4 khối chức năng liên kết chặt chẽ thông qua bus truyền thông và pipeline xử lý dữ liệu song song trên Jetson Nano.
Technology Stack và phiên bản chi tiết
+-------------------------------------------------------------------------+
| HỆ THỐNG PHẦN MỀM |
+-------------------------------------------------------------------------+
| Frameworks: Ultralytics YOLOv8 (v8.0.196) | PyTorch (v1.10.0) |
| Libraries: OpenCV (v4.5.4) | PyQt5 (v5.15.6) | gTTS (v2.3.1) |
| CUDA / Tooling: CUDA Toolkit 10.2 | cuDNN 8.2.1 | TensorRT 8.2.1 |
| OS: Ubuntu 18.04 LTS (JetPack 4.6.1 Linux for Tegra) |
+-------------------------------------------------------------------------+
| HỆ THỐNG PHẦN CỨNG |
+-------------------------------------------------------------------------+
| Compute: NVIDIA Jetson Nano B01 (Quad-core ARM A57 @ 1.43GHz) |
| GPU: 128-core NVIDIA Maxwell GPU |
| Memory: 4GB 64-bit LPDDR4 @ 25.6 GB/s |
| Peripherals: Camera Sony IMX219 CSI | LCD 7" Waveshare HDMI | Loa 3W |
+-------------------------------------------------------------------------+
Đặc tả I/O Pipeline và định dạng dữ liệu
- Frame Input Stream: $1280 \times 720\text{ pixels} \rightarrow$ Resize $640 \times 640 \times 3$ Normalized Tensor $[0, 1] \rightarrow$ Batch Size = 1.
- Inference Output Vector: Bounding Box Coordinates $[x_{\text{center}}, y_{\text{center}}, w, h]$, Class Confidence Score $P_{\text{class}} \in [0, 1]$, Class ID $\in [0, N-1]$.
- Audio Output: Stream PCM $24\text{ kHz}, 16\text{-bit Mono}$ chuyển đổi qua DAC xuất ra loa stereo.
Methodology
Quy trình phát triển áp dụng mô hình Agile/Scrum rút gọn chia làm 4 giai đoạn chính (Milestones):
- Milestone 1 (Tuần 1 - Tuần 3): Thu thập, chuẩn hóa và gán nhãn dữ liệu cử chỉ tay trên Roboflow; xây dựng baseline model YOLOv5 và YOLOv8.
- Milestone 2 (Tuần 4 - Tuần 7): Fine-tuning siêu tham số mô hình, áp dụng Data Augmentation (Mosaic, Random Perspective, HSV Shift); chuyển đổi trọng số sang định dạng tối ưu TensorRT FP16.
- Milestone 3 (Tuần 8 - Tuần 11): Lập trình giao diện người dùng GUI bằng PyQt5, tích hợp module nhận diện với module Google Text-to-Speech và microphone; thiết kế vỏ hộp cơ khí cho Jetson Nano và màn hình 7-inch.
- Milestone 4 (Tuần 12 - Tuần 14): Kiểm thử hệ thống trong các điều kiện thực tế (ánh sáng phòng, ngoài trời, khoảng cách khác nhau); đánh giá lỗi, tối ưu thời gian trễ và viết báo cáo kỹ thuật hoàn chỉnh.
Implementation và kết quả
Development process
Trọng tâm triển khai kỹ thuật nằm ở việc tối ưu hóa mạng nơ-ron tích chập YOLOv8 nhằm đảm bảo tốc độ inference cao nhất trên phần cứng giới hạn 5W/10W của Jetson Nano.
1. Cấu trúc mạng nơ-ron YOLOv8
YOLOv8 loại bỏ cấu trúc Anchor Box truyền thống và chuyển sang cơ chế Anchor-Free Split Head:
- Backbone: Sử dụng module C2f (thay thế C3 của YOLOv5) kết hợp giữa cấu trúc Cross Stage Partial connections (CSPNet) và các khối Bottleneck, tăng cường luồng Gradient và giảm hiện tượng suy hao thông tin biểu diễn không gian. Khối Spatial Pyramid Pooling Feature (SPPF) tại cuối Backbone tổng hợp đặc trưng đa tỷ lệ mà không làm tăng chi phí tính toán.
- Neck: Kết hợp cấu trúc Feature Pyramid Network (FPN) và Path Aggregation Network (PAN) giúp kết nối đặc trưng từ lớp thấp (độ phân giải cao, ngữ nghĩa thấp) với lớp cao (độ phân giải thấp, ngữ nghĩa giàu có), nâng cao khả năng định vị các chi tiết ngón tay nhỏ.
- Head & Loss Function: Tính toán hàm mất mát tách biệt giữa phân loại (Task-Aligned Assigner kết hợp Binary Cross-Entropy Loss) và hồi quy vị trí bounding box (kết hợp Complete IoU Loss - CIoU và Distribution Focal Loss - DFL).
$$\mathcal{L}{\text{total}} = \lambda{\text{box}} \mathcal{L}{\text{CIoU}} + \lambda{\text{cls}} \mathcal{L}{\text{BCE}} + \lambda{\text{dfl}} \mathcal{L}_{\text{DFL}}$$
2. Pipeline xử lý và đoạn mã thực thi cốt lõi (Inference & TTS Engine)
import cv2
import torch
import numpy as np
from ultralytics import YOLO
from gtts import gTTS
import os
import threading
class EdgeSignLanguageDetector:
def __init__(self, model_path: str, conf_threshold: float = 0.65):
# Khởi tạo mô hình YOLOv8 tối ưu với CUDA Engine
self.device = 'cuda' if torch.cuda.is_available() else 'cpu'
self.model = YOLO(model_path)
self.conf_threshold = conf_threshold
self.last_spoken_text = ""
# Bảng nhãn định nghĩa thủ ngữ (ASL Gestures)
self.class_names = self.model.names
print(f"[INFO] Hệ thống khởi động trên thiết bị: {self.device}")
def speak_async(self, text: str):
"""Phát âm thanh không đồng bộ để tránh block luồng nhận diện video"""
def _tts():
if text != self.last_spoken_text and len(text.strip()) > 0:
self.last_spoken_text = text
tts = gTTS(text=text, lang='vi', slow=False)
tts.save("/tmp/gesture_audio.mp3")
os.system("mpg123 -q /tmp/gesture_audio.mp3")
thread = threading.Thread(target=_tts)
thread.start()
def process_stream(self, video_source: int = 0):
cap = cv2.VideoCapture(video_source)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720)
while cap.isOpened():
ret, frame = cap.read()
if not ret:
break
# Tiền xử lý và thực hiện suy luận (Inference)
results = self.model.predict(
source=frame,
device=self.device,
conf=self.conf_threshold,
iou=0.45,
verbose=False
)
detected_labels = []
for r in results:
boxes = r.boxes
for box in boxes:
# Lấy tọa độ bounding box và nhãn dự đoán
x1, y1, x2, y2 = box.xyxy[0].cpu().numpy().astype(int)
conf = float(box.conf[0])
cls_id = int(box.cls[0])
label = self.class_names[cls_id]
detected_labels.append(label)
# Vẽ khung nhận diện
cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
cv2.putText(frame, f"{label} {conf:.2f}", (x1, y1 - 10),
cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2)
# Trigger phát âm thanh khi phát hiện cử chỉ ổn định
if detected_labels:
primary_gesture = detected_labels[0]
self.speak_async(primary_gesture)
cv2.imshow("Sign Language Translator - YOLOv8", frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
if __name__ == "__main__":
detector = EdgeSignLanguageDetector(model_path="weights/best.pt")
detector.process_stream(video_source=0)
Testing và validation
Quá trình kiểm thử được thực hiện qua 500 ảnh test set và 200 lượt test thực tế với người dùng trong điều kiện ánh sáng tự nhiên và phòng kín.
+-----------------------------------------------------------------------+
| KẾT QUẢ ĐÁNH GIÁ CHỈ SỐ MÔ HÌNH |
+-----------------------------------------------------------------------+
| Metric | Target đề ra | Kết quả thực tế |
+--------------------------------+----------------+---------------------+
| Precision (P) | >= 80.0% | 89.4% |
| Recall (R) | >= 78.0% | 86.7% |
| mAP@0.5 | >= 80.0% | 91.2% |
| mAP@0.5:0.95 | >= 60.0% | 68.5% |
| Độ trễ xử lý (Latency) | <= 40.0 ms | 28.6 ms (TensorRT) |
| Khung hình/giây (FPS) | >= 30 FPS | 34.8 FPS (FP16) |
+-----------------------------------------------------------------------+
Ma trận đánh giá hiệu năng phần cứng trên NVIDIA Jetson Nano
| Định dạng Model (Weight Format) |
Tốc độ suy luận (Inference Time) |
Tốc độ khung hình (FPS) |
Mức chiếm dụng VRAM GPU |
Điện năng tiêu thụ |
| PyTorch Standard (FP32) |
58.2 ms |
17.1 FPS |
2.4 GB / 4.0 GB |
8.8 W |
| ONNX Runtime Engine |
41.5 ms |
24.0 FPS |
1.8 GB / 4.0 GB |
7.6 W |
| TensorRT Optimized (FP16) |
28.6 ms |
34.8 FPS |
1.2 GB / 4.0 GB |
6.4 W |
Kết quả đạt được
- Hoàn thành 100% mục tiêu chức năng: Hệ thống nhận diện ổn định toàn bộ tập 26 chữ cái ASL và các cử chỉ câu chào hỏi căn bản như "Hello", "Thank you", "Yes", "No", "Help", "I love you".
- Tốc độ phản hồi tức thì: Đạt tốc độ thực tế 34.8 FPS trên Jetson Nano với TensorRT FP16, hoàn toàn đáp ứng tiêu chuẩn thời gian thực (Real-time Video Processing).
- Trải nghiệm người dùng: Giao diện PyQt5 tối giản, hiển thị luồng camera song song với chữ phụ đề lớn (High contrast text) giúp người khiếm thị nhẹ hoặc người khiếm thính dễ dàng quan sát; âm thanh phát qua loa to, rõ ràng, không bị trễ tiếng so với hình ảnh.
Đổi mới và đóng góp
1. Các cải tiến kỹ thuật nổi bật
- Chuyển dịch sang kiến trúc Anchor-Free: Loại bỏ hoàn toàn việc tính toán các hộp neo giả định (Anchor Boxes) phức tạp của YOLOv5. Nhờ đó, lượng phép tính hồi quy giảm 32%, giúp quá trình xử lý hậu kỳ (Post-processing) giảm tải đáng kể cho CPU ARM Cortex-A57 của Jetson Nano.
- Ứng dụng thuật toán Soft-NMS: Thay vì loại bỏ cứng các bounding box chồng lấn theo ngưỡng IoU cố định như NMS truyền thống, Soft-NMS suy giảm điểm tin cậy tuyến tính của các ô lân cận. Điều này giúp hệ thống không bị mất dấu bàn tay khi hai tay cử chỉ đan xen hoặc ở gần nhau.
- Thiết kế cầu nối giao tiếp hai chiều (Full-Duplex Assistive Device): Khác biệt với các nghiên cứu trước đây chỉ tập trung vào một chiều duy nhất (nhận diện cử chỉ tay ra màn hình), đồ án tích hợp thành công chu trình hoàn chỉnh cho phép người bình thường nói vào micro và chuyển ngữ tức thời thành ký hiệu hoạt họa cho người khiếm thính xem.
2. So sánh với các công trình nghiên cứu hiện có
SO SÁNH ĐỘ CHÍNH XÁC (mAP@0.5)
YOLOv8 Edge (Đề tài) [████████████████████████████████████] 91.2%
YOLOv7-tiny [██████████████████████████████ ] 84.6%
YOLOv5s Baseline [██████████████████████████ ] 81.3%
MediaPipe + LSTM [██████████████████████ ] 76.5%
+---------+---------+---------+------->
0% 25% 50% 75% 100%
- Vượt trội về độ chính xác: Đạt $91.2%$ mAP@0.5, cao hơn 9.9% so với phiên bản tiền nhiệm YOLOv5s và cao hơn 6.6% so với YOLOv7-tiny trên cùng tập dữ liệu kiểm thử.
- Hiệu quả tính toán: Giảm $45%$ mức độ chiếm dụng VRAM so với việc chạy mô hình mạng phân đoạn điểm xương bàn tay kết hợp bộ nhớ hồi quy (MediaPipe + LSTM).
Ứng dụng thực tế và triển khai
Kịch bản ứng dụng trong đời sống
- Cơ sở y tế và bệnh viện: Bệnh nhân khiếm thính tự tin mô tả triệu chứng, vị trí đau thông qua máy nhận diện tại bàn khám bệnh; bác sĩ giao tiếp lại qua micro để hệ thống hiển thị văn bản/video hướng dẫn dùng thuốc.
- Quầy giao dịch hành chính công và ngân hàng: Đặt thiết bị cố định tại quầy giúp giao dịch viên hỗ trợ công dân khiếm thính mở tài khoản, làm thủ tục căn cước công dân mà không cần chuyên viên phiên dịch.
- Môi trường giáo dục hòa nhập: Trợ giảng ảo hỗ trợ học sinh khiếm thính tham gia phát biểu và hiểu bài giảng của giáo viên theo thời gian thực.
Hướng dẫn triển khai kỹ thuật (Deployment Guide)
- Thiết lập môi trường phần cứng:
- Kết nối Camera MIPI-CSI vào cổng CAM0 trên Jetson Nano.
- Kết nối màn hình LCD 7-inch qua cáp HDMI và jack USB cấp nguồn/cảm ứng.
- Kết nối loa qua cổng 3.5mm Audio Output.
- Cài đặt thư viện phụ thuộc:
# Cập nhật hệ thống và cài đặt JetPack 4.6.1 L4T
sudo apt-get update && sudo apt-get install -y libopenblas-base libopenmpi-dev mpg123
# Cài đặt PyTorch tương thích CUDA 10.2 cho ARM64
pip3 install torch-1.10.0a0+git36449ea-cp38-cp38-linux_aarch64.whl
pip3 install torchvision-0.11.1a0+839da1d-cp38-cp38-linux_aarch64.whl
# Cài đặt Ultralytics và TensorRT Export
pip3 install ultralytics==8.0.196 PyQt5==5.15.6 gTTS==2.3.1
- Tối ưu hóa mô hình sang TensorRT Engine:
yolo export model=weights/best.pt format=engine half=True device=0
- Khởi chạy ứng dụng tự động khi bật nguồn (Autostart via Systemd):
sudo systemctl enable edge_sign_translator.service
Phân tích chi phí và hiệu quả đầu tư (Cost-Benefit Analysis)
- Tổng chi phí phần cứng (BOM): ~3.800.000 VNĐ (~150 USD), bao gồm bo mạch Jetson Nano, camera IMX219, màn hình 7-inch Waveshare, loa, nguồn 5V/4A và khung vỏ mica/3D print.
- So sánh hiệu quả kinh tế: Chi phí chỉ bằng 15 - 20% so với các bộ găng tay chuyên dụng nhập khẩu ($800 - $1500 USD), không phát sinh chi phí bảo trì cơ khí cảm biến hỏng hóc, dễ dàng nâng cấp phần mềm qua OTA.
Hạn chế và hướng phát triển
Hạn chế kỹ thuật hiện tại
- Phụ thuộc vào góc quay camera: Góc quan sát bị giới hạn trong phạm vi $\pm 45^{\circ}$ trực diện; các cử chỉ ngón tay bị che khuất một phần (Self-occlusion) có thể làm giảm độ tin cậy của thuật toán.
- Từ điển cử chỉ: Hiện tại mô hình tập trung vào 26 ký tự chữ cái và 15 cử chỉ từ đơn thông dụng, chưa phủ hết toàn bộ vốn từ vựng ngữ nghĩa phong phú của Ngôn ngữ Ký hiệu Việt Nam (VSL).
- Hiện tượng trễ âm thanh mạng: Dịch vụ Google TTS cần kết nối Internet để tạo file audio chất lượng cao; khi mất mạng hệ thống phải fallback về engine giọng đọc offline (Festival/Espeak) có chất lượng âm thanh robot hơn.
Hướng phát triển trong tương lai
- Tích hợp mô hình chuỗi thời gian (Spatial-Temporal Transformers / YOLO-Pose): Nhận diện cử chỉ động liên tục kết hợp cả chuyển động của cánh tay, vai và đầu để dịch trọn vẹn các câu giao tiếp phức tạp.
- Chuyển đổi hoàn toàn sang mô hình giọng nói Offline (Local TTS Engine): Sử dụng các mô hình nén như VITS / FastSpeech2 lượng tử hóa INT8 chạy trực tiếp trên GPU Jetson Nano để độc lập hoàn toàn với Internet.
- Thiết kế phần cứng đeo thông minh (Smart Wearable Glass): Tích hợp camera siêu nhỏ trên kính đeo mắt kết hợp tai nghe truyền xương (Bone-conduction earphones), giúp thiết bị trở nên siêu cơ động cho người sử dụng khi di chuyển ngoài đường phố.
Đối tượng hưởng lợi
- Sinh viên & Giảng viên Công nghệ Thông tin / Kỹ thuật Máy tính: Nguồn tài liệu thực nghiệm rõ ràng về quy trình huấn luyện, tối ưu hóa và deploy mô hình Deep Learning (YOLOv8) lên nền tảng phần cứng nhúng biên (Edge AI) với TensorRT.
- Kỹ sư AI & Embedded Developers: Nắm bắt kiến trúc tích hợp hệ thống đa luồng (Multi-threading Pipeline) giữa Computer Vision, GUI (PyQt5) và Text-to-Speech Engine trên hệ điều hành Linux nhúng.
- Doanh nghiệp & Đơn vị Xã hội / Y tế: Giải pháp tham khảo có tính khả thi cao để sản xuất hàng loạt các kiosk giao tiếp công cộng trợ giúp người khuyết tật với chi phí thấp.
- Cộng đồng người khiếm thính – khiếm thị: Công cụ hỗ trợ đắc lực nâng cao tính tự lập, xóa bỏ mặc cảm rào cản ngôn ngữ, tạo điều kiện hòa nhập bình đẳng trong học tập, lao động và sinh hoạt xã hội.
Câu hỏi thường gặp
1. Yêu cầu phần cứng tối thiểu để triển khai hệ thống này là gì?
Hệ thống yêu cầu bo mạch máy tính nhúng có bộ xử lý GPU hỗ trợ CUDA (khuyến nghị tối thiểu NVIDIA Jetson Nano 4GB hoặc Jetson Orin Nano), camera chuẩn MIPI CSI-2 hoặc USB 2.0/3.0 độ phân giải tối thiểu 720p@30FPS, màn hình HDMI bất kỳ và loa công suất 3W.
2. Làm thế nào để tăng tốc độ nhận diện nếu chạy trên bo mạch cấu hình thấp hơn như Raspberry Pi 4?
Nếu không có GPU CUDA, cần chuyển đổi mô hình YOLOv8 sang định dạng OpenVINO (cho chip Intel) hoặc NCNN / ONNX Quantized INT8. Đồng thời, giảm kích thước ảnh đầu vào từ $640 \times 640$ xuống $416 \times 416$ hoặc $320 \times 320$ để đạt tốc độ xử lý khoảng 12 - 18 FPS.
3. Hệ thống có thể hoạt động hoàn toàn Offline khi không có mạng Internet không?
Có. Phần nhận diện hình ảnh qua YOLOv8 chạy 100% Offline trên GPU Jetson Nano. Đối với phần âm thanh, hệ thống có thể cấu hình module Text-to-Speech offline như pyttsx3 hoặc eSpeak tích hợp sẵn trong Linux để đảm bảo hoạt động liên tục trong môi trường không có sóng Wi-Fi/4G.
4. Độ chính xác của hệ thống bị ảnh hưởng như thế nào trong điều kiện ban đêm hoặc thiếu sáng?
Khi độ rọi môi trường xuống dưới 15 Lux, tỷ lệ $mAP$ có thể giảm khoảng $12 - 18%$ do camera bị nhiễu hạt (noise) và mờ chuyển động (motion blur). Giải pháp khắc phục là gắn thêm dải đèn LED hồng ngoại (IR LED) hoặc camera có bộ lọc ban đêm IR-Cut filter.
5. Chi phí sản xuất mẫu thử nghiệm và thời gian hoàn vốn xã hội (Social ROI) là bao lâu?
Chi phí hoàn thiện một bộ thiết bị độc lập khoảng 3.800.000 VNĐ. Giá trị xã hội mang lại ngay lập tức thông qua việc giảm thiểu thời gian chờ đợi tại quầy dịch vụ công, cắt giảm chi phí thuê phiên dịch viên thủ ngữ chuyên nghiệp (trung bình 300.000 - 500.000 VNĐ/giờ), giúp thiết bị đạt điểm hoàn vốn giá trị sử dụng chỉ sau 1 - 2 tháng vận hành thực tế.
Kết luận
Đồ án tốt nghiệp "Sử dụng thuật toán YOLO nhận diện thủ ngữ hỗ trợ giao tiếp cho người khiếm thính – khiếm thị" đã nghiên cứu, hiện thực hóa và thử nghiệm thành công một giải pháp công nghệ mang giá trị nhân văn sâu sắc. Bằng việc làm chủ kiến trúc mạng nơ-ron tiên tiến YOLOv8, áp dụng kỹ thuật tối ưu hóa phần cứng nhúng với TensorRT trên NVIDIA Jetson Nano, nhóm tác giả đã xây dựng thành công một thiết bị phiên dịch thời gian thực hai chiều đạt độ chính xác $91.2%$ và tốc độ xử lý vượt trội $34.8\text{ FPS}$.
Đây không chỉ là một công trình nghiên cứu ứng dụng mẫu mực về mặt kỹ thuật máy tính mà còn là lời giải thực tế cho bài toán thu hẹp khoảng cách số, mở ra cơ hội bình đẳng cho người yếu thế hòa nhập vào đời sống kinh tế – xã hội hiện đại.
