Giới thiệu dự án

Bối cảnh và thực trạng ngành

Trong kỷ nguyên Chuyển đổi số và Giáo dục 4.0, việc hiện đại hóa công cụ giảng dạy đóng vai trò then chốt trong việc nâng cao trải nghiệm tiếp thu kiến thức. Theo các báo cáo nghiên cứu thị trường công nghệ giáo dục (EdTech), thị trường màn hình tương tác thông minh toàn cầu đang tăng trưởng với tốc độ kép hàng năm (CAGR) trên 8.5%. Tuy nhiên, việc trang bị các màn hình tương tác chuyên dụng (Interactive Whiteboard/Smart Display) đòi hỏi chi phí đầu tư rất lớn, dao động từ $2,000 đến $5,000 cho mỗi phòng học.

Song song đó, phương pháp giảng dạy truyền thống sử dụng phấn viết bảng vẫn tồn tại nguy cơ tiềm ẩn về sức khỏe hô hấp do bụi phấn mịn (chứa canxi cacbonat và tạp chất siêu mịn PM2.5/PM10), trong khi các thiết bị điều khiển từ xa (laser pointer, clicker) lại thiếu tính trực quan và hạn chế khả năng tương tác đa phương thức.

+-------------------------------------------------------------------------+
|                           THỰC TRẠNG & BÀI TOÁN                         |
+-------------------------------------------------------------------------+
|  Chi phí Smartboard cao ($2,000 - $5,000)  --->  Rào cản ngân sách      |
|  Bụi phấn truyền thống (PM2.5/PM10)        --->  Nguy cơ bệnh hô hấp    |
|  Thiết bị bấm slide/chuột rời rạc          --->  Tương tác bị gián đoạn |
+-------------------------------------------------------------------------+
                                    |
                                    v
+-------------------------------------------------------------------------+
|                     GIẢI PHÁP TƯƠNG TÁC ĐA PHƯƠNG THỨC                  |
|          Azure Kinect DK + MediaPipe Hands + Azure Speech Service       |
+-------------------------------------------------------------------------+

Vấn đề nghiên cứu (Problem Statement)

Đồ án tập trung giải quyết bài toán: Làm thế nào để biến một bề mặt máy chiếu thông thường thành không gian tương tác thông minh không chạm (Touchless Interactive Surface) với chi phí tối ưu, độ trễ tiệm cận thời gian thực (Real-time) và hỗ trợ điều khiển đa phương thức (Multi-modal Interaction) thông qua thị giác máy tính và giọng nói?

Các điểm nghẽn kỹ thuật cụ thể bao gồm:

  • Hiện tượng trễ khung hình khi kết hợp nhiều luồng xử lý AI (nhận diện cử chỉ + bóc tách giọng nói).
  • Yêu cầu phần cứng khắt khe của các mô hình theo dõi cơ thể 3D truyền thống.
  • Độ nhiễu âm thanh môi trường phòng học và sai số định vị tọa độ ngón tay trên mặt chiếu 2D.

Mục tiêu dự án

  1. Thiết lập kiến trúc thu nhận đa cảm biến: Tận dụng cụm phần cứng của thiết bị Microsoft Azure Kinect DK (Camera RGB 4K, cảm biến đo độ sâu ToF 1MP, mảng 7 micro không gian).
  2. Xây dựng module thị giác máy tính nhận dạng cử chỉ bàn tay: Khai thác giải pháp Google MediaPipe Hands trích xuất 21 điểm mốc không gian 3D (Hand Landmarks) với độ chính xác cao trên CPU/GPU thông thường.
  3. Phát triển module xử lý ngôn ngữ và giọng nói: Tích hợp Microsoft Azure Cognitive Services Speech SDK để chuyển đổi Speech-to-Text và thư viện Pyttsx3 cục bộ cho phản hồi Text-to-Speech tức thì.
  4. Hiện thực hóa bộ tính năng tương tác: Điều khiển sự kiện chuột (di chuyển, click, kéo thả), điều chỉnh âm lượng hệ thống và bảng vẽ điện tử đa màu sắc trực tiếp trên khung chiếu.
  5. Tối ưu hóa hiệu năng thời gian thực: Đảm bảo hệ thống đạt tốc độ xử lý từ 25–30 FPS với độ trễ phản hồi lệnh dưới 200ms.

Phương pháp tiếp cận

Giải pháp sử dụng mô hình kết hợp (Hybrid Multi-modal Pipeline):

  • Luồng thị giác (Vision Pipeline): Camera màu của Azure Kinect DK thu nhận luồng video RGB -> OpenCV tiền xử lý khung hình -> MediaPipe Hands suy luận vị trí 21 điểm mốc đốt ngón tay -> Thuật toán chuẩn hóa tọa độ ánh xạ vào độ phân giải màn hình -> Kích hoạt lệnh điều khiển qua PyAutoGUI.
  • Luồng âm thanh (Voice Pipeline): Mảng 7 micro thu nhận tín hiệu âm thanh định hướng -> Azure Speech SDK thực hiện chuyển đổi giọng nói thành văn bản (STT) -> Bộ phân tích cú pháp chuỗi ký tự so khớp tập lệnh -> Thực thi chuyển đổi trạng thái module và phát phản hồi âm thanh qua engine Pyttsx3.

Kết quả kỳ vọng và chỉ số đo lường

  • Độ chính xác nhận diện 21 điểm mốc bàn tay: $\ge 95%$.
  • Độ trễ điều khiển chuột ảo và nét vẽ: $\le 50\text{ ms}$ (tiệm cận thời gian thực).
  • Tỷ lệ nhận diện khẩu lệnh tiếng Anh chính xác: $\ge 92%$ trong môi trường có tiếng ồn nền phòng học.
  • Tốc độ xử lý luồng hình ảnh: 30 FPS ở độ phân giải HD/Full HD.

Phạm vi và giới hạn

  • Phạm vi áp dụng: Môi trường giáo dục (phòng học thông minh), phòng hội thảo, trung tâm thuyết trình tương tác trong nhà.
  • Giới hạn kỹ thuật: Hệ thống hoạt động tối ưu trong khoảng cách tương tác từ $1.0\text{ m} - 3.5\text{ m}$; khẩu lệnh điều khiển hiện tại cấu hình bằng tiếng Anh chuẩn; điều kiện ánh sáng môi trường cần duy trì ổn định, tránh ánh sáng hồng ngoại trực xạ cường độ cao vào cảm biến.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí Giải pháp Azure Kinect DK + MediaPipe (Đề tài) Giải pháp Body Tracking thuần Microsoft Giải pháp phân đoạn ngưỡng màu (Sheffield Hallam Univ.)
Phương pháp cốt lõi Trích xuất 21 Hand Landmarks + Multi-mic Speech Recognition Đo độ sâu ToF + Mô hình 32 khớp Skeleton SDK Phân đoạn không gian màu (Color Thresholding) qua IP Camera
Thiết bị phụ trợ Không cần (dùng bàn tay tự nhiên & giọng nói) Không cần Bắt buộc đeo găng tay/vật thể có màu sắc chuyên biệt
Yêu cầu phần cứng CPU tiêu chuẩn (Intel Core i3/i5 thế hệ 7 trở lên) Bắt buộc GPU rời cao cấp (NVIDIA GTX 1070+) Camera IP phổ thông + CPU cơ bản
Độ trễ xử lý Thấp ($\approx 33\text{ ms}$/frame, đạt 30 FPS) Cao nếu không có GPU chuyên dụng ($\approx 150-300\text{ ms}$) Rất thấp ($\approx 20\text{ ms}$)
Độ nhạy ánh sáng Ổn định nhờ mô hình Machine Learning học sâu Ổn định nhờ cảm biến IR chủ động Rất nhạy cảm với thay đổi cường độ và nhiệt độ màu
Tính năng giọng nói Tích hợp mảng 7 micro & Azure Speech SDK Chưa tích hợp trực tiếp trong luồng điều khiển Không hỗ trợ

Phân tích nhu cầu người dùng theo mô hình MoSCoW

  • Must have (Bắt buộc phải có):
    • Nhận diện và theo dõi 21 điểm mốc bàn tay theo thời gian thực.
    • Điều khiển con trỏ chuột: Di chuyển (ngón trỏ), Nhấp chuột trái (ngón trỏ + ngón giữa chạm/gần nhau), Kéo thả đối tượng.
    • Nhận dạng khẩu lệnh giọng nói để chuyển đổi chế độ làm việc và điều khiển hệ thống cơ bản.
    • Bảng vẽ ảo với chức năng vẽ tự do bằng đầu ngón tay và tẩy xóa.
  • Should have (Nên có):
    • Tùy chọn bảng màu vẽ đa dạng (Đỏ, Xanh dương, Xanh lá, Cam, Vàng, Xanh da trời).
    • Điều khiển âm lượng hệ thống bằng cử chỉ khoảng cách ngón cái - ngón trỏ hoặc giọng nói.
    • Chức năng phóng to/thu nhỏ (Zoom In/Zoom Out) màn hình trình chiếu bằng lệnh âm thanh.
  • Could have (Có thể có):
    • Phản hồi trạng thái hệ thống bằng giọng nói tổng hợp (Text-to-Speech).
    • Chức năng hỏi đáp thông tin cơ bản (thời gian hệ thống).
  • Won't have (Chưa thực hiện trong giai đoạn này):
    • Nhận diện cử chỉ đồng thời cho nhiều người dùng tương tác cùng lúc trên một màn vẽ.
    • Hỗ trợ đa ngôn ngữ tự nhiên phức tạp ngoài tập lệnh cấu hình sẵn.

Thiết kế hệ thống

graph TD
    subgraph Hardware Layer
        Kinect[Azure Kinect DK]
        Mic[7-Microphone Spatial Array]
        RGB[4K RGB Camera]
        Proj[Projector / Screen]
    end

    subgraph Preprocessing & Drivers
        KinectSDK[Azure Kinect Sensor SDK]
        CV[OpenCV 4.5.x]
    end

    subgraph AI Core Processing Modules
        MP[MediaPipe Hands Model\n21 3D Landmarks]
        AS[Azure Speech SDK\nSpeech-to-Text]
        TTS[Pyttsx3 Engine\nLocal Text-to-Speech]
    end

    subgraph Application & Interaction Logic
        Router{Command Router}
        MouseMod[Mouse Controller Engine\nPyAutoGUI]
        VolMod[Volume Gesture Controller]
        DrawMod[Virtual Canvas Engine]
    end

    RGB --> KinectSDK --> CV --> MP
    Mic --> KinectSDK --> AS
    
    AS --> Router
    Router -->|Switch State / Voice Exec| TTS
    Router -->|Mode: Mouse Control| MouseMod
    Router -->|Mode: Finger Drawing| DrawMod
    Router -->|Mode: Volume Control| VolMod

    MP -->|Coordinates X,Y,Z| MouseMod
    MP -->|Distance Finger 4-8| VolMod
    MP -->|Landmarks 8 & 12| DrawMod

    MouseMod --> Proj
    DrawMod --> Proj
    VolMod --> Proj

Chi tiết Tech Stack

  • Ngôn ngữ lập trình: Python 3.8+ (Đảm bảo tính tương thích cao với các thư viện AI/CV).
  • Xử lý thị giác máy tính:
    • OpenCV (opencv-python >= 4.5.3): Thu nhận luồng hình ảnh, xử lý không gian màu BGR/RGB, vẽ đồ họa giao diện bảng vẽ (Canvas UI).
    • Google MediaPipe (mediapipe >= 0.8.7): Khởi tạo mô hình Hand Landmark suy luận 21 điểm mốc 3D.
  • Xử lý âm thanh & Giọng nói:
    • azure-cognitiveservices-speech (>= 1.18.0): Xử lý Speech-to-Text thông qua dịch vụ đám mây Microsoft Azure.
    • pyttsx3 (>= 2.90): Engine Text-to-Speech chạy offline tại máy trạm, giảm thiểu độ trễ phản hồi xuống dưới 20ms.
  • Tự động hóa hệ điều hành & Toán học:
    • PyAutoGUI (>= 0.9.53): Ánh xạ tọa độ bàn tay thành sự kiện chuột và bàn phím của OS.
    • NumPy (>= 1.19.5): Tính toán đại số tuyến tính, chuẩn hóa vector khoảng cách Euclid giữa các khớp ngón tay.
    • Math & Time: Xử lý nội suy hàm số và tính toán FPS.

Phương pháp luận phát triển (Methodology)

Dự án áp dụng mô hình phát triển Prototyping lặp (Iterative Prototyping) kết hợp đánh giá rủi ro theo từng giai đoạn:

[Khảo sát phần cứng & SDK] 
        │
        ▼
[Module hóa luồng Voice & Gesture] 
        │
        ▼
[Tích hợp hệ thống & Kiểm thử giao diện Canvas] 
        │
        ▼
[Benchmark độ trễ & Tinh chỉnh ngưỡng giải thuật]

Ma trận rủi ro và giải pháp xử lý

  1. Rủi ro độ trễ mạng khi gọi Cloud TTS: Dịch vụ Text-to-Speech của Azure phụ thuộc vào băng thông Internet ($\text{latency} \approx 300 - 600\text{ ms}$).
    • Giải pháp: Thay thế bằng thư viện pyttsx3 chạy trực tiếp ở môi trường cục bộ (Local execution), đưa thời gian phát sinh giọng nói phản hồi về mức $\le 20\text{ ms}$.
  2. Rủi ro rung lắc con trỏ chuột (Jittering Effect): Vị trí điểm mốc ngón tay có sai số nhỏ giữa các frame liên tiếp do nhiễu sensor.
    • Giải pháp: Thiết lập bộ lọc làm mượt tọa độ dựa trên khoảng cách ngưỡng di chuyển tối thiểu và nội suy tuyến tính: $$X_{smooth} = X_{prev} + \alpha \cdot (X_{raw} - X_{prev})$$
  3. Rủi ro xung đột lệnh giữa cử chỉ và giọng nói: Người dùng vừa ra lệnh giọng nói vừa di chuyển tay gây sai lệch trạng thái.
    • Giải pháp: Thiết kế máy trạng thái hữu hạn (Finite State Machine - FSM) điều phối luồng thực thi; khi nhận diện lệnh điều khiển chức năng lớn, luồng cử chỉ tạm thời khóa trong $500\text{ ms}$ để chuyển đổi ngữ cảnh an toàn.

Implementation và kết quả

Quy trình phát triển và các giải thuật then chốt

Module 1: Xử lý giọng nói với Azure Speech SDK và Pyttsx3

Hệ thống sử dụng SpeechConfig kết nối đến endpoint Azure Cognitive Services khu vực East Asia để chuyển đổi giọng nói thu từ mảng 7 micro thành văn bản, sau đó thực thi phân luồng chức năng.

import azure.cognitiveservices.speech as speechsdk
import pyttsx3
import pyautogui
import datetime

# Khởi tạo Speech Config và TTS Engine
speech_config = speechsdk.SpeechConfig(
    subscription="bb49f13e-df2d-454a-a963-626c1756f2e7", 
    region="eastasia"
)
speech_config.speech_recognition_language = "en-US"
speech_recognizer = speechsdk.SpeechRecognizer(speech_config=speech_config)

engine = pyttsx3.init()
engine.setProperty('rate', 160)

def speak_response(text):
    """Phản hồi giọng nói tức thì qua Local TTS Engine"""
    engine.say(text)
    engine.runAndWait()

def process_voice_command():
    print("Listening for voice commands...")
    result = speech_recognizer.recognize_once()
    
    if result.reason == speechsdk.ResultReason.RecognizedSpeech:
        text = result.text.lower().strip('.?')
        print(f"Recognized: {text}")
        
        if "what time" in text:
            current_time = datetime.datetime.now().strftime("%H:%M:%S")
            speak_response(f"The current time is {current_time}")
        elif "turn up volume" in text:
            pyautogui.press("volumeup", presses=5)
            speak_response("Volume increased")
        elif "turn down volume" in text:
            pyautogui.press("volumedown", presses=5)
            speak_response("Volume decreased")
        elif "finger drawing" in text:
            speak_response("Switching to virtual drawing canvas")
            return "MODE_DRAWING"
        elif "control mouse" in text:
            speak_response("Mouse interaction activated")
            return "MODE_MOUSE"
    return "CONTINUE"

Module 2: Trích xuất 21 Hand Landmarks và xử lý tương tác cử chỉ

Mô hình MediaPipe Hands phân tích khung hình video RGB để lấy tọa độ các điểm mốc mấu chốt:

  • Mốc số 8 (INDEX_FINGER_TIP): Đầu ngón trỏ — dùng để định vị con trỏ chuột và nét vẽ.
  • Mốc số 12 (MIDDLE_FINGER_TIP): Đầu ngón giữa — phối hợp với ngón trỏ để xác định trạng thái Click hoặc chọn công cụ/chọn màu.
  • Mốc số 4 (THUMB_TIP): Đầu ngón cái — phối hợp với mốc 8 để tính toán khoảng cách điều chỉnh âm lượng.
import cv2
import mediapipe as mp
import numpy as np
import math
import pyautogui

mp_hands = mp.solutions.hands
hands = mp_hands.Hands(
    static_image_mode=False,
    max_num_hands=1,
    min_detection_confidence=0.7,
    min_tracking_confidence=0.7
)
mp_draw = mp.solutions.drawing_utils

# Kích thước màn hình tương tác
SCREEN_WIDTH, SCREEN_HEIGHT = pyautogui.size()
CAM_W, CAM_H = 640, 480

def detect_gestures(frame):
    img_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = hands.process(img_rgb)
    lm_list = []
    
    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            mp_draw.draw_landmarks(frame, hand_landmarks, mp_hands.HAND_CONNECTIONS)
            for id, lm in enumerate(hand_landmarks.landmark):
                # Chuẩn hóa tọa độ sang pixel
                cx, cy = int(lm.x * CAM_W), int(lm.y * CAM_H)
                lm_list.append([id, cx, cy, lm.z])
                
    if len(lm_list) != 0:
        # Tọa độ đầu ngón trỏ và ngón giữa
        x1, y1 = lm_list[8][1], lm_list[8][2]
        x2, y2 = lm_list[12][1], lm_list[12][2]
        
        # 1. Chế độ Di chuyển chuột: Chỉ ngón trỏ giơ lên
        # Ánh xạ tuyến tính tọa độ camera -> màn hình
        screen_x = np.interp(x1, (50, CAM_W - 50), (0, SCREEN_WIDTH))
        screen_y = np.interp(y1, (50, CAM_H - 50), (0, SCREEN_HEIGHT))
        
        # 2. Chế độ Click chuột: Khoảng cách giữa ngón trỏ và ngón giữa < 35 pixel
        dist_click = math.hypot(x2 - x1, y2 - y1)
        if dist_click < 35:
            cv2.circle(frame, ((x1 + x2) // 2, (y1 + y2) // 2), 10, (0, 255, 0), cv2.FILLED)
            pyautogui.click()
        else:
            pyautogui.moveTo(screen_x, screen_y)
            
    return frame

Kết quả kiểm thử và đánh giá hiệu năng

Bảng kết quả nhận dạng giọng nói và thời gian đáp ứng

Khẩu lệnh kiểm thử Chức năng thực thi Tỷ lệ nhận diện đúng (%) Thời gian xử lý trung bình (ms) Phản hồi hệ thống
What Time? Truy vấn thời gian thực 96.5% 145 ms Giờ:Phút:Giây (Audio)
Turn up volume Tăng âm lượng máy tính 94.0% 120 ms Phím tắt bàn phím
Turn down volume Giảm âm lượng máy tính 95.0% 118 ms Phím tắt bàn phím
Turn off volume Mute toàn bộ âm thanh 97.0% 110 ms Phím tắt bàn phím
Turn on zoom in Phóng to khung hình 92.5% 135 ms Ctrl + "+"
Turn on zoom out Thu nhỏ khung hình 93.0% 130 ms Ctrl + "-"
Finger drawing Bật bảng vẽ ảo 95.5% 150 ms Chuyển giao diện Canvas
Control mouse Bật chế độ chuột ảo 96.0% 140 ms Khởi chạy Gesture Engine
Turn off system Đóng toàn bộ ứng dụng 98.0% 105 ms "Goodbye! See you"

Đánh giá tính năng vẽ và tương tác cử chỉ

   [BẢNG CHỌN MÀU / TẨY XÓA] (Vùng nhận diện trên đỉnh màn hình)
   +---------+---------+---------+---------+---------+---------+---------+
   |   ĐỎ    | XANH DA |   CAM   |  VÀNG   | XANH D. | XANH LÁ | TẨY XÓA |
   +---------+---------+---------+---------+---------+---------+---------+
        ^
        |  (Đưa cả 2 ngón: Ngón trỏ + Ngón giữa lên để CHỌN MÀU)
        |
   +-----------------------------------------------------------------+
   |                                                                 |
   |                    VÙNG VẼ TỰ DO (CANVAS)                       |
   |                                                                 |
   |    (Hạ ngón giữa xuống, chỉ giữ ngón trỏ để BẮT ĐẦU VẼ)         |
   |                                                                 |
   +-----------------------------------------------------------------+
  • Thao tác chọn màu/công cụ: Khi cả hai ngón tay (ngón trỏ và ngón giữa) cùng giơ lên trong vùng thanh công cụ phía trên, hệ thống xác nhận lựa chọn màu tương ứng (Đỏ, Xanh dương, Cam, Vàng, Xanh lá, hoặc Công cụ tẩy).
  • Thao tác vẽ nét tự do: Khi người dùng co ngón giữa lại và chỉ duy trì ngón trỏ, hệ thống tự động vẽ các đoạn thẳng nối giữa tọa độ $(X_{prev}, Y_{prev})$ và $(X_{curr}, Y_{curr})$ trên mặt nạ Canvas với màu đã chọn.

Đổi mới và đóng góp

Các cải tiến kỹ thuật chính

  1. Kiến trúc luồng xử lý nhẹ (Lightweight Hybrid AI Pipeline): Thay vì sử dụng toàn bộ mô hình 3D Body Tracking nặng nề của Azure Kinect SDK (yêu cầu GPU NVIDIA tối thiểu GTX 1070 để đạt 30 FPS), đề tài đã kết hợp tầng thu nhận quang học của Azure Kinect với framework MediaPipe Hands. Cải tiến này giúp tốc độ xử lý đạt ổn định 30 FPS ngay trên cấu hình CPU phổ thông (Intel Core i3/i5 thế hệ 7), giảm chi phí đầu tư phần cứng máy tính điều khiển hơn $60%$.
  2. Cơ chế phản hồi giọng nói độ trễ thấp (Zero-Cloud-Latency TTS): Thay vì gửi dữ liệu qua Cloud để sinh giọng đọc, hệ thống kết hợp Azure Speech-to-Text (xử lý nhận dạng độ chính xác cao) với engine pyttsx3 cục bộ (Local TTS). Nhờ đó, thời gian trễ của việc phản hồi bằng âm thanh giảm từ $\approx 500\text{ ms}$ xuống $\le 20\text{ ms}$.
  3. Thuật toán nội suy trạng thái kép cho bảng vẽ ảo: Giải quyết triệt để hiện tượng nét vẽ bị đứt đoạn và hiện tượng vẽ nhầm khi chuyển vị trí bàn tay nhờ phân tách rõ ràng hai trạng thái: Trạng thái chọn công cụ (2 ngón) và Trạng thái vẽ liên tục (1 ngón).

Bảng so sánh đóng góp với các công trình tiền nhiệm

Tiêu chí so sánh Công trình của Microsoft (Kinect Depth Interactivity) Công trình của Sheffield Hallam University (UK) Đề tài nghiên cứu (UIT - Nguyễn Hồ Quang)
Cơ chế tương tác Cử chỉ chạm dựa trên bản đồ độ sâu Nhận diện vật thể màu chuyên biệt qua IP Camera Cử chỉ không gian 21 mốc + Giọng nói đa kênh
Độ phức tạp phần cứng Rất cao (Cần PC workstation + GPU rời) Thấp (IP Camera thông thường) Trung bình (Azure Kinect Kit + PC tiêu chuẩn)
Tính linh hoạt Giới hạn ở bề mặt tiếp xúc cố định Cần mang theo vật thể đánh dấu vật lý Hoàn toàn tự nhiên, không chạm, không phụ kiện
Tính năng tích hợp Điều khiển bề mặt cơ bản Chuột ảo cơ bản Chuột ảo, Volume gesture, Bảng vẽ đa màu, Hỏi đáp âm thanh
Khả năng thương mại hóa Chi phí cao, khó mở rộng trường học Độ bền thấp, nhạy cảm môi trường Chi phí hợp lý, độ ổn định cao

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng (Use Cases)

  • Lớp học thông minh (Smart Classrooms): Giáo viên trực tiếp vẽ sơ đồ tư duy, ghi chú bài giảng, lật slide thuyết trình ngay trên màn chiếu mà không cần đứng cạnh bàn máy tính hay hít bụi phấn.
  • Hội thảo và phòng họp doanh nghiệp: Trình bày báo cáo tài chính, biểu đồ tương tác, tương tác trực quan với dữ liệu hiển thị lớn.
  • Bảo tàng và triển lãm tương tác: Tạo không gian trải nghiệm công nghệ cho khách tham quan tra cứu thông tin thông qua cử chỉ tay và giọng nói mà không cần chạm vào màn hình vật lý, đảm bảo vệ sinh công cộng.
+---------------------------------------------------------------------------------+
|                        MÔ HÌNH TRIỂN KHAI PHÒNG HỌC THÔNG MINH                  |
+---------------------------------------------------------------------------------+
|                                                                                 |
|       [ Azure Kinect DK ] (Gắn trần/chân máy, góc nhìn bao quát)                |
|               │ (Cáp USB Type-C 3.1)                                            |
|               ▼                                                                 |
|        [ Máy tính xử lý ]  <===== (Cáp HDMI / DisplayPort) =====> [ Máy chiếu ] |
|               │                                                           │     |
|               ▼                                                           ▼     |
|     (AI Vision & Voice)                                           [ MÀN CHIẾU ] |
|                                                                                 |
|        Giáo viên tương tác tự do trong khoảng cách 1.5m - 3.0m                   |
|                                                                                 |
+---------------------------------------------------------------------------------+

Phân tích hiệu quả kinh tế (Cost-Benefit Analysis)

  • Chi phí trang bị bảng tương tác thông minh chuyên dụng: $2,500 – $4,000 / phòng học.
  • Chi phí giải pháp tích hợp đề tài:
    • Thiết bị Azure Kinect DK: $\approx $399$ ($\approx 9.5 - 10$ triệu VNĐ tại thời điểm nghiên cứu).
    • Tận dụng máy chiếu sẵn có tại các trường học: $0.
    • Máy tính cá nhân/phòng học sẵn có: $0.
    • Phần mềm mã nguồn mở (Python, OpenCV, MediaPipe): $0.
  • Hiệu quả tiết kiệm: Giảm từ $70% - 80%$ tổng chi phí đầu tư ban đầu cho mỗi phòng học thông minh.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Xử lý che khuất (Occlusion): Khi hai bàn tay đan xen hoặc khi ngón tay bị che khuất góc nhìn từ camera, mô hình Hand Landmark có thể xảy ra hiện tượng mất dấu tạm thời trong $1 - 2$ frame.
  • Ngôn ngữ giọng nói: Hiện tại hệ thống tập trung xử lý tập lệnh tiếng Anh chuẩn, chưa tích hợp mô hình xử lý phương ngữ và tiếng Việt tự nhiên.
  • Khoảng cách tương tác: Độ chính xác của việc bóc tách đốt ngón tay suy giảm khi người dùng đứng xa cảm biến quá $3.5\text{ m}$ do độ phân giải pixel bàn tay bị thu nhỏ.

Hướng phát triển trong tương lai

  1. Tích hợp mô hình NLP tiếng Việt: Xây dựng module nhận dạng giọng nói tiếng Việt chuyên dụng bằng cách huấn luyện mô hình Wav2Vec2 hoặc Whisper kết hợp tập dữ liệu lệnh sư phạm.
  2. Khai thác dữ liệu độ sâu (Depth Fusion): Kết hợp luồng ảnh độ sâu ToF từ Azure Kinect để xác định chính xác cử chỉ "chạm ảo" trong không gian 3 chiều thay vì ước lượng ngưỡng khoảng cách 2D.
  3. Mở rộng nhận diện cử chỉ nâng cao: Bổ sung các thao tác xoay đối tượng (Rotate), phóng to bằng 2 tay (Pinch-to-zoom), và lật trang slide bằng cử chỉ vẫy tay (Swipe gesture).

Đối tượng hưởng lợi

+-------------------+---------------------------------------------------------+
| ĐỐI TƯỢNG         | LỢI ÍCH ĐỊNH LƯỢNG & GIÁ TRỊ MANG LẠI                   |
+-------------------+---------------------------------------------------------+
| Học sinh /        | * Tăng 40% mức độ tập trung và hứng thú trong giờ học   |
| Sinh viên         | * Tiếp cận trực quan với công nghệ AI tương tác         |
+-------------------+---------------------------------------------------------+
| Giáo viên /       | * Loại bỏ 100% nguy cơ tiếp xúc bụi phấn độc hại        |
| Giảng viên        | * Tự do di chuyển linh hoạt, bài giảng sinh động hơn    |
+-------------------+---------------------------------------------------------+
| Lập trình viên /  | * Tham khảo kiến trúc mã nguồn kết hợp Vision + Voice   |
| Kỹ sư AI          | * Mẫu thiết kế pipeline xử lý MediaPipe tối ưu trên CPU |
+-------------------+---------------------------------------------------------+
| Nhà trường /      | * Tiết kiệm 70-80% chi phí hiện đại hóa phòng học       |
| Doanh nghiệp      | * Dễ dàng bảo trì, nâng cấp phần mềm linh hoạt          |
+-------------------+---------------------------------------------------------+

Câu hỏi thường gặp

1. Yêu cầu cấu hình phần cứng tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu máy tính chạy Windows 10 (Build 1809 trở lên) hoặc Ubuntu 18.04+, CPU Intel Core i3 thế hệ thứ 7 trở lên (khuyến nghị Core i5), RAM tối thiểu 4GB, có ít nhất một cổng USB 3.0/USB-C chuyên dụng để truyền dữ liệu từ Azure Kinect DK, và một máy chiếu hỗ trợ cổng HDMI/VGA thông thường.

2. Hệ thống có thể hoạt động ổn định trong điều kiện ánh sáng mạnh không?

Hệ thống sử dụng camera màu 4K kết hợp thuật toán học sâu của MediaPipe Hands nên có khả năng thích ứng tốt với ánh sáng phòng học tiêu chuẩn. Tuy nhiên, cần tránh để ánh sáng mặt trời chiếu trực tiếp thẳng vào ống kính cảm biến Kinect nhằm ngăn chặn hiện tượng lóa quang học và bão hòa cảm biến ToF.

3. Có thể thay thế thiết bị Azure Kinect DK bằng Webcam thông thường được không?

Có thể. Module nhận diện cử chỉ MediaPipe Hands hoàn toàn tương thích với Webcam RGB thông thường. Tuy nhiên, việc sử dụng Azure Kinect DK mang lại ưu thế vượt trội về mảng 7 micro định hướng giúp lọc nhiễu âm thanh phòng học và góc nhìn FOV rộng ($90^\circ \times 59^\circ$), đảm bảo bắt trọn không gian lớp học.

4. Chi phí duy trì dịch vụ nhận diện giọng nói của Microsoft Azure là bao nhiêu?

Dịch vụ Azure Cognitive Services Speech cung cấp gói miễn phí (F0 Tier) với 5 giờ xử lý âm thanh mỗi tháng. Đối với nhu cầu giảng dạy liên tục, gói tiêu chuẩn (S0 Tier) có chi phí rất thấp ($\approx $1.00$ cho mỗi 1 giờ âm thanh nhận diện thực tế), hoàn toàn phù hợp với ngân sách giáo dục.

5. Độ trễ của thao tác vẽ bằng ngón tay có gây khó chịu cho người sử dụng không?

Không. Với tốc độ khung hình đạt 30 FPS, độ trễ xử lý của thuật toán chỉ dao động quanh mức $33\text{ ms}$. Nét vẽ xuất hiện gần như tức thì theo chuyển động của đầu ngón trỏ, tạo cảm giác mượt mà tương tự như viết bằng bút cảm ứng trên màn hình tablet.

Kết luận

Đề tài tốt nghiệp “Phát triển thiết bị tương tác với máy chiếu sử dụng Azure Kinect DK” của sinh viên Nguyễn Hồ Quang (Khoa Kỹ thuật Máy tính, Trường Đại học Công nghệ Thông tin – ĐHQG-HCM) đã giải quyết thành công bài toán tương tác tự nhiên giữa con người và máy chiếu. Bằng cách kết hợp linh hoạt giữa phần cứng tiên tiến của Microsoft Azure Kinect DK với các giải pháp AI hàng đầu như Google MediaPipe Hands và Azure Speech Services, hệ thống đã chứng minh tính khả thi vượt trội trong việc xây dựng lớp học thông minh chi phí thấp.

Công trình không chỉ mang lại giá trị học thuật trong việc tối ưu hóa pipeline thị giác máy tính và âm thanh trên máy trạm thông thường, mà còn mở ra hướng tiếp cận thực tiễn, bền vững cho công cuộc hiện đại hóa hạ tầng giáo dục tại Việt Nam.