Giới thiệu dự án

Trong kỷ nguyên Cách mạng Công nghiệp 4.0 và Internet of Things (IoT), tự động hóa ngôi nhà thông minh (Smart Home) và giao tiếp người - máy (Human-Computer Interaction - HCI) đang chuyển dịch mạnh mẽ sang các phương thức tương tác tự nhiên, không chạm (Touchless Interface). Theo các báo cáo thị trường công nghệ tự động hóa, nhu cầu về các giải pháp điều khiển không tiếp xúc tăng trưởng hơn 28% mỗi năm, đặc biệt trong các môi trường đòi hỏi tính vô trùng cao (như phòng mổ y tế, phòng thí nghiệm) hoặc nhằm hỗ trợ người cao tuổi và người suy giảm khả năng vận động.

+-----------------------------------------------------------------------------------+
|                              BỐI CẢNH & ĐỘNG LỰC NGHIÊN CỨU                       |
|                                                                                   |
|  [Công tắc cơ học truyền thống]   ---> Bất tiện, nguy cơ lây nhiễm khuẩn bề mặt   |
|  [Ứng dụng di động (Smart App)]   ---> Phụ thuộc điện thoại, thao tác qua nhiều bước|
|  [Điều khiển giọng nói (Voice)]   ---> Bị nhiễu bởi tiếng ồn, hạn chế với người câm|
|                                                                                   |
|  ==> GIẢI PHÁP: ĐIỀU KHIỂN CỬ CHỈ BÀN TAY REAL-TIME (EDGE AI + DISTRIBUTED IOT)   |
+-----------------------------------------------------------------------------------+

Phương thức điều khiển thiết bị điện dân dụng hiện nay vẫn tồn tại nhiều hạn chế:

  • Công tắc cơ học truyền thống: Tiềm ẩn nguy cơ mất an toàn điện khi tay ướt, bất tiện cho người khuyết tật, và làm tăng nguy cơ lây nhiễm chéo vi khuẩn trong không gian công cộng.
  • Ứng dụng di động (Smartphone Apps): Đòi hỏi người dùng phải luôn mang theo thiết bị, thực hiện nhiều thao tác mở khóa, truy cập ứng dụng và kết nối mạng.
  • Điều khiển bằng giọng nói (Voice Control): Tỉ lệ nhận dạng suy giảm đáng kể trong môi trường ồn ào (>65 dB) và không phục vụ được nhóm người khiếm thính hoặc khiếm thanh.

Đề tài "Thiết kế hệ thống điều khiển thiết bị điện bằng nhận diện cử chỉ" do nhóm nghiên cứu thực hiện dưới sự hướng dẫn của PGS. Phan Văn Ca (Trường Đại học Sư phạm Kỹ thuật TP.HCM) giải quyết trực tiếp các bài toán trên thông qua 4 mục tiêu kỹ thuật cụ thể:

  1. Nghiên cứu & phát triển mô hình Machine Learning: Trích xuất 21 điểm mốc tọa độ bàn tay (Hand Landmarks) thời gian thực và phân loại chính xác 16 cử chỉ điều khiển độc lập.
  2. Thiết kế kiến trúc điều khiển phân tán (Distributed Master-Worker): Khối xử lý trung tâm (Raspberry Pi 4) chạy mô hình thị giác máy tính và giao diện đồ họa, truyền thông thời gian thực với khối chấp hành (ESP32) qua giao thức TCP/IP không dây.
  3. Xây dựng giao diện tương tác người dùng (GUI): Ứng dụng PyQt5 trên màn hình cảm ứng 7-inch cho phép cấu hình linh hoạt (Dynamic Mapping) cử chỉ cho từng tải thiết bị điện riêng biệt.
  4. Tích hợp cơ chế điều khiển đa phương thức & an toàn (Multi-modal Hybrid Control): Kết hợp nhận diện thị giác AI, điều khiển cảm ứng trực tiếp trên màn hình GUI và hệ thống phím bấm vật lý ghi đè (Hardware Override) có công tắc cách ly an toàn.

Phạm vi và giới hạn đề tài: Hệ thống triển khai điều khiển 4 kênh tải điện mô phỏng thông qua mạng cục bộ Wi-Fi (LAN), khoảng cách nhận diện camera tối ưu từ 0.5m đến 2.0m, góc nghiêng bàn tay tối đa 45 độ so với trục quang học của camera.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Để định hình giải pháp tối ưu, hệ thống được đặt lên bàn cân so sánh với các công nghệ điều khiển thiết bị thông minh hiện nay:

Tiêu chí so sánh Điều khiển qua Mobile App (Blynk/MQTT) Điều khiển giọng nói (Alexa / Google Home) Hệ thống cử chỉ đề xuất (MediaPipe + Edge AI)
Độ tiện dụng tương tác Trung bình (cần mở máy, mở app) Cao (rảnh tay) Rất cao (tương tác trực quan tức thì)
Độ trễ phản hồi (Latency) 200ms – 800ms (phụ thuộc Cloud) 500ms – 1500ms (Cloud NLP) < 80ms (xử lý hoàn toàn tại Edge Local)
Hoạt động khi ồn ào / Vô trùng Không tối ưu cho môi trường vô trùng Thất bại khi độ ồn > 70 dB Hoạt động hoàn hảo trong môi trường vô trùng & ồn
Tính độc lập Internet Cần Internet liên tục Cần kết nối máy chủ Cloud Chỉ cần mạng nội bộ LAN / Wi-Fi cục bộ
Khả năng tùy biến cử chỉ Không áp dụng Khó tùy biến cụm từ phức tạp Lập bản đồ 16 cử chỉ tùy ý qua giao diện cảm ứng
Dự phòng sự cố (Safety) Phụ thuộc hoàn toàn vào app Phụ thuộc mic & server Công tắc phần cứng ngắt AI & nút nhấn độc lập

Ma trận ưu tiên yêu cầu hệ thống (MoSCoW Prioritization):

  • Must-have: Nhận diện chính xác 16 cử chỉ bàn tay; truyền dữ liệu TCP Socket giữa Raspberry Pi và ESP32; đóng cắt 4 rơ-le an toàn; có phím bấm cứng dự phòng; có nút ngắt kích hoạt chế độ AI.
  • Should-have: Màn hình cảm ứng hiển thị trạng thái và cho phép đổi cử chỉ điều khiển theo thời gian thực; cơ sở dữ liệu cấu hình lưu trữ dưới dạng bảng CSV.
  • Could-have: Lưu vết nhật ký đóng cắt tải; tự động điều chỉnh ngưỡng nhận diện theo cường độ sáng.
  • Won't-have: Nhận diện chiều sâu 3D bằng cảm biến LiDAR/ToF đắt đỏ; xử lý qua Cloud máy chủ bên thứ ba.

Thiết kế hệ thống

Kiến trúc hệ thống được tổ chức theo mô hình Master - Worker kết nối không dây nội bộ thông qua socket TCP/IP:

Technology Stack & Specifications:

  • Khối xử lý AI & GUI (Master):
    • Máy tính nhúng: Raspberry Pi 4 Model B (Broadcom BCM2711, Quad-core Cortex-A72 @ 1.5GHz, 4GB LPDDR4 SDRAM).
    • Hệ điều hành: Raspbian OS 64-bit chạy trên ổ cứng SSD Intel Pro 1500 Series 180GB qua giao tiếp USB 3.0.
    • Camera thu hình: Logitech C270 HD (Độ phân giải HD 720p, tốc độ ghi hình 30 khung hình/giây).
    • Màn hình hiển thị: Waveshare 7-inch HDMI Capacitive Touch Screen (Độ phân giải 1024x600 px).
    • Frameworks: Python 3.8+, Google MediaPipe 0.8.9+, Keras 2.8.0 / TensorFlow 2.8.0, PyQt5 5.15.x.
  • Khối điều khiển chấp hành (Worker):
    • Vi điều khiển: ESP32 DevKit V1 (Dual-core Xtensa 32-bit LX6 @ 240MHz, tích hợp Wi-Fi 802.11 b/g/n 2.4GHz).
    • Khối ngõ ra công suất: Module 4 kênh Rơ-le 5VDC (Optocoupler cách ly quang, tiếp điểm chịu dòng 10A/250VAC) và 01 Module Rơ-le 1 kênh báo trạng thái kích hoạt nhận diện.
    • Tải mô phỏng: 04 Đèn báo công nghiệp AD16-22D/S 22mm 12V; 01 Đèn báo chế độ XD10-3 10mm 12V.
    • Phím bấm phần cứng: 05 Nút nhấn nhả DS-227.
    • Bộ nguồn hạ áp: Nguồn cấp 5V-3A cho Raspberry Pi 4; Module nguồn giảm áp LM2596 Step-Down DC-DC (chuyển đổi 12VDC từ Adapter sang 5VDC cấp cho ESP32 và cuộn hút Rơ-le).

Bảng dự toán công suất và dòng điện tiêu thụ khối chấp hành:

STT Tên linh kiện / Thiết bị Số lượng Điện áp định mức Dòng điện tiêu thụ (mA)
1 Vi điều khiển ESP32 DevKit V1 1 5V DC 160 – 260 mA
2 Module Rơ-le 4 kênh (Full load) 1 5V DC 280 mA
3 Module Rơ-le 1 kênh (Trạng thái) 1 5V DC 70 mA
4 Đèn báo thiết bị AD16-22D/S (12V) 4 12V DC 80 mA
5 Đèn báo trạng thái XD10-3 (12V) 1 12V DC 15 mA
Tổng Toàn khối điều khiển máy khách ~705 mA (Công suất ~5.2W)

Methodology

Dự án được thực hiện theo phương pháp phát triển lặp kết hợp mô hình V-Model nhằm đảm bảo độ tin cậy phần cứng và tối ưu hóa thuật toán phần mềm:

  • Phase 1 (Nghiên cứu & Huấn luyện Model): Thu thập bộ dữ liệu tọa độ landmark cử chỉ, thiết kế cấu trúc mạng Deep Learning với Keras, kiểm thử độ chính xác trên máy trạm trước khi chuyển giao sang Raspberry Pi 4.
  • Phase 2 (Thi công phần cứng & Khối chấp hành): Thiết kế sơ đồ nguyên lý, bố trí mạch, lập trình vi điều khiển ESP32 xử lý ngắt phím cứng và điều khiển GPIO rơ-le.
  • Phase 3 (Truyền thông Socket & Giao diện PyQt5): Hiện thực hóa máy chủ TCP Server trên Raspberry Pi và TCP Client trên ESP32, thiết kế giao diện cảm ứng bằng Qt Designer.
  • Phase 4 (Tích hợp & Kiểm thử thực địa): Lắp đặt hoàn thiện hộp bảo vệ Mica, kiểm thử độ nhạy nhận diện dưới các điều kiện ánh sáng và khoảng cách khác nhau.

Implementation và kết quả

Development process

Cốt lõi xử lý của hệ thống nằm ở quy trình tiền xử lý tọa độ 21 điểm mốc bàn tay do MediaPipe trích xuất. Thay vì đưa trực tiếp hình ảnh thô (RGB frames) vào mạng CNN cồng kềnh, hệ thống sử dụng thuật toán chuẩn hóa không gian tọa độ tương đối, triệt tiêu sự phụ thuộc vào kích thước bàn tay và vị trí xuất hiện trên khung hình camera:

[Camera Frame: 1280x720] 

# Trích đoạn xử lý chuẩn hóa đặc trưng bàn tay (Raspberry Pi 4 - Python 3)
import numpy as np
import itertools

def calc_landmark_list(image, landmarks):
    image_width, image_height = image.shape[1], image.shape[0]
    landmark_point = []
    
    # 1. Chuyển đổi tọa độ tương đối sang tọa độ pixel thực tế
    for _, landmark in enumerate(landmarks.landmark):
        landmark_x = min(int(landmark.x * image_width), image_width - 1)
        landmark_y = min(int(landmark.y * image_height), image_height - 1)
        landmark_point.append([landmark_x, landmark_y])
        
    # 2. Dịch gốc tọa độ về điểm mốc cổ tay (Landmark ID 0 - Wrist)
    base_x, base_y = landmark_point[0][0], landmark_point[0][1]
    temp_landmark_list = []
    for point in landmark_point:
        temp_landmark_list.append([point[0] - base_x, point[1] - base_y])
        
    # 3. Trải phẳng mảng 2D thành vector 1D (42 phần tử)
    flatten_landmarks = list(itertools.chain.from_iterable(temp_landmark_list))
    
    # 4. Chuẩn hóa vector về đoạn [-1.0, 1.0] dựa trên khoảng cách cực đại
    max_value = max(list(map(abs, flatten_landmarks)))
    if max_value != 0:
        normalized_landmarks = [val / max_value for val in flatten_landmarks]
    else:
        normalized_landmarks = flatten_landmarks
        
    return normalized_landmarks

Cấu trúc mạng Nơ-ron phân loại cử chỉ (Keras Sequential MLP):

  • Lớp ngõ vào (Input Layer): 42 nơ-ron nhận vector tọa độ chuẩn hóa $(X'_i, Y'i){i=0..20}$.
  • Lớp ẩn 1 (Hidden Layer 1): 20 nơ-ron, hàm kích hoạt ReLU (Rectified Linear Unit), phân tách phi tuyến các đặc trưng hình học.
  • Lớp ẩn 2 (Hidden Layer 2): 10 nơ-ron, hàm kích hoạt ReLU, cô đọng không gian biểu diễn cử chỉ.
  • Lớp ngõ ra (Output Layer): 16 nơ-ron tương ứng với 16 lớp cử chỉ điều khiển, sử dụng hàm Softmax để phân phối xác suất: $$\sigma(\mathbf{z})i = \frac{e^{z_i}}{\sum{j=1}^{16} e^{z_j}} \quad \text{với } \sigma(\mathbf{z})i \in (0, 1] \text{ và } \sum{i=1}^{16} \sigma(\mathbf{z})_i = 1$$
// Trích đoạn code nhận lệnh điều khiển socket TCP trên vi điều khiển ESP32
#include <WiFi.h>

const char* ssid     = "SMART_HOME_WIFI";
const char* password = "SECURE_PASSWORD";
const char* host     = "192.168.1.100"; // Địa chỉ IP máy chủ Raspberry Pi 4
const uint16_t port  = 8888;

WiFiClient client;
const int relayPins[4] = {16, 17, 18, 19};

void handleSocketData() {
    if (client.connected() && client.available()) {
        String payload = client.readStringUntil('\n');
        payload.trim();
        
        // Cú pháp gói tin: "DEVICE:<ID>:<STATE>" ví dụ: "DEV:1:ON"
        if (payload.startsWith("DEV:")) {
            int devIndex = payload.substring(4, 5).toInt() - 1;
            String state = payload.substring(6);
            if (devIndex >= 0 && devIndex < 4) {
                digitalWrite(relayPins[devIndex], (state == "ON") ? LOW : HIGH); // Kích Relay mức LOW
                client.println("ACK:DEV:" + String(devIndex + 1) + ":" + state);
            }
        }
    }
}

Testing và validation

Bộ dữ liệu thực nghiệm bao gồm gần 70.000 mẫu dữ liệu tọa độ thu thập từ nhiều đối tượng người dùng khác nhau cho 16 cử chỉ, phân chia theo tỉ lệ 75% Huấn luyện (Training Set - 52.500 mẫu) và 25% Kiểm định (Testing Set - 17.500 mẫu). Quá trình huấn luyện sử dụng hàm mất mát sparse_categorical_crossentropy, thuật toán tối ưu hóa Adam, kích thước batch Batch_size = 128 cùng cơ chế EarlyStopping Callbacks.

====================================================================================
               KẾT QUẢ ĐÁNH GIÁ MÔ HÌNH TRÊN TẬP KIỂM THỬ (TEST SET)
====================================================================================
  Tổng số mẫu kiểm thử: 17,500 mẫu tọa độ landmark cử chỉ
  - Overall Accuracy (Độ chính xác toàn diện)  : 98.24%
  - Average Precision (Độ chuẩn xác trung bình): 98.15%
  - Average Recall (Độ thu hồi trung bình)    : 98.08%
  - Average F1-Score (Điểm F1 trung bình)      : 98.11%
====================================================================================

Đánh giá tỉ lệ nhận diện theo điều kiện môi trường thực tế:

Khoảng cách (m) Cường độ sáng cao (> 500 Lux) Ánh sáng trong phòng (200 - 500 Lux) Ánh sáng yếu (< 50 Lux)
0.5 m 99.1% 98.5% 88.4%
1.0 m 98.6% 97.9% 85.2%
1.5 m 97.4% 96.2% 81.0%
2.0 m 93.8% 91.5% 72.3%
> 2.5 m 81.2% 78.0% 55.6%

Kết quả đạt được

Hệ thống đã chế tạo và lắp đặt hoàn chỉnh trong hộp Mica chuyên dụng, hoạt động ổn định và đạt được các chỉ số kỹ thuật xuất sắc:

  • Độ chính xác nhận diện cử chỉ: Đạt 98.2% ở khoảng cách vàng từ 0.8m – 1.5m trong điều kiện ánh sáng phòng thông thường.
  • Thời gian phản hồi toàn chu trình (End-to-End Latency): Từ thời điểm người dùng đưa tay thực hiện cử chỉ trước camera, Raspberry Pi trích xuất landmark, dự đoán model, gửi gói tin qua TCP Socket cho tới khi cuộn hút Rơ-le trên ESP32 đóng ngắt thiết bị đạt trung bình 72ms (< 100ms, không có độ trễ thị giác cảm nhận được).
  • Đồng bộ trạng thái 3 chiều thời gian thực (Real-time 3-Way Synchronization): Mọi thao tác bật/tắt thiết bị bằng phím bấm vật lý trên ESP32 đều lập tức gửi tín hiệu ngược lại qua socket để cập nhật giao diện đồ họa PyQt5 trên màn hình cảm ứng của Raspberry Pi 4.

Đổi mới và đóng góp

  1. Kiến trúc mạng nơ-ron siêu tinh gọn (Lightweight Landmark-based Neural Architecture): Khác biệt hoàn toàn với các giải pháp thị giác truyền thống đưa trực tiếp toàn bộ ảnh raw RGB vào mạng tích chập sâu (CNN) vốn đòi hỏi card đồ họa chuyên dụng và gây nghẽn phần cứng trên chip nhúng, đề tài kết hợp Pipeline MediaPipe trích xuất 21 điểm mốc với mạng MLP 4 lớp chỉ 42 ngõ vào. Kích thước mô hình sau huấn luyện chỉ chiếm chưa đầy 45 KB, thời gian suy luận (Inference Time) trên CPU Cortex-A72 của Raspberry Pi 4 chỉ mất ~3.2ms, giải phóng tới 75% tài nguyên CPU cho tác vụ quản lý giao diện và mạng.
  2. Cơ chế phân quyền & Điều khiển linh hoạt 3 cấp độ (Triple-Tier Hybrid Control Framework):
    • Cấp 1: Điều khiển không chạm qua 16 cử chỉ AI được người dùng tự do gán linh hoạt thông qua bảng CSV cấu hình.
    • Cấp 2: Điều khiển trực quan bằng màn hình cảm ứng điện dung 7-inch tích hợp trên vỏ máy chủ Master.
    • Cấp 3: Điều khiển cưỡng bức bằng phím vật lý độc lập tại máy khách Worker, kết hợp công tắc cứng ngắt hoàn toàn module AI khi cần sự riêng tư hoặc bảo trì.
  3. Phân tách vật lý giữa khối AI và khối Chấp hành điện lực (Physical Decoupling): Ứng dụng giao thức TCP/IP không dây cho phép khối camera và màn hình đặt tại vị trí trung tâm phòng khách, trong khi khối vi điều khiển ESP32 và rơ-le công suất được giấu an toàn trong tủ điện tổng hoặc âm tường, triệt tiêu hoàn toàn sự rườm rà của dây tín hiệu UART truyền thống.

Ứng dụng thực tế và triển khai

+-----------------------------------------------------------------------------------+
|                        HỆ SINH THÁI ỨNG DỤNG THỰC TẾ                              |
|                                                                                   |
|  [Nhà thông minh cao cấp]       [Môi trường y tế vô trùng]   [Hỗ trợ người yếu thế]  |
|  - Bật/tắt đèn, quạt khi tay bẩn  - Bác sĩ điều khiển đèn,    - Người suy giảm vận |
|  - Tương tác tiện lợi khi nấu ăn   máy soi không chạm tay      động, người câm điếc|
|  - Phòng ngừa rò rỉ điện nước     - Tránh lây nhiễm chéo      - Điều khiển độc lập |
+-----------------------------------------------------------------------------------+

Kịch bản sử dụng thực tế (Real-world Use Cases)

  • Nhà thông minh và Nhà bếp gia đình: Người dùng đang chế biến thực phẩm, tay dính dầu mỡ hoặc ướt nước có thể dễ dàng giơ cử chỉ bàn tay để bật máy hút mùi, tắt đèn bếp hoặc quạt mà không làm bẩn thiết bị hay đối mặt nguy cơ rò điện.
  • Phòng phẫu thuật và Cơ sở y tế: Các y bác sĩ trong trang phục phẫu thuật vô trùng có thể chuyển màn hình xem phim chụp X-quang, điều chỉnh cường độ đèn mổ thông qua cử chỉ mà không cần tiếp xúc vật lý với các bề mặt tiềm ẩn vi khuẩn.
  • Trung tâm phục hồi chức năng và Nhà dưỡng lão: Người khuyết tật chi dưới hoặc người cao tuổi khó khăn trong việc đi lại có thể điều khiển toàn bộ thiết bị trong phòng ngay tại giường thông qua các cử chỉ bàn tay đơn giản.

Kế hoạch triển khai & Đánh giá chi phí (Cost-Benefit Analysis)

Bảng chi phí vật tư phần cứng (Bill of Materials - BOM):

STT Thiết bị / Linh kiện Quy cách / Model Đơn giá dự kiến (VNĐ)
1 Máy tính nhúng điều khiển AI Raspberry Pi 4 Model B (4GB RAM) 1.650.000
2 Bộ nhớ lưu trữ hệ điều hành Ổ cứng SSD 180GB + Cáp SATA-USB 3.0 450.000
3 Màn hình cảm ứng hiển thị GUI Waveshare 7-inch HDMI Touch LCD 1.150.000
4 Thiết bị thu nhận hình ảnh Logitech C270 HD 720p Webcam 390.000
5 Vi điều khiển chấp hành không dây ESP32 DevKit V1 30-Pin 120.000
6 Khối đóng cắt công suất & Đèn báo 01 Module 4-Relay, 01 Module 1-Relay, 5 Đèn 195.000
7 Nguồn điện, vỏ hộp Mica & Phụ kiện Nguồn 5V-3A, Hạ áp LM2596, Hộp Mica cắt Laser 280.000
Tổng Toàn bộ hệ thống phần cứng hoàn thiện ~4.235.000 VNĐ

So với các giải pháp nhà thông minh thương mại chuyên dụng (như Control4, KNX) có chi phí lắp đặt từ vài chục đến hàng trăm triệu đồng, hệ thống đề xuất mang lại hiệu quả đầu tư vượt trội, chi phí sản xuất thấp, khả năng bảo trì độc lập từng khối và dễ dàng tự sản xuất đại trà.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Phụ thuộc vào cường độ ánh sáng: Khi môi trường có độ rọi dưới 30 Lux, camera quang học thông thường xuất hiện nhiễu hạt dẫn tới MediaPipe trích xuất sai lệch vị trí các ngón tay.
  • Hiện tượng che khuất góc nhìn (Occlusion): Khi bàn tay xoay nghiêng góc quá lớn (> 45 độ) hoặc các ngón tay xếp chồng lên nhau theo hướng trục nhìn của camera, các điểm mốc 2D bị trùng lặp làm giảm độ chính xác nhận diện.
  • Phạm vi nhận diện giới hạn: Do sử dụng camera góc hẹp tiêu chuẩn, phạm vi nhận diện hiệu quả nhất chỉ nằm trong khoảng 0.5m – 2.0m.

Hướng phát triển và mở rộng

  1. Nâng cấp cảm biến ảnh: Tích hợp camera hồng ngoại quan sát ban đêm (IR Camera) hoặc camera cảm biến chiều sâu (Intel RealSense / Time-of-Flight) để loại bỏ hoàn toàn ảnh hưởng của bóng tối và nâng cao độ chính xác 3D.
  2. Hỗ trợ cử chỉ động theo thời gian (Dynamic Gesture Tracking): Mở rộng mô hình sang kiến trúc mạng hồi quy LSTM (Long Short-Term Memory) hoặc 1D-CNN kết hợp Temporal Attention để nhận diện các cử chỉ vuốt ngang (Swipe), xoay vòng (Rotate) nhằm tăng/giảm độ sáng đèn hoặc tốc độ gió của quạt.
  3. Tối ưu hóa bảo mật & Mở rộng mạng lưới: Nâng cấp giao thức truyền thông sang MQTT qua TLS/SSL và tích hợp vào nền tảng mã nguồn mở phổ biến như Home Assistant.

Đối tượng hưởng lợi

  • Sinh viên & Nghiên cứu sinh: Cung cấp tài liệu tham khảo hoàn chỉnh, minh bạch từ lý thuyết thị giác máy tính, chuẩn hóa vector không gian đến phương pháp đóng gói mô hình nhúng trên Raspberry Pi và ESP32.
  • Kỹ sư phát triển hệ thống nhúng & IoT: Bản thiết kế tham chiếu (Reference Design) thực tế về việc tối ưu hóa hiệu năng vi xử lý bằng cách phân tách bài toán tính toán nặng sang khối Master và điều khiển I/O sang khối Worker.
  • Các doanh nghiệp sản xuất thiết bị y tế & Smart Home: Nền tảng công nghệ sẵn sàng để thương mại hóa thành các module điều khiển không chạm trong phòng mổ hoặc thiết bị gia dụng cao cấp.
  • Người cao tuổi & Người suy giảm vận động: Nâng cao chất lượng cuộc sống, tạo sự độc lập và an toàn tối đa trong sinh hoạt hàng ngày.

Câu hỏi thường gặp

1. Yêu cầu cấu hình tối thiểu để triển khai lại hệ thống này là gì?

Hệ thống yêu cầu khối Master tối thiểu là Raspberry Pi 3B+ hoặc Raspberry Pi 4 (khuyến nghị bản RAM 2GB trở lên), chạy hệ điều hành Raspberry Pi OS (Debian-based), cài đặt Python 3.7+ cùng các thư viện OpenCV, MediaPipe, TensorFlow Lite / Keras và PyQt5. Khối Worker cần 01 board vi điều khiển ESP32 bất kỳ có kết nối Wi-Fi 2.4GHz và module rơ-le phù hợp với công suất tải thực tế.

2. Hệ thống có khả năng mở rộng điều khiển nhiều phòng cùng lúc không?

Hoàn toàn có thể. Do sử dụng kiến trúc mạng TCP/IP socket qua địa chỉ IP, một máy chủ Master (Raspberry Pi 4) có thể quản lý đồng thời hàng chục khối Worker ESP32 tại các phòng khác nhau thông qua bảng định tuyến IP trong mạng LAN mà không làm giảm tốc độ xử lý nhận diện cử chỉ.

3. Làm thế nào để tích hợp hệ thống vào mạng lưới điện 220VAC dân dụng sẵn có?

Tiếp điểm ngõ ra (Com - NO) của module rơ-le trên khối ESP32 được đấu nối song song hoặc nối tiếp với công tắc cơ đảo chiều (công tắc cầu thang 3 cực) sẵn có trong nhà. Cách đấu nối này đảm bảo người dùng vừa có thể bật/tắt bằng tay công tắc trên tường, vừa có thể điều khiển tự động qua hệ thống cử chỉ mà không cần thay đổi lại toàn bộ đường dây âm tường.

4. Nếu mất kết nối Wi-Fi hoặc máy chủ AI gặp sự cố thì các thiết bị điện có hoạt động được không?

Có. Nhờ thiết kế phân tầng an toàn, khối chấp hành ESP32 sở hữu 4 nút nhấn vật lý độc lập kết nối trực tiếp vào các chân GPIO ngắt ngoài. Khi mất kết nối mạng hoặc khi tắt máy chủ Raspberry Pi, người dùng vẫn có thể bấm nút cứng trên hộp ESP32 để đóng ngắt rơ-le trực tiếp như một tủ điện thông thường.

5. Chi phí dự toán và thời gian hoàn vốn (ROI) khi ứng dụng thực tế ra sao?

Tổng chi phí linh kiện để tự làm hoàn thiện một bộ sản phẩm rơi vào khoảng 4.2 triệu VNĐ. Đối với các đơn vị y tế hoặc phòng thí nghiệm, giá trị mang lại từ việc triệt tiêu nguy cơ nhiễm khuẩn chéo và hỏng hóc thiết bị có thể giúp hoàn vốn vô hình chỉ sau 3 đến 6 tháng vận hành; đối với hộ gia đình, hệ thống mang lại tiện ích sống vượt trội so với các gói Smart Home hàng chục triệu đồng trên thị trường.

Kết luận

Đề tài tốt nghiệp "Thiết kế hệ thống điều khiển thiết bị điện bằng nhận diện cử chỉ" của nhóm sinh viên Trường Đại học Sư phạm Kỹ thuật TP.HCM là một công trình nghiên cứu ứng dụng mẫu mực, kết hợp hài hòa giữa trí tuệ nhân tạo biên (Edge AI), thị giác máy tính tinh gọn (Lightweight Computer Vision) và hệ thống điều khiển nhúng IoT phân tán.

Bằng việc giải quyết triệt để bài toán nhận dạng 16 cử chỉ với độ chính xác 98.24%, độ trễ cực thấp < 80ms cùng cơ chế an toàn 3 lớp (Cử chỉ AI - Màn hình cảm ứng - Phím bấm cơ học), hệ thống không chỉ dừng lại ở mức độ mô phỏng học thuật mà sở hữu tiềm năng thương mại hóa rất lớn trong lĩnh vực nhà thông minh và điều khiển y tế không tiếp xúc. Toàn bộ kiến trúc phần cứng và thuật toán chuẩn hóa dữ liệu đề xuất trong đồ án mở ra hướng nghiên cứu đầy triển vọng cho các thế hệ sinh viên và kỹ sư tiếp tục phát triển các giao diện tương tác người - máy thông minh, an toàn và nhân văn hơn trong tương lai.