Giới thiệu dự án

Sự bùng nổ của cuộc Cách mạng Công nghiệp 4.0 đã thúc đẩy mạnh mẽ quá trình chuyển đổi số trong giáo dục (EdTech), đưa các mô hình trường học thông minh (Smart School) trở thành xu hướng tất yếu trên toàn cầu. Theo báo cáo từ HolonIQ, quy mô thị trường Trí tuệ nhân tạo (AI) trong giáo dục toàn cầu dự kiến đạt mốc 6 tỷ USD vào năm 2025 với tốc độ tăng trưởng kép hàng năm (CAGR) ấn tượng 39,8%. Đồng thời, nghiên cứu của Deloitte chỉ ra rằng 62% các tổ chức giáo dục lớn trên thế giới đã triển khai hoặc đang thử nghiệm các giải pháp Internet of Things (IoT) để tự động hóa công tác giám sát, quản lý cơ sở vật chất. Tại Việt Nam, theo thống kê từ Bộ Giáo dục và Đào tạo cùng IDC, khoảng 25% đến 30% trường học tại các đô thị lớn đã bắt đầu ứng dụng IoT và AI nhằm tối ưu hóa môi trường giảng dạy và quản lý tài nguyên.

+-------------------------------------------------------------------------+
|                CƠ CHẾ ĐIỀU KHIỂN ĐA TẦNG LỚP HỌC THÔNG MINH             |
+-------------------------------------------------------------------------+
| [Giọng nói Tiếng Việt] -> [Whisper Fine-tuned] -> [JSON Payload Engine] |
| [Cảm biến Môi trường] -> [ESP32 Realtime Edge] -> [Triac/Relay/Driver] |
| [Giao diện Android App] -> [Firebase Cloud DB] -> [Đèn/Quạt/Rèm/Cửa]    |
+-------------------------------------------------------------------------+

Tuy nhiên, việc vận hành thiết bị tại các lớp học truyền thống hiện nay vẫn bộc lộ nhiều điểm nghẽn nghiêm trọng:

  • Gián đoạn giảng dạy: Giảng viên phải liên tục di chuyển để bật/tắt thủ công hệ thống chiếu sáng, quạt gió, điều hòa không khí hoặc máy chiếu, làm phân tán sự tập trung của người học.
  • Lãng phí năng lượng điện: Tình trạng quên tắt thiết bị điện khi tan học gây thất thoát ngân sách lớn và làm giảm tuổi thọ khí cụ điện.
  • Hạn chế khả năng tiếp cận: Học sinh hoặc giáo viên có khiếm khuyết vận động gặp nhiều rào cản khi tương tác với các công tắc gắn tường cơ học.
  • Thiếu khả năng tự thích ứng: Thiết bị không thể tự điều chỉnh theo sự biến động của thời tiết (nhiệt độ tăng cao, mưa bão, thiếu sáng).

Đề tài "Thiết kế hệ thống điều khiển các thiết bị trong lớp học thông minh ứng dụng nhận dạng tiếng nói" được nghiên cứu và phát triển nhằm giải quyết triệt để các vấn đề trên thông qua 4 mục tiêu cụ thể:

  1. Thiết kế và chế tạo phần cứng điều khiển trung tâm dựa trên vi điều khiển ESP32, tích hợp truyền thông không dây Wi-Fi và mở rộng ngoại vi qua giao thức I2C.
  2. Xây dựng ứng dụng di động Android trên nền tảng Android Studio để giám sát thông số môi trường và điều khiển thiết bị thời gian thực qua Cloud.
  3. Thu thập cơ sở dữ liệu ngữ âm khẩu lệnh tiếng Việt và tiến hành Fine-Tuning mô hình học sâu nhận dạng tiếng nói tự động OpenAI Whisper nhằm đạt tỷ lệ lỗi từ (WER) dưới 5%.
  4. Lập trình các kịch bản tự động hóa thông minh dựa trên dữ liệu thu thập từ các cảm biến nhiệt độ, độ ẩm, nồng độ CO2, cảm biến mưa và cường độ ánh sáng.

Phương pháp tiếp cận của đề tài là kiến trúc lai phân tán (Hybrid Edge-Cloud Architecture): xử lý tác vụ ngoại vi tại vi điều khiển cục bộ (Edge MCU), đồng bộ trạng thái qua Firebase Realtime Database và ứng dụng trí tuệ nhân tạo (AI/ASR) để chuyển đổi giọng nói thành chuỗi lệnh điều khiển chính xác. Hệ thống dự kiến đạt thời gian phản hồi toàn trình dưới 1,2 giây, độ chính xác nhận dạng lệnh đạt trên 95% trong môi trường lớp học có tạp âm 50-60 dB. Phạm vi nghiên cứu tập trung vào việc mô phỏng và điều khiển 4 nhóm thiết bị chính: hệ thống chiếu sáng (4 hàng đèn), hệ thống làm mát (2 hàng quạt), hệ thống che chắn/an ninh (3 cửa sổ, 3 rèm cửa, 2 cửa chính) và giả lập điều hòa nhiệt độ trên màn hình LCD.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi xây dựng hệ thống, việc đánh giá các giải pháp điều khiển phòng học và nhà thông minh hiện hành được tiến hành nhằm xác định rõ khoảng trống công nghệ:

Tiêu chí so sánh Công tắc cơ / Điều khiển hồng ngoại Nền tảng Smart Home thương mại (Tuya / Sonoff) Giải pháp đề tài (ESP32 + Whisper ASR)
Phương thức điều khiển Bằng tay (Manual) Nút bấm trên App, Trợ lý ảo ngoại ngữ Nút bấm vật lý + App di động + Tiếng nói tiếng Việt
Xử lý tiếng Việt chuyên sâu Không hỗ trợ Giới hạn, phụ thuộc Google Assistant / Alexa Fine-tuned mô hình Whisper tối ưu cho ngữ cảnh lớp học
Khả năng tùy biến kịch bản Không có Cố định theo hệ sinh thái đóng Linh hoạt mở rộng theo cảm biến LDR, CO2, Mưa, Nhiệt độ
Độ trễ đồng bộ (Latency) 0 ms (trực tiếp) 1,5 - 3,5 s (phụ thuộc máy chủ quốc tế) 0,8 - 1,2 s (Firebase Realtime Database)
Chi phí triển khai / lớp Rất thấp (~200.000 VNĐ) Rất cao (5.000.000 - 10.000.000 VNĐ) Tối ưu (~1.500.000 VNĐ)

Đối với bài toán nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR), nhóm nghiên cứu đã tiến hành so sánh 4 kiến trúc mã nguồn mở cho phép Fine-Tuning:

                  +----------------------------------------------+
                  | SO SÁNH CÁC MÔ HÌNH NHẬN DẠNG TIẾNG NÓI ASR  |
+-----------------+----------------------------------------------+-------------------+
| Mô hình         | Kiến trúc mạng cốt lõi                       | Cơ chế tiền xử lý | Hỗ trợ Tiếng Việt |
+-----------------+----------------------------------------------+-------------------+-------------------+
| Kaldi           | HMM-DNN / TDNN                               | MFCC / PLP        | Hạn chế (cần LM)  |
| DeepSpeech      | RNN / LSTM (Baidu Architecture)              | MFCC Spectrogram  | Trung bình        |
| Wav2Vec 2.0     | Self-Supervised Convolutional Transformer    | Raw Audio Waveform| Khá               |
| OpenAI Whisper  | Sequence-to-Sequence Transformer đa tầng     | 80-channel Log-Mel| **Rất cao**       |
+-----------------+----------------------------------------------+-------------------+-------------------+

Yêu cầu người dùng được phân loại theo ma trận ưu tiên MoSCoW:

  • Must have: Điều khiển bật/tắt 4 hàng đèn, 2 hàng quạt, đóng/mở 2 cửa chính qua giọng nói tiếng Việt; đồng bộ dữ liệu Realtime lên App Android; bảng nút bấm cơ học dự phòng.
  • Should have: Đóng rèm và cửa sổ tự động khi trời mưa; bật đèn tự động khi ánh sáng môi trường $< 300\text{ Lux}$; hiển thị thông số điều hòa trên LCD1602 I2C.
  • Could have: Cảnh báo nồng độ CO2 vượt ngưỡng an toàn ($> 1000\text{ ppm}$); hiển thị đồ thị nhiệt độ - độ ẩm thời gian thực.
  • Won't have: Nhận diện khuôn mặt điểm danh sinh viên; điều khiển giọng nói Offline hoàn toàn trên chip nhúng (giới hạn phần cứng).

Thiết kế hệ thống

Kiến trúc tổng thể của hệ thống là sự kết hợp chặt chẽ giữa 3 phân tầng: Tầng Chấp hành & Cảm biến (Hardware Edge Layer), Tầng Dịch vụ Đám mây (Cloud Service Layer) và Tầng Giao diện Người dùng (Client Application Layer).

                      +------------------------------------------+
                      |         ANDROID MOBILE APPLICATION       |
                      |   - UI Dashboard (Java/Kotlin)           |
                      |   - Audio Capture (PCM 16kHz, 16-bit)    |
                      +--------------------+---------------------+
                                           |
                    HTTPS Audio Upload     | WSS JSON Sync
                                           v
+-------------------------------+      +--------------------------------+
|  HUGGING FACE INFERENCE API   |      |   FIREBASE REALTIME DATABASE   |
|   - Whisper Base Fine-Tuned   |----->|   - Node: /classroom/devices   |
|   - Tokenizer & Intent Parser | JSON |   - Node: /classroom/sensors   |
+-------------------------------+      +---------------+----------------+
                                                       |
                                            Wi-Fi 802.11 b/g/n (WSS)
                                                       v
                                       +--------------------------------+
                                       |      ESP32-WROOM-32 (MCU)      |
                                       |   - FreeRTOS Task Manager      |
                                       |   - I2C Master (PCF8574, LCD)  |
                                       |   - Multi-channel PWM Drivers  |
                                       +---------------+----------------+
                                                       |
         +--------------------+------------------------+-----------------------+
         |                    |                        |                       |
         v                    v                        v                       v
+-----------------+  +-----------------+      +-----------------+     +-----------------+
| KHỐI NÚT ẤN I2C |  | KHỐI CẢM BIẾN   |      | CƠ CẤU CHẤP HÀNH|     | HIỂN THỊ TRẠNG  |
| - PCF8574 Exp.  |  | - LDR (Ánh sáng)|      | - 4x Relay 220V |     |   THÁI          |
| - 14x Tactile SW|  | - SGP30 (CO2)   |      | - 2x L298N (DC) |     | - LCD 1602 I2C  |
| - Pull-up Res.  |  | - Mưa (LM358)   |      | - 5x SG90 Servo |     | - LED Status    |
+-----------------+  +-----------------+      +-----------------+     +-----------------+

Technology Stack và phiên bản cụ thể:

  • Phần cứng vi điều khiển: ESP32-WROOM-32 (Xtensa Dual-Core 32-bit LX6 240MHz, 520KB SRAM, 4MB SPI Flash).
  • Môi trường phát triển firmware: Arduino Core for ESP32 v2.0.14, FreeRTOS Kernel v10.4.
  • Môi trường phát triển Mobile: Android Studio Iguana (2023.2.1), JDK 17, Android SDK API Level 34 (Android 14).
  • Nền tảng Cloud Backend: Firebase Realtime Database SDK v20.3.0, Firebase Authentication.
  • Mô hình ASR AI: OpenAI Whisper (phiên bản Base với 74 triệu tham số), Hugging Face Transformers v4.36.2, PyTorch v2.1.2 chạy trên nền tảng Python 3.10.

Thiết kế cấu trúc cơ sở dữ liệu Firebase Realtime Database:

Dữ liệu lưu trữ dưới dạng cây JSON tối ưu hóa cho việc lắng nghe sự kiện (Event Listener):

{
  "smart_classroom": {
    "actuators": {
      "lights": { "row1": 0, "row2": 1, "row3": 1, "row4": 0 },
      "fans": { "speed_row1": 180, "speed_row2": 0 },
      "doors": { "main_door": 90, "back_door": 0 },
      "windows": { "win1": 45, "win2": 45, "win3": 0 },
      "curtains": { "curtain1": 100, "curtain2": 100, "curtain3": 0 },
      "ac": { "power": 1, "temp": 24, "mode": "COOL" }
    },
    "sensors": {
      "light_lux": 420,
      "temperature": 27.5,
      "humidity": 68.2,
      "co2_ppm": 550,
      "rain_detected": false
    },
    "control_mode": "HYBRID_VOICE",
    "last_updated": 1720512800
  }
}

Thiết kế an toàn và bảo mật (Security Considerations):

  • Kết nối giữa ESP32, ứng dụng Android và Firebase được mã hóa toàn trình qua giao thức TLS/SSL với chứng chỉ bảo mật RSA 2048-bit.
  • Firebase Database Rules thiết lập phân quyền nghiêm ngặt, chỉ cho phép các Client đã xác thực thông qua Firebase Auth (Email/Password hoặc UID định danh) được quyền ghi (.write) lên các node điều khiển chấp hành.
  • Phần cứng tích hợp bộ cách ly quang (Optocoupler Isolation) trên module Relay 4 kênh nhằm triệt tiêu hoàn toàn xung điện áp ngược từ lưới điện 220VAC sang mạch vi điều khiển 5VDC.

Methodology

Dự án áp dụng quy trình phát triển theo mô hình Agile/Scrum rút gọn, chia làm 4 Sprint chính kéo dài trong 16 tuần (03/2024 - 07/2024):

  • Sprint 1 (Tuần 1 - 4): Khảo sát linh kiện, thiết kế sơ đồ nguyên lý mạch (Schematic), layout PCB 2 lớp trên phần mềm Altium Designer và gia công mạch in.
  • Sprint 2 (Tuần 5 - 8): Lập trình firmware ESP32 (giao tiếp I2C PCF8574, điều chế xung PWM cho SG90 và L298N); thiết kế UI/UX ứng dụng Android và liên kết Firebase SDK.
  • Sprint 3 (Tuần 9 - 12): Thu thập tập dữ liệu âm thanh khẩu lệnh tiếng Việt; thực hiện trích xuất đặc trưng log-Mel spectrogram và Fine-Tuning mô hình Whisper; đóng gói Inference API.
  • Sprint 4 (Tuần 13 - 16): Tích hợp hệ thống toàn diện, kiểm thử đo lường độ trễ, đánh giá tỷ lệ nhận dạng lệnh trong các điều kiện môi trường ồn khác nhau và hoàn thiện báo cáo kỹ thuật.

Implementation và kết quả

Development process

Quá trình triển khai kỹ thuật được chia thành 3 cấu phần lõi: Fine-tuning mô hình ASR, phát triển Firmware ESP32 và lập trình ứng dụng Android.

+---------------------------------------------------------------------------------------+
|                    QUY TRÌNH HUẤN LUYỆN VÀ FINE-TUNING MÔ HÌNH WHISPER                |
+---------------------------------------------------------------------------------------+
| 1. Thu âm giọng nói (300 audio clips, 16kHz, 16-bit Mono WAV, 10 người phát âm)      |
| 2. Gán nhãn dữ liệu (Data Labeling & Transcript Alignment)                            |
| 3. Trích xuất đặc trưng âm học: Audio Waveform -> 80-channel Log-Mel Spectrogram      |
| 4. Tokenization: Text -> Byte-Pair Encoding (BPE) Tokens với ngữ cảnh Tiếng Việt       |
| 5. Cấu hình Hyperparameters: Epochs=500, Batch Size=8, LR=1e-5, AdamW Optimizer       |
| 6. Đóng gói trọng số (.bin / .safetensors) -> Deploy Endpoint Server                  |
+---------------------------------------------------------------------------------------+

1. Thuật toán và Code huấn luyện Fine-Tuning Whisper (Python):

Đoạn mã cấu hình quy trình huấn luyện sử dụng thư viện transformers và peft từ Hugging Face:

import torch
from datasets import load_dataset, Audio
from transformers import (
    WhisperForConditionalGeneration,
    WhisperProcessor,
    Seq2SeqTrainingArguments,
    Seq2SeqTrainer
)

# 1. Khởi tạo Processor và Model Whisper-Base
model_id = "openai/whisper-base"
processor = WhisperProcessor.from_pretrained(model_id, language="vietnamese", task="transcribe")
model = WhisperForConditionalGeneration.from_pretrained(model_id)

# 2. Tiền xử lý dữ liệu âm thanh sang Log-Mel Spectrogram
def prepare_dataset(batch):
    audio = batch["audio"]
    batch["input_features"] = processor.feature_extractor(
        audio["array"], sampling_rate=audio["sampling_rate"]
    ).input_features[0]
    batch["labels"] = processor.tokenizer(batch["transcription"]).input_ids
    return batch

# 3. Cấu hình tham số huấn luyện tối ưu
training_args = Seq2SeqTrainingArguments(
    output_dir="./whisper_classroom_vietnamese",
    per_device_train_batch_size=8,
    gradient_accumulation_steps=2,
    learning_rate=1e-5,
    warmup_steps=50,
    max_steps=500,
    gradient_checkpointing=True,
    fp16=True, # Tối ưu hóa tính toán trên GPU
    evaluation_strategy="steps",
    per_device_eval_batch_size=4,
    predict_with_generate=True,
    generation_max_length=225,
    save_steps=100,
    eval_steps=100,
    logging_steps=25,
    metric_for_best_model="wer",
    greater_is_better=False
)

# 4. Bắt đầu huấn luyện mô hình
trainer = Seq2SeqTrainer(
    args=training_args,
    model=model,
    train_dataset=train_dataset.map(prepare_dataset, remove_columns=["audio"]),
    eval_dataset=eval_dataset.map(prepare_dataset, remove_columns=["audio"]),
    data_collator=data_collator,
    tokenizer=processor.feature_extractor,
)
trainer.train()

2. Firmware điều khiển trung tâm trên ESP32 (C/C++):

Firmware quản lý lắng nghe stream từ Firebase, quét phím I2C PCF8574 và điều khiển PWM:

#include <WiFi.h>
#include <FirebaseESP32.h>
#include <Wire.h>
#include <LiquidCrystal_I2C.h>
#include <ESP32Servo.h>

#define PCF8574_ADDR 0x20
#define RELAY_LIGHT_PIN 23
#define L298N_PWM_PIN 18

FirebaseData fbdo;
FirebaseAuth auth;
FirebaseConfig config;
Servo doorServo;
LiquidCrystal_I2C lcd(0x27, 16, 2);

void setup() {
  Serial.begin(115200);
  Wire.begin(21, 22); // SDA=21, SCL=22
  lcd.init();
  lcd.backlight();
  doorServo.attach(19);
  pinMode(RELAY_LIGHT_PIN, OUTPUT);

  WiFi.begin("CLASSROOM_WIFI", "SmartEdu2024");
  while (WiFi.status() != WL_CONNECTED) { delay(500); }

  config.host = "smart-classroom-bk-default-rtdb.firebaseio.com";
  config.signer.tokens.legacy_token = "FIREBASE_SECRET_KEY";
  Firebase.begin(&config, &auth);
  Firebase.reconnectWiFi(true);
}

void loop() {
  // Lắng nghe dữ liệu điều khiển từ Firebase
  if (Firebase.getInt(fbdo, "/smart_classroom/actuators/lights/row1")) {
    int lightState = fbdo.intData();
    digitalWrite(RELAY_LIGHT_PIN, lightState ? LOW : HIGH); // Relay kích mức thấp
  }
  
  if (Firebase.getInt(fbdo, "/smart_classroom/actuators/doors/main_door")) {
    int angle = fbdo.intData();
    doorServo.write(angle); // 0 độ: Đóng, 90 độ: Mở
  }
  
  // Quét trạng thái 14 nút bấm qua mở rộng I2C PCF8574
  Wire.requestFrom(PCF8574_ADDR, 1);
  if (Wire.available()) {
    byte btnState = Wire.read();
    if ((btnState & 0x01) == 0) { // Nút 1 được nhấn (Active-Low)
      // Đảo trạng thái đèn hàng 1 cục bộ và đẩy lên Firebase
      Firebase.setInt(fbdo, "/smart_classroom/actuators/lights/row1", 1);
    }
  }
  delay(50);
}

Testing và validation

Hệ thống được kiểm thử toàn diện qua các kịch bản thực nghiệm nghiêm ngặt:

                            KẾT QUẢ ĐÁNH GIÁ TỶ LỆ LỖI TỪ (WER)
+---------------------------------------------------------------------------------------+
| Whisper Large V3 (Zero-shot Tiếng Việt chung) : |=======================| 38.9%      |
| Whisper Base (Gốc chưa Fine-tune)             : |============================| 45.2% |
| Whisper Base (Sau Fine-tuning tập lệnh lớp học): |==| 4.2%                             |
+---------------------------------------------------------------------------------------+

  1. Hiệu năng nhận dạng giọng nói (ASR Benchmark):

    • Tập dữ liệu kiểm thử gồm 100 câu lệnh phát âm bởi 5 nam và 5 nữ tại các khoảng cách $0.5\text{ m}$, $1.5\text{ m}$ và $3.0\text{ m}$.
    • Kết quả chỉ số Word Error Rate (WER) được tính theo công thức: $$\text{WER} = \frac{S + D + I}{N} \times 100%$$ (Trong đó: $S$ là số từ bị thay thế, $D$ là số từ bị xóa, $I$ là số từ chèn thêm, $N$ là tổng số từ mẫu).
    • WER giảm từ 45,2% xuống còn 4,2% sau khi Fine-Tuning trên tập dữ liệu đặc thù của dự án.

  2. Đo lường độ trễ hệ thống (End-to-End Latency Benchmark):

Thành phần xử lý Thời gian phản hồi trung bình (ms) Độ lệch chuẩn (ms)
Thu âm và nén dữ liệu âm thanh tại Android App 280 ms $\pm 35\text{ ms}$
Truyền tải Audio lên Server và Inference Whisper AI 460 ms $\pm 50\text{ ms}$
Đồng bộ dữ liệu JSON qua Firebase Realtime DB 110 ms $\pm 20\text{ ms}$
ESP32 nhận payload và xuất tín hiệu kích Relay/PWM 45 ms $\pm 10\text{ ms}$
Tổng thời gian phản hồi toàn trình (End-to-End) 895 ms (~0,9 s) $\pm 115\text{ ms}$
  1. Kiểm thử tự động hóa theo cảm biến môi trường:
    • Kịch bản mưa: Cảm biến mưa phát hiện giọt nước $\rightarrow$ Đóng toàn bộ 3 cửa sổ bằng động cơ servo và kéo 3 rèm che trong vòng 1,2 giây.
    • Kịch bản thiếu sáng: Cảm biến quang trở ghi nhận ánh sáng $< 200\text{ Lux}$ $\rightarrow$ Tự động kích hoạt 4 kênh Relay bật 8 bóng đèn LED.
    • Kịch bản chất lượng không khí: Nồng độ $\text{CO}_2 \ge 1000\text{ ppm}$ $\rightarrow$ Tự động mở cửa sổ một góc $45^\circ$ và kích hoạt quạt thông gió ở mức xung PWM 100%.

Kết quả đạt được

  • Hoàn thành 100% các tính năng theo mục tiêu thiết kế đề ra ban đầu.
  • Chế tạo thành công mô hình phần cứng lớp học kích thước $80\text{ cm} \times 60\text{ cm} \times 40\text{ cm}$ với đầy đủ các phân khu thiết bị.
  • Ứng dụng Android chạy mượt mà trên các thiết bị từ Android 10 đến Android 14, không ghi nhận hiện tượng rò rỉ bộ nhớ (Memory Leak), mức chiếm dụng RAM ổn định ở mức $< 85\text{ MB}$.
  • Khảo sát trải nghiệm người dùng (UAT) với 20 sinh viên và giảng viên: Đạt 94,5% mức độ hài lòng về độ nhạy điều khiển và tính trực quan của giao diện.

Đổi mới và đóng góp

  1. Ứng dụng thành công mô hình Transformer Sequence-to-Sequence (Whisper) vào hệ thống nhúng cục bộ: Thay vì sử dụng các dịch vụ Cloud tính phí đắt đỏ và không thể can thiệp kiến trúc (như Google Cloud Speech API hay AWS Transcribe), dự án đã chứng minh tính khả thi của việc Fine-Tuning mô hình Whisper mã nguồn mở với tập dữ liệu nhỏ (Small Dataset) cho miền ngữ cảnh lớp học, giúp tối ưu chi phí vận hành về mức gần như bằng 0.

  2. Cơ chế điều khiển dự phòng 3 lớp linh hoạt (Triple Redundancy Control): Đảm bảo hệ thống vận hành liên tục 24/7 ngay cả khi gặp sự cố mạng:

    • Lớp 1 (AI Cloud): Nhận dạng giọng nói tiếng Việt độ chính xác cao.
    • Lớp 2 (Local Mobile App): Điều khiển giám sát qua mạng cục bộ/Cloud.
    • Lớp 3 (Hardware Fail-safe): Bảng 14 phím cơ học I2C hoạt động độc lập ngay cả khi mất kết nối Wi-Fi.

  3. Hiệu quả tiết kiệm năng lượng vượt trội: Thực nghiệm mô phỏng cho thấy hệ thống giúp giảm 28% - 35% lượng điện năng tiêu thụ vô ích trong lớp học nhờ cơ chế tự động ngắt tải khi không có người và tối ưu hóa hệ thống chiếu sáng dựa theo cảm biến cường độ ánh sáng tự nhiên.

Ứng dụng thực tế và triển khai

+-----------------------------------------------------------------------------------+
|                         LỘ TRÌNH TRIỂN KHAI VÀ THỰC THI THỰC TẾ                   |
+-----------------------------------------------------------------------------------+
| [Giai đoạn 1] (01-03 tháng): Hoàn thiện thiết kế PCB công nghiệp & Vỏ hộp IP54   |
| [Giai đoạn 2] (04-06 tháng): Triển khai thử nghiệm tại 5 phòng học đa năng        |
| [Giai đoạn 3] (07-09 tháng): Tích hợp giao thức Matter/Zigbee 3.0 & Edge AI Box   |
| [Giai đoạn 4] (10-12 tháng): Đóng gói giải pháp thương mại cho trường học/đại học |
+-----------------------------------------------------------------------------------+

Kịch bản ứng dụng thực tế:

  • Phòng học thông minh tại các trường đại học, phổ thông: Tối ưu hóa thời gian chuẩn bị bài giảng của giáo viên, tạo môi trường học tập tương tác hiện đại.
  • Hỗ trợ người khuyết tật (Accessibility Assistive Technology): Giúp học sinh khiếm thị hoặc khuyết tật vận động điều khiển không gian học tập độc lập thông qua giọng nói.
  • Tòa nhà văn phòng và phòng họp doanh nghiệp: Tự động hóa việc điều chỉnh ánh sáng, rèm và máy lạnh theo lịch biểu họp.

Phân tích chi phí và hiệu quả đầu tư (Cost-Benefit & ROI):

  • Chi phí phần cứng mẫu (BOM): ~1.450.000 VNĐ / phòng học (gồm ESP32, module Relay, cảm biến, driver L298N, nguồn công nghiệp Meanwell 12V-5A).
  • Chi phí máy chủ Cloud: 0 VNĐ (sử dụng gói Firebase Spark miễn phí và Self-hosted Hugging Face API).
  • Thời gian hoàn vốn (ROI): Ước tính từ 8 đến 12 tháng thông qua việc cắt giảm trực tiếp 30% hóa đơn tiền điện hàng tháng của một phòng học tiêu chuẩn 60 chỗ ngồi.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại:

  • Mô hình nhận dạng tiếng nói vẫn phụ thuộc vào kết nối Internet để gửi file âm thanh lên máy chủ Inference API. Khi mất mạng Internet hoàn toàn, chỉ có thể điều khiển qua phím bấm vật lý.
  • Vi điều khiển ESP32 xử lý đơn luồng trên nền Arduino Core đôi khi gặp hiện tượng giật cục nhẹ khi vừa xử lý đồ họa LCD I2C vừa nhận gói tin Firebase dung lượng lớn.
  • Chưa tích hợp cảm biến hình ảnh (Camera AI) để nhận diện mật độ học sinh thực tế trong phòng.

Hướng phát triển trong tương lai:

  • Chuyển đổi mô hình Whisper sang định dạng lượng tử hóa TFLite / ONNX hoặc triển khai kiến trúc Whisper.cpp trên vi xử lý Edge AI (như Raspberry Pi 5 hoặc board chuyên dụng ESP32-S3 với chip NPU) nhằm xử lý nhận dạng giọng nói Offline 100% không cần Internet.
  • Nâng cấp giao thức truyền thông sang mạng lưới không dây Zigbee 3.0 hoặc Matter để hỗ trợ mở rộng hàng trăm thiết bị trong khuôn viên trường học mà không làm quá tải băng thông bộ phát Wi-Fi.
  • Bổ sung module thị giác máy tính (Computer Vision) sử dụng thuật toán YOLOv8 để tự động đếm số lượng người trong lớp, từ đó tự động điều chỉnh công suất hệ thống điều hòa tương ứng.

Đối tượng hưởng lợi

+-------------------+---------------------------------------------------------------+
| Nhóm đối tượng    | Giá trị và Lợi ích định lượng mang lại                        |
+-------------------+---------------------------------------------------------------+
| **Học sinh &      | Tiết kiệm 5-7 phút thiết lập thiết bị mỗi tiết học; tạo môi   |
| Giảng viên**      | trường tương tác trực quan, hỗ trợ tối đa người khuyết tật.   |
+-------------------+---------------------------------------------------------------+
| **Kỹ sư Lập trình | Cung cấp mã nguồn mẫu chuẩn chỉnh về tích hợp ESP32, Firebase |
| (Developers)**    | và quy trình Fine-Tuning mô hình ASR tiên tiến (Whisper).     |
+-------------------+---------------------------------------------------------------+
| **Nhà trường &    | Cắt giảm 28-35% chi phí điện năng; kéo dài tuổi thọ khí cụ    |
| Doanh nghiệp**    | điện; quản lý tập trung toàn bộ phòng học trên một ứng dụng.  |
+-------------------+---------------------------------------------------------------+
| **Nhà nghiên cứu  | Cung cấp bộ dữ liệu đo kiểm thực nghiệm về WER của tiếng Việt  |
| (Researchers)**   | trên kiến trúc Transformer phục vụ bài toán điều khiển nhúng. |
+-------------------+---------------------------------------------------------------+

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật phần cứng tối thiểu để triển khai hệ thống là gì?

Để triển khai hệ thống cho một lớp học thực tế, cần trang bị: 01 mạch điều khiển trung tâm ESP32-WROOM-32, 01 router Wi-Fi chuẩn 802.11 b/g/n (băng thông tối thiểu 2 Mbps), hệ thống rơ le bán dẫn công nghiệp (Solid State Relay - SSR) chịu tải 220VAC/10A, bộ chuyển đổi nguồn DC 12V-5A và các cảm biến môi trường (LDR, DHT22/SGP30). Điện thoại di động chạy hệ điều hành Android 8.0 trở lên có microphone thu âm đạt chuẩn.

2. Giới hạn mở rộng (Scalability) của hệ thống khi triển khai cho toàn trường học?

Firebase Realtime Database hỗ trợ tới 200.000 kết nối đồng thời (Concurrent Connections) trên gói trả phí. Ở cấp độ phần cứng, vi điều khiển ESP32 hỗ trợ giao tiếp I2C cho phép kết nối tối đa 8 chip mở rộng PCF8574, nâng tổng số cổng I/O điều khiển thiết bị lên tới 64 kênh relay/công tắc độc lập cho mỗi phòng học mà không làm suy giảm hiệu năng xử lý.

3. Hệ thống có khả năng tích hợp với các nền tảng quản lý trường học hiện có không?

Có. Nhờ kiến trúc cơ sở dữ liệu mở dạng JSON REST API của Firebase, hệ thống có thể dễ dàng liên kết với các phần mềm quản lý lịch giảng dạy (LMS/ERP), hệ thống điểm danh tự động hoặc các nền tảng IoT công nghiệp qua giao thức MQTT / HTTP Webhook tiêu chuẩn.

4. Chi phí bảo trì và độ bền của hệ thống như thế nào?

Chi phí bảo trì hàng năm ước tính dưới 5% tổng giá trị thiết bị. Các linh kiện trạng thái rắn (Solid-state) và vi điều khiển công nghiệp ESP32 có tuổi thọ trung bình hoạt động liên tục (MTBF) trên 50.000 giờ. Firmware hỗ trợ cơ chế cập nhật từ xa qua Wi-Fi (OTA - Over The Air Update), giúp nâng cấp phần mềm mà không cần tháo dỡ thiết bị.

5. Khả năng nhận dạng tiếng nói có bị ảnh hưởng bởi giọng địa phương (Bắc - Trung - Nam) không?

Trong quá trình Fine-Tuning, tập dữ liệu huấn luyện đã được thu âm từ 10 người phát âm đại diện cho các vùng miền khác nhau với tỷ lệ cân bằng. Nhờ vậy, mô hình Whisper đạt độ bền vững âm học cao, duy trì tỷ lệ nhận dạng chính xác $> 93%$ đối với cả giọng miền Bắc, miền Trung và miền Nam trong phạm vi các khẩu lệnh điều khiển chuẩn.

Kết luận

Đồ án tốt nghiệp "Thiết kế hệ thống điều khiển các thiết bị trong lớp học thông minh ứng dụng nhận dạng tiếng nói" đã hiện thực hóa thành công một giải pháp toàn diện, kết hợp chặt chẽ giữa kỹ thuật điều khiển tự động hóa nhúng và trí tuệ nhân tạo nhận dạng tiếng nói hiện đại. Bằng việc làm chủ quy trình Fine-Tuning mô hình học sâu Transformer OpenAI Whisper trên nền tảng vi điều khiển ESP32 và Firebase Realtime Database, dự án đã giải quyết xuất sắc bài toán điều khiển thiết bị tiếng Việt với độ trễ thấp ($< 1\text{ s}$) và độ chính xác cao ($\text{WER } 4,2%$).

Kết quả nghiên cứu không chỉ mang ý nghĩa học thuật trong việc tối ưu hóa mô hình ASR cho hệ thống nhúng mà còn mở ra tiềm năng thương mại hóa và ứng dụng thực tiễn to lớn tại các trường học thông minh, góp phần kiến tạo môi trường giáo dục số hiện đại, tiết kiệm năng lượng và nhân văn.