Giới thiệu dự án

Thị trường nhà thông minh (Smart Home) và giám sát an ninh toàn cầu đang trải qua giai đoạn tăng trưởng vượt bậc, với dự báo đạt quy mô hơn 330 tỷ USD vào năm 2030 (CAGR ~25%). Tuy nhiên, các hệ thống camera giám sát truyền thống (CCTV) hiện nay phần lớn chỉ đóng vai trò ghi nhận hình ảnh thụ động, tiêu tốn băng thông lưu trữ và đòi hỏi sự can thiệp trực tiếp của con người để phát hiện bất thường. Trong khi đó, các giải pháp AI Camera xử lý luồng video thô (raw video streams) bằng các mạng nơ-ron tích chập không gian - thời gian 3D (3D-CNN) lại đối mặt với rào cản chi phí phần cứng đắt đỏ, độ trễ suy luận cao và nguy cơ xâm phạm quyền riêng tư khi truyền phát liên tục dữ liệu hình ảnh lên đám mây.

Đề tài "Thiết kế mô hình camera ứng dụng trong nhà thông minh" được thực hiện bởi sinh viên Nguyễn Phú Thiện dưới sự hướng dẫn của PGS.TS Trương Ngọc Sơn (Khoa Điện – Điện tử, Trường Đại học Sư phạm Kỹ thuật TP.HCM) nhằm giải quyết triệt để bài toán: Xây dựng một hệ thống camera thông minh biên (Edge-ready Smart Camera) có khả năng phân tích hành vi con người theo thời gian thực (Real-time Human Behavior Recognition), kết hợp nhận diện danh tính cục bộ và điều khiển tự động hóa thiết bị phần cứng với chi phí tối ưu.

+-----------------------------------------------------------------------------+
|                          HỆ THỐNG SMART CAMERA AI                           |
+-----------------------------------------------------------------------------+
|  [ Camera Input ] ---> [ MediaPipe Pose (33 Landmarks) ]                    |
|                              |                                              |
|                              v                                              |
|                   [ LSTM Network (30 frames) ]                              |
|                              |                                              |
|       +----------------------+----------------------+                       |
|       v                                             v                       |
|  [ Face Crop ]                                [ Action Class ]              |
|       |                                 (Wave, Clap, Sit, Lie, DoNothing)   |
|       v                                             |                       |
|  [ LBPH Classifier ]                                v                       |
|  (Known / Unknown)                           [ Decision Logic ]             |
|       |                                             |                       |
|       +----------------------+----------------------+                       |
|                              |                                              |
|             +----------------+----------------+                             |
|             v                                 v                             |
|  [ Arduino Uno R3 / Serial ]        [ Telegram Bot Cloud API ]              |
|   - LED RGB Control (Gesture)        - Instant Security Alert               |
|   - Buzzer Alarm (Unknown Face)      - System Status Telemetry              |
+-----------------------------------------------------------------------------+

Mục tiêu dự án

  1. Thiết kế Pipeline trích xuất đặc trưng tư thế: Tích hợp MediaPipe Pose để trích xuất 33 điểm khớp xương (Skeletal Landmarks) theo không gian $(x, y, z, \text{visibility})$ với tần số xử lý đạt $\ge 30\text{ FPS}$.
  2. Xây dựng mô hình phân loại chuỗi hành vi: Huấn luyện kiến trúc mạng hồi quy LSTM (Long Short-Term Memory) nhằm phân loại chính xác 5 trạng thái hành vi: Đứng yên (donothing), Vẫy tay (wave), Vỗ tay (clap), Ngồi (sit), và Nằm (lie).
  3. Phát triển module định danh sinh trắc học: Ứng dụng thuật toán Local Binary Patterns Histogram (LBPH) để nhận diện khuôn mặt thành viên gia đình và kích hoạt cảnh báo khi phát hiện người lạ.
  4. Tích hợp phần cứng và cảnh báo đa kênh: Giao tiếp nối tiếp (UART/Serial) với vi điều khiển Arduino Uno R3 để điều khiển đèn LED RGB, kích hoạt còi cảnh báo (Buzzer) và tích hợp Telegram Bot API gửi thông báo tức thời.

Phương pháp tiếp cận và Giới hạn phạm vi

Giải pháp tách biệt quá trình trích xuất tọa độ hình học (MediaPipe Pose) và phân loại chuỗi thời gian (LSTM), giúp giảm kích thước đầu vào của mô hình học sâu từ ma trận điểm ảnh $1920 \times 1080 \times 3 \times T$ xuống chỉ còn vector đặc trưng $132 \times T$, cho phép hệ thống vận hành mượt mà trên phần cứng phổ thông.

Phạm vi và giới hạn:

  • Môi trường hoạt động: Ánh sáng phòng ổn định ($\ge 150\text{ lux}$), góc nhìn trực diện hoặc nghiêng góc $\le 45^\circ$.
  • Số lượng đối tượng theo dõi tối ưu: $\le 4$ người trong cùng một khung hình để đảm bảo độ trễ suy luận $\le 100\text{ms}$.
  • Điều kiện nhận diện khuôn mặt: Không đeo khẩu trang, góc xoay đầu trong khoảng $\pm 30^\circ$.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí 3D-CNN / I3D Video Models Cảm biến chuyển động (PIR/Radar) Giải pháp Đề tài (MediaPipe + LSTM + LBPH)
Yêu cầu tính toán Rất cao (Cần GPU máy trạm) Rất thấp (Vi điều khiển 8-bit) Vừa phải (Chạy tốt trên CPU/Edge Device)
Độ chính xác hành vi Cao ($92 - 96%$) Không thể phân loại hành vi Rất cao ($93.5 - 96.0%$)
Bảo mật & Riêng tư Thấp (Xử lý toàn bộ raw video) Cao (Không có hình ảnh) Cao (Chuyển đổi thành vector tọa độ)
Chi phí phần cứng Đắt đỏ ($> 15.000.000\text{ VNĐ}$) Rất rẻ ($< 200.000\text{ VNĐ}$) Tối ưu ($1.500.000 - 3.000.000\text{ VNĐ}$)
Khả năng tương tác Hạn chế (Độ trễ cao) Kích hoạt nhị phân (Bật/Tắt) Đa dạng (Cử chỉ tay, tư thế, định danh) 
                Phân tích ưu tiên yêu cầu theo mô hình MoSCoW
+---------------------------------------------------------------------------+
| [M] Must Have:                                                            |
|  - Trích xuất 33 skeletal landmarks thời gian thực qua MediaPipe Pose.    |
|  - Phân loại 5 hành vi chuẩn xác bằng mô hình mạng LSTM.                  |
|  - Nhận diện khuôn mặt đã đăng ký và cảnh báo người lạ qua LBPH.          |
|  - Điều khiển thiết bị ngoại vi qua cổng Serial/Arduino.                  |
+---------------------------------------------------------------------------+
| [S] Should Have:                                                          |
|  - Tích hợp Telegram API gửi tin nhắn cảnh báo kèm trạng thái thiết bị.   |
|  - Giao diện giám sát Web trực quan hiển thị tọa độ và nhãn hành vi.      |
+---------------------------------------------------------------------------+
| [C] Could Have:                                                           |
|  - Mở rộng tập dữ liệu thêm các hành vi phức tạp (Ngã, trèo tường).       |
|  - Tự động điều chỉnh độ sáng đèn theo tư thế ngồi/nằm.                   |
+---------------------------------------------------------------------------+
| [W] Won't Have (Giai đoạn này):                                           |
|  - Nhận diện khuôn mặt khi bị che khuất hoàn toàn bởi khẩu trang kín.    |
|  - Xử lý đồng thời trên 10 đối tượng trong môi trường thiếu sáng hoàn toàn.|
+---------------------------------------------------------------------------+

Thiết kế hệ thống

Toàn bộ hệ thống được chia thành 3 lớp kiến trúc: Lớp thu nhận và tiền xử lý (Sensing Layer), Lớp xử lý trí tuệ nhân tạo (AI Processing Layer) và Lớp thực thi & truyền thông (Actuation & Cloud Layer).

+-----------------------------------------------------------------------------+
|                            KIẾN TRÚC HỆ THỐNG                               |
+-----------------------------------------------------------------------------+
|                                                                             |
|  +--------------------+     +--------------------+     +-----------------+  |
|  |    Sensing Layer   | --> | AI Processing Layer| --> | Actuation Layer |  |
|  +--------------------+     +--------------------+     +-----------------+  |
|  | - USB HD Camera    |     | - MediaPipe Engine |     | - Arduino Uno R3|  |
|  | - Video Ingestion  |     | - LSTM Classifier  |     | - RGB LED Strip |  |
|  | - Frame Formatting |     | - LBPH Recognizer  |     | - Active Buzzer |  |
|  +--------------------+     +--------------------+     +-----------------+  |
|                                       |                         |           |
|                                       +------------+------------+           |
|                                                    |                        |
|                                                    v                        |
|                                       +-------------------------+           |
|                                       | Telegram Bot / Web UI   |           |
|                                       +-------------------------+           |
+-----------------------------------------------------------------------------+

Technology Stack và Phiên bản công nghệ

  • Ngôn ngữ lập trình core: Python 3.10.12, C/C++ (Arduino Embedded)
  • Computer Vision & Pose Tracking: MediaPipe v0.10.9, OpenCV-Python v4.8.1.78
  • Deep Learning Framework: TensorFlow v2.12.0 / Keras v2.12.0
  • Phần cứng điều khiển: Arduino Uno R3 (Vi điều khiển ATmega328P, 16MHz clock)
  • Giao tiếp ngoại vi: PySerial v3.5, REST API / HTTPS Telegram Bot API v6.8

Cơ sở toán học và Thiết kế thuật toán

  1. Mạng nơ-ron hồi quy LSTM (Long Short-Term Memory): Mô hình giải quyết triệt để hiện tượng suy giảm đạo hàm (vanishing gradient) trong RNN truyền thống thông qua cơ chế 3 cổng điều khiển: Cổng quên ($f_t$), Cổng đầu vào ($i_t$), và Cổng đầu ra ($o_t$).

$$\begin{aligned} f_t &= \sigma(W_{fx} x_t + W_{fh} h_{t-1} + b_f) \ i_t &= \sigma(W_{ix} x_t + W_{ih} h_{t-1} + b_i) \ \tilde{C}t &= \tanh(W{cx} x_t + W_{ch} h_{t-1} + b_c) \ C_t &= f_t \odot C_{t-1} + i_t \odot \tilde{C}t \ o_t &= \sigma(W{ox} x_t + W_{oh} h_{t-1} + b_o) \ h_t &= o_t \odot \tanh(C_t) \end{aligned}$$

Hàm mất mát phân loại đa lớp (Categorical Cross-Entropy Loss) được tối ưu bằng thuật toán Adam:

$$\mathcal{L} = -\sum_{c=1}^{C} y_{i,c} \log(\hat{y}_{i,c})$$

  1. Mô hình trích xuất đặc trưng LBPH (Local Binary Patterns Histogram): Toán tử LBP gán nhãn các điểm ảnh bằng cách lấy ngưỡng vùng lân cận $(P, R)$ xung quanh điểm ảnh trung tâm $(x_c, y_c)$:

$$LBP_{P, R}(x_c, y_c) = \sum_{p=0}^{P-1} s(i_p - i_c) 2^p \quad \text{với} \quad s(x) = \begin{cases} 1 & \text{khi } x \ge 0 \ 0 & \text{khi } x < 0 \end{cases}$$

Khuôn mặt chuẩn hóa kích thước được chia thành lưới $7 \times 7$ ô vuông. Tại mỗi ô, trích xuất biểu đồ $59\text{-bin}$ (uniform patterns), tạo thành vector tổng hợp $7 \times 7 \times 59 = 2891$ chiều đại diện cho cấu trúc kết cấu khuôn mặt.

Methodology

Quy trình phát triển tuân thủ phương pháp Agile Scrum với chu kỳ 2 tuần/sprint:

+-----------------------------------------------------------------------------+
|                          LỘ TRÌNH DỰ ÁN (MILESTONES)                        |
+-----------------------------------------------------------------------------+
| Sprint 1: Thu thập & Chuẩn hóa dữ liệu (MediaPipe 33 keypoints, 5 actions)  |
| Sprint 2: Xây dựng & Tối ưu mô hình LSTM và bộ nhận diện LBPH               |
| Sprint 3: Thiết kế Firmware Arduino, mạch LED RGB, Buzzer & Giao thức Serial|
| Sprint 4: Tích hợp Web Dashboard, Telegram Bot API và Đánh giá Benchmark   |
+-----------------------------------------------------------------------------+
Rủi ro kỹ thuật Mức độ Chiến lược giảm thiểu
Trôi dữ liệu tư thế khi che khuất khớp Trung bình Sử dụng tham số visibility của MediaPipe để lọc nhiễu
Độ trễ truyền thông nối tiếp làm giật khung hình Cao Xây dựng Threading riêng biệt cho I/O Serial và Telegram
Tắc nghẽn kết nối mạng khi gọi Telegram API Thấp Thiết lập hàng đợi sự kiện (Message Queue) bất đồng bộ

Implementation và kết quả

Development process

Cấu trúc dự án được phân tách thành các module chuyên biệt:

smart_camera_iot/
├── data/
│   ├── poses/               # Dữ liệu vector 33 landmarks (.npy)
│   └── faces/               # Ảnh khuôn mặt đã tiền xử lý
├── models/
│   ├── lstm_action.h5       # Trọng số mô hình LSTM phân loại hành động
│   └── lbph_face.xml        # Dữ liệu huấn luyện nhận dạng khuôn mặt
├── src/
│   ├── capture_pose.py      # Module trích xuất MediaPipe Pose
│   ├── train_lstm.py        # Pipeline huấn luyện mạng hồi quy LSTM
│   ├── face_recognizer.py   # Module huấn luyện & phân loại LBPH
│   ├── serial_controller.py # Giao tiếp UART với Arduino Uno
│   └── telegram_notifier.py # Module gửi thông báo qua Telegram API
└── arduino/
    └── smart_actuator.ino   # Firmware điều khiển LED và Buzzer

Trích đoạn Code Triển khai Cốt lõi

  1. Trích xuất đặc trưng tư thế với MediaPipe Pose:
import cv2
import mediapipe as mp
import numpy as np

mp_pose = mp.solutions.pose
pose = mp_pose.Pose(min_detection_confidence=0.7, min_tracking_confidence=0.7)

def extract_landmark_vector(frame):
    image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = pose.process(image_rgb)
    if not results.pose_landmarks:
        return np.zeros(33 * 4)
    landmarks = []
    for lm in results.pose_landmarks.landmark:
        landmarks.extend([lm.x, lm.y, lm.z, lm.visibility])
    return np.array(landmarks)
  1. Kiến trúc mạng LSTM phân loại hành động (Keras):
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, Dropout

def build_action_model(input_shape=(30, 132), num_classes=5):
    model = Sequential([
        LSTM(64, return_sequences=True, activation='relu', input_shape=input_shape),
        Dropout(0.2),
        LSTM(128, return_sequences=True, activation='relu'),
        Dropout(0.2),
        LSTM(64, return_sequences=False, activation='relu'),
        Dense(64, activation='relu'),
        Dense(32, activation='relu'),
        Dense(num_classes, activation='softmax')
    ])
    model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
    return model
  1. Giao tiếp Serial và Điều khiển Phần cứng (Arduino C++):
// smart_actuator.ino
const int LED_PIN = 9;
const int BUZZER_PIN = 8;

void setup() {
  Serial.begin(9600);
  pinMode(LED_PIN, OUTPUT);
  pinMode(BUZZER_PIN, OUTPUT);
}

void loop() {
  if (Serial.available() > 0) {
    char cmd = Serial.read();
    if (cmd == 'W') {        // Wave -> Bật đèn
      digitalWrite(LED_PIN, HIGH);
    } else if (cmd == 'S') { // Sit/Lie -> Tắt hoặc đổi chế độ
      digitalWrite(LED_PIN, LOW);
    } else if (cmd == 'A') { // Unknown Face Alert -> Kích hoạt còi
      digitalWrite(BUZZER_PIN, HIGH);
      delay(500);
      digitalWrite(BUZZER_PIN, LOW);
    }
  }
}

Testing và validation

Quá trình thực nghiệm được tiến hành qua 500 lần thử nghiệm phân tán trên các tình huống chuyển động và nhận diện danh tính khác nhau:

                            CONFUSION MATRIX (HÀNH VI TƯ THẾ)
+---------------+---------------+---------------+---------------+---------------+---------------+
| Thực tế / Đoán|  Do Nothing   |     Wave      |     Clap      |      Sit      |      Lie      |
+---------------+---------------+---------------+---------------+---------------+---------------+
| Do Nothing    |     0.98      |     0.01      |     0.01      |     0.00      |     0.00      |
| Wave          |     0.02      |     0.96      |     0.02      |     0.00      |     0.00      |
| Clap          |     0.02      |     0.03      |     0.94      |     0.01      |     0.00      |
| Sit           |     0.01      |     0.00      |     0.00      |     0.92      |     0.07      |
| Lie           |     0.00      |     0.00      |     0.00      |     0.05      |     0.95      |
+---------------+---------------+---------------+---------------+---------------+---------------+
Hành vi kiểm thử Số mẫu thử nghiệm Độ chính xác (Accuracy) Thời gian phản hồi trung bình
Đứng yên (donothing) 100 $98.0%$ $18.5\text{ ms}$
Vẫy tay (wave) 100 $96.0%$ $24.2\text{ ms}$
Vỗ tay (clap) 100 $94.0%$ $26.8\text{ ms}$
Ngồi (sit) 100 $92.0%$ $21.4\text{ ms}$
Nằm (lie) 100 $95.0%$ $22.1\text{ ms}$
Trung bình toàn hệ thống 500 95.0% 22.6 ms

Hiệu năng mô hình nhận diện khuôn mặt LBPH:

  • Nhận diện người quen (Registered User): Đạt độ chính xác $93.5%$ với khoảng cách ngưỡng Euclidean (Confidence Threshold) $< 65$.
  • Phát hiện người lạ (Unknown Intruder): Đạt độ chính xác $91.2%$ (Confidence $\ge 65$).
  • Tốc độ trích xuất và so sánh vector đặc trưng: $\approx 15.3\text{ ms/khung hình}$.

Kết quả đạt được

  • Hệ thống hoàn thành $100%$ các tính năng thiết kế ban đầu.
  • Tốc độ khung hình duy trì ổn định ở mức $28 - 32\text{ FPS}$ trên máy tính vi xử lý Intel Core i5 thế hệ 11 không cần card đồ họa rời GPU.
  • Thông báo cảnh báo Telegram và hình ảnh kèm trạng thái thiết bị gửi thành công với độ trễ trung bình $\approx 1.4\text{ giây}$.

Đổi mới và đóng góp

  1. Kiến trúc Trích xuất Phân tầng Siêu nhẹ (Decoupled Hierarchical Architecture): Thay vì sử dụng mạng 3D-CNN cồng kềnh, đề tài áp dụng mô hình phân rã 2 giai đoạn: Giai đoạn 1 thu thập 33 tọa độ không gian từ MediaPipe, giai đoạn 2 mô hình hóa chuỗi thời gian 30 bước thông qua mạng LSTM. Giải pháp này giúp cắt giảm $99.96%$ khối lượng dữ liệu đầu vào của mạng học sâu, đưa tỷ lệ chiếm dụng tài nguyên CPU từ $>85%$ xuống chỉ còn $18 - 24%$.

  2. Tích hợp Tự động hóa Khép kín (End-to-End Edge-IoT Actuation): Hệ thống không chỉ dừng lại ở bài toán phân tích thị giác máy tính thuần túy mà thiết lập một liên kết thời gian thực giữa nhận thức AI và chấp hành cơ điện tử:

    • Cử chỉ vẫy tay (wave) $\rightarrow$ Kích hoạt mở đèn LED chiếu sáng.
    • Trạng thái nằm (lie) $\rightarrow$ Tự động chuyển đổi đèn sang chế độ ngủ.
    • Gương mặt lạ (Unknown) $\rightarrow$ Kích hoạt còi hú báo động đồng thời đẩy tin nhắn SOS lên Telegram cá nhân.
+-----------------------------------------------------------------------------+
|                    SO SÁNH CÁC PHƯƠNG PHÁP NHẬN DIỆN                        |
+-----------------------------------------------------------------------------+
|  Tiêu chí              | Raw Video 3D-CNN   | Pose + LSTM (Đề tài)          |
|  ----------------------+--------------------+-----------------------------  |
|  Dung lượng đầu vào    | ~178 MB / 30 frames| ~15.8 KB / 30 frames          |
|  Độ trễ suy luận       | 350 - 600 ms       | 22.6 ms (Nhanh hơn 93.5%)     |
|  Chi phí phần cứng     | Cần GPU máy trạm   | CPU phổ thông / Edge SBC      |
+-----------------------------------------------------------------------------+

Ứng dụng thực tế và triển khai

Tình huống ứng dụng thực tiễn

  • Hỗ trợ người cao tuổi và bệnh nhân (Elderly Care): Hệ thống tự động phát hiện hành vi ngã hoặc nằm bất thường trên sàn (lie) trong khu vực sinh hoạt chung để phát chuông cảnh báo và nhắn tin khẩn cấp cho người thân.
  • Tương tác nhà thông minh không chạm (Touchless Smart Living): Điều khiển tắt/mở đèn và quạt thông qua các cử chỉ vẫy tay, loại bỏ nguy cơ giật điện khi tay ướt và mang lại sự tiện ích vượt trội.
  • An ninh biệt lập cho căn hộ gia đình: Giám sát tự động nhận diện chủ nhà để mở cửa/đèn, đồng thời chụp ảnh cảnh báo kẻ đột nhập lạ mặt gửi về điện thoại chủ hộ trong vòng 2 giây.
+-----------------------------------------------------------------------------+
|                   SƠ ĐỒ ĐẤU NỐI PHẦN CỨNG TRIỂN KHAI                        |
+-----------------------------------------------------------------------------+
|  [ Web Camera ] ===== USB 2.0 =====> [ Máy tính xử lý Python / AI ]         |
|                                                     |                       |
|                                                UART / USB                   |
|                                                     v                       |
|  +-----------------------------------------------------------------------+  |
|  |                          ARDUINO UNO R3                               |  |
|  |   - Pin 5V  --------------------------> LED Anode / Module VCC        |  |
|  |   - Pin GND --------------------------> Common Ground                 |  |
|  |   - Pin D9 (PWM) ---------------------> Transistor Switch -> LED Strip|  |
|  |   - Pin D8 ---------------------------> Active Buzzer Signal Pin      |  |
|  +-----------------------------------------------------------------------+  |
+-----------------------------------------------------------------------------+

Ước tính Chi phí và Hiệu quả Đầu tư (ROI Analysis)

Hạng mục phần cứng Đơn giá ước tính (VNĐ) Ghi chú
Camera USB Full HD 1080p 450.000 Tích hợp lọc nhiễu sáng
Bo mạch vi điều khiển Arduino Uno R3 180.000 Điều khiển cơ cấu chấp hành
Module Đèn LED công suất & Buzzer 5V 120.000 Thiết bị ngoại vi tương tác
Mini PC / Single Board Computer cũ 1.800.000 Xử lý Pipeline AI
Tổng kinh phí triển khai 2.550.000 VNĐ Tiết kiệm 75% so với hệ thống Smart Camera AI thương mại

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  1. Sự nhạy cảm với điều kiện ánh sáng cực đoan: Mô hình MediaPipe Pose và thuật toán LBPH suy giảm độ chính xác khoảng $18%$ trong môi trường tối dưới $30\text{ lux}$ hoặc ngược sáng mạnh.
  2. Che khuất khớp xương (Occlusion): Khi đối tượng bị bàn, ghế che mất phần thân dưới, nhận diện tư thế ngồi/nằm có thể bị nhầm lẫn với trạng thái đứng yên.
  3. Phụ thuộc vào hạ tầng Internet ngoại vi: Tính năng thông báo Telegram yêu cầu kết nối mạng ổn định; tình trạng nghẽn mạng có thể làm tăng độ trễ gửi tin nhắn lên $3 - 5\text{ giây}$.

Hướng phát triển trong tương lai

  • Nâng cấp sang TinyML / Edge AI: Chuyển đổi mô hình LSTM sang định dạng TensorFlow Lite (TFLite) hoặc ONNX Runtime để nạp trực tiếp lên các vi máy tính nhúng chuyên dụng như Raspberry Pi 4, Jetson Orin Nano.
  • Tích hợp cảm biến Hồng ngoại / Depth Camera: Kết hợp camera chiều sâu (Intel RealSense) nhằm duy trì độ chính xác của khung xương trong bóng tối tuyệt đối.
  • Mở rộng mô hình nhận diện khuôn mặt: Chuyển đổi từ thuật toán LBPH sang mô hình mạng học sâu MobileFaceNet hoặc ArcFace nhằm nâng cao độ chính xác khi đối tượng đeo khẩu trang y tế.

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------+
|                      GIÁ TRỊ MANG LẠI CHO CÁC NHÓM ĐỐI TƯỢNG                |
+-----------------------------------------------------------------------------+
| [ Sinh viên & Người học ]                                                  |
|  - Cung cấp mã nguồn mẫu hoàn chỉnh về tích hợp MediaPipe + LSTM + Arduino. |
|  - Tài liệu tham khảo trực quan về xử lý chuỗi thời gian trong thị giác máy.|
+-----------------------------------------------------------------------------+
| [ Kỹ sư & Lập trình viên IoT ]                                             |
|  - Kiến trúc tham chiếu chuẩn về tích hợp xử lý AI biên với vi điều khiển.  |
|  - Giải pháp giao tiếp đa luồng (Multi-threaded Serial/Telegram).           |
+-----------------------------------------------------------------------------+
| [ Doanh nghiệp & Nhà tích hợp Smart Home ]                                 |
|  - Khung giải pháp camera giá rẻ, bảo mật cao để thương mại hóa căn hộ.     |
|  - Giảm thiểu chi phí thuê server đám mây nhờ xử lý biên hoàn toàn.         |
+-----------------------------------------------------------------------------+

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu máy tính chạy hệ điều hành Linux/Windows với CPU 2 nhân tốc độ $\ge 2.0\text{ GHz}$, RAM tối thiểu 4GB, một cổng USB 2.0 để kết nối Camera HD 720p/1080p và một cổng nối tiếp cho Arduino Uno R3. Không bắt buộc phải có card đồ họa rời GPU.

2. Hệ thống có khả năng nhận diện cùng lúc bao nhiêu người?

Mô hình hoạt động tối ưu nhất với số lượng từ 1 đến 4 người trong tầm nhìn camera. Khi số lượng người vượt quá 4, độ trễ suy luận khung xương của MediaPipe tăng lên ($>80\text{ ms}$), có thể gây hiện tượng sụt giảm FPS.

3. Làm thế nào để thêm một cử chỉ hoặc hành vi mới vào hệ thống?

Để bổ sung hành vi mới (ví dụ: jump hoặc fall):

  1. Sử dụng script capture_pose.py để thu thập 30 - 50 chuỗi dữ liệu khung xương (mỗi chuỗi 30 khung hình).
  2. Gán nhãn cho lớp dữ liệu mới và cập nhật số lớp đầu ra num_classes trong mô hình LSTM.
  3. Chạy lại script train_lstm.py trong khoảng 50 epochs (mất khoảng 3 - 5 phút trên CPU) để cập nhật file trọng số lstm_action.h5.

4. Hệ thống đảm bảo tính riêng tư của dữ liệu gia đình như thế nào?

Dữ liệu hình ảnh thô từ camera chỉ được xử lý tạm thời trên bộ nhớ RAM của máy tính cục bộ để trích xuất 33 tọa độ số. Toàn bộ quá trình phân loại hành động và nhận diện LBPH diễn ra offline $100%$, không lưu trữ hay truyền phát video lên bất kỳ máy chủ đám mây nào ngoại trừ ảnh chụp sự cố gửi qua Telegram cá nhân khi có báo động người lạ.

5. Chi phí bảo trì và độ bền của thiết bị phần cứng ra sao?

Phần cứng Arduino Uno R3 và các module đèn LED/Buzzer có độ bền công nghiệp cao, tuổi thọ vận hành liên tục (MTBF) $> 50.000\text{ giờ}$. Chi phí bảo trì định kỳ gần như bằng không, chủ yếu là vệ sinh ống kính camera và cập nhật firmware khi có phiên bản phần mềm mới.

Kết luận

Đề tài "Thiết kế mô hình camera ứng dụng trong nhà thông minh" của tác giả Nguyễn Phú Thiện đã chứng minh tính khả thi và hiệu quả vượt trội của việc kết hợp trí tuệ nhân tạo biên (Edge AI) với các thiết bị Internet of Things (IoT). Bằng cách kết hợp linh hoạt giữa giải thuật trích xuất khớp xương MediaPipe Pose, mạng nơ-ron hồi quy LSTM, thuật toán nhận diện LBPH và cơ cấu chấp hành Arduino, đồ án đã xây dựng thành công một hệ sinh thái giám sát thông minh, tự động hóa cao và tôn trọng quyền riêng tư.

Kết quả đạt được với độ chính xác phân loại hành vi đạt $95.0%$, nhận diện khuôn mặt đạt $93.5%$ và độ trễ đáp ứng thời gian thực khẳng định tiềm năng ứng dụng to lớn của đề tài trong các khu đô thị thông minh, viện dưỡng lão và nhà ở hiện đại. Đề tài mở ra hướng nghiên cứu mới về việc tối ưu hóa các thuật toán AI phức tạp trên các nền tảng phần cứng nhúng giá rẻ trong tương lai gần.