Giới thiệu dự án

Sự bùng nổ của Internet vạn vật (IoT) đã thúc đẩy hơn 250 tỷ vi điều khiển hoạt động liên tục (always-on) trên toàn cầu trong các lĩnh vực sản xuất thông minh, y tế, nông nghiệp chính xác và hệ thống điều khiển tự động. Tuy nhiên, các giao diện người - máy (HMI - Human-Machine Interface) truyền thống như bàn phím, chuột hoặc màn hình cảm ứng vật lý đang dần bộc lộ nhiều hạn chế trong môi trường công nghiệp khắc nghiệt, môi trường vô trùng, hoặc các tác vụ kiểm tra đặc thù đòi hỏi sự tương tác không tiếp xúc (touchless interaction). Nhận diện cử chỉ tay (Hand Gesture Recognition - HGR) dựa trên thị giác máy tính là giải pháp tối ưu nhằm thu hẹp khoảng cách giao tiếp giữa con người và hệ thống tự động hóa, mang lại trải nghiệm điều khiển trực quan, linh hoạt và an toàn.

+------------------+      +-------------------+      +----------------------+
|  Camera Module   | ---> |  OpenMV Cam H7    | ---> |  LabVIEW Framework   |
| (RGB 240x240 px) |      | (TinyML micro-CNN)|      | (UART Serial / ASCII)|
+------------------+      +-------------------+      +----------------------+
                                                                |
                                                                v
+------------------+      +-------------------+      +----------------------+
| NDT 2D Magnetic  | <--- |  Driver 5-Phase   | <--- |  Motion Controller   |
| Scanner System   |      |  Autonics MD5-HD14|      |  Autonics PMC-1HS-USB|
+------------------+      +-------------------+      +----------------------+

Vấn đề cốt lõi đặt ra là các mô hình học sâu (Deep Learning) nhận diện hình ảnh hiện đại (như YOLOv3, VGG19, ResNet) đòi hỏi năng lực tính toán cực lớn từ GPU chuyên dụng và dung lượng bộ nhớ hàng trăm Megabytes. Việc đưa các mô hình này lên nền tảng vi điều khiển biên có tài nguyên hạn chế (vài trăm Kilobytes RAM, bộ nhớ Flash từ 1MB – 2MB) thường gặp bế tắc do quá tải bộ nhớ và độ trễ suy luận (inference latency) quá cao. Hơn nữa, phương án truyền dữ liệu hình ảnh thô lên Cloud AI hoặc Edge Server lại vấp phải bài toán nghẽn băng thông mạng, độ trễ không ổn định và rủi ro rò rỉ dữ liệu nhạy cảm.

Đồ án tốt nghiệp "Nghiên cứu phát triển hệ thống nhận diện cử chỉ sử dụng camera dựa trên công nghệ học máy nhẹ (TinyML) hoạt động trên vi điều khiển" do sinh viên Trần Mạch Tuấn Kiệt thực hiện dưới sự hướng dẫn của TS. Lê Minh Huy tại Trường Đại học Phenikaa (Khoa Điện - Điện tử) đã giải quyết triệt để bài toán trên thông qua các mục tiêu cụ thể:

  1. Nghiên cứu và thiết kế kiến trúc mạng nơ-ron tích chập siêu nhẹ (micro-CNN) tối ưu hóa việc trích xuất đặc trưng hình thái cử chỉ tay từ ảnh RGB đơn khung hình.
  2. Áp dụng kỹ thuật nén mô hình, lượng tử hóa 8-bit (INT8 Quantization) bằng TensorFlow Lite for Microcontrollers để giảm dung lượng bộ nhớ mà vẫn duy trì độ chính xác cao.
  3. Triển khai và đánh giá hiệu năng thực thi của mô hình TinyML trực tiếp trên phần cứng vi điều khiển lõi ARM Cortex-M7 (OpenMV Cam H7).
  4. Thiết kế hệ thống điều khiển tự động hóa hoàn chỉnh: tích hợp giao thức truyền thông đồng bộ giữa OpenMV, phần mềm giám sát LabVIEW, bộ điều khiển chuyển động chuyên dụng Autonics PMC-1HS-USB và Driver MD5-HD14 để điều khiển máy quét từ tính trong hệ thống Kiểm tra không phá hủy (NDT - Non-Destructive Testing).

Mô hình hướng tới kết quả vượt trội với kích thước chỉ khoảng 42.100 tham số, dung lượng sau lượng tử hóa dưới 50 KB, độ chính xác nhận diện đạt xấp xỉ 100% trên tập dữ liệu chuẩn ASL và phản hồi thời gian thực dưới 50ms trên vi điều khiển. Phạm vi của đồ án tập trung vào phân loại các cử chỉ tĩnh và điều khiển chuyển động theo tọa độ của hệ thống cơ điện tử trong phòng thí nghiệm.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi xây dựng giải pháp TinyML, các hướng tiếp cận nhận diện cử chỉ tay hiện nay được phân tích chi tiết nhằm xác định rõ ưu - nhược điểm kỹ thuật:

Phương pháp Công nghệ sử dụng Ưu điểm Nhược điểm Khả năng nhúng MCU
Cảm biến đeo (Sensor-based) Găng tay tích hợp IMU, EMG, Flex sensor Độ chính xác quỹ đạo cao, không phụ thuộc ánh sáng Cồng kềnh, vướng víu, giá thành cao, khó vệ sinh Trung bình (cần giải mã tín hiệu phức tạp)
Thị giác truyền thống (Handcrafted CV) Lọc Canny, Sobel, ngưỡng màu da HSV Không cần huấn luyện dữ liệu, thuật toán nhẹ Cực kỳ nhạy cảm với ánh sáng môi trường và nền phức tạp Cao (nhưng độ chính xác thực tế thấp < 85%)
Học sâu trên máy trạm (Server-based DL) YOLOv3, VGG19, Dual-Channel CNN Độ chính xác cao (>95%), nhận diện nhiều cử chỉ phức tạp Kích thước mô hình lớn (8.9MB – 123.5MB), đòi hỏi GPU, tốn điện Không khả thi trên vi điều khiển độc lập
TinyML Micro-CNN (Đề xuất) Depthwise Separable Conv, SE-Block, INT8 Kích thước siêu nhỏ (<50KB), xử lý tại biên (Edge), bảo mật cao Yêu cầu tối ưu kiến trúc chặt chẽ theo phần cứng Rất cao (hoạt động tối ưu trên ARM Cortex-M7)

Yêu cầu kỹ thuật hệ thống được phân loại theo mô hình MoSCoW:

  • Must-have (Bắt buộc): Mô hình Deep Learning có dung lượng Flash < 100 KB; RAM hoạt động < 256 KB; độ chính xác phân loại > 90%; điều khiển chính xác 4 hướng di chuyển cơ bản của động cơ bước.
  • Should-have (Cần có): Giao tiếp UART thời gian thực ổn định với LabVIEW với tốc độ baud 115200 bps; giao diện HMI hiển thị trạng thái trực quan.
  • Could-have (Có thể có): Mở rộng nhận diện 9 cử chỉ phức tạp kết hợp thuật toán phát hiện đối tượng nhẹ (FOMO).
  • Won't-have (Chưa thực hiện): Nhận diện cử chỉ động 3D theo chuỗi thời gian liên tục qua mạng RNN/LSTM trên vi điều khiển.

Thiết kế hệ thống

Kiến trúc hệ thống bao gồm hai khối chính: Khối nhận diện thị giác nhúng (Vision AI Edge Subsystem) và Khối điều khiển chuyển động cơ điện tử (Motion Control Subsystem).

+-----------------------------------------------------------------------------------+
|                            HỆ THỐNG PHẦN CỨNG & PHẦN MỀM                          |
+-----------------------------------------------------------------------------------+
| [Camera OV7725] -> [OpenMV H7 (ARM Cortex-M7)]                                    |
|                         |                                                         |
|                     (UART/USB)                                                    |
|                         v                                                         |
| [PC Host - Giao diện LabVIEW HMI & Xử lý logic điều khiển]                        |
|                         |                                                         |
|                     (USB Command)                                                 |
|                         v                                                         |
| [Bộ điều khiển xung Autonics PMC-1HS-USB] -> [Driver 5 pha MD5-HD14] -> [Động cơ] |
+-----------------------------------------------------------------------------------+

Chi tiết cấu hình phần cứng và ngăn xếp công nghệ (Technology Stack):

  • Bộ xử lý nhúng: OpenMV Cam H7 trang bị vi điều khiển STM32H743VI (Lõi ARM Cortex-M7 32-bit RISC, xung nhịp 480 MHz, 2MB Flash, 1MB RAM, hỗ trợ tập lệnh DSP và FPU đơn độ chính xác).
  • Cảm biến hình ảnh: Omnivision OV7725 hỗ trợ chụp ảnh RGB độ phân giải 240x240 pixel.
  • Bộ điều khiển chuyển động: Autonics PMC-1HS-USB (1 trục, phát xung tốc độ cao lên đến 4 Mpps, giao tiếp lập trình qua cổng USB).
  • Bộ điều khiển động cơ bước: Autonics MD5-HD14 (Driver vi bước 5 pha, dải dòng 0.5 – 1.4A/pha, độ phân giải góc bước điều chỉnh linh hoạt).
  • Phần mềm & Thư viện: Python 3.9, TensorFlow 2.x, TensorFlow Lite Micro, OpenMV IDE (MicroPython runtime), LabVIEW 2020.

Methodology

Phương pháp luận nghiên cứu tuân theo quy trình khép kín từ dữ liệu đến hiện trường:

  1. Tiền xử lý & Tăng cường dữ liệu: Chuẩn hóa dữ liệu ảnh đầu vào theo thang đo Min-Max $[0, 1]$: $$I'{ij} = \frac{I{ij} - \min(I)}{\max(I) - \min(I)}$$ Áp dụng các phép biến đổi hình học (Random Rotation $\pm 15^\circ$, Random Zoom $10%$, Translation) và biến đổi quang học (Random Brightness $\pm 0.1$) nhằm đảm bảo tính bất biến với góc nhìn (viewpoint invariance) và ánh sáng.
  2. Thiết kế & Tối ưu mô hình: Xây dựng mô hình micro-CNN cấu trúc 5 tầng kết hợp các khối Micro-Bottleneck, Depthwise Separable Convolution và Squeeze-and-Excitation (SE).
  3. Huấn luyện & Nén mô hình: Huấn luyện trên hệ thống máy tính hiệu năng cao (HPC NVIDIA RTX A5000), sau đó thực hiện lượng tử hóa tĩnh sau huấn luyện (Post-Training Quantization) về dạng số nguyên 8-bit (INT8).
  4. Tích hợp & Kiểm thử thực nghiệm: Nạp mô hình vào OpenMV Cam H7, lập trình giao tiếp LabVIEW nhận diện chuỗi lệnh mã ASCII và gửi lệnh điều khiển vi bước tới bộ điều khiển PMC-1HS-USB.

Implementation và kết quả

Development process

Cốt lõi kỹ thuật của đồ án là kiến trúc micro-CNN tối ưu hóa. Thay vì sử dụng tích chập chuẩn 2D tiêu tốn tài nguyên, nghiên cứu sử dụng Tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution - DSC), chia quá trình tích chập thành hai giai đoạn: Tích chập theo chiều sâu (Depthwise) và Tích chập điểm $1\times 1$ (Pointwise).

Tỷ lệ suy giảm chi phí tính toán giữa DSC so với tích chập tiêu chuẩn được biểu diễn bằng công thức: $$\text{Cost Ratio} = \frac{K \times K \times C \times H \times W + C \times N_c \times H \times W}{K \times K \times C \times N_c \times H \times W} = \frac{1}{N_c} + \frac{1}{K^2}$$ Trong đó $K$ là kích thước kernel ($3\times 3$), $C$ là số kênh đầu vào, $N_c$ là số kênh đầu ra. Với $K=3$, chi phí tính toán giảm từ 8 đến 9 lần.

+-----------------------------------------------------------------------------+
|               CẤU TRÚC CHI TIẾT KHỐI MICRO-BOTTLENECK                       |
+-----------------------------------------------------------------------------+
| [Input Tensor: H x W x C]                                                   |
|       |                                                                     |
|       v                                                                     |
| [Pointwise Conv 1x1] -> [BatchNorm] -> [Hard-Swish] (Mở rộng kênh: F*ratio) |
|       |                                                                     |
|       v                                                                     |
| [Depthwise Conv 3x3, stride=s] -> [BatchNorm] -> [Hard-Swish]               |
|       |                                                                     |
|       v                                                                     |
| [Squeeze-and-Excitation (SE Block)] (Tái chuẩn hóa trọng số kênh)           |
|       |                                                                     |
|       v                                                                     |
| [Pointwise Conv 1x1] -> [BatchNorm] (Chiếu giảm kênh về F)                 |
|       |                                                                     |
|       v                                                                     |
| [Shortcut Connection (Conv 1x1)] + [Output] -> [Dropout r=0.1]              |
+-----------------------------------------------------------------------------+

Hàm kích hoạt phi tuyến Hard-Swish (h-swish) được sử dụng thay thế cho Swish tiêu chuẩn để triệt tiêu việc tính toán hàm mũ phức tạp trên vi điều khiển: $$\text{h-swish}(x) = x \cdot \frac{\text{ReLU6}(x + 3)}{6}$$

Khối phân loại cuối cùng (Classifier) loại bỏ hoàn toàn các lớp kết nối đầy đủ (Dense layer) có số lượng tham số lớn, thay vào đó là cấu trúc tích chập $1\times 1$ kết hợp Average Pooling: $$\text{Output} = \text{SoftMax}(\text{Flatten}(C_1(\text{ReLU}(C_1(\text{AP}(\text{h-swish}(\text{BN}(C_1(\mathbf{z}_{i-1})))))))))$$

Đoạn mã Keras/TensorFlow xây dựng khối Micro-Bottleneck tùy biến:

import tensorflow as tf
from tensorflow.keras import layers

def hard_swish(x):
    return x * tf.nn.relu6(x + 3.0) / 6.0

def se_block(inputs, reduction_ratio=4):
    channels = inputs.shape[-1]
    x = layers.GlobalAveragePooling2D()(inputs)
    x = layers.Dense(channels // reduction_ratio, activation='relu')(x)
    x = layers.Dense(channels, activation='sigmoid')(x)
    x = layers.Reshape((1, 1, channels))(x)
    return layers.Multiply()([inputs, x])

def micro_bottleneck(x, filters, kernel_size=3, stride=1, expansion=3):
    input_channels = x.shape[-1]
    expanded_channels = input_channels * expansion
    
    # 1. Pointwise expansion
    out = layers.Conv2D(expanded_channels, 1, padding='same', use_bias=False)(x)
    out = layers.BatchNormalization()(out)
    out = layers.Activation(hard_swish)(out)
    
    # 2. Depthwise convolution
    out = layers.DepthwiseConv2D(kernel_size, strides=stride, padding='same', use_bias=False)(out)
    out = layers.BatchNormalization()(out)
    out = layers.Activation(hard_swish)(out)
    
    # 3. Squeeze and Excitation
    out = se_block(out)
    
    # 4. Pointwise projection
    out = layers.Conv2D(filters, 1, padding='same', use_bias=False)(out)
    out = layers.BatchNormalization()(out)
    
    # 5. Residual connection
    if stride == 1 and input_channels == filters:
        out = layers.Add()([x, out])
    elif stride == 1 and input_channels != filters:
        shortcut = layers.Conv2D(filters, 1, padding='same', use_bias=False)(x)
        out = layers.Add()([shortcut, out])
        
    return layers.Dropout(0.1)(out)

Testing và validation

Quá trình huấn luyện mô hình được thực hiện với các siêu tham số nghiêm ngặt:

  • Tập dữ liệu: American Sign Language (ASL Alphabet) gồm gần 100.000 ảnh tĩnh 26 lớp (A-Z) và tập dữ liệu kiểm thử thực địa OUHANDS.
  • Hàm mất mát: Categorical Cross-Entropy: $$\mathcal{L} = -\sum_{i=1}^{N} \sum_{j=1}^{M} y_{ij} \log(\hat{y}_{ij})$$
  • Bộ tối ưu: Adam Optimizer với tốc độ học ban đầu $\alpha = 0.01$, hệ số suy giảm (learning rate decay factor) bằng $0.2$ kích hoạt khi hàm mất mát kiểm định (validation loss) không cải thiện sau 13 epochs liên tiếp.
  • Quy mô: Batch size 64, huấn luyện trong 100 epochs trên GPU NVIDIA RTX A5000.
Giai đoạn mạng Cấu hình tầng Kernel / Stride Bộ lọc đầu ra Số lượng tham số
Stage 1 (Stem) Conv2D + BN + H-Swish + MaxPool $3\times 3, s=1$ 16 512
Stage 2 (Bottleneck 1) 1x SE Conv + 2x SE Residual $3\times 3, s=1$ 8 2.130
Stage 3 (Bottleneck 2) 1x SE Conv + 2x SE Residual $3\times 3, s=2$ 16 5.732
Stage 4 (Bottleneck 3) 1x SE Conv + 2x SE Residual $3\times 3, s=2$ 32 19.656
Stage 5 (Classifier) Conv2D $1\times 1$ + AvgPool + Conv2D $1\times 1$ $1\times 1, s=1$ 26 14.042
Tổng cộng Toàn bộ mạng (Full Architecture) - 26 Classes 42.072

Kết quả đạt được

Đồ án ghi nhận các kết quả thực nghiệm nổi bật:

  • Hội tụ tối ưu: Đường cong huấn luyện (learning curve) cho thấy mô hình hội tụ nhanh chỉ sau hơn 50 epochs, hàm mất mát tiến sát 0 và độ chính xác đạt gần 100% trên cả tập huấn luyện và kiểm định của bộ dữ liệu ASL.
  • Nén tham số: Tổng tham số của mô hình là 42.072 tham số, tương đương kích thước bộ nhớ chỉ ~42 KB (dạng INT8), tiết kiệm hơn 99.9% dung lượng so với các mạng chuẩn như VGG19 (>140 triệu tham số) hoặc YOLOv3 gốc (123.5 MB).
  • Độ chính xác trên tập dữ liệu phức tạp: Khi chuyển giao học sâu (Transfer Learning) sang tập dữ liệu OUHANDS với điều kiện nền phức tạp, mô hình đạt độ chính xác 91.17%, tương đương với các giải pháp Dual-Channel CNN nhưng với kích thước nhỏ hơn gấp 40 lần.
  • Hiệu năng thực thi: Mô hình chạy suy luận trực tiếp trên vi điều khiển OpenMV H7 (ARM Cortex-M7) với tần số lấy mẫu đạt trên 25 khung hình/giây (FPS), đáp ứng hoàn hảo tiêu chuẩn điều khiển thời gian thực.
  • Tích hợp phần cứng: Điều khiển thành công hệ thống máy quét từ tính NDT thực thi 9 lệnh cử chỉ tương ứng với các chuyển động dịch chuyển trục X-Y, dừng khẩn cấp và quét tự động mà không xảy ra hiện tượng mất bước hay trễ lệnh.

Đổi mới và đóng góp

  1. Kiến trúc mạng nơ-ron chuyên biệt cho TinyML: Đồ án đã thiết kế thành công cấu trúc micro-CNN kết hợp giữa Depthwise Separable Convolution, cơ chế tự chú ý kênh Squeeze-and-Excitation và hàm kích hoạt Hard-Swish, tạo ra bước đột phá về việc tối ưu hóa tỷ lệ giữa độ chính xác và chi phí tính toán (accuracy/compute cost trade-off).
  2. Loại bỏ hoàn toàn lớp Fully Connected truyền thống: Thay thế lớp Dense cồng kềnh bằng tổ hợp Conv2D $1\times 1$ và Global Average Pooling ở tầng phân loại, giúp cắt giảm hơn 75% lượng tham số không cần thiết ở phần đầu ra của mạng.
  3. Cầu nối hoàn chỉnh giữa Edge-AI và Tự động hóa công nghiệp: Đồ án không dừng lại ở nghiên cứu lý thuyết mô hình mà xây dựng thành công luồng truyền thông khép kín từ Camera nhúng $\rightarrow$ Xử lý AI trên MCU $\rightarrow$ LabVIEW $\rightarrow$ Motion Controller công nghiệp.

Bảng so sánh chi tiết với các công trình nghiên cứu tiền nhiệm trong cùng lĩnh vực:

Giải pháp nghiên cứu Kiến trúc cốt lõi Kích thước mô hình (Size) Độ chính xác (Accuracy) Nền tảng phần cứng yêu cầu
Jayashree et al. [6] Xử lý ảnh truyền thống (Sobel + Euclidean) Rất nhỏ 90.0% (ASL) PC (Xử lý ảnh đơn giản)
Hussain et al. [13] Inception V3 & EfficientNet-B0 > 100 MB 90.0% – 99.0% Máy trạm GPU / Cloud
Oudah et al. [15] Dual-Channel CNN + Dilated Residual 1.8 MB 91.17% (OUHANDS) Máy tính nhúng (Raspberry Pi/Jetson)
Li et al. [16] YOLOv3 + ShuffleNetV2 Backbone 8.9 MB 99.5% (Senz3D) Edge AI Board công suất cao
Đề xuất trong đồ án Micro-CNN (TinyML + SE-Block) 0.042 MB (~42 KB) 99.2% (ASL) / 91.2% (OUHANDS) Vi điều khiển ARM Cortex-M7

Mô hình đề xuất giảm kích thước đến 97.6% so với mạng Dual-Channel CNN nhẹ nhất trước đó (1.8 MB xuống 0.042 MB) trong khi vẫn duy trì độ chính xác phân loại tương đương.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng công nghiệp

Hệ thống được ứng dụng trực tiếp trong việc điều khiển máy quét từ tính 2D (Magnetic Scanner) phục vụ phương pháp Kiểm tra không phá hủy (NDT):

  • Bối cảnh: Kỹ thuật viên kiểm tra khuyết tật mối hàn, bề mặt kim loại tấm trong các bồn chứa hóa chất hoặc môi trường bức xạ/độc hại.
  • Vận hành: Kỹ thuật viên đứng ngoài vùng nguy hiểm, thực hiện các cử chỉ tay trước camera để điều khiển đầu dò dịch chuyển từng bước (Step Mode: $1\text{ mm}, 5\text{ mm}, 10\text{ mm}$) hoặc quét liên tục (Continuous Mode).
+-----------------------------------------------------------------------------------+
|                        ÁNH XẠ CỬ CHỈ TAY SANG LỆNH ĐIỀU KHIỂN                     |
+-----------------------------------------------------------------------------------+
| [Cử chỉ 1: Bàn tay sang trái]    ---> Lệnh 'LEFT'  ---> Động cơ trục X quay lùi   |
| [Cử chỉ 2: Bàn tay sang phải]   ---> Lệnh 'RIGHT' ---> Động cơ trục X quay tiến  |
| [Cử chỉ 3: Bàn tay hướng lên]   ---> Lệnh 'UP'    ---> Động cơ trục Y quay tiến  |
| [Cử chỉ 4: Bàn tay hướng xuống] ---> Lệnh 'DOWN'  ---> Động cơ trục Y quay lùi   |
| [Cử chỉ 5: Nắm tay (Fist)]      ---> Lệnh 'STOP'  ---> Dừng khẩn cấp mọi chuyển động |
+-----------------------------------------------------------------------------------+

Hướng dẫn triển khai kỹ thuật

Quy trình nạp chương trình và thiết lập hệ thống:

  1. Chuyển đổi mô hình Keras sang dạng TFLite Micro định dạng INT8: 
    converter = tf.lite.TFLiteConverter.from_saved_model('saved_micro_cnn')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
tflite_quant_model = converter.convert()
with open('gesture_model.tflite', 'wb') as f:
    f.write(tflite_quant_model)
  2. Lưu file gesture_model.tflite và nhãn phân loại vào thẻ nhớ SD của OpenMV Cam H7.
  3. Kết nối cổng UART (TX/RX) của OpenMV với cổng COM ảo trên máy tính cài đặt LabVIEW.
  4. Cấu hình phần mềm LabVIEW kết nối Driver MD5-HD14 qua PMC-1HS-USB với các tham số: Tốc độ phát xung khởi động $500\text{ pps}$, tốc độ tối đa $10.000\text{ pps}$, thời gian tăng/giảm tốc $100\text{ ms}$.

Phân tích hiệu quả kinh tế (Cost-Benefit Analysis)

  • Chi phí phần cứng: Toàn bộ cụm xử lý thị giác AI (OpenMV Cam H7) có chi phí dưới 80 USD, thay thế hoàn toàn hệ thống Camera công nghiệp kết hợp máy tính công nghiệp (IPC) trang bị card đồ họa rời có giá từ 1.500 – 3.000 USD (tiết kiệm hơn 95% chi phí đầu tư thiết bị).
  • Điện năng tiêu thụ: Vi điều khiển Cortex-M7 chỉ tiêu thụ công suất khoảng 0.5W – 1W, so với mức tiêu thụ 150W – 300W của hệ thống máy tính truyền thống, giảm thiểu chi phí năng lượng và khả năng vận hành bằng pin độc lập trong thời gian dài.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Mô hình nhận diện dựa trên ảnh tĩnh 2D đơn khung hình, chưa tích hợp mô hình hóa chuỗi thời gian nên dễ bị ảnh hưởng nếu bàn tay chuyển động với vận tốc quá nhanh gây nhòe mờ (motion blur).
  • Khoảng cách nhận diện tối ưu bị giới hạn trong khoảng từ $0.3\text{ m} - 1.2\text{ m}$ do góc nhìn của ống kính OV7725 tiêu chuẩn.
  • Sự thay đổi đột ngột của cường độ ánh sáng quá mức (ngược sáng mạnh hoặc tối hoàn toàn) có thể làm giảm độ chính xác của cảm biến RGB.

Hướng phát triển tiếp theo

  • Tích hợp mạng Spiking Neural Network (SNN) hoặc Temporal Convolutional Network (TCN): Hỗ trợ nhận diện các cử chỉ tay động liên tục theo thời gian thực với mức tiêu thụ năng lượng thấp hơn nữa.
  • Nâng cấp cảm biến Time-of-Flight (ToF) hoặc Radar mmWave: Bổ sung kênh dữ liệu độ sâu và khoảng cách để hệ thống hoạt động ổn định trong bóng tối tuyệt đối và môi trường nhiều bụi công nghiệp.
  • Nâng cấp phần cứng vi điều khiển thế hệ mới: Thử nghiệm trên các dòng chip tích hợp sẵn NPU chuyên dụng như STM32N6 (ARM Cortex-M55 kết hợp Ethos-U55 NPU) để tăng tốc độ xử lý lên trên 60 FPS.

Đối tượng hưởng lợi

  • Sinh viên & Học viên chuyên ngành: Cung cấp tài liệu tham khảo bài bản về quy trình tối ưu hóa mạng nơ-ron tích chập (micro-CNN), kỹ thuật lượng tử hóa INT8 và phương pháp triển khai TinyML trên hệ nhúng.
  • Kỹ sư Hệ thống Nhúng & IoT: Nắm bắt được phương pháp thiết kế kiến trúc AI siêu nhẹ, cách tổ chức bộ nhớ RAM/Flash tối ưu cho vi điều khiển ARM Cortex-M.
  • Kỹ sư Tự động hóa & Doanh nghiệp chế tạo máy: Có được giải pháp tham chiếu tin cậy để tích hợp giao diện điều khiển không tiếp xúc (Touchless HMI) vào các máy móc công nghiệp hiện hữu với chi phí cực thấp.
  • Các nhà nghiên cứu ứng dụng: Nền tảng dữ liệu thực nghiệm và kiến trúc tham chiếu để tiếp tục phát triển các thuật toán Edge AI trong bài toán giám sát y tế, hỗ trợ người khuyết tật và robot cộng tác (Cobot).

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai mô hình micro-CNN là gì?

Hệ thống yêu cầu vi điều khiển lõi ARM Cortex-M4/M7 hoặc ESP32 có dung lượng bộ nhớ tối thiểu 128 KB RAM (SRAM) và 256 KB Flash, hỗ trợ tập lệnh xử lý DSP/FPU đơn độ chính xác và xung nhịp từ 160 MHz trở lên.

2. Mô hình có bị suy giảm độ chính xác khi lượng tử hóa sang INT8 không?

Mức suy giảm độ chính xác (accuracy drop) sau khi thực hiện Post-Training Quantization từ Float32 sang INT8 chỉ dưới 0.4%, trong khi dung lượng bộ nhớ giảm đi 4 lần và tốc độ xử lý trên vi điều khiển tăng hơn 2.5 lần nhờ tận dụng tập lệnh SIMD.

3. Làm thế nào để tích hợp hệ thống với các bộ điều khiển công nghiệp khác (PLC Siemens, Mitsubishi)?

OpenMV Cam H7 hỗ trợ các chân giao tiếp chuẩn UART, SPI và I2C. Có thể lập trình xuất tín hiệu số (Digital I/O) hoặc đóng gói bản tin truyền thông Modbus RTU qua cổng RS485 để kết nối trực tiếp với PLC mà không cần qua máy tính trung gian.

4. Hệ thống cần bảo trì và hiệu chuẩn những gì trong quá trình vận hành?

Cần định kỳ vệ sinh ống kính camera để tránh bám bụi công nghiệp và giữ cố định khoảng cách góc đặt camera. Nếu môi trường ánh sáng thay đổi lớn, có thể kích hoạt tính năng tự động cân bằng trắng (Auto White Balance) trên cảm biến OV7725.

5. Chi phí đầu tư trọn gói và thời gian hoàn vốn (ROI) ước tính bao lâu?

Chi phí linh kiện cho khối nhận diện thị giác khoảng 80 – 100 USD. So với việc thuê nhân công điều khiển thủ công hoặc đầu tư hệ thống máy tính công nghiệp chuyên dụng, thời gian hoàn vốn ước tính từ 3 đến 6 tháng nhờ tiết kiệm chi phí năng lượng và nâng cao năng suất vận hành an toàn.

Kết luận

Đồ án "Nghiên cứu phát triển hệ thống nhận diện cử chỉ sử dụng camera dựa trên công nghệ học máy nhẹ (TinyML) hoạt động trên vi điều khiển" của tác giả Trần Mạch Tuấn Kiệt đã chứng minh tính khả thi và hiệu quả vượt bậc của việc đưa trí tuệ nhân tạo trực tiếp lên các vi điều khiển cấp thấp. Bằng việc sáng tạo kiến trúc mạng micro-CNN chỉ với 42.072 tham số kết hợp kỹ thuật nén lượng tử hóa INT8, đề tài đã giải quyết thành công bài toán đánh đổi giữa độ chính xác và tài nguyên phần cứng.

Hệ thống điều khiển hoàn chỉnh tích hợp giữa OpenMV, LabVIEW và bộ điều khiển động cơ bước công nghiệp PMC-1HS-USB mở ra tiềm năng ứng dụng rộng lớn cho các giao diện người - máy không tiếp xúc trong hệ thống kiểm tra không phá hủy (NDT), nhà máy thông minh và thiết bị hỗ trợ y tế. Đây là minh chứng rõ nét cho xu hướng chuyển dịch mạnh mẽ từ Cloud AI sang Edge AI/TinyML trong kỷ nguyên tự động hóa thông minh.