Bối cảnh và vấn đề nghiên cứu

Trong xu hướng phát triển của công nghệ thông tin và trí tuệ nhân tạo, các phương thức giao tiếp giữa con người và thiết bị điện tử đang có sự dịch chuyển mạnh mẽ. Hiện nay, phần lớn các thiết bị gia dụng và máy tính như tivi, máy tính cá nhân hay hệ thống chiếu sáng vẫn phụ thuộc vào các phương pháp điều khiển truyền thống như điều khiển hồng ngoại, bàn phím, chuột hoặc công tắc vật lý. Các phương thức này bộc lộ hạn chế về tính linh hoạt và trải nghiệm người dùng, đặc biệt đối với những người bị hạn chế khả năng vận động hoặc trong các môi trường yêu cầu tương tác không chạm.

Nhằm giải quyết bài toán trên, đồ án tốt nghiệp "Sử dụng cử chỉ tay để điều khiển thiết bị" (tên gọi chi tiết trong tóm tắt: "Nhận diện cử chỉ tay bằng học sâu ứng dụng trong điều khiển thiết bị điện tử") của tác giả Nguyễn Thế An (ngành Hệ thống thông tin, Học viện Công nghệ Bưu chính Viễn thông) tập trung vào việc nghiên cứu và xây dựng hệ thống nhận diện cử chỉ tay theo thời gian thực từ luồng hình ảnh camera, từ đó tạo tín hiệu điều khiển thiết bị.

Mục tiêu và nhiệm vụ nghiên cứu của đồ án bao gồm:

  1. Nghiên cứu tổng quan về bài toán nhận diện cử chỉ tay, phân tích lịch sử phát triển từ các phương pháp cảm biến phần cứng (găng tay dữ liệu) đến các thuật toán thị giác máy tính và học sâu.
  2. Nghiên cứu cơ sở lý thuyết về mạng nơ-ron tích chập 2 chiều (2D CNN), mạng nơ-ron tích chập 3 chiều (3D CNN) và mô hình mô-đun dịch chuyển thời gian (Temporal Shift Module - TSM).
  3. Thu thập, xử lý và phân chia tập dữ liệu video cử chỉ tay từ bộ dữ liệu chuẩn 20bn-jester để tiến hành huấn luyện các mô hình.
  4. Cài đặt thực nghiệm, huấn luyện và đánh giá so sánh hiệu năng giữa mô hình TSM với mạng tích chập 2 chiều và 3 chiều.
  5. Thiết kế và xây dựng chương trình minh họa ứng dụng mô hình vào việc điều khiển thiết bị điện tử thực tế (công tắc đèn thông minh qua giao thức mạng không dây) và tương tác người - máy.

Đối tượng nghiên cứu của đồ án là cử chỉ tay động của con người được thu nhận qua máy ảnh/webcam thông thường dưới dạng chuỗi khung hình video. Phạm vi thực nghiệm của đồ án được triển khai trên tập dữ liệu gồm 37.964 video thuộc 17 lớp cử chỉ tay được trích xuất từ tập dữ liệu 20bn-jester, hướng tới mục tiêu đáp ứng khả năng tính toán thời gian thực với độ trễ thấp trên các thiết bị phần cứng thông dụng.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đồ án được xây dựng dựa trên nền tảng của thị giác máy tính và học sâu (Deep Learning), kế thừa từ mạng nơ-ron nhân tạo (ANN) và các kiến trúc mạng nơ-ron tích chập (CNN). Tác giả hệ thống hóa các khái niệm toán học và thuật toán nền tảng bao gồm:

  • Cấu trúc nơ-ron nhân tạo và hàm kích hoạt: Cơ chế tính tổng trọng số và hàm truyền, phân tích các hàm kích hoạt phi tuyến như Sigmoid, Tanh và ReLU (Rectified Linear Unit) cùng ảnh hưởng của chúng đối với hiện tượng triệt tiêu gradient (vanishing gradient).
  • Hàm mất mát (Loss function): Khảo sát sai số tuyệt đối trung bình (MAE / hàm mất mát L1), sai số bình phương trung bình (MSE / hàm mất mát L2) và hàm mất mát entropy chéo (Cross-Entropy) xây dựng từ lý thuyết định lượng thông tin của Claude Shannon.
  • Mô hình học máy cổ điển: Thuật toán máy vectơ hỗ trợ (SVM) đa lớp dựa trên lý thuyết học thống kê của Vapnik & Chervonenkis (kích thước VC, siêu phẳng tối ưu lề cực đại, hàm hạt nhân phi tuyến) cùng hai chiến lược phân loại đa lớp: Một với Một (One-vs-One) và Một với Tất cả (One-vs-Rest).
  • Các kiến trúc mạng nơ-ron tích chập: Hệ thống hóa các kiến trúc LeNet-5, AlexNet, ZFNet, GoogLeNet (Inception module), VGGNet (VGG16), ResNet (Residual block, Batch Normalization) và MobileNet. Trong đó, mô hình MobileNet sử dụng kỹ thuật tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution, chia thành Depthwise Convolution và Pointwise Convolution) nhằm tối ưu hóa chi phí tính toán cho thiết bị phần cứng hạn chế.
  • Mô hình Temporal Shift Module (TSM): Mô hình kết hợp khả năng tính toán nhanh của mạng tích chập 2 chiều với cơ chế dịch chuyển một phần các kênh đặc trưng dọc theo trục thời gian (chiều trước và chiều sau), cho phép trích xuất thông tin không - thời gian mà không làm tăng số lượng tham số hay chi phí tính toán như mạng 3D CNN.

Phương pháp nghiên cứu thực nghiệm được tác giả áp dụng bao gồm:

  • Phương pháp thu thập và xử lý dữ liệu: Trích xuất và tiền xử lý 37.964 video cử chỉ tay từ bộ dữ liệu 20bn-jester thành các chuỗi khung hình có nhãn chuẩn hóa.
  • Phương pháp huấn luyện mô hình (End-to-end Learning): Sử dụng các thư viện học sâu hỗ trợ tăng tốc bằng bộ xử lý đồ họa (GPU) để huấn luyện song song mô hình 2D CNN (MobileNet), 3D CNN và TSM.
  • Phương pháp đánh giá và kiểm thử: Đánh giá định lượng dựa trên độ chính xác phân loại cử chỉ và độ trễ xử lý (thời gian tính toán tính bằng mili-giây trên mỗi khung hình).

Nguồn dữ liệu sử dụng chính trong đồ án là bộ dữ liệu video 20bn-jester (TwentyBN-Jester Dataset), một tập dữ liệu chuẩn phục vụ bài toán nhận diện cử chỉ tay người tương tác với camera.

Thiết kế và triển khai

Hệ thống được thiết kế dưới dạng một chu trình xử lý khép kín gồm hai khối chức năng chính: khối nhận diện cử chỉ tay thời gian thực và khối điều khiển thiết bị ngoại vi.

+------------------+      +-------------------------+      +---------------------------+      +---------------------+
|  Camera thu nhận | ---> |  Trích xuất đặc trưng & | ---> |  Khối xử lý logic lệnh &  | ---> |  Thiết bị thực tế   |
|  khung hình tĩnh |      |  nhận diện mô hình TSM  |      |  giao tiếp mạng không dây |      |  (Đèn, Game, Máy tính)
+------------------+      +-------------------------+      +---------------------------+      +---------------------+

Kiến trúc và công nghệ sử dụng

  • Khối thu nhận và xử lý ảnh: Nhận luồng video trực tiếp từ webcam/máy ảnh, chuẩn hóa kích thước các khung hình đầu vào trước khi truyền vào mạng học sâu.
  • Khối mô hình nhận diện: Sử dụng kiến trúc TSM tích hợp trên nền mạng tích chập 2 chiều. Mô hình thực hiện dịch chuyển kênh đặc trưng qua các mốc thời gian lân cận để nắm bắt chuyển động tay và đưa ra xác suất phân loại lớp cử chỉ thông qua hàm Softmax.
  • Khối điều khiển thiết bị và tương tác:
    • Điều khiển thiết bị IoT: Ứng dụng điều khiển công tắc điện thông minh chuẩn WiFi thuộc hệ sinh thái Tuya. Tín hiệu nhận diện cử chỉ tay tương ứng (như vuốt sang trái/phải, đưa tay lên/xuống) được ánh xạ thành lệnh bật/tắt nguồn điện truyền qua mạng không dây.
    • Tương tác người - máy (HCI): Xây dựng giao diện phần mềm minh họa cho phép người dùng sử dụng cử chỉ tay để điều khiển các tác vụ trên máy tính (ví dụ: điều hướng ứng dụng hoặc điều khiển đối tượng trong trò chơi không cần chạm).

Nội dung chính theo từng chương

Chương 1: Tổng quan về bài toán nhận diện cử chỉ tay

Chương này khái quát nguồn gốc, quá trình phát triển và các hướng tiếp cận của bài toán nhận diện cử chỉ tay:

  • Lịch sử phát triển: Điểm lại các mốc thời gian từ việc sử dụng găng tay cảm biến (nguyên mẫu đầu tiên phát triển tại MIT năm 1977) đến các nghiên cứu thị giác máy tính từ thập niên 1980 khi bị giới hạn bởi độ phân giải camera và năng lực phần cứng.
  • Các lĩnh vực ứng dụng: Phân tích 3 nhóm ứng dụng chính: tương tác trong môi trường thực tế ảo (VR) và thực tại tăng cường (AR); nhận dạng ngôn ngữ ký hiệu hỗ trợ giao tiếp cho người khiếm thính; và công cụ hỗ trợ sinh hoạt hàng ngày cho người suy giảm khả năng vận động.
  • Phương pháp nhận diện cổ điển: Trình bày quy trình xử lý dữ liệu cảm biến gồm 4 bước (thu thập, tiền xử lý, phân loại bằng SVM và hậu xử lý). Trình bày cơ sở toán học của thuật toán SVM nhị phân và các biến thể phân loại đa lớp:
    • Phương pháp Một với Một (One-vs-One): Cần xây dựng $\frac{m(m-1)}{2}$ bộ phân loại nhị phân để phân biệt giữa từng cặp trong số $m$ lớp.
    • Phương pháp Một với Còn lại (One-vs-Rest): Cần xây dựng $m$ bộ phân loại nhị phân để phân biệt một lớp xác định với toàn bộ các lớp còn lại.
  • Phương pháp nhận diện hiện đại: Giới thiệu ngắn gọn việc ứng dụng 2D CNN, 3D CNN và mô hình TSM trong nhận diện cử chỉ trên video.

Chương 2: Nhận diện cử chỉ tay sử dụng phương pháp học sâu

Chương 2 trình bày chi tiết cơ sở lý thuyết học sâu và cấu trúc các mạng nơ-ron phục vụ xử lý hình ảnh và video:

  • Tiến trình phát triển của học sâu: Khái quát từ mô hình Perceptron (Frank Rosenblatt, 1957), hạn chế không giải được hàm XOR (Marvin Minsky & Seymour Papert, 1969) dẫn đến Mùa đông AI thứ nhất; sự xuất hiện của mạng perceptron đa tầng (MLP) cùng thuật toán lan truyền ngược Backpropagation (Geoffrey Hinton, 1986); mạng LeNet-5 (Yann LeCun, 1998); Mùa đông AI thứ hai do vấn đề vanishing gradient và thiếu hụt dữ liệu/năng lực tính toán; giai đoạn tiền huấn luyện không giám sát với Deep Belief Nets (2006); và bước ngoặt tại cuộc thi ILSVRC 2012 với mạng AlexNet sử dụng GPU, hàm kích hoạt ReLU và kỹ thuật Dropout.
  • Toán học nơ-ron và hàm tối ưu: Phân tích cơ chế tính toán của nơ-ron nhân tạo với công thức tính tổng $Y = \sum_{i=1}^{N} x_i \cdot w_i$, khảo sát các hàm kích hoạt Sigmoid, Tanh, ReLU; phân tích các hàm mất mát MAE, MSE và Entropy chéo dựa trên lượng tin $I(E) = -\log_b P(x)$.
  • Mạng nơ-ron tích chập (CNN): Phân tích nguyên lý làm việc của 3 tầng chính:
    • Lớp tích chập (Convolutional layer): Thực hiện phép tích vô hướng giữa ma trận lọc (filter/kernel) và vùng ảnh tiếp nhận (receptive field) với các tham số độ sâu (depth), bước nhảy (stride), và đệm số không (zero-padding).
    • Lớp gộp (Pooling layer): Khảo sát cơ chế của Max Pooling và Average Pooling nhằm giảm kích thước không gian và giảm chi phí tính toán.
    • Lớp kết nối toàn bộ (Fully-Connected layer) & Softmax: Duỗi phẳng ma trận đặc trưng và tính toán phân phối xác suất đầu ra cho các lớp.
  • Các kiến trúc mạng tích chập tiêu biểu: Mô tả kiến trúc và đặc trưng của LeNet-5, AlexNet, ZFNet, GoogLeNet (Inception-v4), VGGNet (VGG16) và ResNet.
  • Mô hình MobileNet: Phân tích chi tiết giải pháp giảm khối lượng tính toán thông qua phép tích chập Depthwise Separable Convolution (tách biệt phép tích chập theo chiều sâu và tích chập điểm $1 \times 1$).
  • Mạng tích chập 3 chiều (3D CNN): Thiết lập công thức toán học cho phép tích chập 3D trên cả miền không gian và miền thời gian: $$v_{ij}^{xyz} = \tanh\left(b_{ij} + \sum_m \sum_{p=0}^{P_i-1} \sum_{q=0}^{Q_i-1} \sum_{r=0}^{R_i-1} w_{ijm}^{pqr} v_{(i-1)m}^{(x+p)(y+q)(z+r)}\right)$$
  • Mô hình Temporal Shift Module (TSM): Trình bày nguyên lý dịch chuyển dữ liệu kênh dọc theo trục thời gian (dịch chuyển một hướng phục vụ suy luận trực tuyến real-time và dịch chuyển hai hướng cho xử lý ngoại tuyến), giúp đạt hiệu năng tương đương 3D CNN nhưng duy trì chi phí tính toán của 2D CNN.

Chương 3: Thực nghiệm và đánh giá

Chương 3 trình bày toàn bộ quá trình thực nghiệm, huấn luyện mô hình và kiểm thử ứng dụng:

  • Thống kê tập dữ liệu: Phân tích tập dữ liệu 20bn-jester và cấu trúc tập dữ liệu thực nghiệm gồm 37.964 video phân bố trên 17 lớp cử chỉ.
  • Thiết lập tham số huấn luyện: Trình bày cấu hình siêu tham số (hyperparameters), quá trình huấn luyện các mô hình 2D CNN, 3D CNN và TSM trên tập huấn luyện (training set) và tập kiểm tra (testing set).
  • Kết quả đánh giá so sánh: Phân tích các biểu đồ hội tụ trong quá trình huấn luyện, so sánh độ chính xác và tốc độ xử lý giữa các mô hình.
  • Xây dựng chương trình minh họa:
    • Điều khiển thiết bị IoT: Kết nối mô hình nhận diện với hệ thống công tắc điện thông minh WiFi Tuya để điều khiển bật/tắt thiết bị gia dụng bằng cử chỉ tay.
    • Tương tác người - máy: Thử nghiệm ứng dụng điều khiển máy tính trực tiếp bằng luồng video thời gian thực từ webcam.

Chương 4: Tổng kết

Tổng hợp toàn bộ các kết quả đạt được của đồ án, chỉ ra các điểm còn tồn tại và đề xuất định hướng phát triển trong tương lai.

Kết quả và đóng góp

Đồ án đã triển khai và ghi nhận các kết quả thực nghiệm sau:

  • Xây dựng thành công quy trình huấn luyện mô hình nhận diện cử chỉ tay dựa trên kiến trúc Temporal Shift Module (TSM) trên bộ dữ liệu 37.964 video thuộc 17 lớp cử chỉ.
  • Đạt tốc độ xử lý nhanh với độ trễ ghi nhận là 0.7ms, đáp ứng yêu cầu xử lý thời gian thực trên luồng video camera.
  • Triển khai thành công hệ thống thử nghiệm điều khiển thiết bị phần cứng thực tế gồm công tắc điện thông minh Tuya qua WiFi và chương trình tương tác người - máy.
Tiêu chí so sánh Mạng 2D CNN (MobileNet) Mạng 3D CNN Mô hình TSM
Dữ liệu đầu vào Khung hình ảnh tĩnh Chuỗi khối khung hình không - thời gian Chuỗi khung hình tuần tự
Trích xuất thông tin thời gian Không hỗ trợ Trực tiếp qua hạt nhân tích chập 3D Dịch chuyển kênh đặc trưng dọc trục thời gian
Chi phí tính toán / Tham số Thấp, tối ưu cho thiết bị di động Rất cao, tăng mạnh theo chiều thời gian Tương đương mạng 2D CNN cơ sở
Khả năng chạy thời gian thực Tốt nhưng độ chính xác thấp trên video Kém do độ trễ tính toán lớn Tối ưu (đáp ứng tốt thời gian thực, độ trễ 0.7ms)

Đóng góp của đồ án thể hiện ở việc hệ thống hóa toàn diện cơ sở toán học và kiến trúc học sâu từ 2D CNN, 3D CNN đến TSM; chứng minh tính khả thi của việc ứng dụng mô-đun dịch chuyển thời gian để giải quyết bài toán nhận diện hành động/cử chỉ trên video; và hoàn thiện giải pháp kỹ thuật tích hợp mô hình thị giác máy tính với phần cứng IoT dân dụng.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung đồ án, các hạn chế và hướng mở rộng được xác định như sau:

  • Hạn chế:
    • Tập dữ liệu thực nghiệm được giới hạn trên 17 lớp cử chỉ chọn lọc từ bộ dữ liệu 20bn-jester, chưa bao quát toàn bộ các biến thể cử chỉ phức tạp trong môi trường tự nhiên.
    • Mô hình nhận diện qua camera thị giác máy tính vẫn chịu ảnh hưởng bởi các yếu tố ngoại cảnh như sự thay đổi góc quay, khoảng cách, điều kiện ánh sáng và phông nền phức tạp.
  • Hướng nghiên cứu tiếp:
    • Mở rộng số lượng và độ phức tạp của các lớp cử chỉ tay được nhận diện.
    • Tối ưu hóa mô hình học sâu để triển khai trực tiếp trên các vi điều khiển và thiết bị nhúng biên (Edge AI) có cấu hình phần cứng hạn chế mà không cần phụ thuộc vào máy tính xử lý trung gian.
    • Nghiên cứu nâng cao độ chính xác nhận diện trong môi trường có nhiễu hình ảnh và ánh sáng biến đổi.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên, học viên và các kỹ sư thuộc các ngành:

  • Công nghệ thông tin, Khoa học máy tính và Hệ thống thông tin: Cung cấp tài liệu tổng quan mạch lạc về lịch sử phát triển của mạng nơ-ron nhân tạo, cơ sở toán học của các lớp tích chập, hàm kích hoạt, hàm mất mát và sự tiến hóa của các kiến trúc CNN kinh điển (LeNet, AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, MobileNet).
  • Kỹ thuật điều khiển, Tự động hóa và IoT: Cung cấp giải pháp mẫu về việc tích hợp mô hình thị giác máy tính vào luồng điều khiển phần cứng thông qua mạng không dây (nền tảng thiết bị Tuya WiFi).
  • Nhà nghiên cứu về Xử lý video và Thị giác máy tính: Cung cấp phân tích so sánh chi tiết giữa phép tích chập không gian 2D, phép tích chập không - thời gian 3D và cơ chế dịch chuyển kênh đặc trưng của mô hình TSM.

Câu hỏi thường gặp

1. Đồ án sử dụng bộ dữ liệu nào để thực nghiệm và quy mô huấn luyện là bao nhiêu?
Đồ án sử dụng dữ liệu được trích xuất từ bộ dữ liệu video chuẩn 20bn-jester. Tập dữ liệu thực nghiệm phục vụ huấn luyện và đánh giá mô hình bao gồm 37.964 video thuộc 17 lớp cử chỉ tay khác nhau.

2. Điểm khác biệt cốt lõi giữa mô hình TSM so với mạng 2D CNN và 3D CNN trong xử lý video là gì?
Mạng 2D CNN chỉ xử lý các ảnh tĩnh riêng lẻ nên không tận dụng được thông tin liên kết giữa các khung hình theo trục thời gian. Mạng 3D CNN trích xuất được thông tin không - thời gian nhưng làm tăng đột biến số lượng tham số và chi phí tính toán. Mô hình TSM giải quyết vấn đề này bằng cách dịch chuyển một phần các kênh đặc trưng dọc theo chiều thời gian trên nền kiến trúc 2D CNN, đạt được khả năng học thông tin thời gian tương đương 3D CNN nhưng vẫn giữ nguyên độ phức tạp tính toán của 2D CNN.

3. Kỹ thuật nào giúp kiến trúc MobileNet giảm được số lượng tham số và khối lượng tính toán?
MobileNet sử dụng kỹ thuật tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution). Phép toán này chia quá trình tích chập chuẩn thành hai bước riêng biệt: Depthwise Convolution (áp dụng một bộ lọc duy nhất cho mỗi kênh đầu vào) và Pointwise Convolution (sử dụng bộ lọc kích thước $1 \times 1$ để kết hợp các kênh), giúp giảm đáng kể chi phí tính toán so với phép tích chập thông thường.

4. Mô hình nhận diện trong đồ án đã được ứng dụng để điều khiển thiết bị thực tế nào?
Mô hình đã được tích hợp thử nghiệm để điều khiển công tắc đèn thông minh kết nối qua mạng WiFi thuộc hệ sinh thái Tuya, chuyển đổi các cử chỉ tay nhận diện được từ luồng video thời gian thực thành lệnh bật/tắt nguồn điện của thiết bị, cùng một chương trình tương tác người - máy trên máy tính.

5. Vì sao thuật toán SVM cổ điển cần áp dụng phương pháp Một với Một hoặc Một với Tất cả trong bài toán nhận diện cử chỉ tay?
Thuật toán SVM nguyên bản được thiết kế cho bài toán phân loại nhị phân (2 lớp). Do cử chỉ tay thực tế có nhiều lớp khác nhau (đa lớp), thuật toán bắt buộc phải chia bài toán đa lớp thành nhiều bài toán nhị phân thông qua chiến lược Một với Một (xây dựng $\frac{m(m-1)}{2}$ siêu phẳng phân cách giữa từng cặp) hoặc Một với Tất cả (xây dựng $m$ siêu phẳng phân cách từng lớp với toàn bộ các lớp còn lại).

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Thế An đã giải quyết hoàn chỉnh bài toán nhận diện cử chỉ tay ứng dụng trong điều khiển thiết bị điện tử bằng cách tiếp cận học sâu hiện đại. Thông qua việc nghiên cứu và triển khai mô hình Temporal Shift Module (TSM) trên bộ dữ liệu 37.964 video thuộc 17 lớp cử chỉ của 20bn-jester, nghiên cứu đã đạt được độ trễ xử lý 0.7ms, đáp ứng yêu cầu vận hành theo thời gian thực. Hệ thống minh họa điều khiển công tắc thông minh Tuya qua WiFi và giao diện tương tác người - máy đã chứng minh tính khả thi và tiềm năng ứng dụng thực tiễn của giải pháp trong việc nâng cao trải nghiệm điều khiển không chạm.