Bối cảnh và vấn đề nghiên cứu

Theo số liệu từ Tổ chức Y tế Thế giới (WHO), toàn cầu hiện có khoảng 34 triệu trẻ em bị điếc và khiếm thính. Tại Việt Nam, thống kê ghi nhận khoảng 15.500 trẻ em dưới 5 đến 6 tuổi mang khiếm khuyết về thính giác. Do mất đi khả năng tiếp nhận thế giới âm thanh từ nhỏ, trẻ em khiếm thính gặp rào cản lớn trong việc phát triển ngôn ngữ nói, dẫn đến việc khó tiếp cận giáo dục mầm non, dễ rơi vào trạng thái tự ti và gặp trở ngại tâm lý khi hòa nhập cộng đồng.

Ngôn ngữ ký hiệu (thủ ngữ) là phương tiện giao tiếp trực quan chủ yếu của cộng đồng người câm điếc. Tuy nhiên, việc giảng dạy ngôn ngữ ký hiệu đòi hỏi giáo viên phải kèm cặp trực tiếp trong thời gian dài, trong khi đội ngũ giáo viên chuyên biệt tại Việt Nam còn rất hạn chế và phân bố không đều, chủ yếu tập trung tại các đô thị lớn. Các nghiên cứu công nghệ trước đây thường tập trung vào bài toán phiên dịch ngôn ngữ ký hiệu sang văn bản hoặc giọng nói bằng thiết bị đeo (như găng tay gắn cảm biến gây vướng víu dây dẫn) hoặc ứng dụng thị giác máy tính đơn thuần. Các ứng dụng tự học trên thiết bị thông minh sử dụng video/ảnh 2D thiếu sự tương tác xúc giác và không gian ba chiều, đồng thời việc cho trẻ nhỏ tiếp xúc quá sớm với màn hình điện thoại/máy tính bảng tiềm ẩn nhiều rủi ro theo khuyến cáo của WHO. Từ bối cảnh thực tiễn đó, đề tài "Thiết kế và chế tạo cánh tay robot tương tác qua màn hình để hỗ trợ trong giảng dạy học ngôn ngữ kí hiệu cho trẻ em câm điếc" được thực hiện tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh nhằm xây dựng một hệ thống hoàn chỉnh có khả năng trực quan hóa cử chỉ thủ ngữ và đánh giá tự động quá trình luyện tập của người học.

Nhiệm vụ và mục tiêu nghiên cứu của đồ án được xác định gồm ba nội dung chính:

  1. Thiết kế và thi công hoàn chỉnh mô hình phần cứng cánh tay robot in 3D, có khả năng thực hiện linh hoạt các cử chỉ ngón tay, cổ tay và khớp tay tương ứng với bảng chữ cái, chữ số và dấu thanh của ngôn ngữ ký hiệu Việt Nam.
  2. Xây dựng hệ thống thuật toán thị giác máy tính ứng dụng học sâu (Deep Learning) để nhận diện thời gian thực cả cử chỉ tĩnh và cử chỉ động, làm cơ sở tự động chấm điểm và đánh giá kết quả luyện tập của người học mà không cần giáo viên giám sát.
  3. Thiết kế giao diện tương tác người - máy trực quan trên màn hình cảm ứng, tích hợp các chế độ học tập, kiểm tra và phiên dịch giọng nói sang cử chỉ thủ ngữ.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Bảng chữ cái alphabet (từ a đến y), hệ chữ số (0 đến 9) và các dấu thanh (sắc, huyền, hỏi, ngã, nặng) thuộc hệ thống Ngôn ngữ ký hiệu Việt Nam; các thuật toán xử lý ảnh, học sâu phát hiện vật thể và nhận dạng hành động áp dụng trên bàn tay phải con người.
  • Phạm vi nghiên cứu: Mô hình phần cứng cơ khí có kích thước giới hạn 25 x 18 x 72 (cm); cánh tay robot đáp ứng khả năng thực hiện trên một nửa tổng số ký tự thủ ngữ tiếng Việt; các mô hình nhận diện học sâu chạy tuần tự (không đan xen đồng thời), trong đó thực nghiệm nhận diện tập trung vào 5 ký tự tĩnh đại diện và 11 ký tự động đại diện.

Cơ sở lý thuyết và phương pháp

Đồ án tiếp cận bài toán dựa trên nền tảng lý thuyết ngôn ngữ học ký hiệu kết hợp với các kỹ thuật thị giác máy tính và điều khiển tự động:

  1. Đặc trưng ngôn ngữ ký hiệu Việt Nam: Hệ thống thủ ngữ được chia thành hai nhóm chính: nhóm giao tiếp (dùng nhiều cử chỉ phối hợp cơ thể và biểu cảm khuôn mặt) và nhóm đánh vần (sử dụng một bàn tay để biểu đạt chữ cái, chữ số và dấu thanh). Nhóm đánh vần bao gồm hai dạng vận động:

    • Cử chỉ tĩnh: Trạng thái ngón tay và bàn tay cố định ở một tư thế (như chữ cái "A", "S", hoặc các số "2", "5").
    • Cử chỉ liên tục (cử chỉ động): Đòi hỏi một chuỗi biến đổi không gian - thời gian của bàn tay để tạo thành nét ký hiệu (như các dấu thanh sắc, huyền, hỏi, ngã, nặng hoặc các chữ cái "Ă", "Ê", "Ư").

  2. Mô hình học sâu phát hiện vật thể (Object Detection) cho cử chỉ tĩnh:

    • Tác giả sử dụng kiến trúc mạng YOLOv5 (thuộc nhóm mô hình One-stage Detector) nhằm tối ưu hóa tốc độ xử lý thời gian thực.
    • Mạng xương sống (Backbone): Ứng dụng kiến trúc CSPDarknet (kết hợp giữa CSPNet và Darknet53) cùng hàm kích hoạt Mish, giúp chia đôi bản đồ đặc trưng (feature map) để giảm 50% khối lượng tính toán mà vẫn bảo toàn thông tin gradient truyền qua các lớp.
    • Khối cổ (Neck): Sử dụng PANet (Path Aggregation Network) tạo cấu trúc kim tự tháp đặc trưng đa tầng.
    • Khối đầu (Head): Tạo dự đoán từ các hộp neo (anchor boxes) để xác định vị trí bounding box và nhãn phân loại.

  3. Mô hình nhận dạng hành động (Action Recognition) cho cử chỉ động:

    • Khung trích xuất đặc trưng MediaPipe Hands: Tích hợp mô hình phát hiện lòng bàn tay (Palm Detection với độ chính xác công bố 95,7%) và mô hình xác định 21 điểm mốc khớp xương bàn tay trong không gian ba chiều (Hand Landmark Model trích xuất tọa độ $x, y, z$).
    • Mạng nơ-ron hồi quy GRU (Gated Recurrent Units): Biến thể tối ưu của RNN/LSTM ra đời năm 2014, sử dụng 2 cổng điều khiển gồm Cổng cập nhật (Update Gate - $z_t$) và Cổng đặt lại (Reset Gate - $r_t$). Cấu trúc này giảm thiểu số lượng tham số, giải quyết hiện tượng triệt tiêu đạo hàm (vanishing gradient) và tăng tốc độ huấn luyện trên dữ liệu chuỗi tọa độ khớp tay theo thời gian.

  4. Phương pháp đánh giá thực nghiệm:

    • Đánh giá mô hình nhận diện bằng các chỉ số thống kê: Độ chính xác (Accuracy), Độ chuẩn xác (Precision), Độ nhạy (Recall), Điểm F1 (F1-Score), Đường cong đặc tính hoạt động máy thu (ROC), Diện tích dưới đường cong (AUC) và Ma trận nhầm lẫn (Confusion Matrix).
    • Đánh giá định vị hộp giới hạn thông qua chỉ số phần giao trên phần hợp (IoU - Intersection over Union) và độ chính xác trung bình (mAP@0.5, mAP@[0.5:0.95]).

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế tích hợp liên ngành giữa cơ khí chính xác, mạch điện tử nhúng và phần mềm trí tuệ nhân tạo:

[ Khối Cảm biến & Thu nhận ] ---> [ Khối Xử lý Trung tâm (Laptop/GPU) ] ---> [ Màn hình Cảm ứng Waveshare 7" ]
  - Webcam Logitech C310             - YOLOv5 (Cử chỉ tĩnh)                     (Giao diện PyQt5)
  - Microphone chống ồn              - MediaPipe + GRU (Cử chỉ động)
                                     - Mã hóa lệnh điều khiển (UART)
                                                    |
                                                    v
                                      [ Khối Vi điều khiển (Arduino Nano) ]
                                                    |
                                    +---------------+---------------+
                                    |                               |
                                    v                               v
                         [ Driver PCA9685 (I2C) ]         [ Driver A4988 ]
                                    |                               |
                                    v                               v
                         [ 12 Động cơ Servo DC ]        [ 1 Động cơ bước Nema 17 ]
                         (10 MG995 + 2 Emax mini)       (Tỉ số truyền 3969/289)

1. Thiết kế cơ khí và động học bàn tay robot

  • Cấu tạo ngón tay: Mô phỏng cơ sinh học bàn tay người bằng hệ thống dây cơ không giãn luồn qua các khớp in 3D. Mỗi ngón tay (trừ ngón cái) sử dụng 4 sợi dây cơ chia làm 2 cặp: cặp $A_1 - A_2$ điều khiển đốt số 1 và cặp $B_1 - B_2$ điều khiển đốt số 2, số 3. Hai đầu dây cơ nối vào đĩa puli hai tầng gắn trên trục động cơ Servo MG995, cho phép thu một dây và nhả một dây đồng thời khi xoay để tạo chuyển động co - duỗi linh hoạt.
  • Tính toán lực và động học ngón tay:
    • Mô-men xoắn cực đại của Servo MG995 là $10\text{ kg}\cdot\text{cm}$ ($1\text{ N}\cdot\text{m}$).
    • Lực căng dây do servo tạo ra đạt $F_2 = 10\text{ N}$. Lực kéo hữu ích tại đầu ngón tay tính toán đạt $F_1 \approx 0,7\text{ N}$ (tương đương khả năng nâng tải $70\text{ g}$), đảm bảo đủ lực định hình tư thế ngón.
    • Chiều dài dịch chuyển dây cơ đo đạc thực tế để co/duỗi hoàn toàn là $L = 23\text{ mm}$, tương ứng góc quay servo $\alpha = 120^\circ$. Với vận tốc góc servo $\varepsilon = 0,16\text{ s}/60^\circ$, thời gian thực hiện thao tác co - duỗi ngón tay đạt $t = 0,32\text{ s}$.
  • Cơ chế ngón cái và ngón trỏ: Ngón cái ít hơn một đốt nên dùng dây cơ kết hợp 1 Servo Emax mini gắn trực tiếp trên bàn tay. Ngón trỏ được tích hợp cơ cấu bánh răng dẫn động bởi 1 Servo Emax mini thứ hai, cho phép ngón trỏ chuyển động tịnh tiến theo phương ngang để phân biệt rõ ràng giữa hai ký tự "U" và "V".
  • Khớp cổ tay và thân: Cổ tay sử dụng 1 Servo MG995 kéo cơ cấu bánh răng để gập lên - xuống quanh trục $OY_a$. Khớp thân xoay quanh trục $OZ_b$ được dẫn động bởi 1 động cơ bước Nema 17 thông qua hộp giảm tốc tỉ số $3969/289$, mô-men xoắn $60\text{ kgf}\cdot\text{cm}$, triệt tiêu rung lắc khi toàn bộ khối lượng cánh tay chuyển động.

2. Thiết kế mạch điều khiển và tính toán phân bổ công suất

  • Khối xử lý trung tâm: Laptop trang bị CPU Intel Core i7 2.6GHz, RAM 8GB và GPU NVIDIA GeForce GTX 1650 (4GB VRAM) đảm nhiệm chạy các mạng học sâu và xử lý giao diện người dùng.
  • Khối vi điều khiển: Arduino Nano (chip ATmega328, 8-bit, 5V) nhận dữ liệu chuỗi góc quay qua giao tiếp UART từ máy tính, xuất tín hiệu điều khiển I2C tới module PWM và xuất xung điều khiển động cơ bước.
  • Khối chấp hành:
    • Module Adafruit PCA9685 16 kênh PWM 12-bit (4096 mức phân giải, tần số $60\text{ Hz}$, chu kỳ $T = 16,6\text{ ms}$) điều khiển đồng bộ 12 động cơ Servo.
    • Module Driver A4988 điều khiển động cơ bước qua các chân STEP, DIR, EN.
  • Cảm biến và hiển thị: Màn hình cảm ứng điện dung Waveshare LCD (C) 7 inch IPS ($1024 \times 600$), Webcam Logitech C310 chuẩn HD 720p tích hợp microphone chống ồn.
STT Tên linh kiện Số lượng Điện áp hoạt động (V) Dòng điện định mức (mA)
1 Arduino Nano 1 5 40
2 Module Adafruit PCA9685 1 5 25
3 Driver A4988 1 5 4
4 Động cơ Servo DC MG995 10 5 1000
5 Động cơ Servo Emax mini 2 5 200
6 Động cơ bước Nema 17 1 12 1500

Tính toán công suất nguồn:

  • Nhóm linh kiện $5\text{V}$: Dòng cực đại $I_{5\text{V}} = 0,04 + 0,025 + 0,004 + (10 \times 1) + (2 \times 0,2) = 10,469\text{ A} \approx 10,5\text{ A}$. Công suất $P_{5\text{V}} = 5\text{V} \times 10,5\text{ A} = 52\text{ W}$. Chọn nguồn tổ ong $5\text{V} - 20\text{ A}$ (công suất $100\text{ W} > 52\text{ W}$).
  • Nhóm linh kiện $12\text{V}$: Công suất động cơ bước $P_{12\text{V}} = 12\text{V} \times 1,5\text{ A} = 18\text{ W}$. Chọn Adapter $12\text{V} - 5\text{ A}$ (công suất $60\text{ W} > 18\text{ W}$).
  • Tổng công suất tiêu thụ tối đa của hệ thống: $P_{\text{max}} = 52\text{ W} + 18\text{ W} = 70\text{ W}$.

3. Thu thập dữ liệu và huấn luyện mô hình trí tuệ nhân tạo

  • Nhận diện cử chỉ tĩnh: Thu thập bộ ảnh bàn tay biểu diễn 5 cử chỉ tĩnh với nhiều góc chụp và điều kiện ánh sáng khác nhau; gán nhãn bounding box bằng công cụ LabelImg; áp dụng các kỹ thuật tăng cường dữ liệu (Data Augmentation); huấn luyện mô hình YOLOv5.
  • Nhận diện cử chỉ động: Sử dụng MediaPipe Hands bắt 21 điểm mốc $3\text{D}$ ($x, y, z$) qua chuỗi khung hình thời gian thực; trích xuất thành các mảng NumPy vector đặc trưng; đưa dữ liệu tuần tự vào mô hình GRU (áp dụng kỹ thuật Dropout chống quá khớp) để phân loại 11 cử chỉ động.
  • Giao diện tương tác người dùng: Thiết kế trên nền tảng PyQt5 và Qt Designer, hiển thị trực tiếp 3 chế độ tương tác:
    1. Học chữ: Robot thực hiện cử chỉ mẫu, màn hình hiển thị hình ảnh và phát âm thanh hướng dẫn tương ứng.
    2. Kiểm tra: Camera thu hình người học, thuật toán AI nhận diện và đối sánh thời gian thực để phản hồi đúng/sai trực tiếp lên giao diện.
    3. Phiên dịch: Microphone thu âm giọng nói người đối thoại, chuyển thành chuỗi văn bản và gửi lệnh điều khiển cánh tay robot thực hiện các cử chỉ thủ ngữ tương ứng.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 thiết lập cơ sở khoa học và thực tiễn của đề tài. Tác giả nêu bật thực trạng 15.500 trẻ em khiếm thính tại Việt Nam thiếu cơ hội học tập mầm non do rào cản ngôn ngữ và sự thiếu hụt giáo viên chuyên biệt. Từ việc đánh giá các công trình trong và ngoài nước (cánh tay giả EMG, ứng dụng di động, găng tay cảm biến), chương này xác lập rõ mục tiêu thiết kế cánh tay robot dạy thủ ngữ, phạm vi giới hạn kích thước cơ khí ($25 \times 18 \times 72\text{ cm}$), đối tượng ngôn ngữ ký hiệu Việt Nam và 11 nội dung công việc cụ thể từ nghiên cứu lý thuyết đến chế tạo thực nghiệm.

Chương 2. Cơ sở lý thuyết

Trình bày hệ thống cơ sở lý thuyết nền tảng phục vụ nghiên cứu:

  • Khảo sát các công trình liên quan trực tiếp: Cánh tay robot Aslan của Đại học Antwerp (sử dụng 16 servo in 3D để đánh vần ngón tay), nghiên cứu nhận diện 36 ký tự ASL bằng YOLOv5 của Tasnim Ferdous Dima, và mô hình MediaPipe kết hợp LSTM của Souradeep Ghosh.
  • Phân tích cấu trúc Ngôn ngữ ký hiệu Việt Nam (phân định rõ nhóm cử chỉ tĩnh và cử chỉ liên tục/dấu thanh).
  • Trình bày toán học và cấu trúc mạng CNN, mạng xương sống CSPDarknet53, cơ chế hoạt động của thuật toán YOLOv5, các mạng hồi quy RNN, LSTM và tế bào GRU.
  • Nguyên lý trích xuất 21 mốc bàn tay $3\text{D}$ của thư viện Google MediaPipe Hands và các chỉ số đo lường hiệu năng ($IoU, mAP, Precision, Recall, F1$).
  • Giới thiệu thông số kỹ thuật chi tiết của các phần cứng: Arduino Nano, Servo MG995, Servo Emax mini, Động cơ bước Nema 17 kèm hộp số giảm tốc $3969/289$, driver A4988, module PCA9685, màn hình Waveshare 7 inch và Webcam Logitech C310.

Chương 3. THIẾT KẾ HỆ THỐNG

Trình bày chi tiết các bản vẽ, sơ đồ tính toán và giải thuật của toàn bộ hệ thống:

  • Thiết kế cơ khí SolidWorks: Cấu trúc 3 cụm (bàn tay, cánh tay, hộp đế); tính toán chi tiết lực kéo ngón tay ($F_1 = 0,7\text{ N}$), tốc độ co duỗi ($0,32\text{ s}$), bố trí 9 servo MG995 ở thân cánh tay và 2 servo Emax mini trên lòng bàn tay.
  • Thiết kế mạch và nguồn điện: Sơ đồ khối 5 khối chức năng; sơ đồ nguyên lý kết nối Arduino Nano với module PCA9685 qua giao tiếp I2C và A4988; bảng tổng hợp dòng điện và tính toán chọn nguồn ($5\text{V}-20\text{ A}$ và $12\text{V}-5\text{ A}$, tổng công suất $70\text{ W}$).
  • Thiết kế thuật toán: Lưu đồ giải thuật chương trình chính trên Arduino, các chương trình con so sánh dữ liệu và điều chế PWM; kiến trúc mạng YOLOv5 cho cử chỉ tĩnh và mạng GRU cho cử chỉ động; lưu đồ thuật toán 3 chế độ vận hành trên giao diện tương tác người dùng.

Chương 4. THI CÔNG VÀ THỰC NGHIỆM

Mô tả quy trình hiện thực hóa thiết bị và đào tạo các mô hình trí tuệ nhân tạo:

  • Thi công cơ khí: Quy trình in 3D các chi tiết, lắp ráp hệ thống dây cơ vào puli trục servo, cố định động cơ bước vào giá đỡ chống rung.
  • Thi công phần cứng điện tử: Thiết kế và gia công board mạch in PCB điều khiển, lắp ráp hoàn chỉnh các khối linh kiện vào hộp bảo vệ.
  • Thực nghiệm nhận diện cử chỉ tĩnh: Quy trình thu thập dữ liệu ảnh 5 cử chỉ tĩnh, gán nhãn bằng LabelImg, tăng cường dữ liệu và tiến hành huấn luyện mạng YOLOv5.
  • Thực nghiệm nhận diện cử chỉ động: Quy trình thu thập video chuỗi cử chỉ, trích xuất 21 điểm mốc $3\text{D}$ qua MediaPipe Hands thành mảng dữ liệu NumPy, áp dụng kỹ thuật chia tập dữ liệu và huấn luyện mô hình GRU trên nền tảng Keras/TensorFlow.
  • Xây dựng hoàn thiện giao diện đồ họa người dùng bằng Qt Designer và lập trình sự kiện bằng Python PyQt5.

Chương 5. KẾT QUẢ - NHẬN XÉT - ĐÁNH GIÁ

Trình bày số liệu thực nghiệm đo đạc và kiểm thử hệ thống:

  • Vận hành phần cứng cơ khí: Cánh tay robot thực hiện chính xác các cử chỉ chữ cái tĩnh, chữ số và cử chỉ liên tục theo bảng góc servo quy ước.
  • Hiệu năng nhận diện cử chỉ tĩnh: Đồ thị huấn luyện YOLOv5 cho thấy các chỉ số mất mát giảm ổn định; mô hình đạt độ chính xác trung bình $mAP@0.5$ là 99,73% trong môi trường thực nghiệm thời gian thực.
  • Hiệu năng nhận diện cử chỉ động: Đồ thị huấn luyện mạng GRU hội tụ tốt, ma trận nhầm lẫn xác nhận độ chính xác tổng thể đạt 97%.
  • Đánh giá các chức năng giao diện: Kiểm thử thành công chế độ "Học chữ", chế độ "Kiểm tra" và chế độ "Phiên dịch" giọng nói ở các khoảng cách thu âm khác nhau.
  • Thống kê dự toán chi phí thi công chế tạo mô hình và biên soạn tài liệu hướng dẫn vận hành.

Chương 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Tổng kết toàn bộ kết quả đạt được về phần cứng, thuật toán nhận diện và giao diện tương tác; đồng thời chỉ ra các hạn chế kỹ thuật hiện tại và đề xuất các hướng phát triển mở rộng trong tương lai.

Kết quả và đóng góp

1. Kết quả kỹ thuật đạt được

  • Chế tạo hoàn chỉnh mô hình cơ điện tử: Xây dựng thành công mô hình cánh tay robot kích thước $25 \times 18 \times 72\text{ cm}$ với 13 bậc tự do (gồm 12 động cơ servo và 1 động cơ bước có hộp số giảm tốc). Hệ thống cơ khí mô phỏng chính xác các cử chỉ bàn tay phải, thời gian đáp ứng co duỗi ngón tay đạt $0,32\text{ s}$, lực kéo đầu ngón tay $0,7\text{ N}$.
  • Hiệu năng nhận diện thị giác máy tính:
Mô hình Thuật toán cốt lõi Dạng dữ liệu đầu vào Độ chính xác thực nghiệm Khả năng đáp ứng
Nhận diện cử chỉ tĩnh YOLOv5 (CSPDarknet + PANet) Ảnh bàn tay RGB mAP@0.5 = 99,73% Thời gian thực (Real-time)
Nhận diện cử chỉ động MediaPipe Hands + GRU Chuỗi 21 điểm mốc 3D ($x,y,z$) Accuracy = 97,00% Thời gian thực (Real-time)
  • Hoàn thiện hệ sinh thái tương tác: Giao diện PyQt5 trên màn hình cảm ứng 7 inch tích hợp trọn vẹn 3 phân hệ: hướng dẫn trực quan (học chữ), tự động đánh giá người học qua camera (kiểm tra), và chuyển đổi giọng nói qua microphone chống ồn thành thao tác thủ ngữ của robot (phiên dịch).

2. Đóng góp khoa học và giải pháp đề xuất

  • Đề xuất giải pháp giảng dạy ngôn ngữ ký hiệu mang tính chủ động, kết hợp giữa mô hình vật lý 3 chiều (cánh tay robot) với phản hồi thông minh của AI, khắc phục nhược điểm thiếu trực quan và thụ động của các phần mềm 2D truyền thống.
  • Thiết kế cơ chế ngón trỏ chuyển động ngang bằng bánh răng và servo mini, giải quyết bài toán phân biệt hai ký tự thủ ngữ phức tạp có cấu trúc ngón tương đồng trong tiếng Việt là "U" và "V".
  • Đề xuất cấu trúc mạng lai kết hợp giữa bộ trích xuất điểm mốc không gian MediaPipe Hands và mạng học chuỗi thời gian GRU, giúp giảm tải khối lượng tính toán so với các mô hình 3D-CNN truyền thống, cho phép xử lý nhận diện cử chỉ động mượt mà trên phần cứng máy tính thông dụng.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích và đánh giá từ tài liệu khóa luận, các hạn chế kỹ thuật và hướng mở rộng được xác định như sau:

Hạn chế hiện tại:

  • Số lượng ký tự nhận diện trong các mô hình học sâu còn ở mức đại diện (mới thử nghiệm 5 ký tự tĩnh và 11 ký tự động trong bảng chữ cái và dấu thanh).
  • Phần cứng cánh tay robot hiện tại mới đáp ứng được trên 50% tổng số ký tự thủ ngữ tiếng Việt và chỉ tập trung vào các thao tác trên bàn tay phải.
  • Hai mô hình nhận diện (tĩnh và động) hoạt động theo cơ chế tuần tự độc lập trong từng chế độ chức năng riêng biệt, chưa được tích hợp thành luồng xử lý nhận diện song song tự động nhận dạng ngữ cảnh.

Hướng nghiên cứu tiếp theo:

  • Thu thập và mở rộng tập dữ liệu để huấn luyện nhận diện toàn bộ bảng chữ cái, hệ chữ số, các dấu thanh và các từ ngữ giao tiếp thông dụng trong Ngôn ngữ ký hiệu Việt Nam.
  • Cải tiến thiết kế cơ khí, tối ưu hóa vật liệu và cơ cấu truyền động nhằm tăng độ mượt mà, tự nhiên và tốc độ chuyển động của các khớp cánh tay robot.
  • Nâng cấp thuật toán để nhận diện đồng thời cả hai bàn tay kết hợp với trích xuất biểu cảm khuôn mặt và tư thế cơ thể của người học.

Giá trị tham khảo

Đồ án là tài liệu tham khảo có giá trị chuyên môn cao cho các nhóm đối tượng sau:

  • Sinh viên và học viên ngành Kỹ thuật Điện tử - Viễn thông, Cơ điện tử, Robotics: Có thể tham khảo chi tiết thiết kế cơ khí trên SolidWorks (tính toán lực cơ sinh học ngón tay, bố trí puli dây cơ, chọn tỉ số truyền động cơ bước), quy trình thiết kế mạch in PCB và giải pháp điều khiển đồng bộ 16 kênh PWM qua giao thức I2C sử dụng Arduino Nano và module PCA9685.
  • Nghiên cứu sinh và kỹ sư ngành Kỹ thuật Máy tính, Trí tuệ nhân tạo: Cung cấp phương pháp luận thực tế về việc thu thập, gán nhãn dữ liệu cử chỉ tay; quy trình triển khai mô hình YOLOv5 cho nhận diện vật thể tĩnh và giải pháp kết hợp MediaPipe Hands với mạng GRU để xử lý dữ liệu chuỗi tọa độ 3D theo thời gian thực.
  • Các nhà phát triển hệ thống trợ lực y tế và thiết bị hỗ trợ giáo dục đặc biệt: Là tài liệu tham khảo hữu ích trong việc xây dựng các thiết bị hỗ trợ người khuyết tật, cánh tay giả sinh học và hệ thống tương tác người - máy phục vụ giáo dục hòa nhập.

Câu hỏi thường gặp

1. Làm thế nào để vi điều khiển Arduino Nano điều khiển đồng thời 12 động cơ Servo trong khi chỉ có 6 chân PWM phần cứng?
Trả lời: Hệ thống sử dụng module điều khiển Adafruit PCA9685 giao tiếp với Arduino Nano thông qua chuẩn truyền thông I2C (sử dụng hai chân $A_5/SDA$ và $A_6/SCL$). Module PCA9685 cung cấp 16 kênh ngõ ra PWM độc lập với độ phân giải 12-bit (4096 mức), hoạt động ở tần số cấu hình $60\text{ Hz}$ (chu kỳ xung $T = 16,6\text{ ms}$), đảm nhận việc phát xung điều khiển chính xác cho toàn bộ 12 động cơ servo.

2. Hai mô hình học sâu nào được tích hợp trong hệ thống và hiệu năng nhận diện đạt được là bao nhiêu?
Trả lời: Hệ thống tích hợp hai mô hình học sâu thực thi theo thời gian thực:

  • Mô hình nhận diện cử chỉ tĩnh: Sử dụng kiến trúc mạng YOLOv5 (với mạng xương sống CSPDarknet), đạt độ chính xác trung bình $mAP@0.5$ là 99,73%.
  • Mô hình nhận diện cử chỉ động: Sử dụng thư viện MediaPipe Hands trích xuất 21 điểm mốc $3\text{D}$ kết hợp với mạng hồi quy GRU (Gated Recurrent Units), đạt độ chính xác phân loại là 97,00%.

3. Cơ chế cơ khí nào cho phép ngón tay trỏ của robot cử động theo phương ngang để phân biệt chữ "U" và chữ "V"?
Trả lời: Nhóm tác giả đã thiết kế riêng một cơ cấu bánh răng lắp trực tiếp trên lòng bàn tay robot, được dẫn động bởi một động cơ Servo Emax mini độc lập. Cơ cấu này giúp ngón tay trỏ không chỉ thực hiện được thao tác co - duỗi thông thường qua dây cơ mà còn có thể tách/khép theo phương ngang, đáp ứng chính xác hình thái biểu diễn của hai ký tự "U" và "V" trong ngôn ngữ ký hiệu Việt Nam.

4. Tổng công suất tiêu thụ điện của hệ thống là bao nhiêu và giải pháp cấp nguồn được tính toán như thế nào?
Trả lời: Tổng công suất tính toán cực đại của toàn hệ thống là $70\text{ W}$. Nguồn điện được phân tách thành hai nhánh độc lập:

  • Nhánh $5\text{V}$ (công suất tính toán $52\text{ W}$, dòng cực đại khoảng $10,5\text{ A}$ cấp cho Arduino, module PCA9685, driver A4988 và 12 động cơ servo): Sử dụng một nguồn tổ ong $5\text{V} - 20\text{ A}$ (công suất $100\text{ W}$).
  • Nhánh $12\text{V}$ (công suất tính toán $18\text{ W}$, dòng cực đại $1,5\text{ A}$ cấp cho động cơ bước Nema 17): Sử dụng một Adapter $12\text{V} - 5\text{ A}$ (công suất $60\text{ W}$).

5. Thư viện MediaPipe Hands trích xuất bao nhiêu điểm đặc trưng và dữ liệu này được đưa vào mô hình nào để xử lý cử chỉ động?
Trả lời: Thư viện MediaPipe Hands trích xuất tọa độ không gian ba chiều $(x, y, z)$ của 21 điểm mốc khớp xương trên bàn tay từ luồng hình ảnh camera. Chuỗi tọa độ này được định dạng thành các mảng NumPy theo trục thời gian và đưa vào mạng nơ-ron hồi quy GRU (Gated Recurrent Units) để học và phân loại các chuyển động liên tục của cử chỉ thủ ngữ.

Kết luận

Đồ án tốt nghiệp "Thiết kế và chế tạo cánh tay robot tương tác qua màn hình để hỗ trợ trong giảng dạy học ngôn ngữ kí hiệu cho trẻ em câm điếc" đã giải quyết thành công bài toán tích hợp giữa cơ điện tử, xử lý ảnh và trí tuệ nhân tạo phục vụ giáo dục đặc biệt. Hệ thống hoàn thiện phần cứng cánh tay robot in 3D với 13 bậc tự do, đồng thời triển khai xuất sắc các mô hình học sâu YOLOv5 (đạt $mAP@0.5 = 99,73%$) và MediaPipe kết hợp GRU (đạt độ chính xác $97%$) cho phép nhận diện cử chỉ thủ ngữ theo thời gian thực. Thông qua giao diện tương tác trực quan trên màn hình cảm ứng 7 inch, công trình mang lại giải pháp công nghệ khả thi, đặt nền tảng quan trọng cho việc phát triển các thiết bị giảng dạy ngôn ngữ ký hiệu tự động và hỗ trợ hòa nhập cho trẻ em khiếm thính tại Việt Nam.