Đồ án thiết kế bộ điều khiển trung tâm Smart AIoT nhà thông minh tại ĐH Sư phạm Kỹ thuật TP.HCM

Đồ án thiết kế và thi công bộ điều khiển trung tâm Smart AIoT tích hợp màn hình HMI cùng công nghệ nhận dạng giọng nói ứng dụng cho hệ thống nhà thông minh.

• Tác giả: Nguyễn Tự Kiệt
• Người hướng dẫn: TS. Nguyễn Văn Thái
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử, Viễn thông
• Đề tài: Thiết kế và thi công bộ điều khiển trung tâm Smart AIoT tích hợp màn hình HMI, nhận dạng giọng nói để điều khiển trong hệ thống nhà thông minh
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về bộ điều khiển Smart AIoT nhà thông minh

Bộ điều khiển trung tâm Smart AIoT là sản phẩm đồ án tốt nghiệp của sinh viên Nguyễn Tự Kiệt và Võ Phú Vinh, thuộc ngành Công nghệ Kỹ thuật Điện tử Viễn thông, Trường Đại học Sư phạm Kỹ thuật TP.HCM (SPKT). Đề tài được thực hiện dưới sự hướng dẫn của TS. Nguyễn Văn Thái, Bộ môn Điện tử Công nghiệp – Y sinh, hoàn thành vào tháng 6 năm 2025. Hệ thống tích hợp nhiều công nghệ tiên tiến: màn hình HMI Dwin 7 inch, nhận dạng giọng nói ASR, xử lý ngôn ngữ tự nhiên NLP và mô hình ngôn ngữ lớn LLM. Phần cứng bao gồm Raspberry Pi 4 Model B đóng vai trò máy chủ trung tâm, hai board ESP32 ESP-WROOM-32D phụ trách điều khiển relay và xử lý âm thanh. Hệ thống còn tích hợp cảm biến nhiệt độ độ ẩm SHT30, cảm biến mưa và cảm biến không khí MQ-135. Firebase được dùng làm cơ sở dữ liệu đám mây. Toàn bộ kiến trúc hướng đến việc xây dựng một hệ sinh thái AIoT hoàn chỉnh, cho phép điều khiển thiết bị qua giọng nói, giao diện HMI và ứng dụng web, mang lại trải nghiệm nhà thông minh toàn diện.

1.1. Mục tiêu và phạm vi của đề tài Smart AIoT tại SPKT

Đề tài đặt mục tiêu thiết kế và thi công một bộ điều khiển trung tâm tích hợp đa giao thức. Phạm vi thực hiện bao gồm thiết kế phần cứng cho board điều khiển trung tâm và board trợ lý giọng nói. Nhóm triển khai server trên Raspberry Pi để quản lý API toàn hệ thống, chạy mô hình xử lý giọng nói và cấp phát giao diện website cho người dùng. Cơ sở dữ liệu Firebase được xây dựng để lưu trữ thông tin quyền sở hữu thiết bị và dữ liệu hoạt động theo thời gian thực. Thời gian thực hiện từ ngày 17/02/2025 đến 03/06/2025.

1.2. Các thành phần phần cứng chính trong hệ thống AIoT

Hệ thống sử dụng Raspberry Pi 4 Model B làm máy chủ xử lý trung tâm. Hai board ESP32 ESP-WROOM-32D đảm nhiệm vai trò khác nhau: một board kết hợp với module điều khiển 8 ngõ ra AC thông qua IC PCF8574 giao tiếp I2C, board còn lại tích hợp microphone và loa để thu phát âm thanh. Màn hình Dwin HMI DMG10600C070_03WTC 7 inch cung cấp giao diện cảm ứng trực quan. Các cảm biến môi trường gồm SHT30 đo nhiệt độ độ ẩm, cảm biến mưa và MQ-135 đo chất lượng không khí, hoàn thiện khả năng giám sát môi trường sống toàn diện.

II. Phân tích thách thức trong điều khiển nhà thông minh AIoT

Xây dựng hệ thống nhà thông minh tích hợp AIoT đặt ra nhiều thách thức kỹ thuật đáng kể. Vấn đề đầu tiên là tích hợp đồng thời nhiều giao thức truyền thông: I2C cho PCF8574 điều khiển relay, UART cho màn hình HMI, WiFi cho kết nối ESP32 với Raspberry Pi và Firebase. Mỗi giao thức yêu cầu cấu hình riêng biệt, dễ gây xung đột tài nguyên nếu thiết kế không chặt chẽ. Thách thức thứ hai nằm ở xử lý giọng nói tiếng Việt theo thời gian thực. Mô hình ASR phải nhận dạng chính xác trong điều kiện nhiễu môi trường, rồi phân loại câu lệnh điều khiển thiết bị khác với hội thoại thông thường. Việc phân biệt hai loại phản hồi này đòi hỏi pipeline NLP tinh chỉnh. Thách thức thứ ba là đảm bảo độ ổn định khi điều khiển nhiều relay AC đồng thời. Điều khiển trực tiếp qua GPIO của ESP32 dễ gây nhiễu khi nhiều relay bật cùng lúc. Ngoài ra, đồng bộ hóa dữ liệu giữa Firebase, Raspberry Pi và các ESP32 đòi hỏi thiết kế API nhất quán, tránh mất gói tin và trễ phản hồi.

2.1. Vấn đề nhiễu và ổn định trong điều khiển relay AC

Khi điều khiển nhiều relay AC cùng lúc qua ESP32, điện áp ngõ ra 3.3V không đủ kéo relay 5V một cách ổn định. Điều khiển trực tiếp nhiều relay đồng thời dễ gây sụt áp và nhiễu ảnh hưởng đến toàn hệ thống. Giải pháp được nhóm lựa chọn là IC PCF8574 giao tiếp I2C, chỉ cần 2 chân SDA và SCL để điều khiển 8 relay. PCF8574 hoạt động ở điện áp 2.5V đến 6V, dòng tiêu thụ rất thấp, cách ly tốt và có thư viện sẵn cho Arduino cùng ESP-IDF. Giải pháp này đảm bảo ổn định, gọn mạch và dễ mở rộng so với dùng shift register 74HC595.

2.2. Thách thức nhận dạng giọng nói tiếng Việt trong môi trường thực

Nhận dạng giọng nói tiếng Việt gặp khó khăn vì ngôn ngữ có thanh điệu phức tạp và nhiều phương ngữ vùng miền. Môi trường nhà ở có tiếng ồn nền từ thiết bị điện tử, âm nhạc hoặc tiếng trẻ em làm giảm độ chính xác ASR. Sau bước nhận dạng, hệ thống cần phân tích ngữ nghĩa để phân biệt câu lệnh điều khiển thiết bị như bật đèn, mở quạt với câu hỏi thông thường. Pipeline phải xử lý trong thời gian thực để không làm người dùng chờ đợi lâu, đòi hỏi tối ưu hóa tài nguyên tính toán trên Raspberry Pi một cách chặt chẽ.

III. Giải pháp thiết kế hệ thống Smart AIoT tích hợp HMI và giọng nói

Nhóm thiết kế kiến trúc phân lớp rõ ràng để giải quyết các thách thức đã phân tích. Lớp thu thập: microphone thu âm thanh, ESP32 chuyển tín hiệu số lên Raspberry Pi qua WiFi. Lớp xử lý: Raspberry Pi chạy mô hình ASR chuyển giọng nói thành văn bản, sau đó gọi Inference API để phân tích ý định câu nói. Lớp phản hồi chia hai nhánh — câu hỏi hội thoại được chuyển thành giọng nói TTS phát qua loa, câu lệnh điều khiển được gửi đến ESP32 thực hiện bật tắt thiết bị qua relay. Màn hình HMI Dwin 7 inch cung cấp giao diện điều khiển cảm ứng trực quan song song với giọng nói. Giao diện website được Raspberry Pi cấp phát cho trình duyệt người dùng, đồng bộ trạng thái qua Firebase Realtime Database. Mô hình LLM tiên tiến tương tự GPT-3 hoặc Gemini được tích hợp để nâng cao khả năng hiểu ngữ cảnh và phản hồi linh hoạt. Toàn bộ thiết kế đảm bảo khả năng mở rộng, cho phép thêm thiết bị và cảm biến mới mà không thay đổi kiến trúc lõi.

3.1. Kiến trúc pipeline xử lý giọng nói ASR NLP TTS

Pipeline xử lý giọng nói hoạt động tuần tự qua ba giai đoạn. Giai đoạn ASR: âm thanh từ microphone ESP32 được gửi lên server Raspberry Pi, mô hình nhận dạng tự động chuyển thành văn bản tiếng Việt. Giai đoạn NLP: văn bản được phân tích ngữ nghĩa qua Inference API, hệ thống xác định đây là câu lệnh hay hội thoại. Giai đoạn phản hồi: nếu là câu lệnh thì ESP32 nhận lệnh điều khiển relay, nếu là hội thoại thì mô hình LLM tạo phản hồi văn bản rồi TTS chuyển thành âm thanh phát lại qua loa. Toàn bộ pipeline được tối ưu để giảm độ trễ phản hồi.

3.2. Triển khai Firebase và API quản lý thiết bị đa người dùng

Firebase Realtime Database lưu trữ thông tin quyền sở hữu board cho từng tài khoản người dùng, trạng thái thiết bị và dữ liệu cảm biến theo thời gian thực. Raspberry Pi cung cấp RESTful API làm cầu nối giữa Firebase, giao diện web và các ESP32. Mỗi ESP32 được định danh riêng trong hệ thống, chỉ nhận lệnh từ tài khoản có quyền sở hữu tương ứng. Giao diện website được render phía server và cấp phát cho trình duyệt, đồng bộ trạng thái tức thì qua Firebase listener. Kiến trúc này hỗ trợ quản lý nhiều ngôi nhà từ một tài khoản duy nhất, đảm bảo bảo mật và khả năng mở rộng theo quy mô người dùng thực tế.

IV. Kết quả và ứng dụng thực tiễn của hệ thống Smart AIoT SPKT

Hệ thống Smart AIoT hoàn chỉnh được xây dựng và kiểm thử tại Trường Đại học Sư phạm Kỹ thuật TP.HCM vào tháng 6 năm 2025. Kết quả đạt được gồm: điều khiển ổn định 8 thiết bị AC qua relay PCF8574 không xảy ra nhiễu, nhận dạng giọng nói tiếng Việt với độ chính xác cao trong điều kiện môi trường nhà ở, màn hình HMI hiển thị và điều khiển trực quan. Cảm biến SHT30 giám sát nhiệt độ và độ ẩm liên tục, cảm biến MQ-135 cảnh báo chất lượng không khí, cảm biến mưa tự động kích hoạt đóng mái che. Hệ thống mở ra hướng ứng dụng rộng cho nhà ở thông minh, văn phòng và cơ sở sản xuất quy mô nhỏ. Về học thuật, đề tài cung cấp nền tảng nghiên cứu cho các thế hệ sinh viên tiếp theo tại Khoa Điện Điện tử, đặc biệt trong lĩnh vực tích hợp AIoT, xử lý ngôn ngữ tự nhiên tiếng Việt và hệ thống nhúng thời gian thực. Kiến trúc module hóa cho phép tái sử dụng và cải tiến từng thành phần độc lập.

4.1. Đánh giá hiệu năng và độ tin cậy hệ thống điều khiển

IC PCF8574 hoạt động ổn định ở điện áp 5V với dòng tiêu thụ khoảng 50µA, điều khiển 8 relay AC đồng thời không gây nhiễu cho ESP32. Cảm biến mưa xuất tín hiệu digital 0V hoặc 5V rõ ràng, đáp ứng nhanh khi thời tiết thay đổi. SHT30 cung cấp dữ liệu nhiệt độ và độ ẩm chính xác, cập nhật liên tục lên Firebase. Trợ lý giọng nói phân biệt chính xác câu lệnh điều khiển thiết bị với hội thoại thông thường. Toàn bộ hệ thống hoạt động ổn định trong suốt quá trình kiểm thử, xác nhận tính khả thi của kiến trúc AIoT phân lớp được đề xuất.

4.2. Định hướng phát triển và mở rộng hệ sinh thái AIoT

Hệ thống có tiềm năng mở rộng bằng cách bổ sung nhiều node ESP32 để tăng số lượng thiết bị điều khiển vượt qua 8 relay hiện tại. Tích hợp thêm camera AI để nhận diện khuôn mặt, kiểm soát ra vào là hướng phát triển tiếp theo. Cải thiện mô hình ASR tiếng Việt với tập dữ liệu lớn hơn sẽ nâng cao độ chính xác trong các điều kiện nhiễu khác nhau. Việc triển khai trên nền tảng đám mây thay vì Raspberry Pi cục bộ sẽ tăng khả năng mở rộng và độ sẵn sàng của dịch vụ. Đây là nền tảng nghiên cứu quan trọng cho sinh viên Điện tử Công nghiệp tại Trường ĐHSPKT TP.HCM trong các năm tiếp theo.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh Cách mạng công nghiệp 4.0, sự hội tụ giữa Trí tuệ nhân tạo (AI) và Internet vạn vật (IoT) đã hình thành nên lĩnh vực AIoT, mở ra tiềm năng lớn cho các hệ thống nhà thông minh (Smart Home). Tuy nhiên, các giải pháp Smart Home phổ biến trên thị trường hiện nay chủ yếu vận hành dựa trên việc điều khiển thủ công qua ứng dụng di động hoặc giao diện web độc lập, thiếu sự tương tác tự nhiên và khả năng xử lý ngữ cảnh thời gian thực. Tác giả đã khảo cứu các công trình nghiên cứu trước đây tại Việt Nam và quốc tế, chỉ ra các khoảng trống công nghệ cụ thể:

• Đề tài "Thiết kế và thi công mô hình điều khiển thiết bị điện" của Nguyễn Tri Phương và Võ Duy Tâm: Dừng lại ở mức đóng ngắt thiết bị ngoại vi cơ bản, chưa có giao tiếp thông minh.
• Đề tài "Thiết kế chế tạo mô hình nhà thông minh sử dụng Arduino và ESP8266" của Nguyễn Sỹ Phúc: Năng lực xử lý của vi điều khiển thấp, thiếu trung tâm dữ liệu và không hỗ trợ xử lý giọng nói.
• Các tài liệu thực hành như "ESP32 Smart Home Automation using Dwin HMI Display": Đã ứng dụng màn hình HMI để hiển thị thông số môi trường nhưng thiếu tính năng tương tác giọng nói, chưa tối ưu hóa việc phân cấp quản lý tập trung và chưa triển khai máy chủ lưu trữ dữ liệu thời gian thực.

Từ những hạn chế trên, đồ án xác định mục tiêu và 11 nội dung nghiên cứu theo văn bản nhiệm vụ:

1. Mục tiêu nghiên cứu: Thiết kế và thi công hoàn chỉnh bộ điều khiển trung tâm Smart AIoT tích hợp màn hình HMI và mô-đun nhận dạng giọng nói, tạo thành hệ sinh thái mini gồm ba thành phần tương tác lẫn nhau:
   • Thiết bị trung tâm: Bo mạch cố định sử dụng vi điều khiển ESP32, màn hình cảm ứng HMI DWIN 7 inch, điều khiển trực tiếp 8 ngõ ra AC kỹ thuật số và thu thập dữ liệu môi trường.
   • Trợ lý giọng nói: Bo mạch ESP32 di động nhỏ gọn, chuyển đổi giọng nói thành lệnh điều khiển gửi tới thiết bị trung tâm hoặc đàm thoại tương tác với người dùng.
   • Ứng dụng web: Nền tảng quản lý, giám sát và cấu hình từ xa thông qua định danh địa chỉ MAC của từng bo mạch.
2. Nội dung/nhiệm vụ nghiên cứu (11 nội dung):
   • Nội dung 1: Nghiên cứu tích hợp AI vào vi điều khiển ESP32 qua máy tính trung gian.
   • Nội dung 2: Nghiên cứu giao tiếp phần cứng giữa ESP32 với cảm biến và ngoại vi (UART, I2C, ADC).
   • Nội dung 3: Nghiên cứu màn hình HMI DWIN và phần mềm thiết kế giao diện DGUS.
   • Nội dung 4: Xây dựng mô hình chuyển đổi giọng nói hai chiều (Speech-to-Speech), tích hợp mô hình ngôn ngữ lớn (Gemini API) để phân tích câu lệnh tiếng Việt.
   • Nội dung 5: Xây dựng website điều khiển có xác thực người dùng, quản lý quyền sở hữu bo mạch theo MAC_ID.
   • Nội dung 6: Thiết lập giao tiếp điều khiển thiết bị từ ESP32.
   • Nội dung 7: Nghiên cứu cơ chế truyền nhận dữ liệu qua máy chủ giao thức MQTT.
   • Nội dung 8: Cấu hình máy tính đơn bo Raspberry Pi 4 làm máy chủ trung tâm quản trị cơ sở dữ liệu, lưu trữ web và chạy API logic xử lý Speech-to-Speech.
   • Nội dung 9: Thi công phần cứng, đóng gói thiết bị và kiểm nghiệm hiệu chỉnh.
   • Nội dung 10: Đánh giá hiệu năng và biên soạn báo cáo kỹ thuật.
   • Nội dung 11: Bảo vệ đề tài trước hội đồng chuyên môn.
3. Đối tượng và phạm vi nghiên cứu:
   • Đối tượng: Hệ thống phần cứng nhúng AIoT, giải thuật xử lý âm thanh số, mô hình tương tác ngôn ngữ tự nhiên và hệ thống truyền thông mạng cục bộ/đám mây.
   • Phạm vi thời gian: Thực hiện từ ngày 17/02/2025 đến ngày 03/06/2025.
   • Giới hạn kỹ thuật: Giọng nói nhận dạng tối ưu với các câu lệnh ngắn, rõ ràng; giới hạn phần cứng cố định ở 8 cổng công suất AC trên mỗi bo mạch trung tâm; tốc độ phản hồi chịu ảnh hưởng trực tiếp bởi độ ổn định của đường truyền Wi-Fi và mạng Internet.

---

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng trên nền tảng lý thuyết truyền thông nhúng, xử lý ngôn ngữ tự nhiên và kiến trúc phần mềm phân tán:

• Mô hình Speech-to-Speech Translation (STST): Hệ thống xử lý âm thanh hai chiều thông qua chu trình 3 giai đoạn:
  1. ASR (Automatic Speech Recognition): Tiếp nhận tín hiệu âm thanh thô thu thập từ microphone I2S, khử nhiễu và chuyển đổi thành văn bản.
  2. LLM (Large Language Model) & NLU: Văn bản được đưa vào Google Gemini API qua Inference API trên máy chủ Raspberry Pi 4 để phân loại ý định (nhận diện câu lệnh điều khiển thiết bị nhà ở hay hội thoại thông thường).
  3. TTS (Text-to-Speech): Nếu là phản hồi hội thoại, chuỗi văn bản được tổng hợp thành giọng nói tự nhiên thông qua công nghệ học sâu (mô hình WaveNet) và chuyển thành tín hiệu âm thanh phát qua loa. Nếu là câu lệnh điều khiển, hệ thống kích hoạt bản tin MQTT tương ứng.
• Giao thức truyền thông mạng và ngoại vi:
  • MQTT (Message Queuing Telemetry Transport): Giao thức mạng nhẹ dạng Publish/Subscribe, sử dụng cấu trúc Topic để truyền nhận dữ liệu trạng thái và lệnh điều khiển giữa Broker (Raspberry Pi 4) và các Client (ESP32).
  • HTTP/HTTPS: Sử dụng cho giao diện web và các lời gọi REST API để quản lý người dùng, thiết bị.
  • Chuẩn giao tiếp phần cứng: I2C (giao tiếp cảm biến nhiệt độ - độ ẩm SHT30 và IC mở rộng PCF8574), I2S (thu nhận âm thanh từ mic số INMP441), UART (truyền nhận chuỗi dữ liệu nhị phân với màn hình HMI DWIN).
• Công nghệ lưu trữ và cơ sở dữ liệu: Khảo cứu ba hệ thống gồm Firebase Realtime Database (đồng bộ cấu trúc cây JSON theo thời gian thực), Firebase Cloud Firestore (lưu trữ phi quan hệ theo collection/document phục vụ mở rộng phân quyền) và MongoDB (NoSQL dạng BSON chạy trên máy chủ nội bộ Raspberry Pi).
• Phương pháp nghiên cứu:
  • Phương pháp nghiên cứu lý thuyết: Tính toán thông số điện áp, dòng tiêu thụ, phân bổ chân GPIO vi điều khiển và cấu hình băng thông mạng.
  • Phương pháp thực nghiệm: Thiết kế mạch nguyên lý, vẽ mạch in hai lớp (PCB) trên phần mềm KiCad, gia công đóng gói mô hình vật lý, lập trình nhúng và đo đạc độ trễ phản hồi thực tế.
• Nguồn dữ liệu: Dữ liệu kỹ thuật từ datasheet chính hãng của Espressif, Raspberry Pi, DWIN, Sensirion; tín hiệu tương tự và số thực tế thu nhận từ cảm biến; cơ sở dữ liệu người dùng và thiết bị lưu trên Firebase/MongoDB.

---

Thiết kế và triển khai

Hệ thống được thiết kế hoàn chỉnh từ kiến trúc phần cứng, phần mềm nhúng đến hệ thống máy chủ và giao diện người dùng.

Kiến trúc phần cứng

1. Khối điều khiển trung tâm (Master Controller):

   • Vi điều khiển: ESP32-WROOM-32D (vi xử lý Xtensa dual-core 32-bit LX6, tần số xung nhịp tối đa 240 MHz, bộ nhớ SRAM 520 KB, Flash 4 MB, tích hợp Wi-Fi 802.11 b/g/n và Bluetooth v4.2 BR/EDR & BLE).
   • Khối cảm biến:
     • Cảm biến nhiệt độ, độ ẩm SHT30 (chuẩn I2C, dải đo -40 đến 125°C với sai số ±0.3°C, dải đo độ ẩm 0–100% RH với sai số ±3% RH, dòng tiêu thụ chế độ đo liên tục 0.65 mA).
     • Cảm biến chất lượng không khí MQ-135 (ngõ ra Analog/Digital, dải phát hiện 10–300 ppm NH3, 10–1000 ppm Benzene, 10–300 ppm cồn; dòng tiêu thụ 150–200 mA; công suất tổng ≤950 mW).
     • Cảm biến nước mưa (ngõ ra Digital LOW/HIGH và ngõ ra Analog 0–4.5V, điện áp hoạt động 3.3V–5V, dòng tiêu thụ 15–20 mA).
   • Khối ngõ ra công suất:
     • IC mở rộng I/O PCF8574 giao tiếp qua bus I2C (tiết kiệm chân vi điều khiển, điện áp 2.5–6V, dòng tiêu thụ 10–50 µA), điều khiển mạch kích cách ly quang (opto-coupler).
     • 8 relay OMRON G5NB-1A-E-5VDC đóng cắt 8 tải điện xoay chiều AC dân dụng.
   • Khối hiển thị: Màn hình cảm ứng HMI DWIN DMG10600C070_03WTC (kích thước 7 inch, giao tiếp với ESP32 qua UART TTL, nạp giao diện độc lập).
   • Khối nguồn: Biến áp nguồn Hilink HLK-20M12 chuyển đổi từ 220VAC sang 12VDC, kết hợp IC giảm áp LM2596 hạ áp xuống 5VDC cung cấp nguồn ổn định cho relay, màn hình HMI và vi điều khiển.

2. Khối trợ lý giọng nói di động (Voice Assistant Node):

   • Vi điều khiển: ESP32-WROOM-32D.
   • Khối thu/phát âm thanh: Microphone số INMP441 chuẩn giao tiếp I2S (thu tín hiệu âm thanh trực tiếp dạng số, không cần mạch ADC rời), kết hợp mạch giải mã, khuếch đại âm thanh và loa phát phản hồi.
   • Màn hình phụ: Màn hình LCD tròn GC9A01 hiển thị trạng thái kết nối Wi-Fi, trạng thái xử lý AI và menu trực quan.
   • Khối nguồn lưu động: Sử dụng pin LiPo, tích hợp IC quản lý sạc TP4056 và mạch nâng áp (boost) DC-DC T64 5VDC.

3. Khối máy chủ trung tâm (Server):

   • Trang bị phần cứng máy tính đơn bo Raspberry Pi 4 Model B (Broadcom BCM2711, 4 nhân Cortex-A72 64-bit SoC @ 1.5 GHz, RAM 2GB, Gigabit Ethernet, Wi-Fi băng tần kép).
   • Đảm nhiệm việc cài đặt MQTT Broker, triển khai máy chủ cơ sở dữ liệu MongoDB/Firebase, lưu trữ Web Server và chạy các dịch vụ API giao tiếp với mô hình Gemini AI.

Thành phần phần cứng	Model / Linh kiện chính	Giao tiếp	Thông số hoạt động chính
Vi điều khiển chính	ESP32-WROOM-32D	Wi-Fi / BLE	2 nhân 240 MHz, SRAM 520 KB, Flash 4 MB
Máy chủ cục bộ	Raspberry Pi 4 Model B	Gigabit Ethernet / Wi-Fi	CPU Quad-core 1.5 GHz, RAM 2GB
Màn hình trung tâm	DWIN HMI 7 inch	UART	Cảm ứng điện dung, phần mềm DGUS
Màn hình phụ	GC9A01	SPI	Dạng tròn, hiển thị trạng thái trợ lý ảo
Cảm biến nhiệt - ẩm	SHT30	I2C	-40 đến 125°C (±0.3°C), 0–100% RH (±3% RH)
Cảm biến khí	MQ-135	Analog / Digital	5VDC, phát hiện CO2, NH3, khói, benzene
Cảm biến mưa	Mạch cảm biến điện trở	Analog / Digital	3.3–5VDC, ngõ ra 0–4.5V
Mở rộng I/O	PCF8574	I2C	Mở rộng 8 ngõ ra, dòng 10–50 µA
Đóng cắt công suất	G5NB-1A-E-5VDC	Cách ly Quang (Opto)	8 kênh độc lập cho tải AC
Thu âm thanh	INMP441	I2S	Microphone kỹ thuật số đa hướng
Chuyển đổi nguồn AC/DC	HLK-20M12 + LM2596	Dây dẫn nguồn	220VAC sang 12VDC, hạ áp 5VDC
Nguồn di động	TP4056 + T64 5VDC	Nguồn cấp pin	Sạc pin LiPo và nâng áp lên 5VDC

Thiết kế phần mềm và giải thuật

• Môi trường phát triển:
  • Thiết kế sơ đồ nguyên lý và layout PCB hai lớp bằng phần mềm KiCad, tạo file BOM linh kiện và kiểm tra lỗi định tắc thiết kế (DRC).
  • Lập trình firmware ESP32 trên môi trường Arduino IDE, tích hợp hệ điều hành thời gian thực FreeRTOS đa nhiệm.
  • Thiết kế giao diện đồ họa người dùng (GUI) cho màn hình DWIN bằng phần mềm chuyên dụng DGUS (các trang Menu chính, Giám sát môi trường, Điều khiển thiết bị, Bàn phím số, Cài đặt ngưỡng và Cài đặt thời gian).
  • Phát triển website điều khiển và API Server bằng Visual Studio Code, sử dụng REST API kết hợp lắng nghe thay đổi thời gian thực.
• Tính năng cập nhật phần mềm qua mạng (OTA - Over-The-Air): Tích hợp thư viện ArduinoOTA và HTTPUpdate trên ESP32, cho phép nạp và nâng cấp firmware từ xa thông qua mạng Wi-Fi mà không cần tháo lắp thiết bị khỏi vỏ hộp kỹ thuật.

---

Nội dung chính theo từng chương

Chương 1. Tổng quan (Đặt vấn đề)

Chương 1 phân tích bối cảnh phát triển của cuộc cách mạng công nghiệp 4.0 và xu thế tất yếu của việc kết hợp AI cùng IoT trong các thiết bị gia dụng. Tác giả chỉ ra các điểm thiếu hụt của các nghiên cứu Smart Home tiền nhiệm tại Việt Nam, nêu bật tính cấp thiết của việc xây dựng một bộ điều khiển trung tâm tương tác đa phương thức (chạm cảm ứng HMI, ra lệnh giọng nói tiếng Việt, quản lý từ xa qua Web). Xác định chi tiết 11 nội dung nghiên cứu kỹ thuật và cấu trúc phân chia tài liệu toàn văn thành 6 chương.

Chương 2. Cơ sở lý thuyết

Nội dung chương 2 tập trung hệ thống hóa nền tảng lý thuyết và thông số kỹ thuật của các công nghệ sử dụng trong đồ án:

• Phân tích nguyên lý mô hình dịch chuyển giọng nói STST, gồm ASR, mô hình ngôn ngữ lớn (Gemini API của Google DeepMind) và TTS tổng hợp giọng nói tự nhiên.
• Khảo sát các chuẩn truyền thông mạng nhúng: MQTT (mô hình Broker - Client, cơ chế Topic nhẹ cho IoT) và giao thức HTTP/HTTPS (cơ chế Request - Response cho Web).
• Trình bày kiến trúc phần cứng của Raspberry Pi 4 Model B (BCM2711) và module ESP32-WROOM-32D (phân bổ GPIO, các chế độ nguồn Active, Modem-sleep, Deep-sleep).
• Trình bày nguyên lý thiết kế giao diện HMI thông qua phần mềm DGUS của nhà sản xuất DWIN.
• So sánh các hệ cơ sở dữ liệu: Phân loại cơ sở dữ liệu quan hệ (SQL) và phi quan hệ (NoSQL), so sánh Firebase Realtime Database, Cloud Firestore và MongoDB về kiểu dữ liệu BSON/JSON, khả năng mở rộng và mức độ tương thích với hệ thống IoT.

Chương 3. Tính toán và thiết kế

Chương 3 trình bày các bước tính toán kỹ thuật và thiết kế hệ thống chi tiết:

• Xây dựng sơ đồ khối tổng thể, phân tích vai trò từng khối chức năng (khối xử lý, cảm biến, công suất, nguồn, hiển thị, máy chủ).
• Lập bảng so sánh thông số vi xử lý giữa ESP32, Arduino UNO, STM32F103 và Raspberry Pi Pico; chứng minh sự phù hợp của ESP32 nhờ tích hợp sẵn Wi-Fi/Bluetooth, hỗ trợ giao tiếp I2S cho micro số và hệ điều hành FreeRTOS.
• Tính toán nhu cầu chân vào/ra (GPIO) trên ESP32: SHT30 (2 chân I2C), MQ-135 (1 chân ADC), cảm biến mưa (1 chân Digital), HMI DWIN (2 chân UART), nút nhấn vật lý (2 chân Digital); giải quyết bài toán thiếu chân bằng việc dùng IC PCF8574 điều khiển 8 relay chỉ qua 2 chân I2C.
• Tính toán lựa chọn cảm biến qua các bảng so sánh: SHT30 vượt trội hơn DHT11, DHT22, AHT20 về độ chính xác và khả năng chống nhiễu; MQ-135 đáp ứng dải phát hiện đa khí (NH3, Benzene, Alcohol, CO2, khói) so với các dòng MQ-2, MQ-3, MQ-7.
• Thiết kế sơ đồ nguyên lý mạch nguồn hạ áp (HLK-20M12 và LM2596), mạch kích relay cách ly quang, mạch sạc pin LiPo (TP4056) và mạch boost T64 5VDC.

Chương 4. Thi công hệ thống

Chương 4 mô tả toàn bộ quy trình chế tạo phần cứng, lắp ráp và lập trình:

• Quy trình layout PCB trên KiCad, kiểm tra DRC, xuất file BOM linh kiện và thi công bo mạch hai lớp cho bo điều khiển trung tâm và bo trợ lý giọng nói.
• Quy trình gia công vỏ hộp, đóng gói sản phẩm hoàn thiện có gắn màn hình HMI DWIN 7 inch và màn hình tròn GC9A01.
• Xây dựng các lưu đồ giải thuật phần mềm: Lưu đồ xử lý nhận bản tin MQTT, thuật toán lưu trữ thông tin Wi-Fi vào bộ nhớ Flash, lưu đồ cài đặt thời gian thực và vẽ đồ thị môi trường, giải thuật cập nhật firmware qua mạng (OTA).
• Thiết kế giao diện DGUS trên màn hình HMI DWIN và xây dựng hệ thống website, API logic AI trên Raspberry Pi 4.
• Soạn thảo tài liệu hướng dẫn vận hành chi tiết cho người dùng đối với bo mạch trung tâm, trợ lý giọng nói và website quản trị.

Chương 5. Kết quả, nhận xét, đánh giá

Chương 5 báo cáo kết quả thực nghiệm và đánh giá chất lượng hoạt động:

• Trưng bày hình ảnh sản phẩm thực tế sau khi lắp ráp hoàn thiện.
• Kết quả kiểm thử điều khiển trực tiếp 8 ngõ ra AC thông qua màn hình HMI và website điều khiển.
• Đánh giá khả năng thu thập và hiển thị dữ liệu nhiệt độ, độ ẩm (SHT30), chất lượng không khí (MQ-135) và trạng thái mưa.
• Đánh giá hiệu quả mô hình Speech-to-Speech: Kiểm thử khả năng nhận dạng giọng nói, trích xuất câu lệnh qua Gemini API và độ trễ khi phát phản hồi thoại qua loa.
• Phân tích ưu điểm và tồn tại trong quá trình vận hành hệ thống thực tế.

Chương 6. Kết luận và hướng phát triển

Chương 6 đúc kết toàn bộ quá trình nghiên cứu, đối chiếu kết quả chế tạo với các mục tiêu ban đầu và đề xuất các giải pháp nâng cấp, mở rộng hệ thống trong tương lai.

---

Kết quả và đóng góp

Đồ án đã thiết kế, chế tạo và vận hành thành công mô hình hệ sinh thái Smart AIoT hoàn chỉnh với các kết quả cụ thể:

• Sản phẩm phần cứng:
  • Chế tạo hoàn chỉnh 01 Bo điều khiển trung tâm tích hợp màn hình cảm ứng HMI DWIN 7 inch, bo mạch đóng ngắt 8 ngõ ra AC cách ly quang, cụm cảm biến đo đạc môi trường (SHT30, MQ-135, cảm biến mưa) và bộ nguồn tích hợp kép (HLK-20M12, LM2596).
  • Chế tạo 01 Bo trợ lý giọng nói di động độc lập dùng vi điều khiển ESP32, micro số INMP441 chuẩn I2S, mạch khuếch đại âm thanh và pin sạc LiPo với IC TP4056.
  • Vận hành 01 Máy chủ trung tâm trên Raspberry Pi 4 Model B đóng vai trò làm MQTT Broker, API Server và Web Server.
• Kết quả đo lường và thực nghiệm:
  • Hệ thống thu nhận chính xác các thông số môi trường theo thời gian thực (nhiệt độ từ -40 đến 125°C, độ ẩm 0–100% RH, nồng độ khí độc hại ppm) hiển thị trực tiếp lên giao diện đồ họa HMI và đồng bộ lên cơ sở dữ liệu.
  • Điều khiển tin cậy 8 tải điện AC qua rơ-le OMRON G5NB-1A-E-5VDC, không xảy ra hiện tượng nhiễu xung làm treo vi điều khiển nhờ tầng đệm I2C PCF8574 và cách ly quang.
  • Triển khai thành công quy trình xử lý giọng nói tiếng Việt tự nhiên: Chuyển đổi giọng nói thành chuỗi dữ liệu nhị phân, gửi tới Gemini API để phân loại ngữ nghĩa linh hoạt (không phụ thuộc vào các tập lệnh gán cứng tĩnh) và phản hồi câu trả lời qua loa hoặc kích hoạt rơ-le tương ứng.
  • Tính năng OTA cho phép nạp lại phần mềm cho ESP32 qua Wi-Fi từ xa thành công.
• Đóng góp học thuật và kỹ thuật của đồ án:
  • Kết hợp đồng thời ba phương thức điều khiển trên một hệ sinh thái khép kín: Tương tác tại chỗ bằng cảm ứng chuyên nghiệp (HMI DWIN), điều khiển từ xa qua mạng (Web/MQTT) và ra lệnh tự nhiên không chạm (AI Voice Assistant).
  • Tối ưu hóa kiến trúc nhúng: Đẩy các tác vụ tính toán nặng (xử lý ngôn ngữ tự nhiên, quản trị cơ sở dữ liệu) lên máy tính trung gian Raspberry Pi 4 và điện toán đám mây, giúp vi điều khiển ESP32 giá thành thấp vẫn có thể vận hành trơn tru trong các ứng dụng AIoT phức tạp.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên công bố của tác giả trong đồ án, hệ thống còn tồn tại các giới hạn kỹ thuật cần tiếp tục cải tiến:

• Hạn chế:
  • Năng lực nhận dạng giọng nói phụ thuộc vào độ dài và độ rõ của âm thanh đầu vào; các câu lệnh quá dài, phát âm không rõ ràng hoặc môi trường có nhiều tạp âm lớn làm giảm tỷ lệ nhận diện chính xác.
  • Giới hạn phần cứng cố định ở mức 8 thiết bị tải AC trên mỗi bo mạch trung tâm, chưa hỗ trợ cấu hình ghép nối động nhiều bo mở rộng.
  • Độ trễ của quá trình phản hồi giọng nói và điều khiển phụ thuộc lớn vào chất lượng kết nối Wi-Fi cục bộ và tốc độ mạng Internet (do phải gửi yêu cầu lên Gemini API đám mây).
• Hướng phát triển tiếp theo:
  • Nghiên cứu triển khai các mô hình ASR và LLM thu nhỏ (TinyML / Edge AI) trực tiếp tại máy tính biên hoặc vi xử lý có bộ tăng tốc phần cứng, cho phép nhận dạng câu lệnh cục bộ (offline) khi mất mạng Internet.
  • Nâng cấp mạng lưới giao tiếp giữa các bo mạch bằng giao thức mạng Mesh (ESP-Mesh) để kết nối nhiều phòng, mở rộng số lượng thiết bị điều khiển lên không giới hạn.
  • Bổ sung các chuẩn bảo mật nâng cao cho đường truyền MQTT và giao diện Web (mã hóa SSL/TLS, xác thực hai lớp).

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên, giảng viên và kỹ sư thuộc các chuyên ngành: Công nghệ Kỹ thuật Điện tử - Viễn thông, Kỹ thuật Điều khiển và Tự động hóa, Điện tử Công nghiệp và Kỹ thuật Máy tính / IoT.

Các phần nội dung có giá trị tham khảo ứng dụng cao bao gồm:

• Bản tính toán kỹ thuật và sơ đồ nguyên lý mạch in hai lớp (KiCad) tích hợp ESP32, IC mở rộng PCF8574 và module nguồn chống nhiễu cho tải AC.
• Hướng dẫn cấu hình, lập trình và thiết kế giao diện đồ họa người máy HMI DWIN sử dụng phần mềm DGUS giao tiếp UART.
• Mô hình kết nối microphone số I2S (INMP441) với ESP32 để thu âm thanh và cấu hình máy tính nhúng Raspberry Pi 4 chạy API giao tiếp với mô hình trí tuệ nhân tạo Gemini.

---

Câu hỏi thường gặp

1. Chu trình xử lý giọng nói hai chiều (Speech-to-Speech) trong đồ án diễn ra qua các bước nào?
Chu trình gồm 3 bước: Đầu tiên, microphone I2S INMP441 trên bo trợ lý thu tín hiệu giọng nói của người dùng và gửi về máy chủ Raspberry Pi 4; tại đây mô hình ASR chuyển âm thanh thành văn bản. Tiếp theo, chuỗi văn bản được gửi lên Gemini API để phân tích ngữ nghĩa: nếu là câu hỏi trò chuyện, mô hình sẽ trả về nội dung trả lời; nếu là câu lệnh, hệ thống sẽ trích xuất chỉ thị điều khiển thiết bị và gửi bản tin qua MQTT Broker. Cuối cùng, văn bản phản hồi được chuyển đổi thành giọng nói bằng mô hình TTS (WaveNet) và phát lại ra loa trên bo trợ lý.

2. Tại sao nhóm nghiên cứu lại chọn cảm biến SHT30 thay vì DHT11, DHT22 hay AHT20?
Dựa trên bảng so sánh kỹ thuật ở Chương 3, SHT30 được lựa chọn vì sở hữu độ chính xác cao (sai số ±0.3°C đối với nhiệt độ và ±2% RH đối với độ ẩm), tốc độ phản hồi nhanh (~4 giây), dải đo rộng (-40 đến 125°C), sử dụng giao tiếp số I2C có khả năng chống nhiễu tốt hơn chuẩn 1-wire của DHT11/DHT22 và hỗ trợ các tính năng nâng cao như cảnh báo (alert), clock stretching phù hợp với môi trường thực tế.

3. IC PCF8574 đóng vai trò gì trong khối điều khiển ngõ ra công suất?
IC PCF8574 đóng vai trò là mạch mở rộng chân vào/ra (I/O Expander) thông qua giao tiếp I2C. Việc sử dụng PCF8574 cho phép vi điều khiển ESP32 chỉ cần dùng đúng 2 chân tín hiệu (SDA và SCL) để điều khiển độc lập 8 relay cách ly quang, giúp giải quyết triệt để tình trạng hạn chế số lượng chân GPIO của vi điều khiển, đồng thời mạch gọn gàng và chống nhiễu tốt hơn so với việc điều khiển trực tiếp từng relay.

4. Cấu hình phần cứng và nhiệm vụ chính của máy tính Raspberry Pi 4 trong hệ thống là gì?
Raspberry Pi 4 Model B sử dụng bộ vi xử lý Broadcom BCM2711, 4 nhân Cortex-A72 64-bit xung nhịp 1.5 GHz, bộ nhớ RAM 2GB. Trong hệ sinh thái đồ án, Raspberry Pi 4 hoạt động như một máy chủ trung tâm (Server), chịu trách nhiệm: (1) Cài đặt MQTT Broker điều phối dữ liệu giữa các bo mạch; (2) Triển khai hệ quản trị cơ sở dữ liệu MongoDB/Firebase; (3) Lưu trữ và cấp phát giao diện website quản trị; (4) Chạy các API trung gian nhận tín hiệu âm thanh và gọi mô hình Gemini API để xử lý logic điều khiển thông minh.

5. Cơ chế nạp phần mềm từ xa (OTA) trên ESP32 đem lại lợi ích gì cho việc bảo trì thiết bị?
Cơ chế OTA (Over-The-Air) cho phép nạp lại và cập nhật mã nguồn firmware cho vi điều khiển ESP32 thông qua mạng không dây Wi-Fi bằng các thư viện như ArduinoOTA hoặc HTTPUpdate. Tính năng này giúp tiết kiệm thời gian bảo trì, cho phép nâng cấp tính năng và vá lỗi hệ thống từ xa mà không cần phải dùng cáp nạp USB hay tháo bo mạch ra khỏi vỏ hộp kỹ thuật sau khi đã lắp đặt cố định.

---

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Tự Kiệt và Võ Phú Vinh đã hoàn thành trọn vẹn việc thiết kế và thi công hệ sinh thái điều khiển trung tâm Smart AIoT kết hợp vi điều khiển ESP32, máy chủ Raspberry Pi 4 và màn hình cảm ứng HMI DWIN. Hệ thống vận hành ổn định các chức năng đo đạc môi trường, đóng ngắt 8 tải AC an toàn, hỗ trợ quản trị đa nền tảng qua giao diện Web và xử lý ngôn ngữ tiếng Việt linh hoạt qua Google Gemini API. Kết quả nghiên cứu đáp ứng đầy đủ các yêu cầu kỹ thuật đề ra, mang tính ứng dụng thực tiễn cao và đóng vai trò làm mô hình mẫu cho việc phát triển các giải pháp tự động hóa tòa nhà thông minh.

Trích đoạn nội dung tài liệu

Mở đầu bằng việc nêu rõ lý do lựa chọn đề tài, mục tiêu và nội dung nghiên cứu, các giới hạn trong quá trình thực hiện, cùng với bố cục trình bày của toàn bộ đồ án Chương 2: Cơ Sở Lý Thuyết Trình bày các kiến thức cần thiết cho nghiên cứu, bao gồm lý thuyết về ESP32, giao tiếp cảm biến, màn hình HMI Dwin, mô hình Speech to Speech, giao tiếp MQTT, Raspberry Pi làm server, và các công nghệ liên quan đến điều khiển thiết bị từ xa. Chương 3: Thiết Kế và Tính Toán Nêu các phương án thiết kế phần cứng và phần mềm được đề xuất, bao gồm sơ đồ hệ thống, mô hình hoạt động, thiết kế mạch điện, thuật toán xử lý dữ liệu và giao tiếp giữa các thành phần. Các tính toán liên quan đến hiệu năng hệ thống cũng sẽ được trình bày. Chương 4: Thi công hệ thống Trình bày kết quả thực nghiệm, bao gồm quá trình lắp ráp, kiểm thử hệ thống và đánh giá hiệu suất.

Các nhận xét về ưu điểm, hạn chế và khả năng mở rộng của hệ thống cũng được phân tích. Chương 5: Kết Quả, Nhận Xét và Đánh Giá Chương cuối cùng tổng kết lại những kết quả đạt được so với mục tiêu ban đầu. Đồng thời, các hướng phát triển trong tương lai cũng được đề xuất để cải thiện và nâng cao hiệu quả ứng dụng của hệ thống. Chương 6: Kết Luận và Hướng Phát Triển Nêu ra kết luận tổng quan về toàn bộ đồ án.

Đồng thời, đề xuất các hướng phát triển tiếp theo nhằm nâng cao tính năng, độ chính xác và tính ứng dụng trong thực tế. TỔNG QUAN VỀ HỆ THỐNG AIOT Việc nghiên cứu để “Thiết kế và thi công bộ điều khiển trung tâm SmaAIot kết hợp màn hình HMI để điều khiển, bên cạnh đó còn theo một module nhận dạng giọng nói để điều khiển các thiết bị trong hệ thống nhà thông minh.” nhằm mục đích kết hợp các công nghệ hiện đại để đưa ra giải pháp toàn diện việc quản lý, điều khiển các thiết bị trong không gian sống. Hệ thống này không chỉ giúp tự động hóa các tác vụ trong nhà mà còn tăng cường sự tiện nghi và hiệu quả trong việc quản lý tài nguyên, đáp ứng các nhu cầu ngày càng cao của con người về sự tiện lợi, an toàn và bảo mật. Mục tiêu của hệ thống là xây dựng một hệ sinh thái khép kín, trong đó các thiết bị và cảm biến được kết nối với nhau thông qua các giao thức IoT, cho phép người dùng dễ dàng điều khiển từ xa thông qua một giao diện trực quan, thân thiện.

Bộ điều khiển trung tâm không chỉ đảm nhiệm vai trò điều khiển các thiết bị điện, mà còn tích hợp các cảm biến để theo dõi các yếu tố môi trường như nhiệt độ, độ ẩm, chất lượng không khí,. nhằm nâng cao sự tiện nghi và an toàn cho người sử dụng. Một trong những điểm nổi bật là việc tích hợp màn hình HMI (Human-Machine Interface) và nhận dạng giọng nói. Màn hình HMI cung cấp giao diện trực quan cho người dùng để theo dõi và điều chỉnh các thiết bị, trong khi nhận dạng giọng nói mang lại sự tiện lợi và thân thiện hơn trong việc điều khiển bằng giọng nói, giúp người dùng ra lệnh mà không cần phải thao tác vật lý.

Sự kết hợp này tạo ra một trải nghiệm người dùng mượt mà và hiệu quả, giúp việc quản lý thiết bị trở nên đơn giản hơn bao giờ hết. Cụ thể, hệ thống sẽ bao gồm các thành phần như vi điều khiển ESP32, máy tính trung gian (Raspberry Pi), cảm biến môi trường, màn hình HMI DWIN, và giao diện web để điều khiển từ xa. Ngoài ra, việc sử dụng AI và các mô hình Speech-to- Text và Text-to-Speech (chuyển giọng nói thành văn bản và ngược lại) sẽ giúp người dùng điều khiển hệ thống qua giọng nói một cách dễ dàng và chính xác. TRỢ LÝ ẢO THÔNG QUA GIỌNG NÓI 2.

Mô hình chuyển đổi giọng nói sang giọng nói (STST) STST (Speech-to-Speech Translation) hay còn gọi là S2ST là một kỹ thuật trong trí tuệ nhân tạo AI cho phép dịch trực tiếp lời nói từ một ngôn ngữ sang lời nói bằng ngôn ngữ hoặc một câu văn khác. Thay vì người dùng phải nói sau đó hệ thống lắng nghe rồi chuyển sang văn bản, rồi phát lại thì STST giúp quá trình này trở nên liền mạch và tự nhiên hơn.Mô tả mô hình Speech-to-speech Kiến trúc hệ thống STST gồm 3 bước chính: ● ASR (Automatic Speech Recognition) – Nhận dạng giọng nói: Chuyển lời nói đầu vào thành văn bản tương ứng. ● LLM (Large Language Model) – Truy vấn mô hình ngôn ngữ lớn: Tiếp nhận văn bản câu lệnh, phân tích ngữ nghĩa, hiểu ý định của người dùng và từ đó tạo ra văn bản phản hồi phù hợp ● TTS (Text to speech) - Chuyển văn bản thành giọng nói: Chuyển văn bản thành giọng nói tương ứng. Ngày nay, với sự phát triển mạnh mẽ của trí tuệ nhân tạo, các thành phần trong hệ thống STST đã được thương mại hóa và sẵn sàng triển khai dưới dạng dịch vụ.

Người dùng và nhà phát triển có thể dễ dàng tích hợp các mô hình có sẵn như ChatGPT, Gemini hay Google Cloud Speech API vào hệ thống của mình thông qua API. 6 Ưu điểm của việc sử dụng các mô hình STST có sẵn : − Dễ dàng triển khai: Có thể kết hợp các mô hình ASR, LLM và TTS sẵn có để xây dựng nhanh hệ thống STST mà không cần quá nhiều dữ liệu huấn luyện. − Linh hoạt: Dễ thay đổi mô hình từng phần để cải thiện chất lượng (ví dụ thay ASR hoặc LLM mạnh hơn). − Hiệu quả về tài nguyên: Tiết kiệm chi phí phát triển ban đầu.

♦ Một số hạn chế: − Lan truyền lỗi: Nếu mô hình ASR nhận dạng sai, lỗi này sẽ truyền sang bước dịch và tổng hợp giọng nói, dẫn đến kết quả cuối cùng bị sai lệch. − Độ trễ cao: Mỗi bước ASR, LLM, TTS đều mất thời gian xử lý riêng, nên tổng thời gian phản hồi cho người dùng có thể chậm. − Giới hạn phần cứng: Các thiết bị nhúng như Esp32 có bộ nhớ và năng lực tính toán hạn chế, khó chạy trực tiếp cả ba mô hình nặng. Phần lớn cần gửi dữ liệu lên server để xử lý.

− Yêu cầu kết nối mạng ổn định: Nếu kết nối Wi-Fi yếu hoặc mất kết nối, trải nghiệm người dùng sẽ bị gián đoạn. Trợ lý giọng nói điều khiển thiết bị Trợ lý giọng nói là một trong những ứng dụng thực tiễn và phổ biến của trí tuệ nhân tạo AI trong đời sống hiện đại, đặc biệt trong lĩnh vực nhà thông minh. Với sự kết hợp giữa nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên, chúng ta có thể xây dựng hệ thống điều khiển thiết bị thông minh bằng khẩu lệnh. Kiến trúc hệ thống - Thu thập tín hiệu âm thanh thông qua micro.

- Gửi tín hiệu âm thanh lên máy chủ AI để xử lý bằng mô hình ASR. - Văn bản được gửi đến Inference API để phân tích mục đích câu nói, phân biệt giữa câu lệnh điều khiển và hội thoại thông thường. Phản hồi từ AI sẽ theo 2 hướng: 7 - Nếu là câu hỏi trò chuyện → phản hồi được chuyển thành giọng nói (TTS) và phát qua loa. - Nếu là câu lệnh điều khiển thiết bị → ESP32 thực hiện thao tác tương ứng như bật/tắt đèn, mở quạt.

Quy trình hoạt động của trợ lý giọng nói - Nhận dạng giọng nói tự động (ASR): Khi vào chế độ này hệ thống chuyển sang quá trình nhận dạng giọng nói tự động. Âm thanh từ người dùng sẽ được chuyển đổi thành văn bản. - Xử lý ngôn ngữ tự nhiên: Sau khi có văn bản từ ASR, hệ thống tiếp tục phân tích ngữ nghĩa của văn bản đó. Đây là bước quyết định giúp hệ thống hiểu rõ yêu cầu của người dùng.

- Truy vấn mô hình ngôn ngữ (LLM): Trong các hệ thống trợ lý giọng nói hiện đại, một mô hình ngôn ngữ lớn (LLM) sẽ được sử dụng để hiểu sâu hơn về ngữ cảnh và phản hồi người dùng. Mô hình này có thể dựa trên các mô hình tiên tiến như GPT-3, Gemini,… cung cấp khả năng phản hồi chính xác và linh hoạt. Mô hình ngôn ngữ này có thể trả lời câu hỏi, giải thích hoặc đưa ra các hành động cụ thể. - Chuyển văn bản thành giọng nói (TTS): Sau khi xử lý xong và tạo ra phản hồi văn bản, hệ thống sẽ chuyển phản hồi đó thành giọng nói bằng mô hình chuyển văn bản thành giọng nói.

Các mô hình TTS hiện đại sử dụng công nghệ học sâu như WaveNet để tạo ra giọng nói tự nhiên và dễ nghe.3 Gemini API xử lý ngôn ngữ tự nhiên a) Giới thiệu Gemini là một mô hình trí tuệ nhân tạo (AI) tiên tiến, được phát triển bởi Google DeepMind, đây được xem là bước tiến lớn lĩnh vực AI đa phương thức (multimodal AI). Mô hình này được thiết kế để hiểu và xử lý một loạt các định dạng dữ liệu, bao gồm văn bản, hình ảnh, âm thanh, video và mã nguồn lập trình. Từ đó, mở ra những khả năng mới trong việc tương tác và làm việc với thông tin.Logo Gemini Trong đề này Gemini được dùng để phân tích văn bản lệnh từ người dùng (chuyển từ giọng nói sang văn bản), sau đó phản hồi như một trợ lý ảo hoặc phát hiện lệnh điều khiển thiết bị Server Raspberry Pi sẽ gửi văn bản đến Gemini API, nhận lại phản hồi, rồi: ● Trả lại phản hồi AI cho người dùng (qua ESP32) ● Gửi lệnh MQTT nếu văn bản là lệnh điều khiển thiết bị Gemini giúp hệ thống trở nên linh hoạt, có thể hiểu ngôn ngữ tự nhiên tiếng Việt, phản hồi thông minh và không cần phải code cứng từng câu lệnh như trước đây. b) Ứng dụng ♦ Trợ lý ảo và chatbot thông minh Gemini đóng vai trò như một trợ lý ảo mạnh mẽ, hỗ trợ người dùng trong các công việc hằng ngày.

Với khả năng hiểu biết và xử lý ngôn ngữ tự nhiên nổi trội. hệ thống giúp tìm kiếm thông tin, soạn thảo văn bản, viết mail và thực hiện nhiều tác vụ khác một cách nhanh chóng hiệu quả. ♦ Hỗ trợ lập trình, phát triển phần mềm Gemini còn là một công cụ hữu ích hỗ trợ cho các lập trình viên. Nó có thể phân tích và tối ưu hóa mã nguồn, gợi ý cách sửa lỗi và cải thiện hiệu suất code, đồng thời hỗ trợ viết chương trình trong nhiều ngôn ngữ lập trình khác nhau.

Điều này giúp tăng tốc quá trình phát triển phần mềm và giảm thiểu lỗi.