Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Ứng dụng các thiết bị IoT vào thực tế ảo Metaverse (IoT in Metaverse)" do sinh viên Chu Thành Nhân (Khoa Kỹ thuật Máy tính, Trường Đại học Công nghệ Thông tin – ĐHQG-HCM) thực hiện dưới sự hướng dẫn của ThS. Phan Đình Duy vào tháng 07/2024. Đề tài tập trung vào bài toán tích hợp các hệ thống Internet vạn vật (Internet of Things - IoT) vào không gian thực tế ảo Metaverse nhằm xây dựng cầu nối phản chiếu dữ liệu thời gian thực giữa thế giới vật lý và thế giới ảo (khái niệm bản sao kỹ thuật số - Digital Twin).

Bối cảnh thực tiễn được tác giả nêu rõ thông qua sự phát triển của không gian ảo Metaverse (thuật ngữ xuất phát từ tiểu thuyết "Snow Crash" năm 1992 của Neal Stephenson) và các nền tảng thực tế mở rộng (XR/VR/AR) thương mại như Apple Vision Pro ra mắt đầu năm 2024 hay akaVerse của FPT tại Việt Nam. Đồng thời, hệ sinh thái IoT với quy mô dự báo đạt tiềm năng 12,6 nghìn tỷ USD vào năm 2030 đang đặt ra nhu cầu đồng bộ dữ liệu cảm biến đa chiều vào không gian 3D nhằm phục vụ giám sát, điều khiển từ xa, y tế, thương mại và quản lý đô thị.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định theo các chỉ số kỹ thuật cụ thể:

  1. Nâng cao khả năng tương tác: Xây dựng giao diện đồ họa 3D trực quan, hỗ trợ giám sát và điều khiển thiết bị IoT từ xa trong không gian Metaverse.
  2. Độ chính xác nhận diện đối tượng: Đạt tỷ lệ nhận diện người qua camera thời gian thực trên 80%, bảo đảm tính toàn vẹn dữ liệu.
  3. Độ trễ và tốc độ truyền tải: Giữ độ trễ mô phỏng dữ liệu lên không gian ảo không vượt quá 3 giây, không để xảy ra hiện tượng mất gói tin.
  4. Ứng dụng thực nghiệm: Triển khai mô hình giám sát sự hiện diện của con người và các yếu tố môi trường (nhiệt độ, độ ẩm, ánh sáng, khí gas) tại không gian tầng 6 tòa nhà E, Trường Đại học Công nghệ Thông tin.

Đối tượng nghiên cứu là quy trình thu thập, xử lý, truyền nhận dữ liệu IoT và kỹ thuật biểu diễn 3D thời gian thực. Phạm vi không gian được giới hạn trong khu vực phòng làm việc/học tập tại tầng 6 tòa E (UIT), với dữ liệu thu thập từ vi điều khiển nhúng, camera và các cụm cảm biến môi trường.

Cơ sở lý thuyết và công nghệ nền tảng

Tác giả tổng hợp các nền tảng lý thuyết mạng truyền thông, thị giác máy tính và công nghệ đồ họa phục vụ việc xây dựng hệ thống:

  • Giao thức mạng và truyền thông hai chiều:

    • WebSocket: Giao thức truyền thông hai chiều (two-way communication) toàn song công trên nền TCP, giúp kết nối máy khách và máy chủ với độ trễ thấp, đáp ứng yêu cầu truyền luồng dữ liệu thời gian thực.
    • MQTT (Message Queuing Telemetry Transport): Giao thức truyền thông điệp gọn nhẹ hoạt động theo mô hình Xuất bản/Thuê bao (Publish/Subscribe) thông qua Máy chủ môi giới (Broker), tối ưu cho thiết bị phần cứng tài nguyên giới hạn và mạng băng thông thấp.

  • Thị giác máy tính và Học máy (Computer Vision & Machine Learning):

    • OpenCV: Thư viện mã nguồn mở cung cấp các module chức năng bao gồm xử lý cấu trúc dữ liệu cơ bản (Core), xử lý ảnh và thị giác máy tính (CV), giao diện người dùng (GUI), cùng các thuật toán học máy (Naive Bayes, k-NN, SVM, Decision Trees, Neural Networks).
    • YOLO (You Only Look Once): Kiến trúc mạng nơ-ron tích chập (CNN) nhận diện đối tượng theo cơ chế đầu-cuối (end-to-end), chia khung hình thành lưới $S \times S$ để dự đoán đồng thời tọa độ hộp giới hạn (bounding box) và xác suất phân lớp. Tác giả chọn phiên bản YOLOv8 (sử dụng cấu trúc mạng không neo - anchor-free head) do có sự cân bằng tốt giữa tốc độ xử lý khung hình thời gian thực và độ chính xác.

  • Nền tảng phát triển không gian ảo và Đồ họa 3D:

    • Unity (phiên bản Unity 6 Preview): Nền tảng phát triển ứng dụng 3D/VR đa nền tảng, sử dụng ngôn ngữ lập trình C#. Phiên bản Unity 6 Preview tích hợp các cơ chế tối ưu kết xuất như GPU Resident Drawer (giảm tải xử lý cho CPU), GPU Occlusion Culling (loại bỏ dựng các vật thể bị che khuất) và Xử lý hậu kỳ không gian - thời gian (STP).
    • Polycam & Unreal Engine: Các công cụ tạo dựng, quét mô hình 3D từ không gian thực tế được đề cập như giải pháp bổ trợ và định hướng mở rộng.

  • Nền tảng hạ tầng Đám mây và Cơ sở dữ liệu:

    • Google Firebase: Sử dụng cơ sở dữ liệu thời gian thực (Firebase Realtime Database) theo mô hình NoSQL dưới dạng cây JSON phân cấp (Big JSON) để lưu trữ và phân phối trạng thái cảm biến.
    • Hạ tầng điện toán đám mây Microsoft Azure: Nền tảng ảo hóa sử dụng hypervisor cung cấp máy ảo Linux, phục vụ việc đánh giá khả năng chịu tải và tính ổn định khi vận hành hệ thống máy chủ trên môi trường Internet.
Tiêu chí so sánh AWS (Amazon Web Services) Google Cloud Platform Microsoft Azure
Công nghệ máy ảo EC2 (Elastic Compute Cloud) Google Compute Engine VHD (Virtual Hard Disk)
Cơ sở dữ liệu hỗ trợ Quan hệ, NoSQL, Big Data BigQuery, BigTable Quan hệ, NoSQL (Azure Table, HDInsight)
Mô hình định giá Làm tròn theo từng giờ Làm tròn theo từng phút Làm tròn theo từng phút (Pay As You Go)
Dịch vụ lưu trữ S3, Elastic Block Storage, EFS Cloud Storage, Persistent Disk Blob Storage, Queue, File, Disk Storage
Dịch vụ Trí tuệ nhân tạo SageMaker, Lex, Polly Cloud Video Intelligence, Cloud ML Azure Bot Service, Cognitive Services

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo mô hình 3 khối chức năng liên kết chặt chẽ: Khối thiết bị (Devices), Khối máy chủ (Server) và Khối người dùng (User/Metaverse).

[Khối Thiết bị: ESP32-CAM + Sensors]

1. Khối thiết bị phần cứng (Devices)

Khối thiết bị chịu trách nhiệm đo đạc các tham số môi trường và ghi nhận hình ảnh thực tế tại tầng 6 tòa E:

  • Bộ điều khiển trung tâm (MCU): Module ESP32-CAM tích hợp chip ESP32-S và module camera OV2640.
  • Cảm biến môi trường:
    • Cảm biến nhiệt độ và độ ẩm: Đo đạc thông số vi khí hậu.
    • Cảm biến ánh sáng (LDR): Xác định cường độ sáng của phòng.
    • Cảm biến khí gas (MQ-2): Phát hiện nồng độ các loại khí dễ cháy (LPG, methane, butane) và khói.
  • Xử lý tại biên: ESP32-CAM đọc tín hiệu điện áp/kỹ thuật số từ các chân GPIO, đóng gói dữ liệu cảm biến thành định dạng JSON; đồng thời nén khung hình camera thu nhận từ OV2640 thành định dạng JPEG trước khi truyền qua mạng Wi-Fi bằng giao thức WebSocket.
Thông số kỹ thuật Chi tiết trên thiết bị ESP32-CAM
Vi điều khiển chính ESP32-S (AI-Thinker), CPU 32-bit công suất thấp
Tần số xung nhịp Lên đến 160 MHz (hiệu năng tính toán 600 DMIPS)
Bộ nhớ Tích hợp 520 KB SRAM, mở rộng 4 MB PSRAM ngoài
Kích thước & Dòng nghỉ $40 \times 27 \times 12\text{ mm}$, dòng điện tiêu thụ ở chế độ nghỉ 6 mA
Chuẩn kết nối không dây Wi-Fi 802.11 b/g/n/e/i, Bluetooth 4.2 BR/EDR & BLE
Hỗ trợ ngoại vi & Camera Giao tiếp UART, SPI, I2C, PWM, ADC, DAC; hỗ trợ camera OV2640, OV7670

2. Khối máy chủ trung gian (Server)

Khối máy chủ đảm nhận vai trò định tuyến, xử lý học máy và đồng bộ cơ sở dữ liệu:

  • Node.js Server: Duy trì kết nối WebSocket thời gian thực với ESP32-CAM và ứng dụng người dùng Unity. Node.js tiếp nhận gói tin tổng hợp, tách luồng dữ liệu cảm biến để lưu trữ trực tiếp lên Firebase Realtime Database và chuyển tiếp luồng dữ liệu hình ảnh sang máy chủ Python.
  • Python Server (Thị giác máy tính): Tiếp nhận ảnh JPEG, giải nén và đưa qua mô hình mạng YOLOv8 phiên bản Nano (YOLOv8n). Mô hình này được tác giả huấn luyện trên bộ dữ liệu gồm 1.431 tấm ảnh để chuyên biệt hóa tác vụ nhận diện người.
  • Cấu trúc gói tin truyền thông: Sau khi xử lý nhận diện, Python Server đóng gói kết quả thành định dạng nhị phân 8 bytes tiêu chuẩn kèm theo dữ liệu ảnh gốc để gửi ngược lại cho Node.js Server:
Phân đoạn byte Kích thước Ý nghĩa dữ liệu
Bytes 0 – 3 4 bytes đầu tiên Số lượng người nhận diện được trong khung hình
Bytes 4 – 7 4 bytes tiếp theo Kích thước dữ liệu của tấm ảnh (bytes)
Bytes còn lại Động theo kích thước Mảng dữ liệu nhị phân của tệp ảnh nén JPG
  • Triển khai hạ tầng kép: Bên cạnh máy chủ cục bộ (Local Server), hệ thống được triển khai trên máy chủ đám mây Microsoft Azure (chạy hệ điều hành Linux). Việc truy cập quản trị từ xa được thiết lập qua SSH Key kết hợp cấu hình tường lửa (Firewall) mở các cổng chuyên dụng cho kết nối WebSocket.

3. Khối giao diện người dùng và mô phỏng không gian ảo (User)

Khối người dùng được xây dựng hoàn toàn trên môi trường đồ họa Unity Engine:

  • Giao diện hiển thị chỉ số: Trực quan hóa giá trị nhiệt độ, độ ẩm, cường độ ánh sáng và nồng độ khí gas nhận từ Firebase dưới dạng bảng biểu, đồng hồ đo thời gian thực.
  • Hiển thị luồng hình ảnh: Nhận luồng khung hình động từ camera OV2640 thông qua kênh WebSocket để người dùng giám sát không gian thực.
  • Mô phỏng 3D tương tác: Dựng lại không gian phòng học/làm việc tầng 6 tòa E dưới dạng 3D. Trạng thái số lượng người xuất hiện trong mô hình Metaverse được tự động cập nhật tương ứng với kết quả phát hiện từ mô hình YOLOv8, tái hiện chân thực điều kiện thực tế vào thế giới ảo.

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài

Chương 1 thiết lập khung nghiên cứu tổng quan về sự giao thoa giữa IoT và Metaverse. Tác giả phân tích các khái niệm nền tảng từ định nghĩa ban đầu của Metaverse trong văn học đến các ứng dụng Digital Twin hiện đại trong y tế, thời trang ảo (phòng thử đồ thông minh), Internet xúc giác, bảo trì công nghiệp và quy hoạch đô thị. Chương này xác định bức tranh nghiên cứu trên thế giới với các giải pháp phần cứng XR (Apple Vision Pro) và các thử nghiệm ban đầu tại Việt Nam (du lịch thực tế ảo Hội An, giải pháp akaVerse của FPT). Mục tiêu dự án được đặt ra với các chỉ tiêu định lượng: nhận diện người chính xác $> 80%$, độ trễ đồng bộ ảo $< 3\text{ giây}$, cùng quy trình 3 giai đoạn (Thiết kế – Phát triển – Triển khai) tại tầng 6 tòa E.

Chương 2: Cơ sở lý thuyết đề tài

Chương 2 trình bày cơ sở lý thuyết kỹ thuật về các giao thức mạng, thư viện xử lý ảnh, giải thuật học sâu, công cụ đồ họa và hạ tầng đám mây:

  • Phân tích nguyên lý hoạt động của Socket, ưu/nhược điểm của giao thức hai chiều WebSocket so với phương pháp Polling truyền thống.
  • Trình bày kiến trúc Publish/Subscribe và cơ chế vận hành của Broker trong giao thức MQTT.
  • Cấu trúc module của OpenCV (Core, CV, GUI, ML) và nguyên lý phát hiện đối tượng lưới $S \times S$ của họ mô hình YOLO cùng các cải tiến không neo của YOLOv8.
  • Các tính năng mới của Unity 6 Preview (GPU Resident Drawer, Occlusion Culling, STP) và ngôn ngữ kịch bản C#.
  • Bảng đối sánh kỹ thuật giữa 3 nhà cung cấp dịch vụ đám mây (AWS, Google Cloud, Microsoft Azure) và kiến trúc dữ liệu NoSQL dạng cây JSON của Firebase Realtime Database.
  • Khảo sát chi tiết thông số phần cứng của vi điều khiển ESP32-CAM và module cảm biến OV2640.

Chương 3: Nội dung thực hiện

Chương 3 chi tiết hóa toàn bộ quy trình thiết kế và tích hợp kỹ thuật của hệ thống 3 lớp:

  • Xây dựng sơ đồ kiến trúc khối Devices sử dụng ESP32-CAM kết nối cảm biến nhiệt độ - độ ẩm, cảm biến ánh sáng LDR, cảm biến khí gas MQ-2 và camera OV2640.
  • Hiện thực hóa giải thuật nén ảnh JPEG và đóng gói dữ liệu JSON trên ESP32-CAM trước khi đẩy dữ liệu qua WebSocket.
  • Thiết lập khối máy chủ: Node.js điều phối kết nối, Python nạp mô hình YOLOv8n được huấn luyện riêng từ bộ dữ liệu 1.431 ảnh để trích xuất số người, đóng gói dữ liệu theo cấu trúc 8 bytes tiêu chuẩn.
  • Cấu hình cơ sở dữ liệu Firebase Realtime Database để lưu trữ dữ liệu môi trường.
  • Triển khai máy chủ Azure Linux, thiết lập SSH Key và mở port mạng an toàn cho giao thức WebSocket.
  • Thiết kế giao diện người dùng trên Unity, tích hợp các thành phần UI theo dõi môi trường, khung trình chiếu video camera và mô hình mô phỏng người 3D.

Chương 4: Kết quả thực hiện

Chương 4 ghi nhận các kết quả thực nghiệm đạt được sau khi tích hợp toàn diện hệ thống:

  • Khối phần cứng ESP32-CAM và cụm cảm biến hoạt động ổn định, thu thập liên tục các chỉ số nhiệt độ, độ ẩm, ánh sáng và nồng độ khí gas trong phòng.
  • Luồng hình ảnh từ camera OV2640 được truyền tải thông suốt qua WebSocket tới máy chủ Python.
  • Thuật toán YOLOv8n trên Python Server xử lý nhận diện chính xác sự hiện diện và số lượng người trong khung hình, đóng gói và gửi dữ liệu thành công về Node.js Server.
  • Cơ sở dữ liệu Firebase cập nhật tức thời các thông số môi trường.
  • Ứng dụng Unity hiển thị đầy đủ bảng dữ liệu cảm biến, hình ảnh camera trực tiếp và kích hoạt mô phỏng chính xác số lượng avatar người xuất hiện trong không gian 3D tầng 6 tòa E theo thời gian thực.

Chương 5: Kết luận

Chương 5 tổng kết toàn bộ quá trình thực hiện khóa luận, đánh giá mức độ hoàn thành so với các mục tiêu ban đầu, chỉ ra các ưu nhược điểm kỹ thuật, phân tích những khó khăn gặp phải trong quá trình kết nối phần cứng với không gian thực tế ảo và đề xuất các định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

1. Kết quả kỹ thuật đạt được

  • Hệ thống phần cứng nhúng hoàn chỉnh: Xây dựng thành công mạch thu thập dữ liệu tích hợp ESP32-CAM với 3 loại cảm biến môi trường (nhiệt độ - độ ẩm, ánh sáng LDR, khí gas MQ-2) và camera OV2640, hoạt động ổn định với dòng nghỉ thấp (6 mA).
  • Mô hình thị giác máy tính chuyên biệt: Huấn luyện thành công mô hình YOLOv8n trên tập dữ liệu 1.431 hình ảnh thực tế, đạt độ chính xác nhận diện người trên 80%.
  • Đường truyền dữ liệu thời gian thực: Thiết lập luồng truyền nhận dữ liệu hai chiều giữa MCU, máy chủ (Node.js, Python) và client Unity thông qua WebSocket, duy trì độ trễ toàn hệ thống dưới 3 giây và không xảy ra hiện tượng mất gói tin.
  • Quy chuẩn đóng gói dữ liệu: Thiết kế cấu trúc nhị phân 8 bytes (4 bytes số người + 4 bytes kích thước ảnh + dữ liệu ảnh JPG) giúp tối ưu hóa hiệu suất giao tiếp giữa các tiến trình máy chủ.
  • Triển khai hạ tầng đám mây an toàn: Vận hành đồng thời máy chủ cục bộ và máy chủ đám mây Microsoft Azure Linux sử dụng cơ chế xác thực khóa SSH Key và tường lửa bảo vệ.
  • Mô phỏng không gian ảo 3D: Xây dựng giao diện giám sát trực quan trên Unity 6 Preview, đồng bộ hóa thành công dữ liệu cảm biến và bản sao ảo của con người tại khu vực tầng 6 tòa E.

2. Đóng góp của đề tài

  • Hiện thực hóa thành công mô hình Digital Twin mức độ ứng dụng cụ thể, chứng minh khả năng đưa dữ liệu thực tế từ các cảm biến IoT chi phí thấp vào môi trường Metaverse.
  • Đề xuất quy trình tích hợp liên thông giữa phần cứng nhúng nguồn mở (ESP32), giải thuật học sâu hiện đại (YOLOv8), cơ sở dữ liệu thời gian thực (Firebase) và engine đồ họa 3D (Unity).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung đánh giá của tác giả trong văn bản, các điểm tồn tại và định hướng mở rộng của đề tài bao gồm:

Hạn chế kỹ thuật

  • Phạm vi nhận diện: Mô hình YOLOv8n tập trung phát hiện số lượng người tổng thể, chưa mở rộng sang nhận diện danh tính chi tiết từng cá nhân hoặc theo dõi tư thế, cử chỉ phức tạp.
  • Hạ tầng mạng và phần cứng: Băng thông truyền video bị phụ thuộc vào độ ổn định của mạng Wi-Fi; phần cứng ESP32-CAM bị giới hạn về bộ nhớ và khả năng xử lý tại chỗ nên việc nén ảnh còn phụ thuộc vào định dạng JPEG cơ bản.
  • Môi trường đồ họa: Không gian 3D mới chỉ dừng lại ở mức độ mô phỏng trực quan tại khu vực phòng học (tầng 6 tòa E), chưa tích hợp đầy đủ tính năng tương tác điều khiển ngược từ Metaverse về thiết bị vật lý với quy mô lớn.

Hướng phát triển tiếp theo

  • Mở rộng mạng lưới cảm biến và triển khai trên toàn bộ khuôn viên trường học hoặc các tòa nhà thông minh.
  • Ứng dụng công nghệ quét 3D thực tế chất lượng cao (như Polycam hoặc Unreal Engine) để tăng cường độ chi tiết của không gian Metaverse.
  • Phát triển các tính năng tương tác hai chiều nâng cao: cho phép người dùng đeo kính VR điều khiển trực tiếp hệ thống chiếu sáng, điều hòa không khí hoặc các thiết bị chấp hành trong phòng học từ không gian ảo.
  • Nâng cấp mô hình AI để nhận diện hành vi, phân tích cảm xúc hoặc theo dõi trạng thái sức khỏe người dùng trong thời gian thực.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho các nhóm đối tượng:

  • Sinh viên ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Điện tử - Viễn thông: Tham khảo mô hình kiến trúc tích hợp hệ thống nhúng (ESP32-CAM) với nền tảng đồ họa 3D (Unity) và máy chủ Web.
  • Người nghiên cứu các đề tài về Digital Twin, IoT và Metaverse: Học hỏi phương pháp thiết kế luồng truyền thông thời gian thực bằng WebSocket, cách cấu trúc gói tin nhị phân giữa Node.js và Python Server, cũng như quy trình huấn luyện và nhúng mô hình YOLOv8n vào hệ thống giám sát.
  • Nội dung giá trị nhất: Phần thiết kế kiến trúc 3 khối tại Chương 3, đặc biệt là quy trình phân tách dữ liệu cảm biến và dữ liệu hình ảnh, cùng giải pháp tối ưu kết xuất trên Unity 6 Preview.

Câu hỏi thường gặp

1. Tại sao tác giả lựa chọn phiên bản YOLOv8 thay vì YOLOv9 hay YOLOv10?

Tác giả giải thích trong văn bản rằng YOLOv9 và YOLOv10 tại thời điểm thực hiện đề tài là các phiên bản mới được phát triển, có thể còn tiềm ẩn lỗi chưa ổn định. Do đó, tác giả lựa chọn YOLOv8 – phiên bản đã được cộng đồng kiểm thử, tối ưu và phát triển hoàn thiện – để bảo đảm độ tin cậy khi nhận diện người theo thời gian thực.

2. Dữ liệu từ camera và cảm biến được truyền từ ESP32-CAM lên máy chủ bằng giao thức nào?

Toàn bộ dữ liệu cảm biến (định dạng JSON) và dữ liệu hình ảnh nén JPEG từ camera OV2640 được ESP32-CAM gửi trực tiếp tới Node.js Server qua mạng Wi-Fi bằng giao thức WebSocket, bảo đảm khả năng truyền thông hai chiều với độ trễ thấp.

3. Cấu trúc gói tin truyền từ Python Server về Node.js Server được quy định như thế nào?

Gói tin gồm một tiêu đề cố định 8 bytes và phần dữ liệu ảnh:

  • 4 bytes đầu tiên: Lưu trữ số lượng người được mô hình phát hiện.
  • 4 bytes tiếp theo: Lưu trữ kích thước tệp ảnh (tính bằng bytes).
  • Các bytes còn lại: Chứa mảng dữ liệu nhị phân của tệp ảnh JPEG.

4. Hệ thống đạt được các chỉ số kỹ thuật thực nghiệm nào?

Theo mục tiêu và kết quả thực hiện, hệ thống đạt độ chính xác nhận diện người trên 80% (với tập dữ liệu huấn luyện gồm 1.431 ảnh), độ trễ truyền dữ liệu và mô phỏng lên không gian Metaverse dưới 3 giây, và không bị mất gói tin trong quá trình truyền nhận.

5. Dữ liệu các cảm biến môi trường được lưu trữ bằng công nghệ gì?

Hệ thống sử dụng Firebase Realtime Database của Google, một hệ cơ sở dữ liệu NoSQL dựa trên đám mây lưu trữ dữ liệu dưới dạng cấu trúc tệp JSON lớn (Big JSON), cho phép phản hồi và đồng bộ dữ liệu thời gian thực tới ứng dụng Unity.

Kết luận

Khóa luận tốt nghiệp của sinh viên Chu Thành Nhân đã thiết kế và hiện thực hóa thành công hệ thống tích hợp IoT vào không gian thực tế ảo Metaverse phục vụ giám sát môi trường tại tầng 6 tòa E, Trường Đại học Công nghệ Thông tin. Đề tài kết hợp hiệu quả giữa phần cứng nhúng chi phí thấp ESP32-CAM, giải thuật thị giác máy tính YOLOv8n, nền tảng cơ sở dữ liệu thời gian thực Firebase và công cụ đồ họa Unity 6 Preview. Kết quả thử nghiệm đạt độ trễ dưới 3 giây và độ chính xác nhận diện người trên 80%, tạo tiền đề thực nghiệm quan trọng cho việc phát triển các ứng dụng bản sao kỹ thuật số (Digital Twin) trong nhà trường và đô thị thông minh.