Giới thiệu dự án

Sự bùng nổ của mạng lưới Vạn vật kết nối Internet (IoT - Internet of Things) với hơn 30 tỷ thiết bị dự kiến hoạt động trên toàn cầu đặt ra áp lực chưa từng có lên tài nguyên băng thông vô tuyến và giới hạn năng lượng của các thiết bị biên (Edge Devices). Hầu hết các nút cảm biến IoT hoạt động dựa trên pin dung lượng giới hạn hoặc năng lượng thu thập từ môi trường (Energy Harvesting - EH), trong khi nhu cầu truyền tải dữ liệu đa phương tiện (như hình ảnh, video giám sát) ngày càng tăng. Truyền thông truyền thống dựa trên định lý Shannon tập trung vào việc khôi phục chính xác từng bit dữ liệu ($Bit-level\ Accuracy$), dẫn đến lãng phí nghiêm trọng tài nguyên mạng khi phải truyền cả những thông tin dư thừa không mang giá trị ngữ nghĩa cốt lõi.

Vấn đề kỹ thuật cốt lõi được đặt ra trong đề tài bao gồm ba rào cản chính:

  1. Nguồn năng lượng thu thập qua sóng vô tuyến (RF Energy Harvesting) hoặc năng lượng tái tạo có tính ngẫu nhiên, không ổn định.
  2. Băng thông vô tuyến hạn chế, hiện tượng suy hao kênh truyền (Channel Fading) gây trễ và mất gói dữ liệu.
  3. Năng lực tính toán tại biên của thiết bị IoT không đủ để xử lý các mô hình truyền thông cồng kềnh.

Để giải quyết triệt để bài toán này, đồ án tốt nghiệp "Ứng dụng học tăng cường sâu cho tối ưu phân bổ tài nguyên trong hệ thống mạng IoT" do sinh viên Nguyễn Hữu Sang thực hiện dưới sự hướng dẫn của TS. Nguyễn Công Lượng (Khoa Công nghệ Thông tin, Trường Đại học Phenikaa) tập trung vào các mục tiêu cụ thể:

  1. Thiết kế mô hình truyền thông ngữ nghĩa (Semantic Communication - SemCom) ứng dụng mô hình Relation Transformer (RelTR) nhằm trích xuất đồ thị cảnh (Scene Graph Generation - SGG), giảm kích thước dữ liệu truyền tải mà vẫn bảo toàn ý nghĩa của hình ảnh.
  2. Xây dựng bài toán tối ưu hóa đa mục tiêu dưới dạng Tiến trình Quyết định Markov (Markov Decision Process - MDP), cân bằng giữa hiệu suất truyền ngữ nghĩa, độ trễ và mức tiêu thụ năng lượng thu thập được.
  3. Triển khai thuật toán Học tăng cường sâu (Deep Reinforcement Learning - DRL) với kiến trúc Mạng Q sâu (Deep Q-Network - DQN) để tự động hóa việc ra quyết định phân bổ công suất truyền và tốc độ lấy mẫu theo thời gian thực.

Dự án giới hạn phạm vi nghiên cứu ở việc mô phỏng mạng IoT đơn kênh/đa thiết bị truyền thông ngữ nghĩa hình ảnh có tích hợp bộ thu năng lượng RF, đánh giá hiệu năng thuật toán qua các kịch bản suy hao kênh truyền Rayleigh động.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Các phương pháp quản lý tài nguyên và truyền thông hiện nay trong mạng IoT bộc lộ nhiều điểm hạn chế khi triển khai thực tế:

Phương pháp Ưu điểm Nhược điểm Khả năng thích ứng
Truyền thống (Shannon Bit-level + Heuristic) Dễ triển khai, thuật toán đơn giản, không tốn tài nguyên tính toán Băng thông tiêu thụ lớn, tỷ lệ cạn kiệt năng lượng cao (>25%), không tối ưu theo trạng thái kênh Kém trong môi trường động
Q-Learning cổ điển Không cần mô hình kênh chính xác, tối ưu hóa được chính sách phân bổ Bùng nổ không gian trạng thái khi môi trường liên tục (Curse of Dimensionality), hội tụ chậm Trung bình
Đề xuất: DRL-DQN kết hợp SemCom (RelTR) Giảm 60-80% tải truyền dẫn, tự thích ứng phân bổ công suất theo năng lượng tích lũy Yêu cầu bước khởi tạo mô hình mạng nơ-ron ban đầu Rất cao, tự động tối ưu hóa đa mục tiêu

Ưu tiên yêu cầu hệ thống theo mô hình MoSCoW:

  • Must have: Mô hình MDP xác định rõ ràng State, Action, Reward; Mạng DQN xấp xỉ hàm giá trị tối ưu; Trích xuất đặc trưng ngữ nghĩa qua Scene Graph.
  • Should have: Bộ đệm trải nghiệm ưu tiên (Prioritized Experience Replay - PER) nhằm tăng tốc độ hội tụ; Khả năng thích ứng với mức năng lượng thu thập biến thiên.
  • Could have: Mở rộng không gian hành động liên tục qua DDPG (Deep Deterministic Policy Gradient).
  • Won't have (trong phạm vi khóa luận): Triển khai trực tiếp trên chip phần cứng chuyên dụng ASIC/FPGA.

Thiết kế hệ thống

Kiến trúc hệ thống truyền thông IoT ngữ nghĩa tích hợp DRL bao gồm các khối chức năng chính:

Chi tiết thông số kỹ thuật và ngăn xếp công nghệ:

  • Ngôn ngữ & Nền tảng: Python 3.9.18, PyTorch 2.0.1+cu118.
  • Thư viện DRL & Mô phỏng: Farama Gymnasium 0.29.1, NumPy 1.24.4, SciPy 1.11.2.
  • Mô hình SemCom: Transformer-based Relation Transformer (RelTR) trích xuất bộ ba ngữ nghĩa <Subject - Predicate - Object>.
  • Dataset đánh giá: Visual Genome Dataset và tập dữ liệu ảnh môi trường IoT thực tế.

Cấu trúc vector trạng thái $\mathbf{s}_t \in \mathcal{S}$ tại khe thời gian $t$: $$\mathbf{s}_t = \left[ E_t, Q_t, H_t, S_t \right]$$ Trong đó: $E_t$ là mức năng lượng tích lũy trong pin (mJ), $Q_t$ là độ dài hàng đợi dữ liệu ngữ nghĩa (triples), $H_t$ là hệ số tăng ích kênh truyền (CSI), $S_t$ là yêu cầu mức độ chi tiết ngữ nghĩa.

Không gian hành động rời rạc $\mathbf{a}t \in \mathcal{A}$: $$\mathbf{a}t = \left[ P{tx}, \kappa \right]$$ Trong đó $P{tx} \in {0, P_{min}, ..., P_{max}}$ là mức công suất phát vô tuyến, $\kappa \in {1, 2, 3}$ là cấp độ nén/chọn lọc đồ thị ngữ nghĩa.

Methodology

Dự án áp dụng quy trình nghiên cứu thực nghiệm lặp (Iterative Research Methodology):

  • Giai đoạn 1 (Tuần 1 - 4): Xây dựng mô hình toán học cho quá trình thu thập năng lượng Poisson/Markovian và kênh truyền vô tuyến Rayleigh Fading.
  • Giai đoạn 2 (Tuần 5 - 10): Đóng gói môi trường truyền thông ngữ nghĩa tuân thủ chuẩn OpenAI Gym/Gymnasium API.
  • Giai đoạn 3 (Tuần 11 - 18): Thiết kế kiến trúc mạng nơ-ron sâu DQN, tinh chỉnh siêu tham số ($\gamma, \epsilon, \alpha, \text{replay size}$), huấn luyện mô hình.
  • Giai đoạn 4 (Tuần 19 - 24): Chạy kiểm thử nghiệm thu (benchmarking), so sánh với các baseline algorithms và phân tích độ nhạy.

Implementation và kết quả

Development process

Thuật toán Deep Q-Learning được triển khai với mạng nơ-ron sâu $Q(s, a; \theta)$ để xấp xỉ hàm giá trị hành động. Quá trình huấn luyện sử dụng kỹ thuật Experience Replay Buffer $\mathcal{D}$ và Target Network $\hat{Q}(s, a; \theta^-)$ để loại bỏ tương quan giữa các mẫu và ổn định quá trình tối ưu.

Hàm mất mát tại mỗi bước huấn luyện: $$L(\theta) = \mathbb{E}{(s, a, r, s') \sim \mathcal{D}} \left[ \left( r + \gamma \max{a'} \hat{Q}(s', a'; \theta^-) - Q(s, a; \theta) \right)^2 \right]$$

Hàm phần thưởng (Reward Function) được thiết kế nhằm dung hòa giữa thông lượng ngữ nghĩa và chi phí năng lượng: $$R(s_t, a_t) = \omega_1 \cdot \text{Semantic_Throughput}(a_t, H_t) - \omega_2 \cdot \frac{P_{tx}(a_t)}{E_t + \epsilon} - \omega_3 \cdot \text{Delay_Penalty}(Q_t)$$

Đoạn mã nguồn xử lý huấn luyện cốt lõi của Agent:

import torch
import torch.nn as nn
import torch.optim as optim
import random
from collections import deque

class DQNAgent:
    def __init__(self, state_dim: int, action_dim: int, lr: float = 1e-3, gamma: float = 0.95):
        self.state_dim = state_dim
        self.action_dim = action_dim
        self.gamma = gamma
        self.epsilon = 1.0
        self.epsilon_min = 0.01
        self.epsilon_decay = 0.995
        self.batch_size = 64
        self.memory = deque(maxlen=10000)

        # Q-Network & Target Network Architecture (DNN)
        self.policy_net = self._build_net()
        self.target_net = self._build_net()
        self.target_net.load_state_dict(self.policy_net.state_dict())
        self.target_net.eval()

        self.optimizer = optim.Adam(self.policy_net.parameters(), lr=lr)
        self.loss_fn = nn.MSELoss()

    def _build_net(self) -> nn.Sequential:
        return nn.Sequential(
            nn.Linear(self.state_dim, 128),
            nn.ReLU(),
            nn.Linear(128, 128),
            nn.ReLU(),
            nn.Linear(128, self.action_dim)
        )

    def select_action(self, state: torch.Tensor) -> int:
        if random.random() < self.epsilon:
            return random.randint(0, self.action_dim - 1)
        with torch.no_grad():
            q_values = self.policy_net(state)
            return torch.argmax(q_values).item()

    def step_learn(self):
        if len(self.memory) < self.batch_size:
            return
        
        batch = random.sample(self.memory, self.batch_size)
        states, actions, rewards, next_states, dones = zip(*batch)

        b_s = torch.stack(states)
        b_a = torch.tensor(actions, dtype=torch.int64).unsqueeze(1)
        b_r = torch.tensor(rewards, dtype=torch.float32).unsqueeze(1)
        b_s_next = torch.stack(next_states)
        b_d = torch.tensor(dones, dtype=torch.float32).unsqueeze(1)

        # Tính toán Q(s, a)
        curr_q = self.policy_net(b_s).gather(1, b_a)

        # Tính toán Target Q value: r + gamma * max Q(s', a')
        with torch.no_grad():
            max_next_q = self.target_net(b_s_next).max(1)[0].unsqueeze(1)
            target_q = b_r + (1 - b_d) * self.gamma * max_next_q

        loss = self.loss_fn(curr_q, target_q)
        self.optimizer.zero_grad()
        loss.backward()
        torch.nn.utils.clip_grad_norm_(self.policy_net.parameters(), max_norm=1.0)
        self.optimizer.step()

        # Giảm epsilon (Epsilon-greedy)
        if self.epsilon > self.epsilon_min:
            self.epsilon *= self.epsilon_decay

Độ phức tạp tính toán:

  • Không gian lưu trữ: $\mathcal{O}(N_{mem} \cdot |S| + |\theta|)$ với $N_{mem} = 10^4$, $|\theta| \approx 33,000$ tham số.
  • Thời gian suy luận (Inference time): $\mathcal{O}\left(\sum_{l=1}^L d_l d_{l+1}\right) \approx 0.42\text{ ms}$ trên vi xử lý ARM Cortex-A72, hoàn toàn đáp ứng ràng buộc thời gian thực ($< 20\text{ ms}$).

Testing và validation

Mô hình được thử nghiệm thông qua 1000 Episodes mô phỏng, mỗi Episode gồm 200 khe thời gian ($Time\ Slot$).

Thông số mô phỏng thiết lập:

  • Dung lượng pin tối đa: $E_{max} = 500\text{ mJ}$.
  • Công suất thu thập trung bình $\lambda_{eh} \in [0.1, 0.6]\text{ mJ/slot}$.
  • Băng thông kênh truyền: $W = 1\text{ MHz}$, mật độ phổ công suất nhiễu $N_0 = -174\text{ dBm/Hz}$.
  • Tốc độ học ($\alpha$): $0.001$, Hệ số chiết khấu ($\gamma$): $0.95$.
Bảng đo lường hiệu năng sau 1000 Episodes:
+------------------------------------+---------------+-----------------+------------------+
| Chỉ số Đánh giá (Metrics)          | Greedy Policy | Random Baseline | Đề xuất (DQN-SC) |
+------------------------------------+---------------+-----------------+------------------+
| Phần thưởng tích lũy (Cum. Reward) | 142.6         | -48.2           | 289.4            |
| Tỷ lệ cạn pin (Energy Outage Rate) | 27.8%         | 42.1%           | 3.6%             |
| Độ trễ truyền TB (Avg Latency)     | 48.2 ms       | 82.5 ms         | 18.7 ms          |
| Băng thông tiêu thụ (Payload Size) | 100% (Raw)    | 100% (Raw)      | 24.3% (Triples)  |
+------------------------------------+---------------+-----------------+------------------+

Kết quả đạt được

  1. Khả năng hội tụ: Thuật toán DQN đạt trạng thái hội tụ ổn định sau khoảng 320–350 episodes, đường biểu diễn phần thưởng duy trì ổn định không bị phân kỳ.
  2. Tiết kiệm tài nguyên vô tuyến: Việc sử dụng Scene Graph Representation từ RelTR giúp giảm 75.7% lượng dữ liệu cần truyền tải so với truyền ảnh thô nén JPEG, trong khi giữ nguyên độ chính xác trích xuất ngữ cảnh tại máy chủ đạt trên 91.2%.
  3. Quản lý năng lượng thông minh: Agent tự động giảm mức công suất phát khi năng lượng pin giảm xuống dưới ngưỡng $20% \cdot E_{max}$, duy trì hoạt động liên tục (Self-sustainability) cho thiết bị cảm biến.

Đổi mới và đóng góp

  • Tích hợp SemCom và Deep RL: Khác với các giải pháp phân bổ năng lượng truyền thống chỉ xem xét gói tin ở tầng vật lý/MAC, nghiên cứu này gắn kết mức độ ưu tiên ngữ nghĩa ($Semantic\ Importance$) vào trực tiếp hàm mục tiêu MDP.
  • Cải tiến hiệu suất vượt bậc:
    • Giảm thiểu 87.0% tỷ lệ sập nguồn/cạn pin so với chính sách tham lam (Greedy Policy).
    • Tối ưu hóa 61.2% độ trễ truyền thông toàn chu trình.
  • Giá trị học thuật: Đồ án cung cấp khung mô phỏng hoàn chỉnh cho các bài toán tối ưu hóa tài nguyên mạng 6G Semantic-aware IoT. Công trình được định hướng phát triển công bố trên các tạp chí khoa học uy tín thuộc danh mục ISI/Scopus.

Ứng dụng thực tế và triển khai

Use Cases thực tế

  1. Nông nghiệp thông minh (Smart Agriculture): Các nút camera cảm biến năng lượng mặt trời chụp ảnh sâu bệnh trên cây trồng, trích xuất cấu trúc ngữ nghĩa <Lá, bị_nhiễm, Rệp_sáp> gửi về Gateway mà không cần gửi toàn bộ ảnh độ phân giải cao.
  2. Giám sát giao thông đô thị (Smart City Surveillance): Các trạm cảm biến camera không dây tự cấp nguồn phân tích mật độ xe <Xe_tải, gây_ách_tắc, Giao_lộ_A> để cảnh báo khẩn cấp với độ trễ dưới 20ms.
Lộ trình triển khai hệ thống (Implementation Roadmap):
[Tháng 1-2] --> Khảo sát môi trường sóng & đóng gói tập dữ liệu đồ thị cảnh (SGG)
[Tháng 3-4] --> Huấn luyện Offline Agent DQN trên môi trường mô phỏng Gym
[Tháng 5]   --> Chuyển đổi mô hình sang định dạng ONNX/TensorRT, nạp lên Edge Node
[Tháng 6]   --> Thử nghiệm thực địa với cảm biến thu năng lượng RF thực tế

Hạn chế và hướng phát triển

  • Hạn chế kỹ thuật: Không gian hành động hiện tại là rời rạc ($Discrete\ Action\ Space$). Trong môi trường thực tế, công suất phát và tỷ lệ thu hoạch năng lượng biến thiên liên tục, việc rời rạc hóa có thể làm mất đi các điểm tối ưu cục bộ.
  • Ràng buộc phần cứng: Mô hình RelTR tạo đồ thị cảnh có dung lượng tính toán tương đối lớn, đòi hỏi các dòng vi điều khiển biên phải có bộ tăng tốc AI (NPU/Edge GPU).
  • Hướng phát triển:
    1. Ứng dụng các thuật toán Actor-Critic liên tục như DDPG, SAC (Soft Actor-Critic) hoặc PPO (Proximal Policy Optimization).
    2. Mở rộng bài toán sang mạng IoT quy mô lớn sử dụng Học tăng cường đa tác tử (Multi-Agent Deep Reinforcement Learning - MADRL/MAPPO) kết hợp Học liên kết (Federated Learning).

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Cung cấp mã nguồn mẫu, phương pháp mô hình hóa toán học bài toán truyền thông vô tuyến kết hợp trí tuệ nhân tạo (AI-driven Communications).
  • Kỹ sư AI/IoT: Tham khảo giải pháp tích hợp mạng nơ-ron sâu gọn nhẹ (Lightweight Deep Learning) lên các thiết bị hạn chế năng lượng.
  • Doanh nghiệp Viễn thông: Ứng dụng công nghệ Semantic Communication nhằm giảm 60-70% chi phí hạ tầng băng thông đường truyền đám mây.
  • Nhà nghiên cứu: Tài liệu tham khảo có cấu trúc chặt chẽ phục vụ mở rộng nghiên cứu sang chuẩn mạng tương lai 6G.

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai giải pháp là gì?

Ở phía trạm gốc/Server cần GPU tối thiểu NVIDIA GTX 1650 (4GB VRAM) để huấn luyện offline. Ở nút IoT biên, hệ thống có thể chạy suy luận (Inference) trên các vi xử lý nhúng như Raspberry Pi 4 (4GB RAM) hoặc Jetson Nano với thời gian trễ dưới 20ms.

2. Semantic Communication giải quyết hiện tượng nghẽn mạng IoT như thế nào?

Thay vì truyền hàng megabytes dữ liệu điểm ảnh (pixels), hệ thống chỉ truyền các vector nhúng (embeddings) hoặc chuỗi văn bản của bộ ba ngữ nghĩa <Subject, Relation, Object>. Điều này giảm kích thước gói tin đến hơn 75%, giúp giảm tắc nghẽn hàng đợi tại các trạm thu phát.

3. Làm thế nào để mô hình thích ứng khi thời tiết xấu làm giảm khả năng thu năng lượng?

Vector trạng thái đầu vào của DQN liên tục cập nhật tốc độ nạp năng lượng thực tế $E_t$. Khi phát hiện nguồn năng lượng suy giảm, thuật toán tự động chuyển sang chế độ tiết kiệm: giảm công suất phát $P_{tx}$ và chỉ truyền các thông điệp ngữ nghĩa có mức ưu tiên cao nhất.

4. Thuật toán có bị hiện tượng quá khớp (Overfitting) với kênh truyền mô phỏng không?

Mô hình sử dụng phân phối kênh ngẫu nhiên Rayleigh Fading với các thông số nhiễu Gauss biến thiên trong từng episode huấn luyện, kết hợp kỹ thuật Epsilon-Greedy Decay giúp Agent duy trì khả năng tổng quát hóa cao khi kênh truyền biến động.

5. Chi phí đầu tư và thời gian hoàn vốn (ROI) khi ứng dụng giải pháp này?

Việc giảm năng lượng tiêu thụ giúp kéo dài tuổi thọ thiết bị cảm biến từ 1 năm lên đến 3-5 năm không cần thay pin, giảm 65% chi phí bảo trì định kỳ tại các nông trường hoặc nhà xưởng diện tích lớn, đạt điểm hòa vốn sau 8–12 tháng vận hành.

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Hữu Sang đã giải quyết xuất sắc bài toán tối ưu hóa tài nguyên trong mạng IoT năng lượng tái tạo bằng cách kết hợp liên ngành giữa Giao tiếp Ngữ nghĩa (SemCom) và Học tăng cường sâu (DRL/DQN). Kết quả thực nghiệm khẳng định tính khả thi vượt trội với khả năng tiết kiệm 75.7% băng thông và giảm tỷ lệ cạn kiệt năng lượng xuống chỉ còn 3.6%. Đây là nền tảng kỹ thuật vững chắc, mở ra tiềm năng ứng dụng to lớn trong việc hiện đại hóa hạ tầng mạng cảm biến thông minh và đóng góp thiết thực cho quá trình nghiên cứu tiêu chuẩn viễn thông thế hệ mới.