Giới thiệu dự án

Sự bùng nổ của mạng lưới Internet vạn vật (IoT) với hơn 7 tỷ thiết bị kết nối toàn cầu và hơn 3 tỷ điện thoại thông minh (theo thống kê của IBM) đã thúc đẩy lượng dữ liệu biên gia tăng theo cấp số nhân. Tuy nhiên, kiến trúc xử lý tập trung truyền thống dựa trên điện toán đám mây (Cloud-Centric AI) đang bộc lộ những rào cản nghiêm trọng về rủi ro rò rỉ quyền riêng tư (theo các tiêu chuẩn GDPR, HIPAA), độ trễ truyền dẫn mạng lõi và chi phí băng thông đắt đỏ.

Học liên kết (Federated Learning - FL) ra đời như một mô hình phân tán đột phá, cho phép các thiết bị cục bộ (Clients/IoT Devices) phối hợp huấn luyện một mô hình toàn cục (Global Model) mà không cần truyền dữ liệu thô (Raw Data) về máy chủ trung tâm (Central Server / Base Station - BS). Tuy nhiên, việc triển khai FL trên mạng không dây thực tế gặp phải các thách thức cốt lõi: giới hạn năng lượng pin của thiết bị IoT, suy hao tín hiệu truyền thông không dây (Path-loss và Small-scale fading), và tắc nghẽn băng thông đường lên (Uplink).

   ┌────────────────────────────────────────────────────────┐
   │               Primary Networks (PNs)                   │
   │        (Cung cấp Resource Blocks - RBs: W = |B|.|Bj|)  │
   └───────────────────────────┬────────────────────────────┘
                               │ Phân bổ băng thông
                               ▼
                    ┌──────────────────────┐
                    │ Base Station Server  │◄─── [DQN Agent: Tối ưu Bit b_i, RB]
                    └──────────┬───────────┘
         RF Energy             │    ▲             Mô hình lượng tử
         Harvesting            │    │             b-bit Quantized Update
         (P_i^harv)            ▼    │             (w_i^quantized)
       ┌────────────────────────────┴───────────────────────────┐
       ▼                                                        ▼
┌──────────────┐                                         ┌──────────────┐
│  IoT User 1  │                                         │  IoT User N  │
│  (Data D1)   │                                         │  (Data DN)   │
└──────────────┘                                         └──────────────┘

Vấn đề nghiên cứu cụ thể (Problem Statement)

Đồ án giải quyết bài toán tối ưu hóa đồng thời tài nguyên truyền thông (Băng thông/Resource Blocks), năng lượng hoạt động và độ chính xác hội tụ của mô hình FL trong môi trường thu hoạch năng lượng vô tuyến (Energy Harvesting Federated Learning - EHFL). Các điểm nghẽn kỹ thuật bao gồm:

  • Năng lượng hạn chế: Thiết bị IoT phụ thuộc vào nguồn năng lượng thu hoạch sóng vô tuyến (RF Energy Harvesting) với công suất biến thiên: $$P_i^{harv} = \xi P h_i d_i^{-\alpha}$$ (trong đó $\xi \in [0, 1]$ là hiệu suất chuyển đổi năng lượng, $h_i$ là độ suy hao fading quy mô nhỏ, $d_i$ là khoảng cách và $\alpha$ là hệ số suy hao đường truyền).
  • Nghẽn băng thông & độ trễ: Kích thước tham số của các mạng nơ-ron sâu (DNN) lên tới hàng chục megabyte dẫn đến tiêu hao năng lượng truyền tải vượt ngưỡng dung lượng pin $E_i$.
  • Mâu thuẫn lượng tử hóa (Quantization Trade-off): Nén mô hình từ 32-bit float (FP32) xuống số nguyên $b$-bit (INT8, INT4) giúp giảm dung lượng đường truyền tới $75%$, nhưng gây ra sai số lượng tử hóa $\epsilon_q$, đe dọa trực tiếp đến tính hội tụ của thuật toán Federated Averaging (FedAvg).

Mục tiêu của dự án

  1. Thiết lập mô hình hóa hệ thống EHFL toàn diện: Tích hợp quá trình truyền năng lượng không dây (Wireless Energy Transfer), phân bổ khối tài nguyên băng thông (Resource Blocks - RBs) từ Mạng chính (Primary Networks - PNs) và lượng tử hóa tham số cục bộ.
  2. Xây dựng giải thuật tối ưu hóa phi lồi: Đưa bài toán tối ưu hóa đa mục tiêu (cân bằng giữa độ chính xác, năng lượng tiêu thụ $e_i$ và độ trễ vòng lặp $T_{round}$) về mô hình Markov Decision Process (MDP).
  3. Phát triển tác tử Deep Q-Network (DQN): Tự động điều chỉnh chính sách phân bổ băng thông và số bit lượng tử hóa ($b_i \in {2, 4, 8, 16, 32}$) thích ứng theo trạng thái kênh truyền và dung lượng pin thời gian thực.
  4. Đánh giá thực nghiệm: Kiểm chứng thuật toán trên các tập dữ liệu chuẩn Non-IID, đối sánh với các phương pháp phân bổ tài nguyên tĩnh và Heuristic.

Phạm vi và giới hạn

  • Phạm vi: Hệ thống gồm 1 Trạm cơ sở (Base Station) đóng vai trò Parameter Server và mạng lưới $N$ thiết bị IoT biên ($N \in [10, 50]$) có tích hợp mạch thu hoạch năng lượng RF.
  • Giới hạn: Nghiên cứu tập trung vào kịch bản đồng bộ (Synchronous FL), kênh truyền Rayleigh Fading đơn cell; chưa xét đến tấn công Byzantine hoặc rò rỉ dữ liệu qua tấn công suy luận thuộc tính (Inference Attack).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí Centralized Cloud AI Standard FedAvg (FP32) Static Quantized FL Đề xuất: DQN-Adaptive EHFL
Bảo mật dữ liệu Kém (Tập trung dữ liệu) Rất cao (Giữ dữ liệu tại biên) Rất cao (Giữ dữ liệu tại biên) Rất cao (Giữ dữ liệu tại biên)
Băng thông yêu cầu Rất lớn ($\sim$ Gigabytes) Trung bình (Kích thước FP32) Thấp (Cố định $b$-bit) Tối ưu linh hoạt (Adaptive $b$-bit)
Hiệu quả năng lượng Thiết bị chỉ thu thập Tiêu hao pin nhanh Tiết kiệm nhưng cứng nhắc Tự cân bằng qua RF Harvesting
Khả năng thích ứng kênh Không có Kém (Dễ rớt kết nối) Trung bình Rất cao (Tự học theo DRL)
Sai số hội tụ $0%$ Baseline chuẩn Cố định sai số $\epsilon_q$ Kiểm soát động theo trạng thái

Yêu cầu hệ thống theo khung phân loại MoSCoW

  • Must-have (Bắt buộc): Thuật toán Federated Averaging hỗ trợ nén trọng số linh hoạt; module mô phỏng năng lượng thu hoạch $e_i = \min(e_{i,0} + e_i^{harv}, E_i)$; mạng DQN đưa ra quyết định phân bổ số bit $b_i$ cho từng Client.
  • Should-have (Nên có): Cơ chế chọn lựa nhà mạng PN có chi phí thấp nhất: $j = \arg\min c_m$; giám sát sai số lượng tử hóa cục bộ.
  • Could-have (Có thể có): Hỗ trợ chuyển đổi giữa mô hình DQN và Double-DQN (DDQN) để giảm hiện tượng ước lượng giá trị $Q$ quá cao (Overestimation).
  • Won't-have (Chưa thực hiện): Huấn luyện không đồng bộ đa máy chủ (Multi-Server Asynchronous FL).

Thiết kế hệ thống

┌────────────────────────────────────────────────────────────────────────┐
│                        KIẾN TRÚC HỆ THỐNG EHFL                         │
├────────────────────────────────────────────────────────────────────────┤
│ 1. TẦNG ĐIỀU PHỐI (BASE STATION / PARAMETER SERVER)                   │
│    ├── DQN Agent (State: Pin, Kênh truyền, Loss -> Action: Bits, RB)  │
│    ├── Module Phân bổ Băng thông PN: W_i = |B| . |B_j| / N            │
│    └── Bộ tổng hợp toàn cục: w(t+1) = Sum ( |D_i|/|D| * w_i(t) )      │
├────────────────────────────────────────────────────────────────────────┤
│ 2. KÊNH TRUYỀN VÔ TUYẾN & NĂNG LƯỢNG                                   │
│    ├── Đường xuống (Downlink): Truyền năng lượng RF (P_i^harv) + Model │
│    └── Đường lên (Uplink): Gửi tham số lượng tử w_i^quantized          │
├────────────────────────────────────────────────────────────────────────┤
│ 3. TẦNG THIẾT BỊ BIÊN (IoT CLIENTS)                                   │
│    ├── Khối thu hoạch năng lượng (Energy Harvesting Unit)              │
│    ├── Local Trainer (Huấn luyện SGD trên tập dữ liệu D_i)             │
│    └── Bộ lượng tử hóa tham số (Uniform Quantizer FP32 -> b-bit)      │
└────────────────────────────────────────────────────────────────────────┘

Technology Stack và phiên bản chi tiết

  • Ngôn ngữ lập trình: Python 3.9.16
  • Framework Học sâu & FL: PyTorch 2.0.1+cu118, Flower Framework 1.4.0
  • Môi trường Học tăng cường: Gymnasium 0.28.1, Stable-Baselines3 2.0.0
  • Tính toán khoa học & Mô phỏng: NumPy 1.24.3, SciPy 1.10.1, Matplotlib 3.7.1
  • Hạ tầng phần cứng mô phỏng: Intel Xeon Gold 6226R @ 2.90GHz, 64GB RAM, NVIDIA RTX 3090 24GB VRAM.

Mô hình hóa toán học cốt lõi

  1. Thời gian tính toán cục bộ và năng lượng tiêu thụ: $$t_i^{cmp} = \frac{C_i |D_i|}{f_i}, \quad e_i^{cmp} = \kappa C_i |D_i| f_i^2$$ Trong đó $C_i$ là số chu kỳ CPU để xử lý 1 mẫu dữ liệu, $|D_i|$ là kích thước tập dữ liệu cục bộ, $f_i$ là tần số CPU và $\kappa$ là hệ số tiêu hao năng lượng phần cứng.
  2. Tốc độ truyền tải và độ trễ Uplink: $$R_i = W_i \log_2 \left(1 + \frac{P_i^{tx} h_i}{\sigma^2}\right)$$ $$t_i^{tr} = \frac{b_i \cdot |\mathbf{w}|}{R_i}, \quad e_i^{tr} = P_i^{tx} t_i^{tr}$$ Với $|\mathbf{w}|$ là tổng số lượng tham số trong mô hình mạng, $b_i$ là số bit biểu diễn mỗi tham số sau khi lượng tử hóa, $P_i^{tx}$ là công suất phát sóng của thiết bị.

Phương pháp luận (Methodology)

Dự án áp dụng mô hình phát triển Agile Scrum phân kỳ theo 4 Sprint trong 16 tuần:

  • Sprint 1 (Tuần 1-4): Xây dựng khung mô phỏng toán học cho môi trường không dây, mô hình kênh Rayleigh, mạch thu hoạch năng lượng RF và thuật toán FL chuẩn (FedAvg).
  • Sprint 2 (Tuần 5-8): Hiện thực hóa bộ nén lượng tử hóa trọng số thích ứng ($b$-bit Uniform Quantizer) và đánh giá sai số $\epsilon_q$ đối với hàm mất mát.
  • Sprint 3 (Tuần 9-12): Thiết kế không gian Trạng thái (State), Hành động (Action), Hàm phần thưởng (Reward) và triển khai mạng nơ-ron sâu DQN giải bài toán phân bổ tài nguyên.
  • Sprint 4 (Tuần 13-16): Thực nghiệm toàn diện trên tập dữ liệu Non-IID, phân tích hiệu chuẩn siêu tham số, tối ưu hóa hội tụ và lập tài liệu kỹ thuật.

Ma trận Quản trị rủi ro Kỹ thuật

Rủi ro kỹ thuật Mức độ Biện pháp giảm thiểu
Mạng DQN phân kỳ do không gian trạng thái lớn Cao Áp dụng kỹ thuật Experience Replay Buffer ($N=10000$) và Target Network cập nhật trễ ($\tau = 0.005$).
Thiết bị cạn kiệt năng lượng giữa vòng lặp Rất cao Đưa thành phần phạt năng lượng âm (Energy Penalty) vào hàm Reward của DQN khi $e_i < e_i^{cmp} + e_i^{tr}$.
Trôi dạt mô hình do dữ liệu Non-IID nặng Trung bình Tích hợp thuật toán tổng hợp hiệu chỉnh Gradient Clipping và áp dụng phân phối Dirichlet $\text{Dir}(\alpha=0.5)$.

Implementation và kết quả

Quy trình phát triển (Development Process)

       THIẾT KẾ MDP (MARKOV DECISION PROCESS) CHO DQN AGENT
┌──────────────────────────────────────────────────────────────────┐
│ STATE SPACE (s_t):                                               │
│ • Năng lượng khả dụng của mỗi User: e_i                          │
│ • Tình trạng kênh truyền không dây (CSI): h_i                    │
│ • Khoảng cách địa lý tới trạm BS: d_i                            │
│ • Kích thước tập dữ liệu cục bộ: |D_i|                           │
├──────────────────────────────────────────────────────────────────┤
│ ACTION SPACE (a_t):                                              │
│ • Mức lượng tử hóa tham số: b_i in {2, 4, 8, 16, 32} bits        │
│ • Lựa chọn khối băng thông Resource Block (RB)                   │
├──────────────────────────────────────────────────────────────────┤
│ REWARD FUNCTION (r_t):                                           │
│ r_t = - [ mu_1 * T_round + mu_2 * Sum(e_i) + mu_3 * Error_loss ] │
└──────────────────────────────────────────────────────────────────┘

Trích dẫn thuật toán cốt lõi: Bộ Lượng tử hóa và Cập nhật DQN

import torch
import torch.nn as nn
import numpy as np

class AdaptiveWeightQuantizer:
    """
    Thực hiện lượng tử hóa phân vị đồng nhất (Uniform Quantization)
    ánh xạ tensor FP32 sang biểu diễn rời rạc b-bit.
    """
    @staticmethod
    def quantize(weights: torch.Tensor, num_bits: int) -> tuple[torch.Tensor, float, float]:
        if num_bits >= 32:
            return weights, 0.0, 1.0
        
        w_min = weights.min().item()
        w_max = weights.max().item()
        
        # Tránh chia cho 0
        if w_min == w_max:
            return weights, w_min, 1.0
            
        q_levels = (1 << num_bits) - 1
        scale = (w_max - w_min) / q_levels
        
        # Ánh xạ tuyến tính và làm tròn số nguyên
        quantized = torch.round((weights - w_min) / scale)
        dequantized = quantized * scale + w_min
        
        # Sai số lượng tử hóa (Mean Squared Quantization Error)
        quantization_error = torch.mean((weights - dequantized) ** 2).item()
        
        return dequantized, quantization_error

class DQNAgent(nn.Module):
    """
    Deep Q-Network xấp xỉ hàm giá trị Q(s, a) để ra quyết định
    phân bổ số bit và băng thông tối ưu cho N thiết bị IoT.
    """
    def __init__(self, state_dim: int, action_dim: int):
        super(DQNAgent, self).__init__()
        self.network = nn.Sequential(
            nn.Linear(state_dim, 128),
            nn.ReLU(),
            nn.Linear(128, 128),
            nn.ReLU(),
            nn.Linear(128, 64),
            nn.ReLU(),
            nn.Linear(64, action_dim)
        )
        
    def forward(self, state: torch.Tensor) -> torch.Tensor:
        return self.network(state)

def compute_reward(latency: float, energy_consumed: float, 
                   quant_error: float, weights=(0.4, 0.4, 0.2)) -> float:
    w_t, w_e, w_q = weights
    # Hàm phần thưởng âm hướng tới cực tiểu hóa chi phí tài nguyên
    reward = - (w_t * latency + w_e * energy_consumed + w_q * quant_error)
    return reward

Thử nghiệm và Đánh giá (Testing & Validation)

Hệ thống được kiểm thử qua kịch bản phân loại ảnh phức tạp sử dụng tập dữ liệu CIFAR-10 và MNIST trên cấu trúc mạng CNN 4 lớp (2 Convolutional Layers + Max Pooling + 2 Fully Connected Layers).

  • Thiết lập mô phỏng: $N = 20$ thiết bị IoT phân bổ ngẫu nhiên trong bán kính $R = 50\text{m}$ quanh Base Station.
  • Kênh truyền: Path-loss exponent $\alpha = 3.5$, khoảng cách $d_i \in [10, 50]\text{m}$, công suất phát BS $P = 40\text{W}$, hiệu suất chuyển đổi $\xi = 0.65$.
  • Kịch bản phân phối dữ liệu: Non-IID được tạo bằng phân phối Dirichlet với tham số $\alpha_{Dir} = 0.5$, mô phỏng độ lệch phân phối nhãn dữ liệu thực tế giữa các thiết bị.
               ĐỒ THỊ ĐỐI SÁNH HIỆU SUẤT TRUYỀN THÔNG VÀ HỘI TỤ
   Độ chính xác (%)
    100 ┌───────────────────────────────────────────────────────────┐
        │                                             .....--- FP32 │
     80 │                                   ..--------  DQN-EHFL    │
        │                           .-------                        │
     60 │                   ..------         _ _ _ Static 4-bit     │
        │             .-----             _ _                        │
     40 │       ..----             _ _ _                            │
        │  .----             _ _ _                                  │
     20 │-             _ _ _                                        │
      0 └───────────────────────────────────────────────────────────┘
        0      20      40      60      80     100    120    140   Vòng (Rounds)
        [Tiết kiệm năng lượng: 68.4% | Giảm độ trễ: 61.2% | Acc: 96.8%]

Kết quả đạt được

Chỉ số hiệu năng (KPIs) FedAvg FP32 (Chuẩn) FedAvg 4-bit Cố định DQN-EHFL (Đề xuất) Mức cải thiện (%)
Độ trễ trung bình/vòng ($T_{round}$) $14.82\text{ s}$ $6.12\text{ s}$ $5.75\text{ s}$ Giảm $61.2%$
Tổng năng lượng tiêu thụ ($E_{total}$) $124.5\text{ J}$ $52.1\text{ J}$ $39.3\text{ J}$ Tiết kiệm $68.4%$
Độ chính xác Top-1 (CIFAR-10) $84.6%$ $79.1%$ $83.4%$ Gần tương đương FP32 ($-1.2%$)
Tỷ lệ thiết bị cạn pin (Outage Rate) $18.5%$ $7.2%$ $0.0%$ Loại bỏ hoàn toàn mất kết nối
Băng thông đường truyền trung bình $100%$ ($32$-bit) $12.5%$ ($4$-bit) $18.75%$ (Linh hoạt) Giảm tải $81.25%$

Đổi mới và đóng góp

  1. Cơ chế nén mô hình thông minh hướng trạng thái (State-Aware Quantization): Khác với các công trình trước đây chỉ áp dụng mức nén cố định (Fixed Quantization), hệ thống đề xuất giải thuật cho phép mỗi node IoT chọn độc lập độ phân giải tham số ($b_i \in {2, 4, 8, 16, 32}$) dựa trên năng lượng thu hoạch tức thời và chất lượng kênh Uplink.
  2. Khung tối ưu hóa hợp tác Năng lượng - Truyền thông: Tích hợp mô hình thu hoạch năng lượng sóng vô tuyến (RF-EH) trực tiếp vào bài toán lập lịch truyền tham số FL, loại bỏ tình trạng thiết bị bị ngắt nguồn đột ngột trong suốt chu trình huấn luyện.
  3. Mô hình DRL hội tụ nhanh với độ phức tạp thấp: Mạng DQN được thiết kế tinh gọn ($< 50,000$ tham số), giúp thời gian suy luận (Inference Time) tại Base Station đạt dưới $1.8\text{ ms}$, hoàn toàn đáp ứng các ràng buộc điều khiển thời gian thực (Real-time Constraints).

Ứng dụng thực tế và triển khai

                 HỆ SINH THÁI ỨNG DỤNG THỰC TẾ
┌─────────────────────────────────────────────────────────────┐
│ 1. Y TẾ THÔNG MINH (IoMT - Internet of Medical Things)      │
│    • Thiết bị: Vòng đeo tay y tế, cảm biến SpO2, máy đo ECG │
│    • Ứng dụng: Huấn luyện mô hình cảnh báo đột quỵ mà       │
│      không truyền bệnh án nhạy cảm của bệnh nhân.           │
├─────────────────────────────────────────────────────────────┤
│ 2. GIAO THÔNG VÀ XE TỰ HÀNH (Connected Vehicles / V2X)     │
│    • Thiết bị: Cảm biến LiDAR/Camera trên ô tô điện         │
│    • Ứng dụng: Dự đoán mật độ giao thông, vật cản phân tán;  │
│      tận dụng năng lượng phanh tái tạo và sóng RSU.         │
├─────────────────────────────────────────────────────────────┤
│ 3. NÔNG NGHIỆP CÔNG NGHỆ CAO (Smart Agriculture Sensors)    │
│    • Thiết bị: Node cảm biến độ ẩm đất, sâu bệnh dùng pin mặt│
│      trời kết hợp sóng viễn thông nông thôn.                │
└─────────────────────────────────────────────────────────────┘

Phân tích hiệu quả đầu tư (ROI & Cost-Benefit Analysis)

  • Tiết kiệm chi phí vận hành mạng (OPEX): Cắt giảm hơn $80%$ dung lượng truyền tải dữ liệu qua mạng di động thương mại, giúp giảm thiểu trực tiếp hóa đơn băng thông viễn thông.
  • Tuổi thọ phần cứng: Nhờ cơ chế tự cân bằng năng lượng RF và điều tiết chu kỳ CPU, tuổi thọ pin của các vi điều khiển nhúng tăng thêm $240%$, giảm thiểu chi phí thay thế bảo trì tại các địa hình khó tiếp cận.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Không gian hành động rời rạc (Discrete Action Space): Thuật toán DQN thuần túy chỉ xử lý tốt tập hành động rời rạc, làm giảm tính tối ưu khi cần phân bổ công suất phát $P_i^{tx}$ liên tục.
  • Ràng buộc kênh truyền đơn Cell: Hiện tại kiến trúc mới chỉ kiểm thử trên kịch bản 1 Trạm cơ sở, chưa đánh giá hiện tượng can nhiễu đồng kênh giữa các Cell lân cận (Inter-Cell Interference).

Hướng phát triển tiếp theo

  • Ứng dụng thuật toán Actor-Critic liên tục: Chuyển dịch từ DQN sang DDPG (Deep Deterministic Policy Gradient) hoặc PPO (Proximal Policy Optimization) để tối ưu đồng thời cả vector công suất liên tục và băng thông.
  • Kết hợp Tính toán Không gian truyền sóng (Over-The-Air Computation - AirComp): Tận dụng tính chất cộng tín hiệu tự nhiên của sóng điện từ để thực hiện tổng hợp mô hình trực tiếp trên không gian vô tuyến, loại bỏ hoàn toàn hiện tượng nghẽn mạng Uplink.

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Bản tài liệu hoàn chỉnh về quy trình kết hợp Học tăng cường sâu (DRL) vào Học liên kết (FL), đóng vai trò như một khung mẫu nghiên cứu chuẩn mực.
  • Kỹ sư AI & Hệ thống IoT: Nắm bắt kỹ thuật lượng tử hóa thích ứng (Adaptive Quantization) và thiết kế hệ thống nhúng có khả năng tự vận hành bằng năng lượng môi trường.
  • Doanh nghiệp & Đơn vị Viễn thông: Chiến lược hạ tầng rõ ràng để xây dựng các giải pháp Edge AI tuân thủ nghiêm ngặt quyền riêng tư người dùng với chi phí hạ tầng tối thiểu.
  • Các nhà nghiên cứu chuyên sâu: Bộ tham số thực nghiệm và công thức giải tích chuẩn xác làm tiền đề mở rộng sang các bài toán Multi-Agent DRL hoặc FL quy mô lớn.

Câu hỏi thường gặp (FAQ)

1. Yêu cầu kỹ thuật tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu Trạm cơ sở (Server) trang bị CPU tối thiểu 8 cores, 16GB RAM và 1 GPU tương thích CUDA (khuyến nghị RTX 3060 trở lên). Phía thiết bị biên cần chip xử lý tối thiểu kiến trúc ARM Cortex-M4 hoặc tương đương ESP32/Raspberry Pi hỗ trợ tập lệnh số học cơ bản.

2. Giới hạn mở rộng (Scalability) của hệ thống đến bao nhiêu node?

Trong mô hình thử nghiệm với thuật toán DQN đơn tác tử, hệ thống hoạt động ổn định và tối ưu nhất trong phạm vi $10 - 100$ thiết bị IoT. Khi mở rộng vượt trên 100 nodes, hệ thống nên chuyển đổi sang mô hình Multi-Agent DRL (MADRL) để tránh bùng nổ không gian trạng thái.

3. Làm thế nào để tích hợp thuật toán vào hệ thống IoT sẵn có?

Các node IoT chỉ cần tích hợp thư viện nhẹ chuyển đổi kiểu dữ liệu quantize() trước khi gửi payload qua giao thức MQTT hoặc gRPC về Base Station. Base Station chạy dịch vụ nền phân tích trạng thái và phản hồi lệnh cấu hình số bit qua kênh Downlink.

4. Chi phí duy trì và thời gian hoàn vốn (ROI) ước tính?

Chi phí triển khai phần mềm là mã nguồn mở. Với việc giảm $81.25%$ lưu lượng truyền dẫn mạng di động và tăng gấp đôi chu kỳ sống của phần cứng cảm biến, thời gian hoàn vốn đầu tư hạ tầng thông minh ước tính trong khoảng $6 - 9$ tháng.

5. Lượng tử hóa xuống 2-bit hoặc 4-bit có làm mất dữ liệu học không?

Việc lượng tử hóa làm xuất hiện sai số làm tròn số học $\epsilon_q$. Tuy nhiên, nhờ thuật toán tối ưu DQN phân bổ số bit động theo từng vòng lặp (các vòng lặp cuối được ưu tiên số bit cao hơn), độ chính xác tổng thể của mô hình chỉ giảm biên độ không đáng kể ($1.2%$) so với mô hình gốc FP32.

Kết luận

Khóa luận tốt nghiệp “Ứng dụng học tăng cường sâu cho tối ưu phân bổ tài nguyên trong hệ thống học liên kết” của sinh viên Cao Đức Vũ đã giải quyết xuất sắc bài toán then chốt của kỷ nguyên AI phân tán: Làm thế nào để duy trì quá trình huấn luyện trí tuệ nhân tạo bảo mật trên các thiết bị IoT nghèo tài nguyên mà không làm suy giảm hiệu năng. Bằng việc kết hợp sáng tạo giữa mô hình thu hoạch năng lượng vô tuyến (EHFL), kỹ thuật lượng tử hóa trọng số thích ứng và thuật toán Deep Q-Network, công trình đã chứng minh tính khả thi vượt trội với mức tiết kiệm năng lượng $68.4%$ và giảm $61.2%$ độ trễ truyền thông.

Nghiên cứu mở ra tiềm năng ứng dụng to lớn cho các hệ thống y tế số, giao thông thông minh và đô thị thông minh trong tương lai. Bạn đọc và các nhà phát triển quan tâm có thể khai thác các mô hình toán học và mã nguồn của đồ án để tiếp tục phát triển các giải pháp Trí tuệ nhân tạo biên thế hệ mới.