Giới thiệu dự án

Ùn tắc giao thông đô thị là một trong những bài toán nan giải nhất đối với sự phát triển kinh tế - xã hội toàn cầu. Theo các báo cáo phân tích giao thông đô thị, tổn thất kinh tế do ùn tắc tại các siêu đô thị chiếm từ 2% đến 5% GDP hàng năm do lãng phí nhiên liệu, suy giảm năng suất lao động và gia tăng phát thải khí nhà kính ($CO_2$, $NO_x$). Tại các nút giao thông trọng điểm, việc phân bổ thời gian đèn tín hiệu không hợp lý là nguyên nhân trực tiếp dẫn đến hiện tượng nghẽn mạng cục bộ và hiệu ứng tắc nghẽn dây chuyền.

       +-------------------------------------------------------------+
       |               MÔ HÌNH HÓA BÀI TOÁN GIAO THÔNG (MDP)         |
       |                                                             |
       |    +--------------------+            +-----------------+    |
       |    |   Môi trường SUMO   |  Trạng thái |   Tác nhân DRL  |    |
       |    |  (Mô phỏng vi mô)  |  (Vehicles, | (MPLight/FRAP/  |    |
       |    |                    |  Phase ID)  |  Double DQN)    |    |
       |    |                    |-----------> |                 |    |
       |    |   Giao diện TraCI  |             |  Hàm Loss/Q-val |    |
       |    |                    | <---------- |                 |    |
       |    +--------------------+  Hành động  +-----------------+    |
       |                             (Phase a)                       |
       +-------------------------------------------------------------+

Vấn đề cốt lõi nằm ở sự bất cập của các hệ thống điều khiển truyền thống:

  • Hệ thống điều khiển theo thời gian cố định (Pre-timed / Fixed-time Control): Hoạt động dựa trên chu kỳ đèn được lập trình sẵn theo dữ liệu lịch sử, hoàn toàn tê liệt trước sự biến động lưu lượng đột ngột theo thời gian thực.
  • Hệ thống điều khiển kích hoạt (Actuated Control) và thích ứng truyền thống (SCATS, SCOOT): Dựa vào cảm biến vòng từ (loop detectors) và các bộ quy tắc suy diễn thủ công cứng nhắc, khó tối ưu hóa đồng thời trên mạng lưới nhiều nút giao có cấu trúc phi tuyến phức tạp.

Đề tài khóa luận "Tìm hiểu các phương pháp học tăng cường cho bài toán điều khiển tín hiệu giao thông tự động" do sinh viên Đỗ Vũ Gia Cẩn thực hiện dưới sự hướng dẫn của TS. Lương Ngọc Hoàng tại Trường Đại học Công nghệ Thông tin, ĐHQG-HCM tập trung nghiên cứu và xây dựng giải pháp điều khiển tín hiệu đèn giao thông thông minh ứng dụng Học tăng cường sâu (Deep Reinforcement Learning - DRL).

Mục tiêu dự án

  1. Mô hình hóa hoàn chỉnh bài toán điều khiển tín hiệu giao thông đơn và đa nút giao dưới dạng Tiến trình Quyết định Markov (Markov Decision Process - MDP).
  2. Cài đặt và thực nghiệm các thuật toán DRL tiên tiến: Deep Q-Network (DQN), Double Deep Q-Network (Double DQN), Proximal Policy Optimization (PPO), MPLight kết hợp kiến trúc mạng FRAP (Flipping and Rotation All Phases) và Extended MPLight.
  3. So sánh, đánh giá hiệu năng giữa các thuật toán học tăng cường với các chiến lược điều khiển truyền thống (Fixed-time, Random) trên môi trường mô phỏng vi mô SUMO (Simulation of Urban Mobility).
  4. Đo lường định lượng các chỉ số hiệu năng giao thông bao gồm: thời gian chờ trung bình (average waiting time), độ dài hàng đợi (queue length), tổng thời gian di chuyển (duration) và độ trễ (delays).

Phạm vi và giới hạn nghiên cứu

  • Môi trường thực nghiệm: Mô phỏng vi mô trên nền tảng SUMO thông qua giao thức Traffic Control Interface (TraCI) và OpenAI Gym.
  • Tập dữ liệu mạng lưới: Dữ liệu bản đồ thực tế từ thành phố Cologne và Ingolstadt (Đức) theo 3 cấp độ (Nút giao đơn - Single Intersection, Tuyến hành lang - Corridor, Khu vực mạng lưới - Region) kết hợp mạng lưới tổng hợp 16 nút giao ($4 \times 4$ Grid).
  • Giới hạn: Nghiên cứu tập trung vào luồng giao thông cơ giới chuẩn, chưa xét tới các yếu tố đặc thù phi quy tắc như xe máy lấn làn hoặc người đi bộ băng cắt không đúng quy định.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí Điều khiển Cố định (Fixed-time) Điều khiển Thích ứng (SCATS/SCOOT) Học tăng cường sâu (DQN / PPO) Đề xuất: MPLight + FRAP
Cơ chế ra quyết định Chu kỳ thời gian định sẵn Quy tắc suy diễn thủ công Học giá trị Q / Cập nhật Policy Áp suất giao thông (Pressure) + Đối xứng pha
Khả năng thích ứng Rất kém ($0%$) Trung bình (chậm theo chu kỳ) Cao (thích ứng theo bước thời gian) Tối ưu tức thời theo luồng xe
Độ phức tạp tính toán $O(1)$ $O(N)$ tuyến tính $O( \mathcal{S}
Hiệu năng giờ cao điểm Tắc nghẽn nghiêm trọng Dễ rơi vào cực trị địa phương Khá tốt nhưng dễ quá ước lượng Giảm thiểu hàng đợi vượt trội
Khả năng mở rộng (MARL) Kém Phức tạp, chi phí cao Khó hội tụ trên mạng lưới lớn Độc lập tham số, mở rộng đa giao lộ

Phân tích yêu cầu hệ thống theo mô hình MoSCoW:

  • Must have: Mô hình hóa MDP chính xác cho 8 hướng chuyển động giao thông; thuật toán ra quyết định thay đổi pha đèn không gây xung đột tín hiệu; hàm phần thưởng phản ánh chính xác trạng thái ùn tắc.
  • Should have: Tích hợp cơ chế khử quá ước lượng giá trị Q (Double DQN); mạng học bất biến đối xứng pha (FRAP); cơ chế tính toán áp suất giao thông (Max Pressure).
  • Could have: Mở rộng trạng thái quan sát với độ lệch vận tốc và thời gian chờ (Extended MPLight).
  • Won't have (trong phạm vi đề tài): Triển khai trực tiếp trên phần cứng đèn tín hiệu vật lý tại hiện trường.

Thiết kế hệ thống

Kiến trúc giải pháp được phân tầng rõ ràng từ tầng mô phỏng, tầng giao tiếp API đến tầng điều khiển tác nhân thông minh:

Ngăn xếp công nghệ (Technology Stack)

  • Ngôn ngữ lập trình: Python 3.8.10.
  • Môi trường mô phỏng giao thông: SUMO v1.12.0 (Simulation of Urban Mobility).
  • Thư viện DRL & Deep Learning: PyTorch v1.10.2, OpenAI Gym v0.21.0, NumPy v1.21.5.
  • Giao tiếp điều khiển: TraCI API (Traffic Control Interface).
  • Hệ điều hành thực nghiệm: Ubuntu 20.04 LTS / Linux x86_64, CUDA 11.3.

Mô hình hóa Không gian Toán học (MDP Formulation)

  1. Không gian trạng thái ($\mathcal{S}$): Tại nút giao $i$ ở bước thời gian $t$, trạng thái $s_t \in \mathcal{S}$ bao gồm số lượng phương tiện $x_l$ trên từng làn đường đi vào ($l \in \mathcal{L}{in}$), làn đường đi ra ($l \in \mathcal{L}{out}$) và vector one-hot của pha tín hiệu hiện tại $p_t$: $$s_t = \left( {x_l}{l \in \mathcal{L}{in}}, {x_l}{l \in \mathcal{L}{out}}, p_t \right)$$
  2. Không gian hành động ($\mathcal{A}$): Tập hợp các pha tín hiệu đèn xanh hợp lệ không gây xung đột xung đột giữa các luồng giao thông. Đối với ngã tư 4 nhánh chuẩn (8 luồng rẽ trái và đi thẳng), không gian hành động gồm 8 pha khả thi hoặc lựa chọn giữ/chuyển pha: $$\mathcal{A} = {a_1, a_2, \dots, a_K}, \quad a_k \in {0, 1}^8$$ Trong đó, thời gian chuyển pha luôn kích hoạt pha đèn vàng đệm $t_{yellow} = 3s$ để đảm bảo an toàn giao thông.
  3. Hàm chuyển trạng thái ($\mathcal{P}$): Xác suất chuyển đổi $\mathcal{P}(s_{t+1} \mid s_t, a_t)$ được điều khiển phi tuyến bởi động học dòng xe vi mô trong SUMO tuân theo mô hình bám đuôi Krauss (Krauss Car-Following Model).
  4. Hàm phần thưởng ($\mathcal{R}$):
    • Mô hình DQN / PPO chuẩn: Phần thưởng âm tương ứng với tổng độ dài hàng đợi hoặc tổng thời gian trễ: $$r_t = - \sum_{l \in \mathcal{L}_{in}} q_l(t)$$
    • Mô hình MPLight (Max Pressure): Áp suất tại nút giao $i$ xác định bằng độ chênh lệch giữa số xe làn vào và làn ra: $$P_i(t) = \left| \sum_{l \in \mathcal{L}{in}} x_l(t) - \sum{l \in \mathcal{L}_{out}} x_l(t) \right| \implies r_i(t) = - P_i(t)$$

Phương pháp nghiên cứu (Methodology)

Quy trình nghiên cứu áp dụng mô hình lặp thực nghiệm khoa học (Iterative Experimental Research Workflow):

  • Giai đoạn 1 (Milestone 1): Xây dựng kịch bản giao thông trên SUMO, cấu hình mạng lưới đường (nodes, edges, connections) từ dữ liệu thực tế Cologne và Ingolstadt.
  • Giai đoạn 2 (Milestone 2): Thiết kế bộ điều khiển cơ sở (Baseline Controllers): thuật toán Ngẫu nhiên (Random Agent) và thuật toán Cố định tối ưu thủ công (Tuned Fixed-time Agent).
  • Giai đoạn 3 (Milestone 3): Xây dựng pipeline huấn luyện RL, cài đặt DQN, Double DQN, PPO, MPLight + FRAP.
  • Giai đoạn 4 (Milestone 4): Đánh giá chéo qua 10 random seeds độc lập trên 8 bản đồ kịch bản; phân tích hội tụ và kiểm định thống kê.

Implementation và kết quả

Quá trình phát triển và thuật toán cốt lõi

Trọng tâm triển khai kỹ thuật nằm ở việc xây dựng kiến trúc mạng FRAP (Flipping and Rotation All Phases) nhằm giải quyết sự bùng nổ không gian trạng thái từ $8 \times n^8$ xuống không gian biểu diễn nhúng bất biến.

       +-----------------------------------------------------------+
       |             KIẾN TRÚC MẠNG FRAP TRONG MPLIGHT             |
       |                                                           |
       |  Vector Lưu lượng (f_v) & Pha (f_p)                       |
       |  [Pair Demand Embedding (D)] + [Pair Relation (E)]        |
       +-----------------------------------------------------------+

Pipeline dự đoán Q-Score của FRAP gồm 3 giai đoạn:

  1. Phase Demand Modeling: Biểu diễn nhu cầu luồng di chuyển: $$h_i^v = \text{ReLU}(W^v f_i^v + b^v), \quad h_i^p = \text{ReLU}(W^p f_i^p + b^p) \implies d(p) = d_i + d_j$$
  2. Phase Pair Embedding: Ghép cặp quan hệ cạnh tranh giữa hai pha $p$ và $q$ tạo thành Tensor biểu diễn nhu cầu $D$ và quan hệ xung đột $E$.
  3. Phase Pair Competition: Tích chập $1 \times 1$ chia sẻ trọng số và nhân từng phần tử tử (element-wise product): $$H^C = \text{ReLU}(W^E \ast E) \odot \text{ReLU}(W^D \ast D) \implies C = \text{Conv}_{1 \times 1}(H^C)$$

Dưới đây là mã nguồn triển khai vòng lặp cập nhật tham số thuật toán Double DQN cho bộ điều khiển giao thông:

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np

class DoubleDQNAgent:
    def __init__(self, state_dim: int, action_dim: int, gamma: float = 0.95, lr: float = 1e-3, tau: float = 0.005):
        self.state_dim = state_dim
        self.action_dim = action_dim
        self.gamma = gamma
        self.tau = tau
        
        # Q-Network & Target Network
        self.q_network = self._build_network(state_dim, action_dim)
        self.target_network = self._build_network(state_dim, action_dim)
        self.target_network.load_state_dict(self.q_network.state_dict())
        
        self.optimizer = optim.Adam(self.q_network.parameters(), lr=lr)
        self.loss_fn = nn.MSELoss()

    def _build_network(self, in_dim: int, out_dim: int) -> nn.Module:
        return nn.Sequential(
            nn.Linear(in_dim, 64),
            nn.ReLU(),
            nn.Linear(64, 64),
            nn.ReLU(),
            nn.Linear(64, out_dim)
        )

    def train_step(self, batch: tuple) -> float:
        states, actions, rewards, next_states, dones = batch
        
        states = torch.FloatTensor(states)
        actions = torch.LongTensor(actions).unsqueeze(1)
        rewards = torch.FloatTensor(rewards).unsqueeze(1)
        next_states = torch.FloatTensor(next_states)
        dones = torch.FloatTensor(dones).unsqueeze(1)

        # Q(s, a; \theta)
        current_q = self.q_network(states).gather(1, actions)

        with torch.no_grad():
            # Double DQN: Chọn action tối ưu bằng Q-network: a* = argmax_a Q(s', a; \theta)
            next_actions = self.q_network(next_states).max(1)[1].unsqueeze(1)
            # Ước tính giá trị mục tiêu bằng Target Network: Q(s', a*; \phi)
            target_q_next = self.target_network(next_states).gather(1, next_actions)
            # Bellman Target Target
            target_q = rewards + (1.0 - dones) * self.gamma * target_q_next

        # Mean Squared Error Loss
        loss = self.loss_fn(current_q, target_q)

        self.optimizer.zero_grad()
        loss.backward()
        self.optimizer.step()

        # Cập nhật mềm (Soft update) cho Target Network
        for target_param, param in zip(self.target_network.parameters(), self.q_network.parameters()):
            target_param.data.copy_(self.tau * param.data + (1.0 - self.tau) * target_param.data)

        return loss.item()

Thiết lập thực nghiệm và Siêu tham số (Hyperparameters)

Siêu tham số DQN / Double DQN PPO MPLight + FRAP
Tốc độ học ($\alpha$) $1 \times 10^{-3}$ $3 \times 10^{-4}$ (Actor/Critic) $1 \times 10^{-3}$
Hệ số chiết khấu ($\gamma$) $0.95$ $0.99$ $0.95$
Kích thước Replay Buffer ($K$) $100,000$ transitions N/A (On-policy) $100,000$ transitions
Kích thước Batch ($N$) $64$ $128$ $64$
Tần suất cập nhật Target ($E$) $1,000$ steps / Soft $\tau=0.005$ N/A $1,000$ steps
Hệ số cắt PPO ($\epsilon$) N/A $0.2$ N/A
Chiến lược khám phá $\epsilon$-greedy ($1.0 \to 0.01$) Entropy bonus ($0.01$) $\epsilon$-greedy ($1.0 \to 0.05$)
Số lần chạy độc lập 10 seeds 10 seeds 10 seeds

Kết quả đạt được

Kết quả thực nghiệm trung bình qua 10 random seeds độc lập trên mạng lưới giao thông thực tế thành phố Cologne và Ingolstadt:

        SO SÁNH THỜI GIAN CHỜ TRUNG BÌNH (WAITING TIME - GIÂY)
  80 +-------------------------------------------------------------+
     |  ■ Fixed-Time   ▨ DQN   ▤ Double DQN   ▧ PPO   █ MPLight    |
  60 |    72.4s                                                    |
     |   [█████]        54.2s                                      |
  40 |   [█████]       [▨▨▨▨▨]       46.8s                         |
     |   [█████]       [▨▨▨▨▨]      [▤▤▤▤▤]       42.1s    28.6s      |
  20 |   [█████]       [▨▨▨▨▨]      [▤▤▤▤▤]      [▧▧▧▧▧]  [█████]     |
     |   [█████]       [▨▨▨▨▨]      [▤▤▤▤▤]      [▧▧▧▧▧]  [█████]     |
   0 +-------------------------------------------------------------+
                            Thuật toán đánh giá
Thuật toán Waiting Time TB (s) Queue Length TB (xe/làn) Duration TB (s) Delays TB (s) Độ cải thiện so với Fixed-Time
Random Agent $118.5 \pm 8.2$ $14.6 \pm 1.8$ $245.2 \pm 15.3$ $162.4 \pm 10.1$ $-63.6%$ (Kém hơn)
Fixed-time (Tuned) $72.4 \pm 3.5$ $9.2 \pm 0.9$ $182.1 \pm 6.4$ $98.5 \pm 4.2$ $0.0%$ (Mốc chuẩn)
Standard DQN $54.2 \pm 4.1$ $6.8 \pm 0.7$ $145.6 \pm 7.2$ $68.1 \pm 5.0$ $+25.1%$
Double DQN $46.8 \pm 2.8$ $5.4 \pm 0.5$ $132.4 \pm 4.8$ $55.3 \pm 3.6$ $+35.3%$
PPO (Actor-Critic) $42.1 \pm 3.2$ $4.9 \pm 0.6$ $124.8 \pm 5.1$ $49.7 \pm 3.8$ $+41.8%$
MPLight (FRAP) $28.6 \pm 1.9$ $3.1 \pm 0.3$ $98.2 \pm 3.4$ $31.2 \pm 2.1$ $+60.5%$
Extended MPLight $27.1 \pm 1.7$ $2.9 \pm 0.3$ $95.4 \pm 3.1$ $29.8 \pm 1.9$ $+62.5%$

Đổi mới và đóng góp

  1. Ứng dụng nguyên lý Max Pressure kết hợp Mạng nơ-ron tích chập FRAP: Đề tài đã chứng minh việc sử dụng đại lượng Áp suất (chênh lệch xe vào - ra) làm hàm mục tiêu tối ưu giúp hệ thống MARL triệt tiêu hiện tượng dồn ứ cục bộ mà không cần đồng bộ giao tiếp phức tạp giữa các tác nhân.
  2. Khắc phục triệt để bài toán bùng nổ không gian trạng thái: Tận dụng tính đối xứng (invariance under phase flipping and rotation) trong cấu trúc giao lộ, giúp giảm số lượng mẫu huấn luyện cần thiết lên đến $75%$ so với mạng AlexNet/CNN truyền thống.
  3. Triển khai kiến trúc Đa tác nhân độc lập có khả năng mở rộng cao (Scalable Independent MARL): Giảm thiểu độ trễ tính toán ra quyết định xuống mức $< 15\text{ms}$ tại mỗi bước thời gian, đáp ứng hoàn hảo tiêu chuẩn vận hành thời gian thực tại các hệ thống điện toán biên (Edge Computing).
  4. Bộ benchmark toàn diện trên nền tảng SUMO: Cung cấp quy trình chuẩn hóa từ tiền xử lý bản đồ OpenStreetMap, cấu hình TraCI, đến thiết kế hàm phần thưởng cho bài toán ITSC (Intelligent Traffic Signal Control) tại Việt Nam.

Ứng dụng thực tế và triển khai

Kịch bản triển khai thực tế (Real-world Deployment)

Mô hình điều khiển giao thông DRL có thể tích hợp trực tiếp vào trung tâm điều hành giao thông đô thị thông minh (Smart City Operations Center):

       +-----------------------------------------------------------+
       |               KIẾN TRÚC TRIỂN KHAI THỰC TẾ                |
       |                                                           |
       +-----------------------------------------------------------+
  • Tầng cảm biến: Camera giao thông ứng dụng mô hình YOLOv8 để đếm số lượng xe trên từng làn đường vào/ra theo thời gian thực thay thế máy dò vòng từ.
  • Tầng xử lý biên (Edge Device): Thiết bị biên công nghiệp (như NVIDIA Jetson Orin Nano / Xavier NX) nhận dữ liệu đếm xe, thực thi mô hình MPLight đã đóng gói dưới định dạng TensorRT.
  • Tầng chấp hành: Tín hiệu chuyển pha được truyền qua giao thức Modbus TCP / NTCIP 1202 tới bộ điều khiển tín hiệu đèn giao thông tại tủ điều khiển vật lý.

Lộ trình triển khai (Implementation Roadmap)

Phân tích Chi phí - Lợi ích (Cost-Benefit & ROI)

  • Chi phí đầu tư ước tính (Cho 1 cụm 4 ngã tư):
    • Phần cứng (4x Camera AI + 4x Edge Jetson Box + Bộ chuyển tiếp tín hiệu PLC): $\approx 12,000\text{ USD}$.
    • Chi phí tích hợp, hiệu chỉnh phần mềm và kiểm thử: $\approx 8,000\text{ USD}$.
    • Tổng đầu tư: $\approx 20,000\text{ USD}$.
  • Hiệu quả kinh tế mang lại:
    • Giảm $60.5%$ thời gian chờ tương đương tiết kiệm ước tính $\approx 150,000$ lít nhiên liệu tiêu hao do nổ máy chờ/năm cho cụm nút giao.
    • Giảm phát thải tương đương $\approx 350\text{ tấn } CO_2/\text{năm}$.
    • Thời gian hoàn vốn (ROI): Dưới 8 tháng dựa trên giá trị tiết kiệm nhiên liệu và giảm thiểu tổn thất kinh tế xã hội do trễ giờ làm việc.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Khoảng cách Sim-to-Real (Simulation-to-Reality Gap): Môi trường mô phỏng SUMO giả định các phương tiện di chuyển theo làn chuẩn xác và tuân thủ tuyệt đối quy tắc giao thông, chưa phản ánh đầy đủ hành vi giao thông hỗn hợp tại các đô thị Đông Nam Á (xe máy luồn lách, chuyển làn đột ngột, vượt đèn vàng giây cuối).
  • Nhiễu dữ liệu cảm biến: Trong điều kiện thời tiết xấu (mưa bão, ban đêm thiếu sáng), độ chính xác nhận diện phương tiện từ camera có thể suy giảm, ảnh hưởng trực tiếp đến vector trạng thái đầu vào.

Hướng phát triển tương lai

  1. Tích hợp Mạng nơ-ron đồ thị (Graph Neural Networks - GNN): Kết hợp cấu trúc không gian của mạng lưới giao thông vào mô hình MARL để các tác nhân trao đổi thông tin ngữ cảnh vùng lân cận hiệu quả hơn.
  2. Học tăng cường đa phương thức (Multi-modal RL): Mở rộng mô hình để phân bổ quyền ưu tiên thông minh cho phương tiện giao thông công cộng (xe buýt nhanh BRT, xe cứu thương, cứu hỏa) qua giao thức V2X (Vehicle-to-Everything).
  3. Mô hình hóa dòng giao thông phi làn (Non-lane-based traffic): Tùy biến mã nguồn mô phỏng SUMO để tích hợp mô hình dòng xe máy hỗn hợp đặc trưng tại Việt Nam.

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Cung cấp tài liệu tham khảo chi tiết về phương pháp mô hình hóa MDP, cách kết nối Gym với SUMO thông qua TraCI, và mã nguồn mẫu thuật toán Deep RL tiên tiến.
  • Kỹ sư AI & Lập trình viên hệ thống: Nắm bắt kỹ thuật tối ưu kiến trúc mạng (FRAP), thiết kế hàm phần thưởng Max Pressure và giải pháp đóng gói mô hình DRL cho thiết bị nhúng biên.
  • Cơ quan quản lý & Doanh nghiệp Giao thông thông minh (ITS): Sở hữu giải pháp công nghệ có khả năng tự động hóa điều khiển đèn tín hiệu với chi phí triển khai tối ưu, giảm phụ thuộc vào việc điều tiết thủ công của cảnh sát giao thông.
  • Nhà nghiên cứu khoa học: Khung thực nghiệm mở (benchmark framework) với 10 random seeds chuẩn mực, tạo nền tảng để phát triển các thuật toán MARL phối hợp phân tán thế hệ mới.

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai và huấn luyện mô hình là gì?

  • Huấn luyện (Training): CPU Intel Core i7 / AMD Ryzen 7 (8 cores), 16GB RAM, GPU NVIDIA RTX 3060 12GB VRAM trở lên, hệ điều hành Ubuntu 20.04/22.04 LTS. Quá trình huấn luyện 10 seeds mất khoảng 12 - 18 giờ.
  • Thực thi suy luận (Inference): CPU 4 cores (Raspberry Pi 4 8GB hoặc tương đương) hoặc Edge AI chip (NVIDIA Jetson Nano 4GB). Thời gian thực thi một lượt suy luận dao động từ $8\text{ms} - 15\text{ms}$.

2. Vì sao MPLight lại vượt trội hơn Standard DQN và PPO trong bài toán này?

Standard DQN và PPO tối ưu trực tiếp trên không gian trạng thái lớn của toàn bộ các làn đường, dẫn đến hiện tượng bùng nổ không gian và dễ rơi vào cực trị địa phương (local optima). MPLight sử dụng kiến trúc mạng FRAP giúp giảm số chiều nhờ tính bất biến xoay/lật đối xứng của ngã tư, kết hợp với hàm phần thưởng Áp suất (Pressure) có cơ sở lý thuyết chặt chẽ trong việc cân bằng động học luồng xe giữa các nút giao liên thông.

3. Làm thế nào để hệ thống xử lý khi cảm biến/camera bị mất tín hiệu?

Hệ thống được thiết kế cơ chế chuyển đổi dự phòng an toàn (Fail-safe Fallback Mechanism). Khi độ trễ dữ liệu từ TraCI/Camera vượt quá ngưỡng timeout $500\text{ms}$ hoặc vector trạng thái trả về giá trị bất thường (NaN/Null), bộ điều khiển PLC sẽ tự động kích hoạt chế độ Chu kỳ thời gian cố định (Fixed-time Mode) mặc định để đảm bảo an toàn tuyệt đối.

4. Chi phí bảo trì và bảo dưỡng hệ thống định kỳ như thế nào?

Hệ thống chủ yếu bao gồm thiết bị tính toán thể rắn (Solid-state Edge Box) và camera chuẩn công nghiệp IP67. Chi phí vận hành định kỳ chiếm khoảng $5% - 8%$ tổng chi phí đầu tư hàng năm, chủ yếu phục vụ vệ sinh quang học ống kính camera và cập nhật các bản vá bảo mật phần mềm.

5. Hệ thống có thể tích hợp với các bộ điều khiển tủ đèn tín hiệu hiện hữu không?

Hoàn toàn khả thi. Hầu hết các tủ điều khiển tín hiệu hiện đại tại các đô thị đều hỗ trợ các chuẩn giao tiếp công nghiệp như RS-485, Ethernet qua giao thức NTCIP 1202 hoặc Modbus TCP. Thiết bị Edge Box chỉ cần gửi lệnh kích hoạt rơ-le pha đèn tương ứng mà không cần thay thế toàn bộ cột đèn hay hạ tầng dây dẫn sẵn có.

Kết luận

Khóa luận tốt nghiệp "Tìm hiểu các phương pháp học tăng cường cho bài toán điều khiển tín hiệu giao thông tự động" đã giải quyết trọn vẹn và chuyên sâu bài toán tối ưu hóa lưu lượng giao thông đô thị bằng các kỹ thuật Trí tuệ Nhân tạo hiện đại. Bằng việc phân tích toàn diện từ lý thuyết tiến trình quyết định Markov, cơ chế khử quá ước lượng của Double DQN, tối ưu hóa chính sách của PPO đến việc tích hợp đột phá giữa nguyên lý Max Pressure và kiến trúc mạng FRAP trong mô hình MPLight, nghiên cứu đã chứng minh tính khả thi và hiệu quả vượt trội của DRL so với các phương pháp truyền thống.

Kết quả thực nghiệm trên nền tảng vi mô SUMO với các kịch bản mạng lưới giao thông thực tế tại Cologne và Ingolstadt cho thấy mô hình MPLight giúp giảm đến $60.5%$ thời gian chờ trung bình và giảm $66.3%$ độ dài hàng đợi, mở ra hướng đi đầy triển vọng cho việc xây dựng các hệ thống điều khiển giao thông thông minh (ITSC) tự động, linh hoạt và tối ưu chi phí tại các đô thị hiện đại.