Giới thiệu dự án

Trong bối cảnh an ninh mạng toàn cầu diễn biến phức tạp, các cuộc tấn công có chủ đích (Advanced Persistent Threats - APT) liên tục gia tăng về quy mô lẫn mức độ tinh vi. Theo thống kê từ các tổ chức an ninh mạng quốc tế, hơn 70% các vụ xâm nhập thành công xuất phát từ việc khai thác chuỗi lỗ hổng nội bộ sau khi đã thâm nhập được vào ít nhất một máy trạm ban đầu. Kiểm thử xâm nhập (Penetration Testing - PT), đặc biệt là giai đoạn hậu khai thác (Post-Exploitation), đóng vai trò then chốt trong việc đánh giá khả năng phòng thủ của hệ thống. Tuy nhiên, quy trình này hiện phụ thuộc chủ yếu vào các chuyên gia bảo mật trình độ cao, dẫn đến tình trạng quá tải nhân lực, chi phí tốn kém và thiếu tính liên tục trong đánh giá an toàn thông tin doanh nghiệp.

+-----------------------------------------------------------------------------------+
|                  KHỦNG HOẢNG TÀI NGUYÊN KIỂM THỬ XÂM NHẬP HIỆN NAY                 |
+-----------------------------------------------------------------------------------+
|  [Thiếu hụt nhân lực PT cấp cao]  --->  [Đánh giá gián đoạn / Tốn kém chi phí]   |
|  [Không gian hành động bùng nổ]   --->  [Mô hình Flat-DRL truyền thống bị nghẽn]  |
|  [Hậu khai thác đa nền tảng]      --->  [Thiếu công cụ tự động hóa liên kết chuỗi]|
+-----------------------------------------------------------------------------------+

Vấn đề thực tế (Problem Statement)

Giai đoạn hậu khai thác đòi hỏi sự kết hợp phức tạp giữa ba nhiệm vụ chính: Thu thập thông tin (Information Gathering - GI), Leo thang đặc quyền (Privilege Escalation - PE) và Tấn công lan rộng (Lateral Movement - LM). Khi áp dụng Học tăng cường sâu truyền thống (Flat Deep Reinforcement Learning - DRL), các tác tử (agent) phải đối mặt với sự bùng nổ không gian trạng thái - hành động (Curse of Dimensionality) do hàng trăm module khai thác và hàng ngàn cấu hình máy mục tiêu khác nhau. Điều này khiến quá trình huấn luyện khó hội tụ, chính sách hành động bị loãng và hiệu quả tấn công thấp.

Mục tiêu nghiên cứu (Project Objectives)

  1. Xây dựng khung kiến trúc phân cấp: Đề xuất mô hình Học tăng cường sâu phân cấp (Hierarchical Deep Reinforcement Learning - HDRL) với 2 lớp tác tử (Upper-level và Lower-level) để phân rã không gian hành động phức tạp của giai đoạn hậu khai thác.
  2. Hiện thực hóa 2 thuật toán nâng cao: Triển khai và tối ưu hóa thuật toán Hierarchical Advantage Actor-Critic (HA2C) và Hierarchical Proximal Policy Optimization (HPPO) chuyên biệt cho bài toán an toàn thông tin.
  3. Tích hợp môi trường tự động hóa đa nền tảng: Kết nối tác tử học tăng cường với Metasploit Framework qua MSFRPC, hỗ trợ khai thác tự động trên cả hai hệ điều hành phổ biến là Windows và Linux.
  4. Đánh giá thực nghiệm và đối chuẩn: Đo lường hiệu suất hội tụ, tỷ lệ khai thác thành công và số bước thực thi (steps) qua các kịch bản 2.000, 4.000 và 8.000 episodes với các hàm phần thưởng khác nhau.

Hướng tiếp cận giải pháp (Solution Approach)

Đồ án chuyển đổi bài toán hậu khai thác thành một Quy trình quyết định Markov bán phần cấp (Semi-Markov Decision Process - SMDP). Tác tử cấp cao (Upper-level Agent / Meta-Controller) học chiến lược vĩ mô để lựa chọn mục tiêu phụ (Sub-goal: PE, GI hoặc LM), trong khi tác tử cấp thấp (Lower-level Agent / Sub-Controller) học chính sách vi mô để lựa chọn module Metasploit cụ thể nhằm thực thi mục tiêu đó.

Kết quả kỳ vọng và Phạm vi nghiên cứu

  • Kết quả kỳ vọng: Rút ngắn số lượng bước thực thi trung bình để chiếm quyền kiểm soát hệ thống, cải thiện tỷ lệ hội tụ của mô hình so với các phương pháp phẳng (Flat-DRL) và ngẫu nhiên (Random Agent).
  • Phạm vi nghiên cứu: Tập trung vào giai đoạn hậu khai thác mạng nội bộ (Post-Exploitation); không gian hành động dựa trên các module thực thi của Metasploit Framework v6.x; môi trường thử nghiệm bao gồm các máy chủ ảo hóa chạy Windows 7/10/Server và Linux Ubuntu/Debian.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Các giải pháp kiểm thử xâm nhập tự động hiện nay phân hóa thành ba nhóm tiếp cận chính:

Giải pháp Ưu điểm Nhược điểm Đánh giá
Công cụ kịch bản truyền thống (Metasploit, PowerShell Empire) Thư viện module phong phú, khả năng thực thi mạnh mẽ trên mục tiêu. Hoàn toàn phụ thuộc vào quyết định của chuyên gia; không có khả năng tự thích ứng khi mạng thay đổi. Công cụ hỗ trợ, chưa đạt mức tự động hóa thông minh.
Flat Deep Reinforcement Learning (DQN, Flat A2C, Flat PPO - Erdodi [5], Raiju [13]) Có khả năng học tự động chuỗi tấn công thông qua phần thưởng phản hồi. Không gian hành động lớn làm chậm quá trình hội tụ; dễ rơi vào tối ưu cục bộ; khó mở rộng kịch bản phức tạp. Hiệu quả với bài toán đơn lẻ (chỉ PE hoặc chỉ LM), kém hiệu quả với chuỗi tổng thể.
Hierarchical DRL (Đề xuất của đồ án - HA2C / HPPO) Phân tách không gian hành động thành các bài toán con; tăng tốc độ hội tụ; kiểm soát chuỗi PE, GI, LM nhất quán. Yêu cầu thiết kế không gian trạng thái phân tầng và hàm thưởng kép (Intrinsic/Extrinsic rewards). Giải pháp tối ưu nhất cho kịch bản hậu khai thác đa nền tảng.

Phân tích yêu cầu hệ thống theo mô hình MoSCoW

  • Must have (Bắt buộc có): Cơ chế giao tiếp 2 chiều qua MSFRPC; mô hình phân cấp Upper/Lower; thuật toán HA2C và HPPO; hỗ trợ mục tiêu Windows và Linux.
  • Should have (Nên có): Bộ đệm trải nghiệm phân tầng (Hierarchical Replay Buffer); cơ chế phạt thời gian (Time penalty) để tối ưu số bước tấn công.
  • Could have (Có thể có): Giao diện trực quan hóa Attack Path dưới dạng đồ thị luồng; cơ chế tự động ghi nhật ký CVE tương ứng.
  • Won't have (Chưa thực hiện ở giai đoạn này): Kỹ thuật vượt qua hệ thống phát hiện xâm nhập EDR/AV nâng cao; sinh mã khai thác Zero-day tự động.

Thiết kế hệ thống

graph TD
    subgraph "Môi trường mạng mục tiêu (Target Environment)"
        T1["Target Host 1: Windows (Low Priv)"]
        T2["Target Host 2: Linux Server"]
        DC["Domain Controller / Core Server"]
    end

    subgraph "Tầng trung gian điều khiển (Execution Layer)"
        MSF["Metasploit Framework Core (v6.x)"]
        RPC["MSFRPC Python Bridge (pymetasploit3)"]
    end

    subgraph "Tác tử học tăng cường phân cấp (HDRL Agent)"
        StateExtractor["State Vector Extractor (IP, OS, Priv, Open Ports)"]
        
        subgraph "Upper-level Agent (Meta-Controller)"
            MetaPolicy["Meta-Policy Network π_meta(g|s)"]
            SubGoalSelector["Sub-goal Selector: {GI, PE, LM}"]
        end

        subgraph "Lower-level Agent (Sub-Controller)"
            SubPolicy["Sub-Policy Network π_sub(a|s, g)"]
            ActionSelector["Module Action Selector: {exploit/post/...}"]
        end
    end

    T1 & T2 & DC <--> MSF
    MSF <--> RPC
    RPC --> StateExtractor
    StateExtractor --> MetaPolicy
    MetaPolicy --> SubGoalSelector
    SubGoalSelector --> SubPolicy
    StateExtractor --> SubPolicy
    SubPolicy --> ActionSelector
    ActionSelector --> RPC

Ngăn xếp công nghệ (Technology Stack)

  • Ngôn ngữ lập trình chính: Python 3.10+
  • Deep Learning Framework: PyTorch 2.1.0
  • Khung môi trường Reinforcement Learning: Gymnasium / Custom Gym Environment
  • Hạ tầng khai thác lỗ hổng: Metasploit Framework v6.3+, pymetasploit3 RPC client
  • Ảo hóa môi trường kiểm thử: VMware ESXi / Docker Containers (Windows Server, Ubuntu 20.04, Metasploitable 3)

Cấu trúc không gian trạng thái và hành động (State & Action Space)

  1. Không gian trạng thái ($S$): Biểu diễn dưới dạng vector nhị phân hóa và chuẩn hóa $S_t \in \mathbb{R}^n$, bao gồm:
    • Thông tin phiên hiện tại: Session_Type, User_Privilege_Level (0: None, 1: User, 2: SYSTEM/root).
    • Thông tin máy mục tiêu: OS_Type (Windows/Linux), Arch (x86/x64).
    • Danh sách dịch vụ và cổng mở: Open_Ports (21, 22, 80, 445, 3389,...).
    • Danh sách máy đã chiếm quyền (Compromised Hosts List).
  2. Không gian mục tiêu phụ cấp cao ($G$): $G = {g_1: \text{Gather Information}, g_2: \text{Privilege Escalation}, g_3: \text{Lateral Movement}}$.
  3. Không gian hành động cấp thấp ($A$): Tập hợp các module Metasploit tương ứng với từng $g$:
    • $A_{GI}$: post/windows/gather/enum_patches, post/linux/gather/enum_network,...
    • $A_{PE}$: exploit/windows/local/bypassuac, exploit/linux/local/dirty_pipe,...
    • $A_{LM}$: exploit/windows/smb/psexec, exploit/multi/ssh/sshexec,...

Phương pháp nghiên cứu (Methodology)

Nghiên cứu áp dụng quy trình thực nghiệm tương tác vòng lặp khép kín:

[Thiết lập Topology Mạng] ---> [Định nghĩa MDP/Hàm Thưởng] ---> [Huấn luyện Mô hình HDRL]
            ^                                                               |
            |----------------- [Đánh giá & Tinh chỉnh Tham số] <-----------|
  • Đánh giá rủi ro và giải pháp khắc phục:
    • Hiện tượng sập dịch vụ (Crash target): Cấu hình cơ chế tự động khôi phục snapshot máy ảo qua API sau mỗi episode thất bại hoặc kết thúc.
    • Vấn đề Sparse Reward (Phần thưởng thưa thớt): Bổ sung phần thưởng nội tại (Intrinsic Reward) từ Meta-Controller khi Sub-Controller hoàn thành mục tiêu trung gian.

Implementation và kết quả

Quy trình phát triển (Development Process)

Mô hình thực hiện thuật toán Actor-Critic và Proximal Policy Optimization theo cơ chế phân cấp:

1. Thuật toán Hierarchical Advantage Actor-Critic (HA2C)

Tác tử cập nhật chính sách dựa trên hàm ưu thế (Advantage function):

$$A(s_t, a_t) = Q(s_t, a_t) - V(s_t) = r_t + \gamma V(s_{t+1}) - V(s_t)$$

Cập nhật trọng số của mạng Actor ($\theta$) và mạng Critic ($w$):

$$\Delta \theta = \alpha_\theta \nabla_\theta \log \pi_\theta(a_t | s_t, g_t) A(s_t, a_t)$$

$$\Delta w = \beta_w \left( r_t + \gamma V_w(s_{t+1}) - V_w(s_t) \right) \nabla_w V_w(s_t)$$

2. Thuật toán Hierarchical Proximal Policy Optimization (HPPO)

Sử dụng hàm mục tiêu giới hạn (Clipped Surrogate Objective) nhằm triệt tiêu các cập nhật chính sách quá lớn gây mất ổn định:

$$L^{CLIP}(\theta) = \hat{\mathbb{E}}_t \left[ \min \left( r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t \right) \right]$$

Trong đó tỷ lệ xác suất $r_t(\theta) = \frac{\pi_\theta(a_t | s_t, g_t)}{\pi_{\theta_{old}}(a_t | s_t, g_t)}$, và $\epsilon$ là siêu tham số (thường đặt $\epsilon = 0.2$).

import torch
import torch.nn as nn
import torch.optim as optim

class HierarchicalActorCritic(nn.Module):
    """
    Cấu trúc mạng 2 tầng: Upper-level (Meta-policy) và Lower-level (Sub-policy)
    """
    def __init__(self, state_dim, num_goals=3, max_actions_per_goal=15):
        super(HierarchicalActorCritic, self).__init__()
        # Tầng Meta-Controller: Chọn Goal (GI, PE, LM)
        self.meta_actor = nn.Sequential(
            nn.Linear(state_dim, 128),
            nn.ReLU(),
            nn.Linear(128, num_goals),
            nn.Softmax(dim=-1)
        )
        self.meta_critic = nn.Sequential(
            nn.Linear(state_dim, 128),
            nn.ReLU(),
            nn.Linear(128, 1)
        )
        # Tầng Sub-Controller: Nhận State + Goal Embedding -> Chọn Module MSF
        self.sub_actor = nn.Sequential(
            nn.Linear(state_dim + num_goals, 256),
            nn.ReLU(),
            nn.Linear(256, max_actions_per_goal),
            nn.Softmax(dim=-1)
        )
        self.sub_critic = nn.Sequential(
            nn.Linear(state_dim + num_goals, 256),
            nn.ReLU(),
            nn.Linear(256, 1)
        )

    def get_goal(self, state):
        goal_probs = self.meta_actor(state)
        goal_dist = torch.distributions.Categorical(goal_probs)
        goal = goal_dist.sample()
        return goal, goal_dist.log_prob(goal)

    def get_action(self, state, goal_one_hot):
        sub_input = torch.cat([state, goal_one_hot], dim=-1)
        action_probs = self.sub_actor(sub_input)
        action_dist = torch.distributions.Categorical(action_probs)
        action = action_dist.sample()
        return action, action_dist.log_prob(action)

Thử nghiệm và đánh giá thực nghiệm (Testing & Validation)

Quá trình thực nghiệm được triển khai trên hệ thống máy chủ chuyên dụng tại Phòng thí nghiệm An toàn thông tin (InSecLab), đánh giá 2 thuật toán HA2C và HPPO dưới hai cấu hình hàm phần thưởng:

  • Reward Schema A: Hoàn thành chiếm quyền $+30$, mỗi bước đi $-1$.
  • Reward Schema B: Hoàn thành chiếm quyền $+1$, mỗi bước đi $-1$.

Bảng tổng hợp kết quả huấn luyện qua các mốc Episode

Thuật toán Cấu hình Reward Số Episode Huấn luyện Tỷ lệ tấn công thành công (%) Số bước trung bình (Average Steps) Thời gian huấn luyện (Giờ)
HA2C $(+30, -1)$ 2.000 78.4% 24.6 2.8h
HPPO $(+30, -1)$ 2.000 85.2% 19.8 3.1h
HA2C $(+30, -1)$ 4.000 89.1% 16.2 5.5h
HPPO $(+30, -1)$ 4.000 94.7% 12.4 6.0h
HA2C $(+30, -1)$ 8.000 92.3% 14.1 11.2h
HPPO $(+30, -1)$ 8.000 98.1% 9.5 12.3h
HA2C $(+1, -1)$ 4.000 74.5% 31.0 5.4h
HPPO $(+1, -1)$ 4.000 82.3% 23.4 5.9h 
+-----------------------------------------------------------------------------------+
|               SO SÁNH TỐC ĐỘ HỘI TỤ VÀ TỶ LỆ THÀNH CÔNG (8.000 EPISODES)          |
+-----------------------------------------------------------------------------------+
|  HPPO (+30, -1) : [==================================================] 98.1% (9.5 steps)
|  HA2C (+30, -1) : [==============================================    ] 92.3% (14.1 steps)
|  HPPO (+1, -1)  : [==========================================        ] 82.3% (23.4 steps)
|  Random Agent   : [==============                                    ] 28.0% (80+ steps)
+-----------------------------------------------------------------------------------+

Kết quả đạt được

  1. Khả năng tối ưu số bước: Thuật toán HPPO với hàm phần thưởng $(+30, -1)$ đạt hiệu năng cao nhất, hoàn thành toàn bộ chuỗi hậu khai thác chỉ trong trung bình 9.5 bước, giảm hơn 60% số thao tác thừa so với phương pháp thử sai truyền thống.
  2. Tính ổn định của chính sách: Nhờ cơ chế Clipped Objective, HPPO duy trì độ lệch chuẩn phần thưởng thấp hơn 34% so với HA2C, triệt tiêu hiện tượng sụt giảm hiệu năng đột ngột trong giai đoạn sau của quá trình huấn luyện.

Đổi mới và đóng góp

Đổi mới công nghệ (Technical Innovations)

  1. Kiến trúc phân cấp 2 tầng chuyên biệt cho Cyber Security: Tách biệt hoàn toàn việc lập kế hoạch chiến thuật (Goal Planning) và kỹ thuật khai thác vi mô (Module Execution), giúp giảm không gian tìm kiếm hành động tại mỗi thời điểm từ $O(|A|)$ xuống $O(|G| + |A_g|)$.
  2. Khung tự động hóa thống nhất Windows - Linux: Khắc phục nhược điểm của các nghiên cứu trước (chỉ chạy PowerShell Empire trên Windows [5, 10]), đồ án xây dựng pipeline tương thích chéo thông qua kiến trúc module của Metasploit.

Đối chuẩn với các công trình nghiên cứu đã công bố

Tiêu chí Erdodi et al. [5] Nguyen et al. [10] Raiju [13] Li et al. [9] Giải pháp của Đồ án
Phạm vi tấn công Chỉ Privilege Escalation Chỉ Lateral Movement PE + GI + LM Toàn mạng (Attack path) Liên kết trọn vẹn: PE + GI + LM
Mô hình học máy Flat A2C Flat A2C, DQN, SARSA Flat A2C, PPO HDRL + Human Feedback Hierarchical A2C & HPPO
Công cụ nền tảng PowerShell Empire PowerShell Empire Metasploit Framework Custom Simulator Metasploit RPC chuẩn
Hệ điều hành hỗ trợ Chỉ Windows Chỉ Windows Windows & Linux Trừu tượng hóa giả lập Windows & Linux thực tế
Tối ưu không gian hành động Kém (Flat) Kém (Flat) Trung bình (Flat) Tốt (Phân cấp) Rất tốt (Phân cấp 2 tầng)

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng thực tế

  • Đánh giá phòng thủ tự động định kỳ (Continuous Automated Red Teaming - CART): Cho phép doanh nghiệp kích hoạt các đợt kiểm thử xâm nhập tự động hàng đêm để phát hiện ngay các cấu hình sai hoặc lỗ hổng mới phát sinh trên máy trạm và máy chủ.
  • Mô phỏng vi phạm và tấn công (Breach and Attack Simulation - BAS): Giúp trung tâm điều hành an ninh mạng (SOC) kiểm tra xem hệ thống SIEM/EDR có phát hiện được chuỗi hành vi leo quyền và di chuyển ngang của mô hình hay không.
sequenceDiagram
    autonumber
    participant SOC as Quản trị viên / SOC Team
    participant Agent as HDRL Agent (HPPO)
    participant MSF as Metasploit RPC
    participant Net as Mạng nội bộ Doanh nghiệp

    SOC->>Agent: Kích hoạt tác vụ kiểm thử tự động
    Agent->>MSF: Khởi tạo kết nối Session ban đầu
    loop Vòng lặp Hậu khai thác
        MSF->>Net: Thu thập thông tin máy chủ (GI)
        Net-->>MSF: Trả về OS, Ports, CVE tiềm năng
        Agent->>MSF: Ra lệnh chọn Module Leo quyền (PE)
        MSF->>Net: Thực thi mã khai thác leo đặc quyền
        Net-->>MSF: Trả về phiên làm việc SYSTEM/root
        Agent->>MSF: Ra lệnh quét & Tấn công di chuyển ngang (LM)
        MSF->>Net: Khai thác máy chủ kế cận
    end
    Agent->>SOC: Xuất báo cáo Attack Path & Lỗ hổng cần khắc phục

Phân tích hiệu quả kinh tế và ROI (Cost-Benefit Analysis)

  • Tiết kiệm thời gian: Giảm thời gian thực hiện một đợt đánh giá mạng quy mô 50 máy từ 3 - 5 ngày làm việc của chuyên gia xuống còn dưới 4 giờ chạy tự động.
  • Tối ưu chi phí: Giảm thiểu hơn 65% chi phí thuê ngoài (Outsource Pentest) cho các đợt kiểm toán bảo mật định kỳ hàng quý.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Môi trường giả lập chưa có EDR/XDR chủ động: Hiện tại mô hình tập trung tối ưu khả năng tìm đường khai thác thành công, chưa tính đến các kỹ thuật né tránh phòng thủ (Defense Evasion/Bypass AV) phức tạp.
  • Tập hành động rời rạc: Việc ánh xạ trực tiếp hành động vào module Metasploit giới hạn khả năng tự tạo payload tùy biến khi mục tiêu có bản vá phi chuẩn.

Hướng phát triển tiếp theo

  1. Tích hợp Multi-Agent Game Theory: Xây dựng mô hình Đối kháng (Adversarial RL) giữa Red Agent (Tấn công) và Blue Agent (Phòng thủ/Tự động vá lỗi).
  2. Ứng dụng Large Language Models (LLM): Kết hợp LLM (như Gemini/GPT) làm bộ não phân tích ngữ nghĩa (Semantic Reasoning) giúp Agent đọc hiểu báo cáo quét lỗ hổng và sinh tham số khai thác linh hoạt hơn.

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------------+
|                        GIÁ TRỊ MANG LẠI CHO CÁC NHÓM ĐỐI TƯỢNG                    |
+-----------------------------------------------------------------------------------+
|  [Sinh viên / Nghiên cứu sinh]  --> Nguồn tài liệu mẫu về ứng dụng AI vào An toàn TT|
|  [Chuyên gia Pentest / Red Team]--> Bộ khung tự động hóa các tác vụ lặp lại nhàm chán|
|  [Doanh nghiệp / Đội ngũ SOC]   --> Giải pháp đánh giá bảo mật liên tục, chi phí thấp|
|  [Cộng đồng Nghiên cứu AI-Sec]  --> Mã nguồn mở đối chuẩn thuật toán HA2C vs HPPO   |
+-----------------------------------------------------------------------------------+
  • Sinh viên & Giảng viên ngành An toàn thông tin / Khoa học máy tính: Cung cấp tài liệu thực chứng toàn diện về cách kết hợp lý thuyết Học tăng cường (MDP, Actor-Critic, PPO) với an ninh mạng thực chiến.
  • Doanh nghiệp & Đội ngũ vận hành an ninh (SOC/Blue Team): Công cụ đắc lực để chủ động rà soát điểm yếu nội bộ trước khi tin tặc khai thác.

Câu hỏi thường gặp

1. Yêu cầu phần cứng và môi trường để triển khai hệ thống là gì?

Hệ thống yêu cầu máy chủ chạy hệ điều hành Linux (khuyến nghị Ubuntu 22.04 LTS), tối thiểu 16GB RAM, CPU 8 cores và GPU hỗ trợ CUDA (khuyến nghị NVIDIA RTX 3060 trở lên để tối ưu tốc độ huấn luyện PyTorch), cài đặt sẵn Metasploit Framework v6.x và Python 3.10+.

2. Mô hình xử lý thế nào khi không gian mạng mục tiêu mở rộng quy mô (Scalability)?

Nhờ cấu trúc phân cấp, khi số lượng máy chủ hoặc số lượng module khai thác tăng lên, chỉ có tầng Sub-Controller mở rộng vector đầu ra tương ứng với nhóm hành động cục bộ, trong khi tầng Meta-Controller vẫn giữ nguyên số lượng mục tiêu chiến lược ($|G| = 3$), giúp duy trì khả năng hội tụ ổn định.

3. Hệ thống kết nối với hạ tầng mạng doanh nghiệp hiện có như thế nào?

Mô hình hoạt động như một dịch vụ độc lập giao tiếp qua giao thức an toàn với máy chủ Metasploit RPC (MSFRPC). Tác tử không yêu cầu cài đặt agent lên máy mục tiêu mà tận dụng các giao thức chuẩn (SSH, SMB, WinRM) và các session đã tạo.

4. Tại sao HPPO lại cho kết quả vượt trội hơn HA2C trong bài toán này?

HA2C sử dụng bước cập nhật gradient chính sách tiêu chuẩn nên dễ bị dao động lớn khi gặp phần thưởng phạt trong không gian mạng phức tạp. Trong khi đó, HPPO sử dụng cơ chế Clipped Surrogate Objective, giới hạn độ biến thiên của chính sách mới so với chính sách cũ trong khoảng $[1-\epsilon, 1+\epsilon]$, giúp quá trình học ổn định và khai phá hiệu quả hơn.

5. Chi phí triển khai và thời gian hoàn vốn (ROI) ước tính ra sao?

Giải pháp sử dụng 100% nền tảng mã nguồn mở (PyTorch, Metasploit Community Edition, Python), không tốn chi phí bản quyền phần mềm. Thời gian hoàn vốn đầu tư phần cứng ước tính từ 3 - 6 tháng thông qua việc cắt giảm chi phí thuê chuyên gia kiểm thử định kỳ.

Kết luận

Khóa luận tốt nghiệp của tác giả Võ Duy Nhất đã giải quyết thành công bài toán tự động hóa giai đoạn hậu khai thác xâm nhập mạng – một trong những thách thức phức tạp nhất của an ninh mạng hiện đại. Bằng việc ứng dụng sáng tạo mô hình Học tăng cường sâu phân cấp (HDRL) thông qua hai thuật toán HA2C và HPPO, nghiên cứu đã chứng minh tính khả thi và hiệu quả vượt trội trong việc triệt tiêu sự bùng nổ không gian hành động, rút ngắn số bước khai thác xuống còn 9.5 bước/chuỗi với tỷ lệ thành công đạt 98.1%.

Đồ án không chỉ đóng góp giá trị học thuật quan trọng trong việc ứng dụng Trí tuệ nhân tạo vào An toàn thông tin, mà còn mở ra tiềm năng thương mại hóa và ứng dụng thực tiễn to lớn trong các hệ thống đánh giá phòng thủ tự động thế hệ mới.