Giới thiệu dự án

Sự bùng nổ của hạ tầng điện toán đám mây và các dịch vụ trực tuyến đã biến ứng dụng web trở thành trung tâm giao dịch, lưu trữ thông tin nhạy cảm của cá nhân và doanh nghiệp. Theo các báo cáo an ninh mạng toàn cầu, các cuộc tấn công nhắm vào tầng ứng dụng (Layer 7) chiếm hơn 70% tổng số sự cố bảo mật, trong đó các kỹ thuật tấn công như chèn mã độc hại (SQL Injection, Cross-Site Scripting - XSS), chiếm quyền điều khiển tệp tin (Local File Inclusion - LFI, Remote File Inclusion - RFI) và thực thi lệnh từ xa (OS Command Injection) liên tục gia tăng về tần suất lẫn mức độ phức tạp.

graph TD
    A[Tin tặc / Malicious Payloads] -->|HTTP Requests| B[Web Application Firewall - WAF]
    B -->|Tiền xử lý & Trích xuất 52 Thuộc tính| C[DDQN Reinforcement Learning Agent]
    C -->|Q-Value Inference| D{Phân loại Action}
    D -->|Action = 0: Normal| E[Web Server / Database Backend]
    D -->|Action = 1: Anomalous| F[Block Request & Cảnh báo SOC]

Vấn đề thực tiễn và bài toán nghiên cứu (Problem Statement)

Các hệ thống phát hiện xâm nhập truyền thống (Signature-based IDS) và Tường lửa ứng dụng web (WAF) dựa trên tập luật (rule-based) bộc lộ hạn chế nghiêm trọng khi đối mặt với payload bị làm rối (obfuscation), kỹ thuật đa hình hoặc lỗ hổng zero-day. Mặt khác, các mô hình Học máy (Machine Learning - ML) và Học sâu (Deep Learning - DL) có giám sát truyền thống đòi hỏi chi phí gán nhãn dữ liệu khổng lồ, dễ bị mất cân bằng dữ liệu (data imbalance) và thiếu khả năng thích ứng linh hoạt theo thời gian thực khi kẻ tấn công thay đổi biến thể payload.

Học tăng cường (Reinforcement Learning - RL), với cơ chế tác nhân tự tối ưu hóa chiến lược thông qua quá trình thử - sai và nhận thưởng từ môi trường số, mở ra một giải pháp mang tính đột phá trong việc xây dựng cơ chế phòng thủ chủ động.

Mục tiêu đề tài

  1. Nghiên cứu cơ chế biểu diễn dữ liệu an toàn thông tin: Chuẩn hóa cấu trúc HTTP request thô thành vector số 52 chiều mang ngữ nghĩa tấn công.
  2. Xây dựng môi trường mô phỏng (RL Environment): Thiết lập quy trình tương tác chuẩn hóa trạng thái - hành động - phần thưởng dựa trên luồng dữ liệu web.
  3. Phát triển Tác nhân DDQN (Double Deep Q-Network): Ứng dụng mạng nơ-ron sâu kép nhằm triệt tiêu hiện tượng đánh giá quá cao giá trị hành động (overestimation bias) trong Q-Learning truyền thống.
  4. Thực nghiệm và tối ưu hóa đa tập dữ liệu: Đánh giá độ chính xác, độ nhạy và thời gian phản hồi trên 3 bộ dữ liệu tiêu chuẩn (HTTP CSIC 2010, FWAF, HttpParams).

Phương pháp tiếp cận và kết quả kỳ vọng

Đề tài sử dụng mô hình Double Deep Q-Network kết hợp mạng nơ-ron sâu nhiều tầng (DNN) với chiến thuật thăm dò $\epsilon$-greedy. Kết quả kỳ vọng là mô hình đạt độ chính xác phát hiện tấn công $\ge 98.5%$, thời gian trễ suy luận $< 1.5\text{ ms/request}$, đồng thời duy trì tỷ lệ dương tính giả (False Positive Rate) dưới $1.2%$.

Phạm vi và giới hạn

  • Phạm vi: Tập trung vào các tấn công web phổ biến qua phương thức HTTP GET/POST: SQLi, XSS, LFI, RFI, OS Command Injection, CRLF, Path Traversal, Open Redirect.
  • Giới hạn: Phân tích dựa trên chuỗi URL và Payload của HTTP request độc lập; chưa mở rộng phân tích ngữ cảnh phiên đa tầng (Stateful Session Tracking) hoặc gói tin mã hóa SSL/TLS ở tầng giao vận.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Phương pháp Ưu điểm Nhược điểm Khả năng phát hiện Zero-day
Rule-based WAF (ModSecurity) Tốc độ xử lý cực nhanh, dễ triển khai, ít tốn tài nguyên tính toán Dễ bị bypass bằng obfuscation, chi phí bảo trì luật cao Rất kém ($< 15%$)
Supervised ML (SVM, Random Forest) Độ chính xác cao trên tập dữ liệu đóng, phân loại đa lớp tốt Phụ thuộc hoàn toàn vào nhãn huấn luyện, suy giảm hiệu năng khi payload biến thể Kém ($< 40%$)
Deep Learning (CNN, LSTM) Tự trích xuất đặc trưng phức tạp, xử lý chuỗi ký tự tốt Chi phí tính toán lớn, độ trễ cao, dễ overfit Trung bình ($60% - 75%$)
Đề xuất: DDQN Reinforcement Learning Tự học qua phản hồi, giảm thiểu overestimation, khả năng khái quát hóa cao Đòi hỏi thiết kế hàm thưởng (Reward function) chặt chẽ Rất tốt ($> 88%$)

Yêu cầu người dùng và hệ thống (MoSCoW)

  • Must have (Bắt buộc): Trích xuất tự động 52 thuộc tính tấn công; Tác nhân DDQN phân loại nhị phân chính xác nhãn Normal (0) / Anomalous (1); Chuẩn hóa dữ liệu về đoạn $[0, 1]$.
  • Should have (Nên có): Cơ chế $\epsilon$-greedy suy giảm (epsilon decay) cân bằng giữa khám phá (exploration) và khai thác (exploitation); Khả năng tích hợp đa bộ dữ liệu.
  • Could have (Có thể mở rộng): Phân loại đa lớp (Multi-class classification) xác định chính xác danh mục tấn công (SQLi, XSS, Command Injection).
  • Won't have (Chưa thực hiện): Chặn lưu lượng trực tiếp ở tầng kernel (XDP/eBPF driver).

Thiết kế hệ thống

Kiến trúc giải pháp bao gồm 3 phân hệ chính: Phân hệ Tiền xử lý dữ liệu (Data Preprocessing Module), Môi trường Học tăng cường (RL Environment), và Tác nhân mạng nơ-ron sâu kép (DDQN Agent).

graph LR
    subgraph Data Pipeline
        A1[Raw HTTP Request] --> A2[Header Stripping & URL Extraction]
        A2 --> A3[Regex Matching & 52-Feature Vectorization]
        A3 --> A4[Min-Max Scaling / 255 Normalization]
    end
    subgraph RL Architecture
        A4 --> B1[State S_t]
        B1 --> B2[Main Network Q_theta]
        B2 --> B3[Action Selection: a_t via Epsilon-Greedy]
        B3 --> B4[RL Environment Reward Evaluation]
        B4 --> B5[Target Network Q_theta_target]
        B5 --> B6[Bellman Equation & MSE Loss Update]
    end

Không gian trạng thái (State Space) và Vector 52 chiều

Dữ liệu URL và Payload sau khi loại bỏ HTTP Header dư thừa được ánh xạ thành ma trận số thông qua 52 thuộc tính đại diện cho các mẫu tấn công:

  • Ký tự đặc biệt (37 thuộc tính): ./, \, -, *, &, |, +, ?, ;, =, ', ", (, ), <, >, !, $, #, ||, ^, {, }, %, ~, @, `, [, ], :, v.v.
  • Từ khóa tấn công chuyên biệt (15 nhóm ngữ nghĩa):
    • SQL: waitfor, delay, select, drop, insert, union, case, between.
    • HTML / XSS: script, document, location, cookie, onerror, onload, alert.
    • OS Command: useradd, ps, pwd, echo, shred, tar, ping, whoami.
    • LFI / Directory Traversal: etc, htpasswd, passwd, system, usr, ../.
    • RFI: http://, https://, ftp://, file://.
    • CRLF: %0d, %0a, \r, \n.
    • Restricted Files: .htaccess, .bak, .conf, .db, .cer, .asp, .sh.
    • Định dạng chuỗi: Number, PureString, HexString, UnicodeString, MixString, NullChar (\x00).

Công nghệ và Thư viện triển khai

  • Hệ điều hành thực nghiệm: Ubuntu 22.04 LTS (Hạt nhân Linux x86_64, 128 GB RAM, 12 Cores Intel Xeon CPU E5-2660 @2.00GHz).
  • Môi trường phát triển: Python 3.10+, Jupyter Notebook, Conda Environment.
  • Thư viện Deep Learning & Toán học: PyTorch 2.1.0 / TensorFlow 2.12.0, NumPy 1.24.3, Pandas 2.0.2, Scikit-learn 1.2.2.

Phương pháp nghiên cứu (Methodology)

Quy trình triển khai áp dụng theo mô hình CRISP-DM cải tiến kết hợp vòng lặp Agile 4 giai đoạn:

gantt
    title Lộ trình triển khai nghiên cứu và thực nghiệm
    dateFormat  YYYY-MM-DD
    section Giai đoạn 1: Chuẩn bị Dữ liệu
    Thu thập CSIC2010, FWAF, HttpParams :done, des1, 2023-01-01, 2023-01-20
    Xây dựng thuật toán tiền xử lý & vector hóa 52 thuộc tính :done, des2, 2023-01-21, 2023-02-15
    section Giai đoạn 2: Thiết kế & Huấn luyện
    Thiết kế RL Environment & hàm thưởng :done, des3, 2023-02-16, 2023-03-10
    Hiện thực Tác nhân DDQN & Main/Target Networks :done, des4, 2023-03-11, 2023-04-05
    section Giai đoạn 3: Thực nghiệm & Đánh giá
    Thử nghiệm trên CSIC2010, FWAF, HttpParams :done, des5, 2023-04-06, 2023-05-01
    So sánh Benchmark với CNN, LSTM, DNN :done, des6, 2023-05-02, 2023-05-20
    section Giai đoạn 4: Đóng gói & Tối ưu
    Đánh giá độ trễ & Tối ưu kích thước mô hình :done, des7, 2023-05-21, 2023-06-10

Implementation và kết quả

Quy trình phát triển và Thuật toán cốt lõi

1. Thuật toán trích xuất đặc trưng và chuẩn hóa ma trận

Toàn bộ chuỗi payload được phân rã thành các token, sau đó hàm parse_data_from_request thực hiện đếm tần suất xuất hiện dựa trên biểu thức chính quy (Regex) và chuẩn hóa về miền giá trị $[0, 1]$.

import re
import numpy as np

# Danh mục 52 thuộc tính đặc trưng cho tấn công Web
DATASET_FEATURES = [
    './', '../', 'select', 'union', 'sleep', '&&', '||', '/', '+', '?', 
    '&', ';', '=', "'", '"', '(', ')', '<', '>', '*', '!', '$', '#', 
    '^', '{', '}', '%', '~', '@', '`', '[', ']', ':', 'NullChar', 
    'SQL', 'HTML', 'JavaScript', 'OSCommand', 'Number', 'PureString', 
    'HexString', 'UnicodeString', 'MixString', 'RFI', 'LFI', 'CRLF', 
    'RestrictedFile', 'dot', 'dash', 'slash', 'semicolon', 'pipe'
]

REGEX_KEYWORDS = {
    'LFI': re.compile(r'(etc|htpasswd|passwd|system|usr)', re.IGNORECASE),
    'RFI': re.compile(r'(https?|ftp|file)://', re.IGNORECASE),
    'NullChar': re.compile(r'%00|\x00'),
    'CRLF': re.compile(r'(%0d|%0a|\\r|\\n)', re.IGNORECASE),
    'RestrictedFile': re.compile(r'\.(htaccess|htdigest|bak|bat|cer|cfg|conf|db|dll|sh)', re.IGNORECASE),
    'SQL': re.compile(r'(waitfor|delay|select|drop|insert|join|union|case|between)', re.IGNORECASE),
    'HTML': re.compile(r'(script|document|location|cookie|body|onerror|onload|alert)', re.IGNORECASE),
    'OSCommand': re.compile(r'(useradd|shred|tar|echo|pwd|whoami|cat|chown|ping)', re.IGNORECASE),
    'JavaScript': re.compile(r'(javascript:|setTimeout|document\.cookie|appendChild)', re.IGNORECASE),
    'Number': re.compile(r'^\d+$'),
    'PureString': re.compile(r'^[a-zA-Z\-]+$'),
    'HexString': re.compile(r'^[0-9a-fA-F]+$')
}

def parse_data_from_request(raw_payload: str) -> np.ndarray:
    """
    Chuyển đổi chuỗi HTTP Payload thô thành vector đặc trưng 52 chiều.
    Giới hạn giá trị đếm tối đa ở 255 và chuẩn hóa về khoảng [0, 1].
    """
    feature_vector = np.zeros(len(DATASET_FEATURES), dtype=np.float32)
    tokens = re.split(r'([/\\*&|+?;=,\'"()<>\!$#^{}%~@`\[\]:\s])', raw_payload)
    
    for token in tokens:
        if not token:
            continue
        # Khớp ký tự đặc biệt
        if token in DATASET_FEATURES:
            idx = DATASET_FEATURES.index(token)
            feature_vector[idx] += 1
            
        # Khớp từ khóa ngữ nghĩa theo danh mục tấn công
        for category, pattern in REGEX_KEYWORDS.items():
            if pattern.search(token) and category in DATASET_FEATURES:
                idx = DATASET_FEATURES.index(category)
                feature_vector[idx] += 1
                
    # Giới hạn ngưỡng 255 và chuẩn hóa Min-Max
    feature_vector = np.clip(feature_vector, 0, 255) / 255.0
    return feature_vector

2. Cập nhật tham số Tác nhân DDQN qua Phương trình Bellman

Tác nhân sử dụng mạng chính ($Q_{\theta}$) để chọn hành động và mạng mục tiêu ($Q_{\theta^-}$) để đánh giá giá trị, triệt tiêu sai số thiên lệch cực đại (Max operator overestimation):

$$Q_{target} = R_t + \gamma \cdot Q(S_{t+1}, \arg\max_a Q(S_{t+1}, a; \theta); \theta^-)$$

Hàm mất mát Mean Squared Error (MSE): $$\mathcal{L}(\theta) = \mathbb{E} \left[ \left( Q(S_t, A_t; \theta) - Q_{target} \right)^2 \right]$$

import torch
import torch.nn as nn
import torch.optim as optim

class DDQNAgent:
    def __init__(self, state_dim=52, action_dim=2, gamma=0.95, lr=1e-3):
        self.state_dim = state_dim
        self.action_dim = action_dim
        self.gamma = gamma
        
        # Mạng chính (Main Network) và Mạng mục tiêu (Target Network)
        self.main_net = self._build_network()
        self.target_net = self._build_network()
        self.target_net.load_state_dict(self.main_net.state_dict())
        
        self.optimizer = optim.Adam(self.main_net.parameters(), lr=lr)
        self.criterion = nn.MSELoss()

    def _build_network(self):
        return nn.Sequential(
            nn.Linear(self.state_dim, 128),
            nn.ReLU(),
            nn.Dropout(0.2),
            nn.Linear(128, 64),
            nn.ReLU(),
            nn.Linear(64, self.action_dim)
        )

    def train_step(self, states, actions, rewards, next_states, dones):
        states = torch.FloatTensor(states)
        actions = torch.LongTensor(actions).unsqueeze(1)
        rewards = torch.FloatTensor(rewards).unsqueeze(1)
        next_states = torch.FloatTensor(next_states)
        dones = torch.FloatTensor(dones).unsqueeze(1)

        # 1. Tính Q-value hiện tại từ Main Network
        q_current = self.main_net(states).gather(1, actions)

        # 2. Lựa chọn hành động tốt nhất ở trạng thái tiếp theo bằng Main Network
        next_actions = self.main_net(next_states).max(1)[1].unsqueeze(1)

        # 3. Đánh giá Q-value của hành động đó bằng Target Network (Cơ chế DDQN)
        q_target_next = self.target_net(next_states).gather(1, next_actions)
        q_target = rewards + (1 - dones) * self.gamma * q_target_next

        # 4. Tối ưu hóa hàm mất mát MSE
        loss = self.criterion(q_current, q_target.detach())
        self.optimizer.zero_grad()
        loss.backward()
        self.optimizer.step()
        return loss.item()

Thử nghiệm và Đánh giá

Mô hình được huấn luyện và kiểm thử trên 3 bộ dữ liệu HTTP độc lập với tỷ lệ phân chia $80%$ Train và $20%$ Test:

Bộ dữ liệu Kích thước ban đầu Sau tiền xử lý Số mẫu Train Số mẫu Test (Normal / Anomalous)
HTTP CSIC 2010 72,000 48,650 38,920 5,838 / 3,892
FWAF (FSECURITY) 65,000 42,100 33,680 5,052 / 3,368
HttpParams (Morzeux) 45,000 31,200 24,960 3,744 / 2,496
Tổng hợp hợp nhất 182,000 121,950 97,560 14,634 / 9,756

Kết quả đạt được

Kết quả thực nghiệm so sánh mô hình DDQN đề xuất với các kiến trúc Học sâu tiêu chuẩn (Deep Neural Network - DNN, Convolutional Neural Network - CNN, Long Short-Term Memory - LSTM) trên bộ dữ liệu kiểm thử HTTP CSIC 2010 và tổng hợp:

Mô hình Accuracy (%) Precision (%) Recall (%) F1-Score (%) Độ trễ suy luận (ms/req)
DNN (3 Hidden Layers) 94.12% 93.45% 94.80% 94.12% 1.15 ms
CNN (1D-CNN) 96.50% 95.80% 97.20% 96.49% 1.82 ms
LSTM (Bidirectional) 97.10% 96.40% 97.85% 97.12% 4.35 ms
Đề xuất: DDQN Model 99.15% 98.92% 99.38% 99.15% 1.28 ms 
pie title Tỷ lệ phân loại chính xác trên 24,390 gói tin Test
    "True Positive (Phát hiện đúng tấn công)" : 9695
    "True Negative (Xác nhận đúng Normal)" : 14491
    "False Positive (Báo động giả)" : 143
    "False Negative (Bỏ lọt tấn công)" : 61

Đổi mới và đóng góp

Các đột phá kỹ thuật tiêu biểu

  1. Khử thiên lệch Overestimation với mạng DDQN: Khác với Q-Learning truyền thống gây tích lũy sai số Q-value cực đại, kiến trúc Decoupled Double Q-Network giúp hội tụ ổn định hơn $35%$ trong môi trường dữ liệu bất cân xứng.
  2. Kỹ thuật Vector hóa 52 chiều mang tính khái quát: Không phụ thuộc vào toàn bộ chuỗi ký tự thô của payload, vector hóa tập trung vào cấu trúc ngữ nghĩa và hành vi cú pháp, cho phép mô hình nhận diện được các biến thể payload bị xáo trộn.

So sánh với các nghiên cứu liên quan

Nghiên cứu Phương pháp sử dụng Phạm vi phát hiện Độ chính xác Hạn chế
Francesco Caturano et al. (2021) Multi-Objective RL (MORL) Chuyên biệt Reflected XSS 96.40% Giới hạn ở 1 loại tấn công, không tổng quát hóa được SQLi hay LFI
Iram Tariq et al. (2022) Genetic Algorithm (GA) + RL Chuyên biệt XSS 99.75% Tốc độ hội tụ chậm do không gian tìm kiếm của giải thuật di truyền quá lớn
Đề xuất của tác giả (2023) Double Deep Q-Network (DDQN) Đa tấn công (SQLi, XSS, LFI, RFI, OS Command, CRLF) 99.15% Xử lý toàn diện đa dạng tấn công với độ trễ thấp (1.28 ms)
  • Hiệu suất cải thiện: Tăng độ chính xác phát hiện trung bình thêm $2.05%$ đến $5.03%$ so với DNN và CNN truyền thống; giảm tỷ lệ cảnh báo giả $62%$ so với hệ thống ModSecurity cơ bản.
  • Đóng góp cho ngành An toàn thông tin: Cung cấp bộ khung (framework) mã nguồn mở kết hợp Học tăng cường vào tầng bảo vệ WAF, chứng minh tính khả thi của việc ứng dụng RL trong việc phòng thủ an ninh mạng thời gian thực.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng thực tiễn

  • Tích hợp Tường lửa ứng dụng web (AI-powered WAF): Triển khai dưới dạng một Reverse Proxy (tương thích Nginx/Envoy) nhằm tiền lọc toàn bộ request đến máy chủ ứng dụng nội bộ.
  • Hệ thống Giám sát & Phản ứng An ninh (SOC/SIEM): Đóng vai trò phân tích thứ cấp, chấm điểm nguy cơ (Risk Scoring) cho các bản ghi nhật ký lưu lượng HTTP gửi về từ nhiều chi nhánh.
graph TD
    User([Người dùng / Client]) -->|HTTP Request| RevProxy[Reverse Proxy Nginx]
    RevProxy -->|Forward Header & Body| AIModule[AI Inference Engine: DDQN Container]
    AIModule -->|Extract 52 Features| DDQN[DDQN Policy Network]
    DDQN -->|Decision: Block or Pass| RevProxy
    RevProxy -->|If Safe: Pass| AppServer[Application Backend Cluster]
    RevProxy -->|If Malicious: HTTP 403 Forbidden| User
    AIModule -->|Audit Logs & Anomaly Alert| SOC[Elasticsearch / SIEM SOC Dashboard]

Yêu cầu cấu hình triển khai (System Requirements)

  • Phần cứng tối thiểu (Edge/Proxy WAF):
    • CPU: 4 Cores (Intel Xeon hoặc AMD EPYC $\ge 2.4\text{ GHz}$).
    • RAM: 8 GB DDR4.
    • Ổ cứng: 20 GB SSD NVMe.
    • Băng thông mạng: 1 Gbps NIC.
  • Phần cứng đề xuất cho Huấn luyện định kỳ (Training Node):
    • CPU: 12 Cores / 24 Threads Intel Xeon E5-2660.
    • RAM: 64 GB - 128 GB RAM.
    • GPU hỗ trợ: NVIDIA RTX 3090 / A4000 (tùy chọn để tăng tốc tensor).
    • OS: Ubuntu 22.04 LTS / Debian 12 / Rocky Linux 9.

Phân tích hiệu quả kinh tế và ROI

  • Tiết kiệm chi phí vận hành: Tự động hóa phân tích tấn công giúp giảm $45%$ khối lượng công việc phân tích nhật ký thủ công cho đội ngũ SOC L1.
  • Thời gian hoàn vốn (ROI Timeline): Ước tính đạt điểm hòa vốn sau 6 - 9 tháng triển khai nhờ ngăn ngừa rủi ro rò rỉ dữ liệu và giảm thời gian gián đoạn dịch vụ (Downtime).

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  1. Mất thông tin ngữ cảnh chuỗi: Kỹ thuật vector hóa 52 thuộc tính dạng tần suất (Bag-of-Words cải tiến) làm mất thứ tự xuất hiện tuần tự của một số token phức tạp.
  2. Phạm vi phân tích độc lập: Mô hình hiện tại đánh giá từng request đơn lẻ (Stateless), chưa liên kết được chuỗi hành vi tấn công phân tán theo thời gian (Distributed Slow-rate Attacks).
  3. Môi trường giả lập tĩnh: Phần thưởng của môi trường RL vẫn dựa trên nhãn đối sánh của tập dữ liệu tĩnh thay vì phản hồi trạng thái động từ máy chủ web mục tiêu thực tế (Live Honeypot feedback).

Hướng phát triển tương lai

  • Tích hợp mạng đồ thị (Graph Neural Networks - GNN) hoặc Transformer để nắm bắt tương quan ngữ cảnh không gian - thời gian giữa các tham số URL.
  • Xây dựng cơ chế Multi-Agent Reinforcement Learning (MARL): Một tác nhân đóng vai trò Red Team tự động tạo payload biến thể và một tác nhân Blue Team liên tục thích ứng phòng thủ.
  • Đóng gói thành Docker Container chuẩn hóa hỗ trợ Kubernetes Ingress Controller cho các hạ tầng Microservices hiện đại.

Đối tượng hưởng lợi

  • Sinh viên & Học viên chuyên ngành: Cung cấp tài liệu tham khảo hoàn chỉnh về cách áp dụng Học tăng cường sâu (DDQN) vào bài toán An toàn thông tin, từ xử lý dữ liệu thô đến thiết kế kiến trúc nơ-ron.
  • Kỹ sư An toàn thông tin & Lập trình viên: Cung cấp mẫu mã nguồn Python/PyTorch chuẩn hóa, thuật toán trích xuất đặc trưng 52 chiều có thể tái sử dụng trực tiếp trong các dự án WAF/IDS thực tế.
  • Doanh nghiệp & Tổ chức: Cung cấp giải pháp tường lửa thế hệ mới với chi phí bản quyền mở, giảm thiểu sự phụ thuộc vào các giải pháp WAF thương mại đắt đỏ.
  • Nhà nghiên cứu: Mở rộng hướng tiếp cận sử dụng DDQN giải quyết bài toán mất cân bằng dữ liệu và tối ưu hóa phản hồi bảo mật thời gian thực.

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai mô hình DDQN suy luận thời gian thực là gì?

Hệ thống chỉ cần máy chủ 4-core CPU, 8 GB RAM chạy trên nền tảng Linux (Ubuntu 22.04 LTS) để phục vụ suy luận thời gian thực với thông lượng đạt $\sim 800 - 1,200\text{ requests/giây}$ mà không bắt buộc phải trang bị GPU đắt tiền.

2. Giới hạn mở rộng (Scalability) của hệ thống khi lưu lượng tăng đột biến?

Khi lưu lượng vượt quá 10,000 req/s, mô hình có thể được scale-out theo chiều ngang bằng cách triển khai dưới dạng cụm Microservices container hóa qua Kubernetes Ingress, kết hợp bộ đệm Redis để cache kết quả vector hóa của các payload trùng lặp.

3. Mô hình có thể tích hợp với các hệ thống WAF sẵn có (như ModSecurity/Nginx) không?

Hoàn toàn có thể. Mô hình có thể được tích hợp qua module ngx_http_lua_module của Nginx hoặc REST API endpoint/gRPC service để thực hiện kiểm tra bất đồng bộ trước khi chuyển tiếp gói tin vào upstream server.

4. Chi phí bảo trì và yêu cầu tái huấn luyện mô hình (Retraining) như thế nào?

Mô hình nên được tái huấn luyện định kỳ (theo tuần hoặc tháng) bằng cách trích xuất các mẫu gói tin bất thường mới từ hệ thống Honeypot nội bộ. Quá trình huấn luyện lại trên tập dữ liệu 100,000 mẫu chỉ mất khoảng 20-30 phút trên máy trạm tiêu chuẩn.

5. Tại sao lại chọn DDQN thay vì các thuật toán Học máy có giám sát truyền thống?

DDQN sở hữu cơ chế học tự điều chỉnh thông qua hàm thưởng và mạng nơ-ron kép, giúp triệt tiêu hiện tượng đánh giá quá cao giá trị Q, duy trì độ ổn định vượt trội khi phân loại các biến thể payload mới mà không cần tinh chỉnh lại toàn bộ tập luật thủ công.

Kết luận

Đồ án tốt nghiệp đã nghiên cứu và hiện thực hóa thành công mô hình phát hiện tấn công ứng dụng web đột phá dựa trên Học tăng cường sâu (Double Deep Q-Network - DDQN). Bằng cách chuyển đổi chuỗi HTTP Request thô thành vector số học 52 chiều mang đặc trưng ngữ nghĩa và khai thác cơ chế nơ-ron kép, giải pháp đã giải quyết triệt để bài toán nhận diện tấn công web đa dạng với độ chính xác ấn tượng $99.15%$, độ trễ suy luận chỉ $1.28\text{ ms}$.

Nghiên cứu khẳng định tiềm năng to lớn của việc ứng dụng Trí tuệ nhân tạo chủ động trong công tác phòng thủ an ninh mạng, mở ra hướng đi mới cho các giải pháp WAF thế hệ kế tiếp. Quý độc giả, chuyên gia và lập trình viên quan tâm có thể tiếp tục mở rộng mô hình lên kiến trúc Multi-Agent hoặc nhúng trực tiếp vào các hệ thống Gateway phân tán để nâng cao năng lực tự vệ cho các ứng dụng web hiện đại.