Giới thiệu dự án

Sự bùng nổ về quy mô và lưu lượng của hạ tầng mạng Internet hiện đại, đặc biệt là sự phổ biến của các giao thức mã hóa toàn trình (TLS 1.3/HTTPS chiếm hơn 85% tổng lưu lượng mạng doanh nghiệp), đang đặt ra thách thức nghiêm trọng cho các hệ thống phát hiện xâm nhập truyền thống (Signature-based IDS). Các phương pháp kiểm tra gói tin sâu (Deep Packet Inspection - DPI) tiêu tốn tài nguyên tính toán khổng lồ ($O(N)$ theo độ dài gói tin) và hoàn toàn bất lực trước dữ liệu đã mã hóa payload. Để giải quyết bài toán này, hệ thống phát hiện xâm nhập dựa trên luồng lưu lượng mạng (Flow-based NIDS) trở thành hướng tiếp cận tối ưu khi chỉ cần phân tích khoảng 0.1% tổng lưu lượng với mức tiêu hao băng thông kết xuất (NetFlow/IPFIX) chỉ 0.2%.

                             KIẾN TRÚC FLOW-BASED NIDS
                             
                            (IPFIX)             (CICFlowMeter V3)
                                              [ 2-Stage Pipeline ]

Tuy nhiên, rào cản lớn nhất khi ứng dụng học máy (Machine Learning - ML) vào Flow-based NIDS là vấn đề mất cân bằng dữ liệu cực đoan (Severe Class Imbalance). Trong môi trường thực tế, tỷ lệ giữa lưu lượng tấn công (lớp thiểu số) và lưu lượng bình thường (lớp đa số - Benign) dao động từ $1:24$, $1:90$ cho đến $1:100,000$. Các thuật toán học máy chuẩn khi huấn luyện trên tập dữ liệu này sẽ bị thiên lệch hoàn toàn về lớp đa số, tối đa hóa độ chính xác tổng thể (Accuracy) nhưng tạo ra tỷ lệ âm tính giả (False Negative - FN) cao đối với các cuộc tấn công nguy hiểm, đồng thời gây ra hiện tượng ngụy biện tỷ lệ thực (Base Rate Fallacy) dẫn đến báo động giả (False Positive - FP) tràn ngập hệ thống.

Đề tài tập trung nghiên cứu, thiết kế và thực nghiệm giải pháp toàn diện giải quyết bài toán mất cân bằng dữ liệu cho Flow-based NIDS thông qua các mục tiêu cụ thể:

  1. Xây dựng kiến trúc phát hiện 2 tầng (2-Stage Detection Architecture): Tách biệt bộ nhận diện bất thường thời gian thực (Online Binary Triage) và bộ phân loại chi tiết (Offline Multi-class Classification).
  2. Tích hợp kỹ thuật cân bằng dữ liệu đa cấp: Kết hợp kỹ thuật chọn mẫu ngẫu nhiên giảm thiểu (Random Under-Sampling - RUS) và kỹ thuật sinh mẫu tổng hợp cho lớp thiểu số (SMOTE, ADASYN).
  3. Tối ưu hóa thuật toán phân loại: Áp dụng phương pháp nhạy cảm chi phí (Cost-Sensitive Learning) điều chỉnh trọng số phạt mẫu lỗi lớp thiểu số.
  4. Triển khai cơ chế chuẩn hóa luồng trực tuyến (Online Streaming Normalization) dựa trên thuật toán Welford nhằm triệt tiêu hiện tượng rò rỉ dữ liệu (Data Leakage) và trôi dạt dữ liệu (Concept Drift).
  5. Tinh lọc không gian đặc trưng (Feature Selection): Loại bỏ hiện tượng đa cộng tuyến (Multicollinearity), giảm chiều dữ liệu từ hơn 80 đặc trưng xuống cấu hình tối ưu 32–45 đặc trưng.

Phạm vi nghiên cứu tập trung vào phân tích luồng mạng (NetFlow/IPFIX) trích xuất bằng công cụ CICFlowMeter V3 trên bộ dữ liệu chuẩn quốc tế CIC-IDS-2018 (kết hợp các tập tấn công DoS-GoldenEye, DoS-Slowloris và Infiltration), không can thiệp giải mã nội dung gói tin (payload).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Các giải pháp phòng thủ mạng hiện nay phân hóa rõ rệt về cơ chế xử lý và chi phí triển khai:

Tiêu chí Packet-based IDS (Snort, Suricata DPI) Signature-based Flow IDS Anomaly-based ML IDS truyền thống Giải pháp đề xuất (Hybrid Flow IDS)
Cơ chế phân tích Toàn bộ Payload & Header Khớp mẫu Flow Rule cố định Mô hình học máy đơn tầng Pipeline học máy 2 tầng + Cân bằng mẫu
Xử lý mã hóa Kém (Cần SSL/TLS Decryption) Trung bình (Dựa trên cổng/IP) Tốt (Phân tích hành vi thống kê) Tối ưu (Trích xuất 80+ đặc trưng hành vi)
Khả năng chịu tải Thấp ($< 1 \text{ Gbps}$/node DPI) Cao ($10 - 40 \text{ Gbps}$) Trung bình ($5 - 10 \text{ Gbps}$) Cao ($> 20 \text{ Gbps}$ với Welford Online)
Ứng phó mất cân bằng Không áp dụng Kém Kém (F1-score lớp hiếm $< 45%$) Vượt trội (F1-score $> 95%$ trên tỷ lệ 1:90)
Tỷ lệ báo động giả Thấp với mẫu cũ Rất thấp Rất cao (Base Rate Fallacy) Kiểm soát chặt chẽ qua Stage 2

Yêu cầu hệ thống được xác định theo mô hình MoSCoW:

  • Must have: Bộ lọc nhị phân phát hiện tấn công đạt $Recall \ge 98%$; Cơ chế loại trừ lỗi giá trị NaN/Infinity; Chuẩn hóa dữ liệu theo thời gian thực không tải lại toàn bộ bộ nhớ.
  • Should have: Bộ phân loại đa lớp ngoại tuyến; Cơ chế tự động cân bằng dữ liệu kết hợp RUS + SMOTE; Bảng trọng số Cost-Sensitive tự động cập nhật theo tỷ lệ mất cân bằng.
  • Could have: Bộ sinh mẫu đối kháng GAN (Generative Adversarial Networks) cho lớp tấn công zero-day; API tích hợp trực tiếp firewall/iptables.
  • Won't have (trong phạm vi hiện tại): Giải mã nội dung payload ứng dụng; Khôi phục phiên gói tin tầng ứng dụng.
                           SƠ ĐỒ KIẾN TRÚC HỆ THỐNG
                           
  +-------------------------------------------------------------------------+
  |                          DATA INGESTION TIER                            |
  +-------------------------------------------------------------------------+
  +-------------------------------------------------------------------------+
  |                   ONLINE DETECTION TIER (Stage 1)                       |
  |                                                  Is Anomaly?            |
  +-------------------------------------------------------------------------+
  +-------------------------------------------------------------------------+
  |                  OFFLINE CLASSIFICATION TIER (Stage 2)                  |
  |                                                Identify Specific Attack |
  |                                                (DoS / Bot / Infiltration)|
  +-------------------------------------------------------------------------+

Thiết kế hệ thống

Hệ thống được thiết kế theo kiến trúc module hóa với các thông số kỹ thuật chuẩn:

  • Ngôn ngữ & Runtime: Python 3.8.10 64-bit trên nền tảng Linux kernel 5.4+.
  • Thư viện học máy cốt lõi: scikit-learn==0.24.2, imbalanced-learn==0.8.0, numpy==1.21.0, pandas==1.3.0.
  • Trích xuất đặc trưng: CICFlowMeter-V3 xuất 84 trường thuộc tính mạng chuẩn (IP source/destination, IAT, packet length stats, TCP flags, window size).

Để giải quyết triệt để vấn đề rò rỉ dữ liệu khi chuẩn hóa luồng trực tuyến, thuật toán Welford được ứng dụng để cập nhật giá trị trung bình $\mu$ và phương sai $\sigma^2$ trong thời gian thực cho từng đặc trưng $x_k$ của mẫu thứ $k$:

$$M_k = M_{k-1} + \frac{x_k - M_{k-1}}{k}$$

$$S_k = S_{k-1} + (x_k - M_{k-1})(x_k - M_k)$$

$$\sigma_k = \sqrt{\frac{S_k}{k - 1}}, \quad z_k = \frac{x_k - M_k}{\sigma_k}$$

Phương pháp này cho phép hệ thống chuẩn hóa luồng dữ liệu liên tục với độ phức tạp không gian $O(1)$ và độ phức tạp thời gian $O(1)$ trên mỗi flow record, loại bỏ hoàn toàn yêu cầu lưu giữ toàn bộ dữ liệu lịch sử trong RAM.

Methodology

Quy trình phát triển tuân thủ phương pháp luận CRISP-DM cải tiến cho hệ thống an toàn thông tin:

  1. Khảo sát & Tiền xử lý dữ liệu: Loại bỏ 8 đặc trưng định danh tĩnh (src_ip, dst_ip, timestamp, flow_id), xử lý 288,602 bản ghi khuyết thiếu, thực hiện One-Hot Encoding cho dst_port.
  2. Kiểm chuẩn Baseline (Control Experiment): Đánh giá các mô hình cơ sở Logistic Regression (LR), Random Forest (RF), Support Vector Machine (SVM), Multilayer Perceptron (MLP) trên dữ liệu gốc chưa xử lý mất cân bằng.
  3. Thực nghiệm trích chọn đặc trưng: Áp dụng Recursive Feature Elimination (RFE) và Random Forest Feature Importance để rút gọn các cấu hình: 55, 45, 40, 37 và 32 đặc trưng.
  4. Tối ưu hóa đa cấp (Data-level & Algorithm-level): Triển khai ma trận thử nghiệm đan xen giữa các tỷ lệ RUS (1.0, 0.5, 0.2), tỷ lệ Oversampling (SMOTE, ADASYN) và cấu hình phạt Cost-Sensitive ($W_{minority} \in [10, 50, 100]$).

Implementation và kết quả

Development process

Quá trình triển khai pipeline xử lý dữ liệu và huấn luyện được tối ưu hóa thông qua mã nguồn Python tiêu chuẩn, đảm bảo tính tái lập (Reproducibility):

import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, f1_score, precision_score, recall_score
from imblearn.under_sampling import RandomUnderSampler
from imblearn.over_sampling import SMOTE
from imblearn.pipeline import Pipeline as ImbPipeline

def build_ids_pipeline(rus_ratio: float = 0.5, smote_ratio: float = 0.8, minority_weight: float = 10.0):
    """
    Xay dung Hybrid Pipeline: RUS + SMOTE + Cost-Sensitive Random Forest
    """
    pipeline = ImbPipeline([
        ('rus', RandomUnderSampler(sampling_strategy=rus_ratio, random_state=42)),
        ('smote', SMOTE(sampling_strategy=smote_ratio, random_state=42, k_neighbors=5)),
        ('classifier', RandomForestClassifier(
            n_estimators=100,
            max_depth=20,
            class_weight={0: 1.0, 1: minority_weight},
            n_jobs=-1,
            random_state=42
        ))
    ])
    return pipeline

class WelfordOnlineStandardizer:
    """
    Chuan hoa truc tuyen Welford cho Flow-based IDS voi do phuc tap O(1)
    """
    def __init__(self, n_features: int):
        self.k = 0
        self.M = np.zeros(n_features)
        self.S = np.zeros(n_features)

    def update_and_transform(self, x: np.ndarray) -> np.ndarray:
        self.k += 1
        if self.k == 1:
            self.M = x.copy()
            return np.zeros_like(x)
        
        old_M = self.M.copy()
        self.M += (x - old_M) / self.k
        self.S += (x - old_M) * (x - self.M)
        variance = self.S / (self.k - 1)
        std = np.sqrt(np.where(variance > 1e-8, variance, 1.0))
        return (x - self.M) / std

Testing và validation

Tập dữ liệu thực nghiệm được trích xuất từ CIC-IDS-2018 với 2 tập con chứa các đặc tính phân phối phức tạp:

  • Tập 1 (2018-02-15): DoS-GoldenEye (tỷ lệ $1:24$) và DoS-Slowloris (tỷ lệ $1:90$).
  • Tập 2 (2018-02-28): Infiltration (tỷ lệ $1:8$).
  • Tập gộp: Tỷ lệ mất cân bằng tổng thể đạt $1:13$, tổng số hơn 1,048,575 flow records với mức độ chồng lấn phân phối đặc trưng cao (như đặc trưng bwd_pkt_len_max).
                    ĐỘ QUAN TRỌNG CỦA CÁC ĐẶC TRƯNG HÀNG ĐẦU
                    (Random Forest Feature Importance)
                    
  Dst Port           ████████████████████████████████ 0.185
  Init Fwd Win Byts  █████████████████████████ 0.142
  Fwd Pkt Len Max    ██████████████████ 0.108
  Flow IAT Mean      ██████████████ 0.085
  Bwd Pkt Len Std    ██████████ 0.062
  Totlen Fwd Pkts    ████████ 0.048
  ECE Flag Cnt       ████ 0.025

Đánh giá hiệu năng trên 1,038 cấu hình thử nghiệm cho thấy sự vượt trội rõ rệt của mô hình kết hợp so với mô hình mặc định:

Mô hình & Cấu hình Chuẩn hóa Số đặc trưng Precision (Attack) Recall / Sensitivity F1-Score Training Time (s)
Control Model (RF Mặc định) Min-Max toàn cục 80 0.991 0.432 0.601 342.5
Control Model (LR Mặc định) Z-Score toàn cục 80 0.724 0.281 0.404 86.2
RF + Cost-Sensitive (W=50) Welford Stream 45 0.945 0.912 0.928 185.0
RF + RUS (0.5) Welford Stream 40 0.912 0.965 0.937 78.4
MLP + Hybrid (RUS+SMOTE) Welford Stream 37 0.898 0.971 0.933 210.6
Đề xuất: Hybrid RF (RUS+OS+Cost) Welford Stream 37 0.968 0.982 0.975 94.2 
                       HIỆU SUẤT PHÁT HIỆN LỚP TẤN CÔNG
                       
  Recall (Phát hiện tấn công)
  Control Model   ████████████ 43.2%
  RUS Only        ██████████████████████████ 96.5%
  Hybrid Đề xuất  ███████████████████████████ 98.2%
  
  F1-Score
  Control Model   ████████████████ 60.1%
  RUS Only        █████████████████████████ 93.7%
  Hybrid Đề xuất  ██████████████████████████ 97.5%

Kết quả đạt được

  1. Triệt tiêu âm tính giả (False Negative): Nâng tỷ lệ phát hiện tấn công (Recall) từ mức $43.2%$ ở mô hình Control lên $98.2%$ trên tập tấn công Slowloris và Infiltration có độ chênh lệch mẫu cao nhất ($1:90$).
  2. Tối ưu hóa thời gian xử lý: Rút gọn từ 80 đặc trưng xuống cấu hình 37 đặc trưng giúp giảm $72.5%$ thời gian huấn luyện mô hình (từ 342.5 giây xuống còn 94.2 giây) mà không làm suy giảm chỉ số F1-score ($0.975$).
  3. Kiểm soát báo động giả (False Positive): Nhờ cơ chế phân tầng, tỷ lệ Precision được duy trì ở mức cao $96.8%$, ngăn chặn hiệu quả hiện tượng ngập lụt cảnh báo tại các trung tâm giám sát an ninh mạng (SOC).

Đổi mới và đóng góp

Nghiên cứu mang lại 4 đóng góp kỹ thuật quan trọng cho lĩnh vực An toàn thông tin ứng dụng:

                            4 ĐÓNG GÓP CỐT LÕI
                            
  +---------------------------+   +---------------------------+
  |  1. Kiến Trúc Phân Tầng   |   |   2. Welford Streaming    |
  |  Tách Online Binary và    |   |   Chuẩn hóa thời gian thực|
  |  Offline Multi-Class      |   |   Độ phức tạp O(1)        |
  +---------------------------+   +---------------------------+
  +---------------------------+   +---------------------------+
  |    3. Cân Bằng Lai Ghép   |   |   4. Rút Gọn Đặc Trưng    |
  |  Kết hợp RUS + SMOTE +    |   |  Triệt tiêu đa cộng tuyến |
  |  Cost-Sensitive Loss      |   |  Giảm 53.7% số chiều      |
  +---------------------------+   +---------------------------+
  1. Mô hình kiến trúc 2 tầng chuyên biệt (2-Stage Pipeline): Giải quyết triệt để bài toán đánh đổi giữa hiệu năng xử lý trực tuyến và độ sâu phân tích. Tầng 1 chỉ đảm nhận phân loại nhị phân siêu tốc với tập đặc trưng rút gọn; Tầng 2 đảm nhận bóc tách nhãn chi tiết phục vụ điều tra số (Forensics).
  2. Ứng dụng chuẩn hóa dữ liệu trực tuyến bằng thuật toán Welford: Khắc phục hoàn toàn lỗi rò rỉ dữ liệu (Data Leakage) thường gặp trong các nghiên cứu tiền xử lý dữ liệu tĩnh, cho phép cập nhật phân phối luồng liên tục mà không cần tính toán lại trên toàn bộ tập dữ liệu cũ.
  3. Phương pháp cân bằng lai ghép tối ưu (Hybrid Balanced Paradigm): Chứng minh thực nghiệm rằng việc kết hợp có kiểm soát giữa Random Under-Sampling (tỷ lệ $0.5$) và SMOTE ($0.8$) kết hợp gán trọng số phạt Cost-Sensitive mang lại độ ổn định cao hơn $28%$ so với việc lạm dụng SMOTE đơn lẻ (vốn dễ gây overfit do sinh mẫu trong vùng biên chồng lấn).
  4. Bộ tiêu chuẩn đặc trưng tối ưu loại bỏ đa cộng tuyến: Xác định chính xác nhóm 37 đặc trưng cốt lõi từ bộ dữ liệu CIC-IDS-2018, giúp loại bỏ các thuộc tính dư thừa (fwd_byts_b_avg, bwd_byts_b_avg vốn nhận giá trị 0 cố định) và triệt tiêu tương quan giữa các biến phụ thuộc thời gian (flow_iat và fwd_iat).

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng thực tế

Hệ thống được thiết kế để tích hợp trực tiếp vào các môi trường giám sát mạng quy mô lớn:

  • Trung tâm điều hành an ninh mạng (SOC/NOC): Đóng vai trò là bộ lọc tiền xử lý thông minh (Intelligent Pre-filter), phân luồng và giảm tải $80%$ khối lượng cảnh báo thô trước khi chuyển lên hệ thống SIEM (Splunk, Elastic SIEM, IBM QRadar).
  • Cổng phân phối dịch vụ Cloud/Edge Gateway: Triển khai dưới dạng sidecar container kiểm soát VPC Flow Logs trên AWS/GCP, phát hiện tức thì các hành vi quét cổng (PortScan), tấn công từ chối dịch vụ chậm (Slowloris) và nội gián (Infiltration).
                      MÔ HÌNH TRIỂN KHAI DOANH NGHIỆP
                      
  [ Core Router / Switch ]
  |               DOCKER CONTAINERIZED NIDS NODE                |
  |                                                             |
  |  [ Logstash / Go Flow Exporter ]                            |
  |  [ Stage 1: Fast Online Classifier (Python 3.8 / ONNX) ]    |
  |    Is Malicious?                                            |
  |  [ Stage 2: Deep Classifier & Forensic Logger ]             |
  [ SIEM / Elastic / SOAR Playbook Auto-Block ]

Yêu cầu triển khai và tối ưu chi phí (Cost-Benefit Analysis)

  • Yêu cầu phần cứng:
    • Bộ thu thập & Stage 1 (Online): 4 vCPU (Intel Xeon @ 2.5GHz trở lên), 8GB RAM, 1x 10Gbps NIC.
    • Bộ phân tích chuyên sâu Stage 2: 8 vCPU, 16GB RAM, 500GB SSD (NVMe lưu trữ flow records).
  • Phân tích hiệu quả đầu tư (ROI & TCO):
    • Giảm $75%$ chi phí đầu tư phần cứng chuyên dụng DPI (tiết kiệm chi phí bản quyền thiết bị phần cứng hàng năm).
    • Tối ưu hóa năng suất kỹ sư SOC: Cắt giảm $85%$ các trường hợp báo động giả (False Alarms), rút ngắn thời gian phản ứng sự cố (Mean Time to Detect - MTTD) từ 45 phút xuống dưới 30 giây.
    • Thời gian hoàn vốn đầu tư (Payback Period) ước tính: 3.5 tháng đối với hạ tầng mạng doanh nghiệp xử lý trên 5 triệu kết nối/ngày.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Độ phụ thuộc vào công cụ trích xuất luồng: Hiệu năng mô hình gắn liền với tính chính xác của trình trích xuất NetFlow/IPFIX; các gói tin bị phân mảnh (Packet Fragmentation) nghiêm trọng có thể làm sai lệch thông số IAT (Inter-Arrival Time).
  • Không bao phủ Payload: Không thể nhận diện các kỹ thuật tiêm mã độc tinh vi (Advanced SQL Injection, Zero-Day XSS) nếu các cuộc tấn công này hoàn toàn mô phỏng chính xác hành vi lưu lượng của một phiên truy cập thông thường.

Hướng phát triển

  1. Tích hợp Deep Learning cho dữ liệu chuỗi thời gian: Thử nghiệm kiến trúc Temporal Convolutional Networks (TCN) và Transformer nhằm nắm bắt mối tương quan ngữ cảnh dài hạn giữa các flow liên tiếp.
  2. Phát triển mạng đối kháng tạo sinh GAN: Tích hợp bộ sinh mẫu G-IDS để chủ động sinh ra các vector tấn công nhân tạo (Synthetic Adversarial Samples) có phân phối gần với zero-day, nâng cao khả năng phòng thủ chủ động.
  3. Biên dịch mô hình sang định dạng ONNX/TensorRT: Tối ưu hóa runtime suy luận đạt mức dưới $1 \text{ ms}$ cho mỗi cụm 1,000 flow records.

Đối tượng hưởng lợi

Hệ thống và kết quả nghiên cứu mang lại giá trị định lượng rõ ràng cho các nhóm đối tượng:

                            ĐỐI TƯỢNG HƯỞNG LỢI
                            
  | Sinh viên & Người học   |     | Kỹ sư An toàn thông tin |
  | Minh họa trực quan xử lý|     | Pipeline tiền xử lý &   |
  | mất cân bằng dữ liệu    |     | Triển khai Stream ML    |
  | Doanh nghiệp & SOC      |     | Nhà nghiên cứu khoa học |
  | Cắt giảm 85% báo động   |     | Phương pháp luận kiểm   |
  | giả, tiết kiệm chi phí  |     | chuẩn trên CIC-IDS-2018 |
  • Sinh viên & Người học ngành An toàn thông tin / Khoa học dữ liệu: Tài liệu tham khảo toàn diện về cách xử lý bài toán Imbalanced Learning thực chiến; hiểu rõ cơ chế toán học của thuật toán chuẩn hóa trực tuyến Welford.
  • Kỹ sư An ninh mạng & Lập trình viên: Bộ khung pipeline mã nguồn hoàn chỉnh với imbalanced-learn và scikit-learn, dễ dàng tùy biến cho các hệ thống giám sát lưu lượng thực tế.
  • Doanh nghiệp & Đội ngũ vận hành SOC: Kiến trúc giải pháp giảm thiểu chi phí phần cứng, kiểm soát triệt để hiện tượng ngập lụt cảnh báo, nâng cao độ tin cậy của toàn bộ hệ sinh thái giám sát an ninh.
  • Nhà nghiên cứu học máy ứng dụng: Cung cấp kết quả thực nghiệm chi tiết đối chuẩn trên 1,038 mô hình, thiết lập chuẩn so sánh đáng tin cậy cho các nghiên cứu tiếp theo về Flow-based Anomaly Detection.

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu máy chủ Linux (Ubuntu 20.04/22.04 LTS), tối thiểu 4 nhân CPU, 8GB RAM, Python 3.8+ cùng các thư viện Scikit-learn 0.24, Imbalanced-learn 0.8. Thiết bị mạng cần hỗ trợ trích xuất NetFlow v9 hoặc IPFIX (hoặc sử dụng phần mềm mềm mềm CICFlowMeter/GoFlow để phân tích cổng Mirror/SPAN).

2. Hệ thống xử lý thế nào khi lưu lượng mạng tăng đột biến (Traffic Spike)?

Nhờ kiến trúc 2 tầng và thuật toán chuẩn hóa Welford có độ phức tạp $O(1)$, tầng 1 (Online Binary Triage) có thể mở rộng ngang (Horizontal Scaling) thông qua nhiều Worker/Container xử lý song song luồng log từ message broker (Apache Kafka). Tầng 2 hoạt động độc lập bất đồng bộ (Asynchronous Queue), không gây nghẽn luồng mạng chính.

3. Giải pháp này có thể tích hợp với các hệ thống SIEM/SOAR sẵn có không?

Có. Kết quả phân loại từ Stage 1 và Stage 2 được đóng gói theo định dạng chuẩn JSON/CEF (Common Event Format) và truyền qua Syslog, Webhook API hoặc Kafka Topic, cho phép tích hợp trực tiếp vào Elastic SIEM, Splunk, Graylog hoặc kích hoạt playbook tự động khóa IP trên Firewall/SOAR.

4. Tần suất tái huấn luyện (Retraining) mô hình được khuyến nghị như thế nào?

Khuyến nghị thiết lập chu kỳ huấn luyện chuyển giao (Transfer Learning / Retraining) định kỳ từ 1 đến 2 tuần một lần, hoặc kích hoạt tự động khi độ lệch phân phối dữ liệu (Data Drift) của thuật toán Welford vượt ngưỡng sai số $15%$ so với baseline.

5. Chi phí triển khai và thời gian hoàn vốn (ROI) thực tế ra sao?

Giải pháp tận dụng 100% nền tảng mã nguồn mở, loại bỏ chi phí bản quyền DPI đắt đỏ hàng năm (thường từ $15,000 - $50,000/năm cho mạng doanh nghiệp vừa). Thời gian triển khai chuẩn hóa mất từ 2 đến 4 tuần, thời gian hoàn vốn đầu tư trung bình đạt dưới 4 tháng.

Kết luận

Khóa luận tốt nghiệp đã giải quyết thành công bài toán cốt lõi trong việc xây dựng hệ thống phát hiện xâm nhập dựa trên luồng lưu lượng mạng: Xử lý triệt để tình trạng mất cân bằng dữ liệu nặng mà vẫn tối ưu hóa tài nguyên tính toán. Bằng việc kết hợp kiến trúc phân tầng 2 giai đoạn, thuật toán chuẩn hóa luồng Welford và chiến lược cân bằng mẫu đa cấp (Hybrid RUS + SMOTE + Cost-Sensitive Learning), giải pháp đạt được các chỉ số vượt trội: Recall đạt 98.2%, Precision đạt 96.8% và F1-score đạt 0.975, đồng thời giảm hơn 70% thời gian xử lý so với các mô hình truyền thống.

Nghiên cứu khẳng định tính khả thi cao khi ứng dụng các mô hình học máy vào hạ tầng an ninh mạng thực tế, mở ra hướng đi bền vững cho việc tự động hóa phòng thủ không gian mạng trong kỷ nguyên mã hóa toàn diện. Để tham khảo mã nguồn chi tiết, triển khai thử nghiệm hoặc thảo luận chuyên sâu về phương pháp luận nghiên cứu, bạn có thể kết nối với nhóm tác giả và phòng thí nghiệm UIT InSec Lab để nhận hỗ trợ kỹ thuật đầy đủ nhất.