Bối cảnh và vấn đề nghiên cứu
Khối lượng, sự đa dạng và tốc độ lưu chuyển dữ liệu trong các hạ tầng mạng hiện đại ngày càng gia tăng, khiến việc phân tích an ninh bằng các kỹ thuật giám sát truyền thống gặp nhiều trở ngại. Để đáp ứng yêu cầu giám sát liên tục và kịp thời ngăn chặn các hiểm họa an ninh mạng, hệ thống phát hiện xâm nhập (Intrusion Detection System - IDS) đã được triển khai rộng rãi như một giải pháp thay thế cốt lõi. Trong quá trình phát triển, các kỹ thuật học máy (Machine Learning - ML) và học sâu (Deep Learning - DL) được tích hợp vào IDS nhằm khai thác dữ liệu quy mô lớn (Big Data) và nâng cao tỷ lệ phát hiện các biến thể tấn công mới.
Tuy nhiên, việc áp dụng các mô hình học sâu và học máy phức tạp đã tạo ra rào cản lớn về tính minh bạch: các mô hình hoạt động như những "hộp đen" (black box), chỉ trả về kết quả dự đoán nhãn mà không giải thích lý do hay quy trình dẫn tới quyết định đó. Thực tế cho thấy độ chính xác và khả năng diễn giải của mô hình thường tỷ lệ nghịch với nhau. Khi một cảnh báo xâm nhập được đưa ra mà không có căn cứ giải thích kèm theo, các chuyên viên an ninh mạng gặp rất nhiều khó khăn trong việc xác minh tính chính xác, tốn thời gian phân tích thủ công và khó xây dựng kịp thời các quy tắc phòng thủ mới trên các hệ thống giám sát như Snort hay Zeek.
Đồng thời, các cuộc tấn công từ chối dịch vụ phân tán (DDoS) gia tăng nhanh chóng về quy mô và độ tinh vi; các luồng tấn công DDoS không có đặc tính chung cố định, khiến các hệ thống IDS truyền thống thường phát hiện thiếu chính xác. Trước thực trạng đó, đề tài tập trung nghiên cứu ứng dụng phương pháp giải thích SHAP nhằm làm sáng tỏ các quyết định của mô hình máy học, xác định các đặc trưng quan trọng và đo lường mức độ ảnh hưởng của chúng đối với kết quả phân loại, kết hợp đánh giá độ bền vững của mô hình trước các cuộc tấn công đối kháng.
Mục tiêu nghiên cứu của đề tài được tác giả xác định cụ thể gồm:
- Đề xuất hệ thống phát hiện xâm nhập sử dụng máy học có khả năng giải thích (Explainable IDS).
- Tạo ra bộ dữ liệu tấn công DDoS tổng hợp dựa trên các tập dữ liệu công khai.
- Đánh giá hiệu quả phát hiện và độ bền vững của mô hình học máy trước các cuộc tấn công đối kháng (Adversarial Attacks).
Đối tượng nghiên cứu của khóa luận bao gồm:
- Hệ thống phát hiện và ngăn ngừa xâm nhập mạng ứng dụng các kỹ thuật học máy.
- Khung làm việc trí tuệ nhân tạo có thể giải thích (Explainable AI - XAI), trọng tâm là phương pháp SHAP, nhằm nâng cao hiệu suất phân tích các cuộc tấn công DDoS.
- Tính bền vững của mô hình học máy trước các tác động tấn công đối kháng.
Phạm vi nghiên cứu:
- Về không gian và công nghệ: Nghiên cứu các phương pháp XAI hỗ trợ hệ thống phát hiện và ngăn chặn xâm nhập (IDS/IPS); khảo sát hai thuật toán học máy phân loại là Decision Tree (Cây quyết định) và Random Forest (Rừng ngẫu nhiên); sử dụng công cụ Adversarial Robustness Toolbox để kiểm thử.
- Về nội dung và dữ liệu: Tập trung phân loại và giải thích cho các luồng lưu lượng bình thường (Normal) và các dạng tấn công DDoS cụ thể gồm DDOS attack-HOIC, DDOS attacks-LOIC-HTTP, DDOS attack-LOIC-UDP; dữ liệu được tổng hợp từ hai bộ dữ liệu chuẩn an ninh mạng là CIC-IDS-2017 và CSE-IDS-2018 (CSE-CIC-IDS2018).
- Về hình thức tấn công đối kháng: Tập trung vào tấn công né tránh (Evasion Attack) và tấn công đầu độc (Poisoning Attack) nhắm vào mô hình học máy.
Cơ sở lý thuyết và phương pháp
Khóa luận thiết lập nền tảng lý thuyết thông qua việc phân loại hệ thống phát hiện xâm nhập, các mô hình giải thích trí tuệ nhân tạo, các thuật toán máy học có giám sát và cơ chế tấn công DDoS:
Khung lý thuyết và mô hình hệ thống
Hệ thống phát hiện xâm nhập (IDS) được phân loại theo hai phương diện chính:
- Theo vị trí thu thập: Gồm Network Intrusion Detection Systems (NIDS) phân tích gói tin trên toàn mạng và Host Intrusion Detection Systems (HIDS) theo dõi tiến trình, lưu lượng và tệp cấu hình trên từng máy chủ riêng lẻ.
- Theo phương pháp nhận diện: Bao gồm Signature-based (dựa trên chữ ký, mẫu nhận diện đã biết, hạn chế trước tấn công mới), Anomaly-based (dựa trên hành vi bất thường so với hồ sơ mạng chuẩn), Specification-based (dựa trên ràng buộc hành vi của giao thức/chương trình), và Hybrid (kết hợp các ưu điểm của ba phương pháp trên).
Để giải quyết vấn đề "hộp đen", tác giả đối chiếu hai phương pháp Explainable AI tiêu biểu:
- LIME (Local Interpretable Model-agnostic Explanations): Cung cấp khả năng diễn giải cục bộ thông qua việc xáo trộn mẫu dữ liệu xung quanh điểm cần dự đoán và huấn luyện mô hình tuyến tính đơn giản có trọng số. Tuy nhiên, LIME bộc lộ nhược điểm về việc định nghĩa vùng lân cận trên dữ liệu dạng bảng và kết quả giải thích có thể kém ổn định giữa các lần chạy.
- Shapley Value và SHAP (SHapley Additive exPlanations): Phương pháp dựa trên lý thuyết trò chơi liên minh, tính toán phần đóng góp cận biên trung bình của từng đặc trưng (feature) qua tất cả các tập hợp con đặc trưng khả dĩ. Giá trị Shapley thỏa mãn 4 thuộc tính toán học cơ bản:
- Efficiency: Tổng giá trị Shapley của tất cả các đặc trưng bằng hiệu số giữa giá trị dự đoán của mẫu và giá trị dự đoán kỳ vọng trung bình.
- Symmetry: Hai đặc trưng có đóng góp tương đương trong mọi liên minh sẽ nhận giá trị Shapley bằng nhau.
- Dummy: Đặc trưng không làm thay đổi giá trị dự đoán khi thêm vào bất kỳ liên minh nào sẽ có giá trị Shapley bằng 0.
- Linearity/Additivity: Khi kết hợp hai mô hình, giá trị Shapley của mô hình tổng bằng tổng các giá trị Shapley thành phần (đặc biệt phù hợp để tính toán cho các mô hình dạng rừng cây như Random Forest).
SHAP cung cấp hai cấp độ giải thích:
- Global Explanation (Giải thích toàn cục): Phân tích ma trận giá trị Shapley trên toàn bộ tập dữ liệu để đánh giá mức độ quan trọng tổng thể của từng đặc trưng đối với toàn bộ mô hình.
- Local Explanation (Giải thích cục bộ): Chỉ rõ từng đặc trưng cụ thể làm tăng hay giảm xác suất dự đoán của một mẫu lưu lượng riêng lẻ.
Về thuật toán học máy phân tích, tác giả lựa chọn hai mô hình có kích thước gọn nhẹ, tốc độ xử lý nhanh và độ chính xác cao:
- Decision Tree: Học các quy tắc quyết định dạng cây phân cấp (Root Node, Internal Node, Leaf Node) dựa trên các tiêu chí lựa chọn thuộc tính như Entropy, Information Gain, Gini Index.
- Random Forest: Mô hình học kết hợp (ensemble learning) xây dựng nhiều cây quyết định độc lập thông qua kỹ thuật lấy mẫu tái lặp (bootstrapping) và tổng hợp kết quả dự đoán bằng kỹ thuật biểu quyết đa số (aggregation/voting), giúp hạn chế hiện tượng quá khớp (overfitting).
Về phân loại tấn công DDoS, tác giả tổng hợp 3 nhóm tấn công chính:
- Tấn công băng thông (Volumetric): Flood Attack, Amplification Attack, Reflection Attack, UDP flood, ICMP flood, Ping of Death.
- Tấn công giao thức (Protocol): SYN flood (khai thác quá trình bắt tay ba bước của TCP), Peer-to-peer attack, Nuke attack.
- Tấn công tầng ứng dụng (Application): Slowloris attack (giữ kết nối HTTP mở kéo dài), HTTP flood attack (tràn ngập yêu cầu GET/POST thông qua mạng botnet), Multi-Vector attacks.
Phương pháp nghiên cứu thực tế và nguồn dữ liệu
Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình phân tích định lượng trên dữ liệu luồng mạng:
- Thu thập và tiền xử lý luồng mạng: Sử dụng công cụ CICFlowMeter (nền tảng mã nguồn mở ứng dụng thư viện JNetPcap). Công cụ trích xuất lưu lượng mạng ở cấp độ luồng hai chiều (forward và backward), tính toán hơn 80 đặc trưng thống kê và xuất dữ liệu định dạng CSV có gắn nhãn gồm FlowID, SourceIP, DestinationIP, SourcePort, DestinationPort, Protocol và các đặc trưng thống kê.
- Nguồn dữ liệu: Khóa luận kết hợp và tổng hợp dữ liệu tấn công DDoS từ hai bộ dữ liệu an ninh mạng công khai là CIC-IDS-2017 và CSE-IDS-2018 (CSE-CIC-IDS2018).
- Môi trường thực nghiệm: Thực thi trên nền tảng Google Colab sử dụng ngôn ngữ Python, thư viện học sâu TensorFlow và bộ công cụ đánh giá an toàn mô hình Adversarial Robustness Toolbox (ART).
- Phương pháp giải thích: Tích hợp SHAP TreeExplainer tối ưu hóa riêng cho các mô hình dạng cây quyết định để trích xuất biểu đồ tầm quan trọng đặc trưng toàn cục và phân tích cục bộ từng trường hợp tấn công.
Thiết kế và triển khai
Hệ thống phát hiện xâm nhập có khả năng lý giải được thiết kế theo cấu trúc khối chức năng nối tiếp, từ khâu giám sát gói tin thô đến khâu hiển thị kết quả trực quan cho người quản trị mạng:
[Lưu lượng mạng (Network Traffic)]
--> [Khối bắt gói tin (Packet Capture / JNetPcap)]
--> [Khối trích xuất đặc trưng (Feature Extractor / CICFlowMeter)]
--> [Khối cấu trúc IDS / Mô hình phân loại (Decision Tree & Random Forest)]
--> [Khối giải thích SHAP (TreeExplainer: Global & Local Explanation)]
--> [Giao diện quản trị viên hệ thống (Manager / System Administrator)]
Hệ thống bao gồm các thành phần công nghệ chi tiết:
- Khối bắt gói tin (Packet capture): Sử dụng thư viện JNetPcap để tương tác trực tiếp với các giao thức mạng trên hệ điều hành Unix và Windows. Thành phần này liên tục theo dõi và bắt các gói dữ liệu truyền qua mạng theo thời gian thực hoặc đọc lại các tệp lưu trữ gói tin thô (pcap).
- Khối trích xuất đặc trưng (Feature Extractor): Sử dụng CICFlowMeter để phân tích tiêu đề gói tin (IP nguồn/đích, cổng nguồn/đích, giao thức) và tính toán các chỉ số thống kê của luồng mạng hai chiều. Hơn 80 đặc trưng được tạo ra phục vụ cho mô hình học máy.
- Khối mô hình máy học (IDS Structure): Cài đặt hai bộ phân loại Decision Tree và Random Forest để tiếp nhận các véctơ đặc trưng luồng mạng và đưa ra dự đoán phân loại nhãn lưu lượng (bình thường hoặc loại hình tấn công DDoS tương ứng).
- Khối giải thích mô hình (Explainable Module): Tích hợp thành phần SHAP TreeExplainer, tính toán giá trị Shapley cho từng mẫu dự đoán, hiển thị trực quan mức độ tác động của các tính năng quan trọng (Important Feature) và xác suất tấn công (Attack Probability).
- Khối kiểm thử độ bền vững (Adversarial Robustness Testing): Tích hợp bộ công cụ Adversarial Robustness Toolbox để mô phỏng các kịch bản tấn công đối kháng né tránh (Evasion Attack) và tấn công đầu độc (Poisoning Attack) nhắm vào mô hình, sau đó sử dụng SHAP để phân tích sự thay đổi trong quyết định phân loại.
| Nhóm đặc trưng CICFlowMeter |
Các thuộc tính thống kê tiêu biểu |
| Đặc trưng cơ bản |
Flow_Duration, Tot_fwd_pkts, Tot_bwd_pkts, Totlen_fwd_pkts, Totlen_bwd_pkts |
| Kích thước gói tin |
Fwd_pkt_len_min, Fwd_pkt_len_max, Fwd_pkt_len_mean, Fwd_pkt_len_std, Bwd_pkt_len_min, Bwd_pkt_len_max, Bwd_pkt_len_mean, Bwd_pkt_len_std, Pkt_len_min, Pkt_len_max, Pkt_len_mean, Pkt_len_std, Pkt_len_var, Pkt_size_avg |
| Tốc độ truyền luồng |
Flow_Byts_s, Flow_Pkts_s, Fwd_Pkts_s, Bwd_Pkts_s |
| Khoảng cách thời gian (IAT) |
Flow_iat_mean, Flow_iat_max, Flow_iat_min, Flow_iat_std, Fwd_iat_tot, Fwd_iat_max, Fwd_iat_min, Fwd_iat_mean, Fwd_iat_std, Bwd_iat_tot, Bwd_iat_max, Bwd_iat_min, Bwd_iat_mean, Bwd_iat_std |
| Cờ điều khiển giao thức (Flags) |
Fwd_psh_flag, Bwd_psh_flag, Fin_flag_cnt, Syn_flag_cnt, Rst_flag_cnt, Psh_flag_cnt, Ack_flag_cnt, Urg_flag_cnt, Ece_flag_cnt, Cwe_flag_count |
| Kích thước cửa sổ và tiêu đề |
Fwd_header_len, Bwd_header_len, Fwd_seg_size_min, Init_fwd_win_byts, Init_bwd_win_byts |
| Trạng thái hoạt động (Active/Idle) |
Active_min, Active_mean, Active_max, Active_std, Idle_mean, Idle_max, Idle_min, Idle_std |
| Đặc trưng khối và luồng phụ |
Fwd_byts_b_avg, Fwd_pkts_b_avg, Bwd_byts_b_avg, Bwd_pkts_b_avg, Subflow_fwd_pkts, Subflow_bwd_pkts, Subflow_fwd_bytes, Subflow_bwd_bytes |
Nội dung chính theo từng chương
Chương 1. Đặt vấn đề
Chương mở đầu phân tích bối cảnh bùng nổ dữ liệu lưu lượng mạng và các giới hạn cố hữu của hệ thống phát hiện xâm nhập truyền thống. Tác giả trình bày tính cấp thiết của việc áp dụng học máy và học sâu vào IDS, đồng thời chỉ ra vấn đề "hộp đen" khiến các nhà quản trị mạng không thể nắm bắt được nguyên nhân dẫn đến các cảnh báo. Chương xác định rõ mục tiêu đề tài, bao gồm xây dựng IDS có khả năng giải thích bằng SHAP, tạo lập bộ dữ liệu DDoS tích hợp từ các tập dữ liệu công khai, và đánh giá tính bền vững của các mô hình học máy trước các hình thức tấn công đối kháng như đầu độc và né tránh.
Chương 2. Cơ sở lý thuyết
Chương 2 trình bày có hệ thống các khái niệm và nền tảng lý thuyết phục vụ cho nghiên cứu:
- Tổng quan về IDS, so sánh chi tiết giữa NIDS và HIDS, các cơ chế phát hiện Signature-based, Anomaly-based, Specification-based và Hybrid.
- Nhu cầu cấp thiết về Explainable AI trong giám sát an ninh mạng; phân tích nguyên lý, ưu điểm và hạn chế của phương pháp LIME.
- Nền tảng toán học của Shapley Value trong lý thuyết trò chơi liên minh, 4 thuộc tính cốt lõi (Efficiency, Symmetry, Dummy, Linearity) và cơ chế tính toán của framework SHAP ở hai cấp độ giải thích toàn cục (Global) và giải thích cục bộ (Local).
- Cấu trúc và nguyên lý hoạt động của hai thuật toán máy học có giám sát: Decision Tree (các độ đo phân chia thuộc tính, cấu trúc nút) và Random Forest (kỹ thuật ensemble learning, bootstrapping và voting).
- Phân loại toàn diện các hình thức tấn công từ chối dịch vụ phân tán (DDoS): tấn công thể tích/băng thông (Flood, Amplification, Reflection, UDP Flood, ICMP Flood, Ping of Death), tấn công giao thức (SYN Flood, P2P, Nuke) và tấn công tầng ứng dụng (Slowloris, HTTP Flood, Multi-Vector).
- Các công cụ và nền tảng hỗ trợ: môi trường Google Colab, thư viện TensorFlow và công cụ trích xuất đặc trưng luồng mạng CICFlowMeter (cấu trúc trích xuất hơn 80 thuộc tính luồng hai chiều và hướng dẫn cài đặt).
Chương 3. Nghiên cứu thực nghiệm hoặc lí thuyết
Chương 3 mô tả chi tiết thiết kế kiến trúc và quy trình thực nghiệm hệ thống IDS giải thích được:
- Xây dựng mô hình tổng quan tích hợp gồm 4 khối chức năng: bắt gói tin (sử dụng JNetPcap), trích xuất đặc trưng luồng mạng (sử dụng CICFlowMeter), cấu trúc mô hình phân loại IDS (Decision Tree, Random Forest), và khối diễn giải quyết định sử dụng SHAP TreeExplainer phục vụ người quản trị.
- Phân loại các nhóm đặc trưng được trích xuất (đặc trưng cơ bản, đặc trưng thời gian IAT, đặc trưng cờ điều khiển, kích thước cửa sổ).
- Thiết lập phương pháp giải thích mô hình bằng SHAP: biểu diễn mức độ quan trọng của đặc trưng và phân bố tác động của các tính năng đối với từng nhãn dự đoán.
- Thiết lập phương pháp học máy đối kháng (Adversarial Machine Learning) thông qua bộ công cụ Adversarial Robustness Toolbox nhằm chuẩn bị cho việc thử nghiệm độ bền vững của mô hình.
Chương 4. Trình bày, đánh giá bàn luận về kết quả
Chương 4 trình bày các kết quả thực nghiệm đạt được:
- Xây dựng bộ dữ liệu tấn công DDoS tổng hợp từ hai bộ dữ liệu chuẩn CIC-IDS-2017 và CSE-IDS-2018; thống kê chi tiết số lượng bản ghi và các tính năng trích xuất tương ứng với các lớp lưu lượng Normal, DDOS attack-HOIC, DDOS attacks-LOIC-HTTP, DDOS attack-LOIC-UDP.
- Đánh giá hiệu suất phát hiện xâm nhập của hai mô hình Decision Tree và Random Forest thông qua các độ đo kiểm thử.
- Áp dụng SHAP TreeExplainer để cung cấp giải thích toàn cục (Global Explanation) và giải thích cục bộ (Local Explanation) trên cả hai mô hình đối với lưu lượng Normal và từng loại tấn công DDoS cụ thể.
- Thực nghiệm kiểm tra độ bền vững của mô hình học máy: tiến hành tấn công né tránh (Evasion Attack), ghi nhận sự suy giảm về độ chính xác của Decision Tree và Random Forest, đồng thời áp dụng SHAP để trực quan hóa và phát hiện sự biến đổi đặc trưng trong các cuộc tấn công này.
Chương 5. Tổng kết và hướng phát triển
Chương cuối tóm tắt toàn bộ các kết quả đạt được của khóa luận, khẳng định tính khả thi của việc tích hợp Explainable AI vào hệ thống phát hiện xâm nhập nhằm nâng cao tính minh bạch, hỗ trợ quản trị viên rút ngắn thời gian phân tích và ứng phó sự cố. Tác giả đồng thời nêu rõ các hạn chế hiện tại và định hướng các nội dung cần tiếp tục nghiên cứu, mở rộng trong tương lai.
Kết quả và đóng góp
Khóa luận đã hoàn thành các nội dung thực nghiệm và ghi nhận các kết quả cụ thể theo các tài liệu công bố trong văn bản:
-
Xây dựng tập dữ liệu DDoS chuẩn hóa:
Tác giả đã xử lý và tổng hợp thành công bộ dữ liệu lưu lượng DDoS từ hai nguồn chuẩn là CIC-IDS-2017 và CSE-IDS-2018. Dữ liệu bao gồm các luồng lưu lượng bình thường (Normal) cùng các biến thể tấn công DDoS phổ biến: HOIC (High Orbit Ion Cannon), LOIC-HTTP và LOIC-UDP (Low Orbit Ion Cannon qua giao thức HTTP và UDP). Các luồng mạng được trích xuất đầy đủ các tính năng thống kê hai chiều thông qua công cụ CICFlowMeter.
-
Đánh giá hiệu suất mô hình học máy:
Hai mô hình phân loại Decision Tree và Random Forest được xây dựng, huấn luyện và kiểm thử trên tập dữ liệu DDoS tổng hợp. Cả hai mô hình đều chứng minh được khả năng phân loại hiệu quả, tốc độ huấn luyện và dự đoán nhanh, phù hợp cho bài toán giám sát an ninh mạng với kích thước mô hình nhỏ gọn.
-
Hiện thực hóa khả năng giải thích bằng SHAP (TreeExplainer):
Khóa luận đã tích hợp thành công framework SHAP vào hai mô hình học máy dạng cây, cung cấp các phân tích định lượng rõ ràng:
- Cấp độ toàn cục (Global Explanation): Phân tích và xếp hạng các tính năng quan trọng hàng đầu chi phối quyết định phân loại của mô hình cho từng lớp tấn công (HOIC, LOIC-HTTP, LOIC-UDP) và lưu lượng bình thường (Normal).
- Cấp độ cục bộ (Local Explanation): Cung cấp lời giải thích minh bạch cho từng phiên lưu lượng riêng lẻ, xác định cụ thể các đặc trưng luồng nào (như kích thước gói tin, thời gian liên gói IAT, số cờ cờ điều khiển, kích thước cửa sổ ban đầu) làm tăng hoặc giảm xác suất cảnh báo tấn công.
-
Đánh giá độ bền vững và phát hiện tấn công đối kháng:
Thông qua công cụ Adversarial Robustness Toolbox, tác giả đã tiến hành kiểm thử độ bền vững của Decision Tree và Random Forest trước tấn công né tránh (Evasion Attack). Kết quả cho thấy các mô hình học máy bị suy giảm độ chính xác khi đối mặt với dữ liệu bị làm nhiễu đối kháng. Đồng thời, nghiên cứu chứng minh phương pháp SHAP có khả năng phân tích sự thay đổi bất thường của các đặc trưng quan trọng trong cuộc tấn công né tránh, qua đó hỗ trợ phát hiện các cuộc tấn công nhắm vào chính mô hình học máy.
-
Đóng góp tự nêu của tác giả:
- Đề xuất một mô hình tích hợp hoàn chỉnh từ khâu bắt gói tin, trích xuất đặc trưng bằng CICFlowMeter đến phân loại và giải thích bằng SHAP.
- Giúp các nhà phân tích bảo mật không chỉ nhận được cảnh báo mà còn nắm bắt được bằng chứng định lượng đằng sau quyết định phân loại, rút ngắn thời gian thẩm định sự cố và hỗ trợ tạo ra các bộ quy tắc phòng thủ mới trên các IDS truyền thống như Snort, Zeek.
- Cung cấp cái nhìn thực nghiệm về điểm yếu của mô hình máy học trước tấn công đối kháng, đặt nền móng cho việc kết hợp XAI để bảo vệ chính hệ thống phát hiện xâm nhập.
Hạn chế và hướng nghiên cứu tiếp
Dựa trên các nội dung trình bày và phạm vi thực nghiệm trong khóa luận, các hạn chế và định hướng phát triển được xác định như sau:
- Hạn chế về phạm vi mô hình: Nghiên cứu mới tập trung thực nghiệm trên hai thuật toán máy học có giám sát truyền thống là Decision Tree và Random Forest kết hợp với TreeExplainer; chưa triển khai thực nghiệm mở rộng trên các kiến trúc học sâu (Deep Learning) vốn có độ phức tạp cao hơn và đặc tính "hộp đen" nghiêm trọng hơn.
- Hạn chế về loại hình tấn công: Bộ dữ liệu thực nghiệm tập trung chuyên sâu vào các cuộc tấn công từ chối dịch vụ phân tán (DDoS: HOIC, LOIC-HTTP, LOIC-UDP) được trích xuất từ CIC-IDS-2017 và CSE-IDS-2018, chưa bao quát toàn bộ các kịch bản xâm nhập mạng tinh vi khác như quét cổng (port scan), dò mật khẩu (bruteforce), mã độc (malware).
- Hạn chế về độ trễ tính toán: Phương pháp tính toán giá trị Shapley đòi hỏi chi phí tính toán lớn, đặc biệt khi số lượng đặc trưng và kích thước tập dữ liệu tăng cao, tạo ra thách thức đáng kể nếu muốn triển khai giải thích theo thời gian thực tuyệt đối trên các luồng lưu lượng mạng tốc độ cao.
- Hướng phát triển tiếp theo:
- Mở rộng việc tích hợp Explainable AI cho các mô hình học sâu (Deep Learning IDS) trong an ninh mạng.
- Tối ưu hóa thuật toán tính toán giá trị giải thích nhằm giảm độ trễ, hướng tới ứng dụng trong các hệ thống IDS/IPS thời gian thực.
- Nghiên cứu sâu hơn các kỹ thuật phòng thủ nâng cao nhằm tăng cường độ bền vững của mô hình học máy trước nhiều hình thức tấn công đối kháng đa dạng hơn.
Giá trị tham khảo
Khóa luận là tài liệu tham khảo có giá trị chuyên môn đối với nhiều đối tượng người đọc:
- Sinh viên và học viên chuyên ngành An toàn thông tin, Mạng máy tính và Truyền thông: Tài liệu cung cấp bức tranh tổng quan và chi tiết về cấu trúc hệ thống NIDS/HIDS, phân loại kỹ thuật phát hiện xâm nhập, cùng danh mục phân loại chi tiết các dạng tấn công DDoS từ tầng mạng đến tầng ứng dụng.
- Người làm nghiên cứu về Trí tuệ nhân tạo có thể giải thích (XAI) và Machine Learning ứng dụng: Khóa luận cung cấp cơ sở toán học đầy đủ của Shapley Value, 4 thuộc tính phân bổ công bằng, sự khác biệt giữa LIME và SHAP, cũng như cách thức triển khai SHAP TreeExplainer trên dữ liệu bảng dạng luồng mạng.
- Kỹ sư an ninh mạng và phát triển hệ thống: Bản mô tả quy trình triển khai công cụ CICFlowMeter (cấu hình qua JNetPcap, danh mục hơn 80 đặc trưng luồng hai chiều) và phương pháp đánh giá mô hình bằng Adversarial Robustness Toolbox là tài liệu hướng dẫn kỹ thuật rõ ràng, có tính ứng dụng thực hành cao.
Câu hỏi thường gặp
1. Khóa luận sử dụng phương pháp nào để giải thích cho các quyết định của mô hình máy học trong hệ thống IDS?
Khóa luận sử dụng phương pháp SHAP (SHapley Additive exPlanations) với bộ giải thích TreeExplainer, phát triển dựa trên lý thuyết trò chơi liên minh của Shapley Value. Phương pháp này cung cấp cả giải thích toàn cục (Global Explanation) để thấy bức tranh tổng thể về tầm quan trọng của các đặc trưng, và giải thích cục bộ (Local Explanation) để chỉ rõ mức độ tăng/giảm xác suất dự đoán của từng đặc trưng trên một mẫu cụ thể.
2. Bộ dữ liệu dùng để huấn luyện và đánh giá mô hình trong khóa luận được lấy từ nguồn nào và bao gồm những loại tấn công gì?
Tác giả đã tạo ra bộ dữ liệu tổng hợp dựa trên hai tập dữ liệu an ninh mạng công khai là CIC-IDS-2017 và CSE-IDS-2018. Dữ liệu tập trung vào lưu lượng bình thường (Normal) và 3 loại tấn công DDoS cụ thể gồm: DDOS attack-HOIC, DDOS attacks-LOIC-HTTP, và DDOS attack-LOIC-UDP.
3. Công cụ nào được tác giả sử dụng để trích xuất đặc trưng luồng mạng và công cụ đó tạo ra bao nhiêu đặc trưng?
Tác giả sử dụng công cụ mã nguồn mở CICFlowMeter, hoạt động dựa trên thư viện JNetPcap. Công cụ này trích xuất lưu lượng mạng ở cấp độ luồng hai chiều (forward và backward), tạo ra tệp dữ liệu CSV chứa thông tin nhận dạng luồng và hơn 80 đặc trưng thống kê như thời lượng luồng, kích thước gói tin, thời gian liên gói (IAT), số lượng cờ điều khiển và trạng thái kích hoạt.
4. Hai thuật toán máy học nào được tác giả lựa chọn để xây dựng mô hình phát hiện xâm nhập và lý do lựa chọn là gì?
Hai thuật toán được lựa chọn là Decision Tree (Cây quyết định) và Random Forest (Rừng ngẫu nhiên). Lý do là vì đây là những mô hình học máy có kích thước nhỏ, nhẹ, tốc độ huấn luyện và xử lý nhanh, đạt độ chính xác cao trên dữ liệu dạng bảng và có cấu trúc dạng cây phù hợp để tích hợp giải thích hiệu quả với SHAP TreeExplainer.
5. Khóa luận đánh giá độ bền vững của mô hình học máy trước dạng tấn công nào và sử dụng công cụ gì?
Khóa luận đánh giá sự bền vững của hai mô hình trước các cuộc tấn công học máy đối kháng (Adversarial Attacks), cụ thể là tấn công né tránh (Evasion Attack) và tấn công đầu độc (Poisoning Attack), thông qua việc sử dụng bộ công cụ Adversarial Robustness Toolbox (ART). Đồng thời, tác giả áp dụng SHAP để trực quan hóa sự biến đổi đặc trưng nhằm phát hiện ra các cuộc tấn công này.
Kết luận
Khóa luận tốt nghiệp của tác giả Nguyễn Thùy Linh đã giải quyết thỏa đáng vấn đề "hộp đen" trong các hệ thống phát hiện xâm nhập mạng bằng cách tích hợp thành công framework Explainable AI (SHAP) vào các mô hình học máy Decision Tree và Random Forest. Công trình đã xây dựng quy trình hoàn chỉnh từ trích xuất đặc trưng luồng mạng qua CICFlowMeter trên tập dữ liệu DDoS tổng hợp từ CIC-IDS-2017 và CSE-IDS-2018, cho đến việc cung cấp các lời giải thích toàn cục và cục bộ minh bạch cho quản trị viên hệ thống. Đồng thời, nghiên cứu đã mở rộng đánh giá thực nghiệm tính bền vững của mô hình trước tấn công né tránh bằng công cụ Adversarial Robustness Toolbox, khẳng định tiềm năng ứng dụng của XAI trong việc nâng cao hiệu quả phòng thủ và phát hiện các mối đe dọa an ninh mạng hiện đại.