Khóa luận tốt nghiệp an toàn thông tin phát triển bộ phân loại hai lớp dựa trên học máy cho hệ thống phát hiện xâm nhập

Khóa luận trình bày phương pháp phát triển bộ phân loại hai lớp dựa trên học máy cho hệ thống phát hiện xâm nhập an toàn thông tin.

• Tác giả: Đoàn Đỗ Lâm Trường
• Người hướng dẫn: ThS. Đỗ Hoàng Hiển
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành An toàn thông tin
• Đề tài: Phát Triển Bộ Phân Loại Hai Lớp Dựa Trên Học Máy Cho Hệ Thống Phát Hiện Xâm Nhập
• Loại tài liệu: khóa luận
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng nghiên cứu
• 1.4. Phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 1.6. Cấu trúc khóa luận
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG VÀ NGHIÊN CỨU LIÊN QUAN
• 2.1. Hệ thống phát hiện xâm nhập IDS
• 2.2. Tổng quan
• 2.3. Hệ thống phát hiện xâm nhập dựa trên học máy (AI-based IDS)
• 3. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Sử dụng XAI để lựa chọn đặc trưng
• 3.2. Ranking các đặc trưng sau khi thu được kết quả từ các phương pháp XAI
• 3.3. Sử dụng Decision Tree để đánh giá top các đặc trưng được chọn lọc
• 3.4. Xây dựng bộ phân loại hai lớp dựa trên học máy
• 3.5. Quá trình huấn luyện
• 3.6. Quá trình kiểm tra
• 4. CHƯƠNG 4: HIỆN THỰC - THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường thực nghiệm
• 4.2. Tập dữ liệu thực nghiệm và các tham số đánh giá mô hình
• 4.3. Tiền xử lý dữ liệu
• 4.4. Các thông số đánh giá (Độ đo)
• 4.5. Hiện thực phương pháp
• 4.6. Sử dụng XAI làm Feature Selection
• 4.7. Hiện thực mô hình hai lớp
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng Quan Về Phát Triển Bộ Phân Loại Hai Lớp Dựa Trên Học Máy

Trong bối cảnh an ninh mạng ngày càng phức tạp, việc phát triển bộ phân loại hai lớp dựa trên học máy cho hệ thống phát hiện xâm nhập (IDS) trở nên cần thiết. Hệ thống IDS truyền thống thường gặp khó khăn trong việc xử lý lượng dữ liệu lớn và phát hiện các cuộc tấn công mới. Do đó, nghiên cứu này nhằm mục tiêu cải thiện hiệu suất và độ chính xác của IDS thông qua việc áp dụng các kỹ thuật học máy tiên tiến.

1.1. Lý Do Cần Phát Triển Bộ Phân Loại Hai Lớp

Sự gia tăng các cuộc tấn công mạng đã chỉ ra rằng các hệ thống IDS truyền thống không còn đủ hiệu quả. Việc phát triển bộ phân loại hai lớp giúp cải thiện khả năng phát hiện và xử lý dữ liệu lớn, đồng thời tối ưu hóa thời gian phản hồi.

1.2. Mục Tiêu Nghiên Cứu Bộ Phân Loại Hai Lớp

Mục tiêu chính của nghiên cứu là phát triển một mô hình phân loại hai lớp, trong đó lớp đầu tiên xử lý dữ liệu nhanh chóng và lớp thứ hai đảm bảo độ chính xác cao. Điều này sẽ giúp nâng cao hiệu quả phát hiện xâm nhập trong thời gian thực.

II. Thách Thức Trong Hệ Thống Phát Hiện Xâm Nhập Hiện Nay

Hệ thống phát hiện xâm nhập hiện tại đối mặt với nhiều thách thức, bao gồm khả năng phát hiện các cuộc tấn công mới và xử lý lượng dữ liệu lớn. Các phương pháp truyền thống như dựa trên chữ ký không thể đáp ứng kịp thời với các mối đe dọa mới. Điều này dẫn đến việc cần thiết phải áp dụng các kỹ thuật học máy để cải thiện khả năng phát hiện.

2.1. Khó Khăn Trong Việc Phát Hiện Cuộc Tấn Công Mới

Các cuộc tấn công mới thường không nằm trong cơ sở dữ liệu chữ ký, dẫn đến việc hệ thống không thể phát hiện kịp thời. Điều này yêu cầu các hệ thống IDS phải có khả năng học hỏi và thích ứng với các mối đe dọa mới.

2.2. Vấn Đề Xử Lý Dữ Liệu Lớn

Khi lưu lượng mạng tăng lên, các hệ thống IDS truyền thống gặp khó khăn trong việc xử lý và phân tích dữ liệu lớn. Điều này làm giảm hiệu suất và độ chính xác của hệ thống, cần có giải pháp mới để cải thiện tình hình.

III. Phương Pháp Phát Triển Bộ Phân Loại Hai Lớp Dựa Trên Học Máy

Nghiên cứu này áp dụng các phương pháp học máy để phát triển bộ phân loại hai lớp cho hệ thống IDS. Lớp đầu tiên sử dụng các thuật toán học máy để xử lý dữ liệu nhanh chóng, trong khi lớp thứ hai áp dụng mô hình Transformer để cải thiện độ chính xác. Việc sử dụng các kỹ thuật eXplainable AI (XAI) cũng giúp tối ưu hóa quá trình lựa chọn đặc trưng.

3.1. Sử Dụng Thuật Toán Học Máy Trong Lớp Đầu Tiên

Lớp đầu tiên của bộ phân loại sử dụng các thuật toán học máy như Decision Tree và Random Forest để xử lý dữ liệu nhanh chóng. Điều này giúp phát hiện các cuộc tấn công trong thời gian thực với độ chính xác cao.

3.2. Áp Dụng Mô Hình Transformer Trong Lớp Thứ Hai

Mô hình Transformer được áp dụng trong lớp thứ hai để cải thiện độ chính xác của hệ thống. Mô hình này có khả năng phân tích các đặc trưng phức tạp và giúp phát hiện các cuộc tấn công chưa xác định.

IV. Ứng Dụng Thực Tiễn Của Bộ Phân Loại Hai Lớp Trong IDS

Bộ phân loại hai lớp được phát triển trong nghiên cứu này đã được thử nghiệm trên tập dữ liệu CICIDS2017. Kết quả cho thấy mô hình có khả năng phát hiện các cuộc tấn công với độ chính xác cao và thời gian phản hồi nhanh. Điều này chứng tỏ tính khả thi và hiệu quả của phương pháp mới.

4.1. Kết Quả Thử Nghiệm Trên Tập Dữ Liệu CICIDS2017

Kết quả thử nghiệm cho thấy bộ phân loại hai lớp đạt được độ chính xác cao trong việc phát hiện các cuộc tấn công. Mô hình đã chứng minh khả năng xử lý dữ liệu lớn và phát hiện kịp thời các mối đe dọa.

4.2. Tính Khả Thi Của Mô Hình Trong Thực Tế

Mô hình phân loại hai lớp có thể được áp dụng trong các hệ thống IDS thực tế, giúp nâng cao hiệu quả bảo mật cho các tổ chức và doanh nghiệp. Điều này mở ra hướng đi mới cho việc phát triển các giải pháp an ninh mạng.

V. Kết Luận Và Hướng Phát Triển Tương Lai Của Nghiên Cứu

Nghiên cứu đã phát triển thành công bộ phân loại hai lớp dựa trên học máy cho hệ thống phát hiện xâm nhập. Kết quả cho thấy mô hình có khả năng cải thiện đáng kể hiệu suất và độ chính xác. Hướng phát triển tương lai có thể bao gồm việc áp dụng các kỹ thuật học sâu và mở rộng mô hình cho các loại hình tấn công khác.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Bộ phân loại hai lớp đã chứng minh được hiệu quả trong việc phát hiện xâm nhập. Mô hình không chỉ cải thiện độ chính xác mà còn tối ưu hóa thời gian xử lý dữ liệu.

5.2. Hướng Phát Triển Mới Trong Tương Lai

Nghiên cứu có thể mở rộng để áp dụng các kỹ thuật học sâu và các mô hình tiên tiến khác nhằm nâng cao khả năng phát hiện và xử lý các cuộc tấn công phức tạp hơn trong tương lai.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh bùng nổ của mạng Internet và công nghệ truyền thông, khối lượng dữ liệu trao đổi qua không gian mạng tăng trưởng với tốc độ nhanh chóng. Đi kèm với sự phát triển này là nguy cơ gia tăng cả về số lượng lẫn mức độ tinh vi của các cuộc tấn công mạng nhằm vào hệ thống của các tổ chức, doanh nghiệp và cá nhân. Trước thực trạng đó, hệ thống phát hiện xâm nhập (Intrusion Detection System - IDS) giữ vai trò là một thành phần phòng thủ trọng yếu trong cơ sở hạ tầng an ninh mạng.

Tuy nhiên, các hệ thống IDS truyền thống dựa trên luật hoặc chữ ký (signature-based) bộc lộ nhiều điểm hạn chế khi phải đối mặt với các nguy cơ mới nổi. Những hệ thống này thiếu khả năng thích ứng linh hoạt, không thể phát hiện các cuộc tấn công chưa từng biết tới (tấn công zero-day) hay các biến thể mã độc đã bị xáo trộn, mã hóa. Đồng thời, khi lưu lượng mạng mở rộng, chi phí vận hành cơ sở dữ liệu chữ ký khổng lồ và độ trễ xử lý khiến hệ thống quy tắc cứng nhắc bị giảm sút hiệu suất rõ rệt. Sự phát triển của trí tuệ nhân tạo (AI), đặc biệt là học máy (Machine Learning - ML) và học sâu (Deep Learning - DL), mở ra phương thức mới giúp phát hiện hành vi xâm nhập dựa trên các đặc trưng bất thường. Mặc dù vậy, các mô hình học sâu đòi hỏi chi phí tính toán cao, gây khó khăn cho việc xử lý theo thời gian thực; trong khi các mô hình học máy nhanh nhẹ lại có thể bỏ sót các mẫu tấn công phức tạp. Để dung hòa giữa tốc độ xử lý và độ chính xác nhận diện, khóa luận đặt vấn đề xây dựng mô hình phân loại hai lớp kết hợp giữa kỹ thuật học máy và học sâu, đồng thời ứng dụng trí tuệ nhân tạo có thể giải thích (Explainable AI - XAI) vào khâu lựa chọn đặc trưng.

Mục tiêu nghiên cứu:

1. Đề xuất và phát triển mô hình phân loại hai lớp: Lớp thứ nhất bảo đảm tốc độ xử lý dữ liệu nhanh; lớp thứ hai đảm bảo độ chính xác phân loại các trường hợp khó, tạo sự bổ trợ lẫn nhau để phát hiện xâm nhập hiệu quả.
2. Tối ưu hóa tài nguyên và chi phí tính toán thông qua việc sử dụng các phương pháp XAI làm kỹ thuật lựa chọn đặc trưng (Feature Selection), giúp hệ thống đạt hiệu suất cao trên dữ liệu thực nghiệm.

Đối tượng nghiên cứu:

• Hệ thống phát hiện xâm nhập dựa trên học máy (AI-based IDS).
• Các mô hình học máy truyền thống (Decision Tree, Random Forest), học sâu và mô hình Transformer.
• Trí tuệ nhân tạo có thể giải thích (XAI) và các phương pháp XAI cụ thể (Permutation Importance, SHAP).
• Bộ dữ liệu tấn công mạng chuẩn dùng trong đánh giá IDS: CICIDS2017.

Phạm vi nghiên cứu:

• Nghiên cứu hướng tới việc xây dựng hệ thống phát hiện xâm nhập lưu lượng mạng theo thời gian thực.
• Ứng dụng các thuật toán ML, DL và Transformer vào hai lớp phân loại của hệ thống.
• Sử dụng các kỹ thuật XAI như một phương thức lựa chọn đặc trưng (Feature Selection) trên tập dữ liệu CICIDS2017.

Phương pháp nghiên cứu:

• Thu thập, nghiên cứu tài liệu chuyên khảo và bài báo khoa học về IDS, ML, DL, XAI và kiến trúc Transformer.
• Khảo sát các công trình nghiên cứu liên quan đã công bố trong và ngoài nước.
• Thiết kế quy trình và kiến trúc hệ thống phân loại hai lớp kết hợp XAI Feature Selection.
• Thực nghiệm trên môi trường máy thật và máy ảo, đo lường các thông số đánh giá trên tập dữ liệu CICIDS2017.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng các lý thuyết về an toàn mạng, giải thuật học máy và giải thích mô hình:

1. Hệ thống phát hiện xâm nhập (IDS)

IDS là hệ thống phần cứng hoặc phần mềm có chức năng tự động hóa quy trình theo dõi các sự kiện trên hệ thống/mạng, phân tích và phát hiện dấu hiệu độc hại. Kiến trúc cơ bản của một IDS gồm ba mô-đun: Agent/Sensor (thu thập dữ liệu), Bộ phận phân tích (nhận diện tấn công) và Bộ phận phản hồi (gửi cảnh báo hoặc chủ động ngăn chặn nếu là IPS).

• Phân loại theo vị trí lắp đặt: NIDS (Network-based IDS - đặt tại biên mạng, giám sát lưu lượng đi qua mạng con) và HIDS (Host-based IDS - đặt trên máy chủ đơn lẻ, giám sát tiến trình hệ điều hành và lời gọi hệ thống).
• Phân loại theo kỹ thuật phân tích: Signature-based IDS (phát hiện theo chữ ký/mẫu có sẵn; tốc độ nhanh nhưng không bắt được tấn công mới), Anomaly-based IDS (xác định bất thường dựa trên độ lệch so với hành vi chuẩn; nhận diện được zero-day) và Specification-based IDS (định nghĩa ràng buộc hành vi chuẩn của hệ thống).

2. Các mô hình học máy và kiến trúc Transformer

Khóa luận tổng kết ba phương thức học cơ bản: Học có giám sát (Supervised Learning), Học không giám sát (Unsupervised Learning) và Học tăng cường (Reinforcement Learning). Các thuật toán học máy được so sánh theo các tiêu chí kỹ thuật:

Tiêu chí	Decision Tree (DT)	Random Forest (RF)	Support Vector Machines (SVM)	K-Nearest Neighbors (KNN)
Cấu trúc	Một cây duy nhất với các nút và nhánh	Tập hợp của nhiều cây quyết định	Biên phân cách tối ưu trong không gian nhiều chiều	Không có cấu trúc mô hình rõ ràng
Khả năng diễn giải	Dễ dàng diễn giải vì chỉ có một cây	Diễn giải phức tạp do phải xem xét nhiều cây	Khó diễn giải do không gian nhiều chiều	Dễ hiểu với dữ liệu nhỏ, khó với dữ liệu lớn
Overfitting	Dễ bị overfitting nếu cây quá sâu	Ít bị overfitting nhờ kết hợp nhiều cây	Có thể overfit nếu không điều chỉnh tham số	Dễ overfit với K nhỏ, underfit với K lớn
Thời gian huấn luyện	Nhanh do chỉ huấn luyện một cây	Chậm hơn vì phải huấn luyện nhiều cây	Chậm với dữ liệu lớn, đặc biệt khi dùng kernel phi tuyến	Nhanh với dữ liệu nhỏ, chậm với dữ liệu lớn
Khả năng mở rộng	Dễ mở rộng cho tập dữ liệu nhỏ đến vừa	Mở rộng tốt cho dữ liệu lớn và phức tạp	Hạn chế với dữ liệu rất lớn	Hạn chế với dữ liệu rất lớn
Thời gian dự đoán	Nhanh sau khi huấn luyện	Chậm hơn do phải tổng hợp kết quả	Nhanh sau khi huấn luyện	Chậm vì phải tính khoảng cách tới toàn bộ điểm
Tài nguyên yêu cầu	Thấp, chỉ cần bộ nhớ cho một cây	Yêu cầu nhiều tài nguyên tính toán và lưu trữ	Đòi hỏi nhiều bộ nhớ và thời gian tính toán	Đòi hỏi tài nguyên cao khi dữ liệu lớn

Đối với kiến trúc Transformer (Vaswani et al., "Attention is All You Need"), mô hình xử lý chuỗi song song thông qua cơ chế Self-Attention thay vì duyệt tuần tự như RNN/LSTM. Do không có tính tuần tự tự nhiên, mô hình sử dụng các vector mã hóa vị trí (Positional Encoding) theo hàm sin và cosin cộng trực tiếp vào Input Embedding. Mô hình bao gồm bộ mã hóa (Encoder) với các khối Multi-Head Attention và Feed-Forward Network kết hợp lớp chuẩn hóa (Add & Norm), cùng cơ chế tính toán Attention thông qua ba ma trận Query (Q), Key (K) và Value (V).

3. XAI đóng vai trò lựa chọn đặc trưng (Feature Selection)

Các kỹ thuật Feature Selection truyền thống gồm ba nhóm: Filter (đánh giá thuộc tính độc lập với mô hình), Wrapper (dùng mô hình học máy để đánh giá tập đặc trưng, tốn chi phí tính toán) và Embedded (tích hợp lựa chọn đặc trưng ngay trong quá trình huấn luyện). Khóa luận tiếp cận Feature Selection bằng các kỹ thuật Explainable AI dạng Post-hoc, Model-Agnostic:

• Permutation Importance (PI): Đánh giá tầm quan trọng của đặc trưng bằng cách xáo trộn ngẫu nhiên giá trị của đặc trưng đó trên tập kiểm tra (testing set) rồi đo lường mức độ sụt giảm hiệu suất của mô hình. Đặc trưng nào làm suy giảm hiệu suất càng lớn thì có tầm quan trọng càng cao.
• SHAP (Shapley Additive Explanations): Dựa trên lý thuyết trò chơi liên minh (coalitional game theory) để tính toán giá trị đóng góp cận biên của từng đặc trưng vào kết quả dự đoán của mô hình. Các biến thể gồm KernelSHAP (xấp xỉ không phụ thuộc mô hình), TreeSHAP (tối ưu cho cây quyết định) và DeepSHAP (cho mạng nơ-ron).

Nguồn dữ liệu thực nghiệm: Bộ dữ liệu chuẩn CICIDS2017 do Viện An ninh mạng Canada (Canadian Institute for Cybersecurity) xây dựng trên môi trường mạng mô phỏng, bao gồm lưu lượng mạng bình thường và 14 loại tấn công phổ biến.

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài

Chương mở đầu phân tích tính cấp thiết của vấn đề an ninh mạng, chỉ rõ sự bất cập của các giải pháp IDS truyền thống dựa trên chữ ký trước các biến thể tấn công mới và tình trạng nghẽn cổ chai khi lưu lượng mạng tăng cao. Từ đó, tác giả xác định mục tiêu xây dựng bộ phân loại hai lớp kết hợp giải thuật ML và DL, đồng thời sử dụng XAI để chọn lọc đặc trưng. Chương này cũng phân định cụ thể đối tượng, phạm vi nghiên cứu, phương pháp tiếp cận và cấu trúc trình bày của toàn khóa luận.

Chương 2: Kiến thức nền tảng và nghiên cứu liên quan

Tác giả hệ thống hóa các khái niệm cốt lõi:

• Cấu trúc và nguyên lý hoạt động của NIDS, HIDS cùng các kỹ thuật phát hiện (chữ ký, bất thường, đặc tả kỹ thuật).
• Phân tích ưu thế của AI-based IDS (khả năng tự học, thích ứng hành vi mới, phát hiện tấn công zero-day, xử lý theo thời gian thực) và các thách thức liên quan (chi phí tài nguyên phần cứng, nguy cơ an toàn dữ liệu).
• Nguyên lý các thuật toán học máy (Decision Tree, Random Forest, SVM, KNN) và mạng nơ-ron sâu.
• Phân tích chi tiết kiến trúc Transformer: cơ chế Positional Encoding, bộ Encoder, các biến thể Attention (Self-Attention, Multi-Head Attention, Cross-Attention).
• Tổng quan về XAI: phân loại Intrinsic/Post-hoc, Model-Agnostic/Model-Specific, phạm vi giải thích toàn cục (global) và cục bộ (local); đi sâu vào cơ chế hoạt động của Permutation Importance và SHAP.
• Tổng hợp các công trình liên quan: Nghiên cứu của Pak (IDS hai cấp độ nhưng thiếu bộ lọc đặc trưng); Dhanya et al. (kết hợp DT đạt 99,05% và DeepMLP đạt 98,44% trên UNSW-NB15 nhưng không áp dụng FS); Ahanger et al. (chọn ngẫu nhiên 23, 15, 12 đặc trưng trên NSL-KDD); Gulab Sah et al. (áp dụng PCA, RFE); Houda et al. và Hariharan et al. (ứng dụng LIME, SHAP cho mô hình IoT và mạng); Gaspar et al. (dùng XAI phân tích lời gọi hệ thống cho mô hình MLP); Wu et al. (đề xuất RTIDS dựa trên Transformer đạt độ chính xác 98,45% trên CICIDS2017).

Chương 3: Phương pháp đề xuất

Chương 3 trình bày giải pháp trung tâm của khóa luận với quy trình thực hiện qua 7 giai đoạn:

1. Tiền xử lý dữ liệu: Làm sạch, loại bỏ thuộc tính không liên quan và chuẩn hóa.
2. Huấn luyện mô hình cơ sở: Dùng Random Forest huấn luyện trên tập dữ liệu đã tiền xử lý để làm đầu vào cho khâu giải thích.
3. Đánh giá đặc trưng bằng XAI: Tính toán tầm quan trọng của các thuộc tính bằng PI và SHAP.
4. Xếp hạng và lọc đặc trưng: Ranking thứ tự đóng góp của các thuộc tính từ cao xuống thấp và lựa chọn các nhóm đặc trưng hàng đầu (top features).
5. Kiểm định tập đặc trưng: Đưa các tập dữ liệu rút gọn vào mô hình Decision Tree với cơ chế kiểm định chéo 5-fold (5-fold cross-validation) để tìm ra số lượng đặc trưng tối ưu.
6. Xây dựng bộ dữ liệu mới: Sử dụng phương pháp lấy mẫu phân tầng (stratified sampling) chia tập dữ liệu chứa các đặc trưng đã chọn thành bộ huấn luyện và kiểm tra.
7. Vận hành bộ phân loại hai lớp:
   • Quá trình huấn luyện: Lớp thứ nhất (mô hình học máy nhanh nhẹ) được huấn luyện trên toàn bộ dữ liệu. Các mẫu dự đoán sai từ lớp thứ nhất được thu thập lại. Lớp thứ hai (mô hình Transformer) được huấn luyện đồng thời trên toàn bộ dữ liệu và các mẫu dữ liệu dự đoán sai/không chắc chắn của lớp thứ nhất để học chuyên sâu các trường hợp phức tạp.
   • Quá trình kiểm tra: Dữ liệu thử nghiệm đi vào lớp thứ nhất để dự đoán xác suất. Tác giả thiết lập một ngưỡng tin cậy (threshold). Nếu xác suất dự đoán của lớp thứ nhất đạt trên ngưỡng, kết quả được xuất ra trực tiếp. Nếu xác suất nằm dưới ngưỡng (low confidence), bản ghi đó được chuyển tiếp sang lớp thứ hai để mô hình Transformer thực hiện phân loại lại.

Chương 4: Hiện thực - Thực nghiệm và đánh giá

Chương này mô tả chi tiết hạ tầng thực nghiệm và các bước xử lý số liệu:

• Môi trường thực nghiệm:
  • Máy vật lý: CPU Intel Core i7 10750H (6 nhân 12 luồng), RAM 16 GB, GPU NVIDIA GeForce GTX 1650, ổ cứng 64 GB.
  • Máy ảo (do Phòng Thí nghiệm An toàn thông tin cung cấp): 6 bộ xử lý (processors), RAM 16 GB, ổ cứng 64 GB, không trang bị GPU.
  • Nền tảng phần mềm: Python 3, Anaconda3, Scikit-learn, Numpy, Pandas, SHAP, Tensorflow (dùng để xây dựng khối Encoder của Transformer).
• Tập dữ liệu và tiền xử lý:
  • Dữ liệu thô CICIDS2017 gồm 8 tệp CSV tương ứng lưu lượng ghi nhận từ thứ Hai đến thứ Sáu, gồm 3.119.345 bản ghi và 86 đặc trưng.
  • Tác giả loại bỏ 6 trường định danh không mang giá trị tổng quát hóa hành vi mạng: Flow ID, Source IP, Source Port, Destination IP, Timestamp, External IP.
  • Loại bỏ các dòng chứa giá trị khuyết thiếu (NaN); chuyển đổi các giá trị vô cực (inf) thành giá trị -1.
  • Áp dụng chuẩn hóa Min-Max scaling về đoạn $[0, 1]$ theo công thức: $x' = \frac{x - x_{min}}{x_{max} - x_{min}}$.
  • Chuyển đổi toàn bộ dữ liệu sang định dạng float32 nhằm tiết kiệm 50% dung lượng bộ nhớ khi xử lý.
  • Sau quá trình làm sạch, tập dữ liệu còn 2.829.385 bản ghi và 80 đặc trưng (đã bao gồm nhãn). Dữ liệu được chia theo tỷ lệ 70% huấn luyện (train) và 30% kiểm tra (test).
  • Khóa luận tiến hành thử nghiệm trên hai ngữ cảnh phân loại: Nhị phân (Binary Classification - gán nhãn normal cho BENIGN và abnormal cho các cuộc tấn công, áp dụng Label Encoding) và Đa lớp (Multi Classification - phân loại chi tiết các loại tấn công cụ thể bằng One-hot Encoding).

Chương 5: Kết luận và hướng phát triển

Tổng kết lại các kết quả đã đạt được của đề tài, đánh giá mức độ hoàn thành so với mục tiêu ban đầu, chỉ ra những thuận lợi, rào cản về hạ tầng phần cứng trong quá trình thực nghiệm và vạch ra các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận đã trích xuất và hệ thống hóa chi tiết các thông số thực nghiệm cùng danh mục các kịch bản tấn công theo ngày từ tập dữ liệu CICIDS2017:

Ngày trong tuần	Kịch bản tấn công thực nghiệm
Thứ Hai	Lưu lượng bình thường (BENIGN), không có tấn công
Thứ Ba	Tấn công dò mật khẩu: Brute Force FTP, Brute Force SSH
Thứ Tư	Tấn công từ chối dịch vụ: DoS Hulk, DoS GoldenEye, DoS Slowloris, DoS Slowhttptest; Lỗ hổng Heartbleed
Thứ Năm	Tấn công ứng dụng web: Web Attack - Brute Force, Web Attack - XSS, Web Attack - SQL Injection
Thứ Sáu	Thâm nhập và quét mạng: Infiltration, Botnet, PortScan, DDoS

Các kết quả kỹ thuật chính trong văn bản:

• Sau các bước tiền xử lý chuẩn mực, kích thước dữ liệu được tinh lọc từ 3.119.345 bản ghi xuống còn 2.829.385 bản ghi hoàn chỉnh; số thuộc tính giảm từ 86 xuống còn 80 đặc trưng.
• Thiết lập quy trình xếp hạng đặc trưng bài bản: Trích xuất bảng xếp hạng 30 đặc trưng có giá trị cao nhất theo Permutation Importance (PI) và 60 đặc trưng có giá trị cao nhất theo SHAP.
• Ứng dụng mô hình Decision Tree kết hợp 5-fold cross-validation để đánh giá độc lập hiệu năng của từng nhóm đặc trưng được chọn lọc trước khi đưa vào hệ thống chính.
• Khóa luận đã thiết lập các mô hình thực nghiệm và đo lường hiệu suất cụ thể cho từng thành phần: đánh giá PI với Binary Classification, đánh giá hiệu suất lớp thứ hai, và hiệu suất của toàn bộ mô hình hai lớp tích hợp theo hai cấu hình chọn đặc trưng: T_SHAP_DT và T_PI_DT.

Đóng góp của khóa luận:

• Đề xuất quy trình lựa chọn đặc trưng dựa trên các phương pháp giải thích mô hình XAI (PI và SHAP), giúp giảm bớt chiều dữ liệu nhưng vẫn bảo toàn được các thông tin thống kê quan trọng của luồng mạng.
• Thiết kế kiến trúc phân loại hai lớp kết hợp giữa thuật toán học máy nhẹ ở lớp đầu (xử lý nhanh lưu lượng lớn) và mô hình Transformer sâu ở lớp thứ hai (tái phân loại các mẫu có xác suất tin cậy thấp), giải quyết được bài toán cân bằng giữa tốc độ truyền mạng và độ chính xác phân loại.
• Khác phục điểm hạn chế của các nghiên cứu trước đó: bổ sung cơ chế lựa chọn đặc trưng bài bản thay vì không dùng Feature Selection (như Pak [1], Dhanya et al. [2]) hoặc chọn ngẫu nhiên thiếu cơ sở (như Ahanger et al. [3]).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các nội dung được tác giả trình bày trong văn bản:

Hạn chế:

• Bộ dữ liệu CICIDS2017 dù đa dạng nhưng tồn tại nhiều bản ghi khuyết thiếu dữ liệu (NaN) và các giá trị vô cực (inf), đòi hỏi quy trình xử lý thô trước khi nạp vào mô hình.
• Các phương pháp tính toán giá trị giải thích của XAI, đặc biệt là biến thể KernelSHAP, đòi hỏi chi phí tính toán rất lớn và tiêu tốn nhiều thời gian thực thi.
• Giới hạn về phần cứng: Quá trình huấn luyện các mô hình học sâu và tính toán phức tạp phải thực hiện trên máy ảo không có hỗ trợ GPU, ảnh hưởng trực tiếp đến thời gian thực nghiệm và khả năng mở rộng quy mô tham số.

Hướng nghiên cứu tiếp:

• Tiếp tục tối ưu hóa thuật toán lựa chọn đặc trưng để giảm thiểu hơn nữa thời gian tính toán của các phương pháp XAI.
• Thử nghiệm và đánh giá chéo mô hình đề xuất trên nhiều bộ dữ liệu an ninh mạng khác ngoài CICIDS2017 nhằm kiểm chứng tính tổng quát hóa.
• Tích hợp mô hình phân loại hai lớp vào môi trường mạng thực tế để kiểm tra thông lượng xử lý và độ trễ theo thời gian thực.
• Mở rộng chức năng từ phát hiện xâm nhập (IDS) sang ngăn chặn xâm nhập chủ động (IPS), cho phép hệ thống tự động đưa ra các phản hồi bảo mật tương ứng khi phát hiện tấn công.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho:

• Sinh viên và học viên chuyên ngành An toàn thông tin, Mạng máy tính: Cung cấp tài liệu hệ thống hóa đầy đủ từ kiến trúc IDS, phân loại kỹ thuật phát hiện xâm nhập đến cách mạng nơ-ron Transformer và các phương pháp giải thích XAI vận hành trong bài toán an ninh mạng.
• Người nghiên cứu các đề tài về AI-based NIDS: Có thể tham khảo chi tiết quy trình xử lý dữ liệu thực tế trên tập CICIDS2017 (cách thức xử lý 8 tệp CSV lớn, lọc thuộc tính định danh, chuẩn hóa kiểu dữ liệu float32 để tối ưu RAM, xử lý nhãn Binary và Multi-class).
• Kỹ sư Machine Learning: Tham khảo phương pháp sử dụng XAI (PI, SHAP) như một giải pháp thay thế cho các kỹ thuật Feature Selection truyền thống (Filter/Wrapper), cũng như ý tưởng thiết kế kiến trúc phân cấp hai tầng (tầng nhanh lọc dữ liệu thô, tầng sâu xử lý mẫu không chắc chắn dựa trên ngưỡng xác suất).

Câu hỏi thường gặp

1. Khóa luận đã loại bỏ những đặc trưng nào trong tập dữ liệu CICIDS2017 và vì sao? Tác giả đã loại bỏ 6 đặc trưng định danh luồng gồm: Flow ID, Source IP, Source Port, Destination IP, Timestamp, và External IP. Lý do là các thuộc tính này mang tính chất định danh cụ thể của môi trường mạng thực nghiệm thay vì biểu diễn đặc trưng hành vi tấn công, nếu giữ lại sẽ làm giảm tính tổng quát hóa của mô hình học máy.

2. Dữ liệu bị thiếu (NaN) và giá trị vô cực (inf) trong CICIDS2017 được xử lý bằng cách nào? Các bản ghi chứa giá trị Not a Number (NaN) bị loại bỏ trực tiếp khỏi tập dữ liệu. Đối với các trường chứa giá trị vô cực (inf), tác giả quy đổi toàn bộ thành giá trị -1 để thuật toán học máy có thể xử lý bình thường và không phát sinh lỗi tràn số trong quá trình huấn luyện.

3. Cơ chế hoạt động của bộ phân loại hai lớp khi kiểm tra một bản ghi mới diễn ra như thế nào? Khi nhận dữ liệu kiểm tra, lớp thứ nhất (mô hình học máy nhanh) sẽ tính toán và dự đoán xác suất. Tác giả áp dụng một ngưỡng tin cậy (threshold): nếu xác suất dự đoán của lớp thứ nhất vượt qua ngưỡng này, kết quả được xuất ra ngay lập tức; nếu xác suất dự đoán nằm dưới ngưỡng (dự đoán không chắc chắn), bản ghi sẽ được chuyển sang lớp thứ hai (mô hình Transformer) để phân loại chi tiết.

4. Tại sao tác giả lại sử dụng mô hình Decision Tree với 5-fold cross-validation ở giai đoạn chọn đặc trưng? Sau khi các phương pháp XAI (PI, SHAP) xếp hạng thứ tự đóng góp của các đặc trưng, tác giả cần kiểm tra xem việc chỉ giữ lại top đặc trưng hàng đầu có duy trì được hiệu suất cao hay không. Do các tập dữ liệu rút gọn này hoàn toàn mới, việc sử dụng Decision Tree kết hợp chia dữ liệu theo 5-fold cross-validation giúp đánh giá khách quan, ước tính chính xác hiệu năng mô hình và tránh thiên lệch so với cách chia tách tập dữ liệu thông thường.

5. Môi trường phần cứng và các thư viện phần mềm nào được dùng để thực hiện khóa luận? Về phần cứng, nghiên cứu sử dụng máy tính vật lý CPU Intel Core i7 10750H (6 nhân 12 luồng), RAM 16 GB, GPU NVIDIA GeForce GTX 1650 và một máy ảo 6 processors, RAM 16 GB không có GPU. Về phần mềm, tác giả dùng Python 3 trong môi trường Anaconda3, cùng các thư viện Scikit-learn, Numpy, Pandas, SHAP và Tensorflow (dùng để xây dựng khối Encoder của Transformer).

Kết luận

Khóa luận tốt nghiệp của tác giả Đoàn Đỗ Lâm Trường đã đề xuất thành công mô hình phát hiện xâm nhập hai lớp kết hợp giữa giải thuật học máy và kiến trúc Transformer, giải quyết được mâu thuẫn giữa tốc độ xử lý luồng mạng và độ chính xác phân loại. Bằng việc ứng dụng các kỹ thuật XAI gồm Permutation Importance và SHAP vào bài toán lựa chọn đặc trưng, nghiên cứu giúp tinh giản chiều không gian dữ liệu trên tập CICIDS2017 nhưng vẫn giữ vững các thuộc tính thống kê cốt lõi. Kết quả nghiên cứu cung cấp một quy trình thực nghiệm rõ ràng, có căn cứ khoa học từ khâu tiền xử lý, rút trích thuộc tính cho đến thiết lập ngưỡng phân cấp dự đoán, đóng góp tài liệu kỹ thuật hữu ích cho hướng tiếp cận AI trong an toàn thông tin mạng.

Trích đoạn nội dung tài liệu

Chương 1 TONG QUAN DE TÀI Trinh bày ly do chọn đề tài, mục tiêu, đối tượng, phạm vi và các phương pháp nghiên cứu dé tài Chương 2 KIÊN THỨC NEN TANG VÀ NGHIÊN CỨU LIÊN QUAN Trình bày các định nghĩa, khái niệm cũng như những kiến thức nền tảng để có thể thực hiện được nghiên cứu. Ngoài ra, cũng phân tích tình hình nghiên cứu đã có trong và ngoải nước Chương 3 PHƯƠNG PHÁP ĐÈ XUẤT Là phần trọng tâm của khoá luận, trình bày những nội dung chính về phương pháp thực hiện và mô hình được sử dụng. Chương 4 HiỆn thực — thực nghiệm và đánh giá Đề cập đến quá trình thực nghiệm cùng với kết quả thu được Chương 5 KET LUẬN VA HƯỚNG PHÁT TRIEN Đưa ra kết luận về đề tài, thuận lợi và khó khăn khi thực hiện đề tài đề xuất một số hướng phát triển mở rộng cho các nghiên cứu trong tương lai. KIÊN THỨC NEN TANG VÀ NGHIÊN CỨU LIÊN QUAN 2.

Hệ thống phát hiện xâm nhập IDS 2. Tổng quan Mục đích của quá trình phát hiện xâm nhập là kiểm toán và phân tích các sự kiện bảo mật đề có thé xác định kịp thời các hoạt động độc hại. Thuật ngữ “IDS” được lần đầu giới thiệu năm 1980, có thể được coi là phần cứng và/hoặc phần mềm tự động hóa các quy trình theo dõi, kiểm tra, phân tích và xác định các mối đe dọa tiềm an. Nói chung, một IDS sẽ tập trung vào các công việc chính như sau: 1) Theo dõi cả người dùng và hệ thống dé xác định các sự cố 2) Ghi lại tat cả thông tin nhật ký về chúng 3) Phan tích, rà soát cầu hình hệ thống và các lỗ hông 4) Đánh giá tính toàn vẹn của hệ thống cũng như các tập tin 5) Nhận biết được các hoạt động bat thường va các dấu hiệu điển hình của các cuộc tan công 6) Gửi báo cáo đến quản trị viên hệ thông Ngoài ra, IDS còn có một số chức năng khác tùy thuộc vào mục đích của người sử dụng.

Ví dụ như các doanh nghiệp có thé dùng IDS dé phát hiện các van dé trong chính sách bao mật, b6 sung cập nhật các mối nguy hại hay xác định cá nhân vi phạm chính sách Hình 2-1 dưới đây minh họa kiến trúc cơ bản của một IDS, trong đó có 3 mô-đun chính a) một hoặc nhiều agent/sensor b) bộ phận phân tích c) bộ phận phản hồi. Các agent/sensor sẽ chịu trách nhiệm thu thập thông tin, thường là ghi lại nhật ký các sự kiện, lưu lượng mạng có ích cho việc phân tích. Sau đó các thông tin này sẽ được chuyền đến bộ phận phân tích. Đặc biệt, dựa vào vi trí đặt các agent/sensor (hay còn gọi tùy theo nguồn đữ liệu) mà ta có thé chia IDS thành 2 loại cơ bản như sau: Intrusion Detection Techniques Signatures Anomalies Specifications Response LÌ l8 Computer Tablet Smartphone Hình 2-1: Kiến trúc cơ bản của IDS a) Hệ thống phát hiện xâm nhập dựa trên mạng (Network-based IDS) Là một thiết bị phần cứng độc lập có đầy đủ khả năng phát hiện xâm nhập.

Thường được đặt tại các điểm chiến lược trên cơ sở hạ tầng mạng như biên giữa các mạng, máy chủ mạng riêng ảo (VPN), máy chủ truy cập từ xa và trên mạng không dây. NIDS sẽ tập trung giám sát toàn bộ lưu lượng mạng di qua các mang con, sau đó phân tích dit liệu thu thập được dé phát hiện các cuộc tan công đã biết hoặc các hoạt động độc hại, hoặc phân tích các hoạt động của giao thức mạng và ứng dụng dé xác định hoạt động bat thường và đáng ngờ, từ đó cảnh báo sẽ được gửi đến người quản trị b) Hệ thống phát hiện xâm nhập dựa trên máy chủ (Host-based IDS) Thường được đặt trên các thiết bị hoặc máy chủ đơn lẻ quan trọng có trên mạng. Các thông tin được ghi lại là các dữ liệu liên quan đến hệ thống của riêng máy chủ đó, ví dụ như tiến trình hệ điều hành, lời gọi hệ thống. HIDS sẽ được giám sát các lưu lượng đến, đi từ máy chủ đó và sẽ cảnh báo nếu có bất kỳ sự kiện nào được ghi lại được cho là bất thường hoặc độc hại.

Tiếp theo, bộ phận phân tích có chức năng phân tích dữ liệu thu thập được từ các agent/sensor và dựa vào các kỹ thuật phát hiện xâm nhập dé xác định cuộc tấn công. Cuối cùng, bộ phận phản hồi sẽ báo cho người quản trị hệ thống thông qua các cảnh báo và cung cấp thêm thông tin từ kết quả thu được bởi bộ phận phân tích. Ngoài ra, bộ phân phản hồi còn có thê thực hiện một số hành động nhất định đề tự động giảm thiểu sự xâm nhập, trong trường hợp này gọi là hệ thống ngăn ngừa xâm nhập IPS Cần nói thêm liên quan các phương pháp của bộ phận phân tích dé phát hiện các mối nguy hại hay bat thường. Ta cũng có thé chia IDS thành 3 loại chính dựa trên kỹ thuật phát hiện xâm nhập như sau: a) Hệ thống phát hiện xâm nhập dựa trên chữ ký (Signature-based IDS) Với phương pháp tiếp cận này, các hoạt động trong hệ thống hay người dùng sẽ được so khớp với tập hợp các mẫu tân công đã được xác định từ trước, hay còn gọi là chữ ký.

Ưu điểm của cách tiếp cận này là thời gian phát hiện nhanh, tỷ lệ phát hiện cao cũng như tỷ lệ cảnh báo sai (FAR) thấp với các cuộc tấn công đã biết. Vì vậy, điểm yếu của nó là đối mặt với các cuộc tấn công mới hay biến thể ngày càng nhiều và phức tạp như hiện nay. Ngoài ra, chi phí dé duy trì một cơ sở dữ liệu chữ ký không lồ cùng với khả năng đồng bộ trong hệ thống khiến cách tiếp cận này khó trở thành giải pháp lâu dài b) Hệ thống phát hiện xâm nhập dựa trên bat thường (Anomaly-based IDS) Với cách tiếp cận này, dữ liệu được cho là từ các hành vi bình thường của người dùng sẽ được thiết lập. Khi tiến hành kiểm tra xâm nhập, tập dữ liệu này sẽ được so sánh với dit liệu thực tế của người dùng.

Ở đây, giá trị ngưỡng sẽ quyết định hành vi của người dùng có phải là bất thường hay không. Hiện nay, học máy được sử dụng để tạo ra một mô hình đáng tin cậy, theo đó bất kỳ hoạt động nào không nằm trong mô hình sẽ được coi là đáng ngờ. Vì mô hình được huấn luyện phù hợp với yêu cầu ứng dụng và cau hình phan cứng nên mang tinh chat tong quát hóa tốt hơn so với IDS dựa trên chữ ký. Tuy tỷ lệ phát hiện xâm nhập kém chính xác hơn so với cách tiếp cận theo chữ ký nhưng có khả năng phát hiện được các cuộc tan công mới, chưa xác định từ trước, c) Hệ thống phát hiện xâm nhập dựa trên thông số kỹ thuật (Specification-based IDS) Theo kỹ thuật phát hiện xâm nhập này, một tập hợp các quy tắc theo sự rang buộc sẽ định nghĩa các hành vi bình thường của hệ thống.

Nếu có hành vi khác với các thông số kỹ thuật được xác định trước sẽ được coi là bat thường và sinh ra cảnh báo. Tuy có thé phát hiện các cuộc tấn công mới với tỷ lệ đương tinh giả thấp nhưng khó có thể triển khai thành một mô hình chính xác hoàn toàn do sự phức tạp cũng như tài nguyên tiêu tốn khá lớn 2. Hệ thống phát hiện xâm nhập dựa trên hoc máy (AI-based IDS) Các hệ thống an ninh mạng hỗ trợ ngăn chặn tấn công theo thời gian thực chủ yếu sử dụng các phương pháp dựa trên chữ ký để phát hiện các mẫu nhất định trong lưu lượng mạng. Phát hiện theo thời gian thực yêu cầu các thuật toán xử lý nằm trong nội tuyến dé phát hiện các cuộc tan công ở tốc độ đường truyền.

Mặc dù tốc độ phát hiện có thé cải thiện khi sử dụng các hệ thông phân tán, nhưng cũng phải chịu chi phí đồng bộ tốn kém. Vì vậy, cần phải có phương pháp phát hiện nhanh chóng là điều tất yếu dé triển khai các hệ thống phát hiện theo thời gian thực. Điểm mạnh của cách tiếp cận phát hiện dựa trên chữ ký là độ chính xác và tốc độ cao với các cuộc tân công đã biết. Tuy nhiên, hầu như phương pháp này không thé xác định được các cuộc tan công chưa rõ như tan công Zero-day và các biến thé có thé bỏ qua cách phát hiện này thông qua việc làm rỗi mã hay mã hóa.

Ngoài ra, việc tạo cơ sở dir liệu dé lưu các chữ ký với cách tiếp cận này cũng là vấn đề mang tính gánh nặng cao. Trái ngược với phát hiện dựa trên chữ ký, các tiếp cận phát hiện dựa trên sự bất thường sẽ quan sát các đặc điểm thống kê theo từng luồng dữ liệu trong mạng và tiến hành chân đoán phát hiện nếu có sự bất thường vượt quá phạm vi thống kê thông thường. Phương pháp này sẽ không dem lại gánh nặng về chi phí để duy trì cơ sở dữ liệu giống như phát hiện dựa trên chữ ký, ngoài ra còn hoạt động mạnh mẽ dé phát hiện các cuộc tân công Zero-day hay các tân công biên thê. Trong các giải pháp phòng thủ mạng, hệ thống phát hiện xâm nhập IDS đã trở thành một lớp phòng thủ quan trọng và ngày càng được nâng tầm quan trọng trong cơ sở hạ tầng bảo mật.

Cốt lõi của hệ thống phát hiện xâm nhập đó là phát hiện các hành vi xâm nhập và phân loại tấn công dựa trên nhiều ngữ cảnh khác nhau. Đặc biệt, với sự giúp sức của công nghệ trí tuệ nhân tạo(A]), bao gồm học máy (ML) và học sâu (DL), hệ thống phát hiện xâm nhập dựa trên AI (AI-based IDSs) đã và dang dem lại sự nhanh chóng, chính xác cũng như khả năng mở rộng khi phân tích tấn công so với các kỹ thuật bảo mật thông thường khác. Ưu điểm của AI-based IDS so với các loại hình IDS truyền thống Một trong những ưu điểm nồi bật của AI-based IDS là khả năng thích ứng. Trong khi các IDS truyền thống dựa vào tập hợp các chữ ký hay quy tắc cố định dé phát hiện được các mối de dọa đã biết thì AI-based IDS có thé liên tục học hỏi, điều chỉnh ban thân.

Theo thời gian, AI-based có thé thích nghỉ với các bất thường, các biến thé tan công, xâm nhập mới, tạo cho chúng một sức mạnh phòng thủ mạnh mẽ và chủ động hơn Một ưu điểm khác của AI-based IDS đó là kha năng nhận biết các mẫu tan công hay hành vi bất thường trong một lượng lớn dữ liệu mạng.