NGHIÊN CỨU KỸ THUẬT MÁY HỌC CHO HỆ THỐNG PHÁT HIỆN XÂM NHẬP

Tìm hiểu kỹ thuật máy học tiên tiến cho hệ thống phát hiện xâm nhập. Luận văn thạc sĩ chuyên sâu về an ninh mạng và ứng dụng Machine Learning.

• Tác giả: Võ Thanh Hải
• Người hướng dẫn: TS. Đặng Quang Vinh
• Trường học: Trường Đại học Công nghiệp Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Nghiên Cứu Kỹ Thuật Máy Học Cho Hệ Thống Phát Hiện Xâm Nhập
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU VÀ CÁC CÔNG TRÌNH LIÊN QUAN
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÔNG TRÌNH LIÊN QUAN
• 2.1. Phát hiện bất thường và các loại tấn công
• 2.1.1. Các phát hiện bất thường
• 2.1.2. Các loại tấn công mạng
• 2.2. Các thuật toán máy học
• 2.2.1. Thuật toán Random Forest
• 2.2.2. Thuật toán AdaBoost
• 2.2.3. Thuật toán K-nearest neighbors
• 2.2.4. Thuật toán Naive Bayes
• 2.2.5. Thuật toán QDA (quadratic discriminant analysis)
• 2.2.6. Thuật toán MLP Classifier
• 2.2.7. Thuật toán ID3
• 2.3. Các nghiên cứu liên quan
• 3. CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN XÂM NHẬP VÀ CÁCH TIẾP CẬN BẰNG PHƯƠNG PHÁP HỌC MÁY

Tóm tắt

I. Tổng quan về Hệ thống Phát hiện Xâm nhập IDS và Máy học

Mạng Internet đang phát triển nhanh chóng, kéo theo sự gia tăng các cuộc tấn công mạng, gây tổn thất lớn về kinh tế và an ninh. Hệ thống Phát hiện Xâm nhập (IDS) đóng vai trò quan trọng trong việc bảo vệ hệ thống khỏi các mối đe dọa. IDS truyền thống dựa vào nhận dạng các mẫu tấn công đã biết, nhưng lại hạn chế trong việc phát hiện các tấn công mới. Do đó, việc áp dụng các kỹ thuật Machine Learning để tăng cường khả năng phát hiện và phân tích các cuộc tấn công trở nên cấp thiết. Luận văn này tập trung vào việc nghiên cứu và ứng dụng các kỹ thuật Machine Learning hiện đại để xây dựng một hệ thống IDS hiệu quả, có khả năng phát hiện cả các tấn công đã biết và chưa biết. Mục tiêu là cải thiện khả năng phòng thủ và giảm thiểu rủi ro cho các hệ thống mạng.

1.1. Giới thiệu về Hệ thống Phát hiện Xâm nhập IDS truyền thống

Hệ thống Phát hiện Xâm nhập (IDS) là một thành phần quan trọng trong kiến trúc bảo mật mạng, có nhiệm vụ giám sát lưu lượng mạng và phát hiện các hoạt động đáng ngờ hoặc độc hại. Các IDS truyền thống thường dựa vào hai phương pháp chính: phát hiện dựa trên chữ ký (Signature-Based Detection) và phát hiện dựa trên thống kê (Anomaly Detection). Phát hiện dựa trên chữ ký so sánh lưu lượng mạng với một cơ sở dữ liệu các mẫu tấn công đã biết, trong khi phát hiện dựa trên thống kê tìm kiếm các hành vi bất thường so với một đường cơ sở đã được thiết lập. Tuy nhiên, các IDS truyền thống thường gặp khó khăn trong việc phát hiện các cuộc tấn công zero-day và các biến thể mới của các cuộc tấn công đã biết.

1.2. Tại sao cần ứng dụng Machine Learning vào IDS

Việc tích hợp Machine Learning vào Hệ thống Phát hiện Xâm nhập (IDS) mang lại nhiều lợi ích đáng kể. Machine Learning có khả năng học hỏi từ dữ liệu, tự động thích ứng với các mối đe dọa mới và phát hiện các hành vi bất thường mà các IDS truyền thống có thể bỏ qua. Các thuật toán Machine Learning có thể được sử dụng để phân tích lưu lượng mạng, xác định các đặc trưng quan trọng và xây dựng các mô hình dự đoán có khả năng phát hiện các cuộc tấn công với độ chính xác cao. Ngoài ra, Machine Learning còn có thể giúp tự động hóa quá trình phân tích và phản ứng với các sự cố bảo mật, giảm thiểu sự can thiệp của con người và tăng cường khả năng phòng thủ chủ động.

II. Thách thức Phát hiện Xâm nhập Giới hạn IDS và Tấn công Mới

Các Hệ thống Phát hiện Xâm nhập (IDS) truyền thống, mặc dù hữu ích, vẫn còn nhiều hạn chế. Khả năng phát hiện các cuộc tấn công mới, đặc biệt là các cuộc tấn công zero-day, còn yếu. Việc cập nhật liên tục cơ sở dữ liệu các mẫu tấn công cũng là một thách thức lớn. Bên cạnh đó, các cuộc tấn công ngày càng tinh vi, sử dụng các kỹ thuật che giấu và ngụy trang để tránh bị phát hiện. Sự ra đời của các cuộc tấn công sử dụng Adversarial Machine Learning cũng đặt ra một thách thức mới, khi các kẻ tấn công cố gắng đánh lừa các mô hình Machine Learning được sử dụng trong IDS. Do đó, việc nghiên cứu và phát triển các phương pháp IDS tiên tiến, có khả năng đối phó với các thách thức này, là vô cùng quan trọng.

2.1. Các điểm yếu của Hệ thống Phát hiện Xâm nhập IDS truyền thống

Hệ thống Phát hiện Xâm nhập (IDS) truyền thống thường gặp phải các vấn đề chính sau: (1) Khả năng phát hiện hạn chế đối với các tấn công mới hoặc các biến thể của tấn công đã biết do dựa nhiều vào chữ ký; (2) Yêu cầu cập nhật liên tục cơ sở dữ liệu chữ ký để đối phó với các mối đe dọa mới; (3) Dễ bị bỏ qua các cuộc tấn công tinh vi sử dụng kỹ thuật che giấu hoặc ngụy trang. Điều này dẫn đến nhu cầu cấp thiết về các phương pháp phát hiện xâm nhập tiên tiến hơn.

2.2. Sự trỗi dậy của các cuộc tấn công sử dụng Adversarial Machine Learning

Adversarial Machine Learning là một lĩnh vực nghiên cứu mới nổi, tập trung vào việc tạo ra các mẫu dữ liệu được thiết kế đặc biệt để đánh lừa các mô hình Machine Learning. Trong bối cảnh Hệ thống Phát hiện Xâm nhập (IDS), các kẻ tấn công có thể sử dụng Adversarial Machine Learning để tạo ra các cuộc tấn công tinh vi có thể vượt qua các hệ thống phát hiện dựa trên Machine Learning. Điều này đặt ra một thách thức lớn cho các nhà nghiên cứu và phát triển IDS, đòi hỏi họ phải phát triển các kỹ thuật phòng thủ chống lại các cuộc tấn công Adversarial Machine Learning.

III. Phương pháp Học giám sát cho Hệ thống Phát hiện Xâm nhập IDS

Học giám sát (Supervised Learning) là một hướng tiếp cận phổ biến trong việc xây dựng Hệ thống Phát hiện Xâm nhập (IDS). Phương pháp này sử dụng một tập dữ liệu huấn luyện đã được gán nhãn, trong đó mỗi mẫu dữ liệu được đánh dấu là bình thường hoặc tấn công. Các thuật toán Machine Learning được huấn luyện trên tập dữ liệu này để học cách phân biệt giữa các mẫu bình thường và tấn công. Các thuật toán học giám sát phổ biến được sử dụng trong IDS bao gồm SVM, Random Forest, và Neural Networks. Ưu điểm của học giám sát là khả năng đạt được độ chính xác cao, nhưng nhược điểm là yêu cầu một tập dữ liệu huấn luyện lớn và chất lượng.

3.1. Ứng dụng thuật toán SVM trong phát hiện xâm nhập

SVM (Support Vector Machine) là một thuật toán học giám sát mạnh mẽ, được sử dụng rộng rãi trong nhiều bài toán phân loại, bao gồm cả phát hiện xâm nhập. SVM tìm kiếm một siêu phẳng tối ưu để phân chia dữ liệu thành các lớp khác nhau, đồng thời tối đa hóa khoảng cách giữa các lớp. Trong Hệ thống Phát hiện Xâm nhập (IDS), SVM có thể được sử dụng để phân loại lưu lượng mạng thành bình thường hoặc tấn công, dựa trên các đặc trưng được trích xuất từ lưu lượng mạng.

3.2. Sử dụng Random Forest để xây dựng mô hình phát hiện xâm nhập

Random Forest là một thuật toán học giám sát dựa trên cây quyết định, có khả năng xử lý dữ liệu phức tạp và giảm thiểu nguy cơ overfitting. Random Forest xây dựng một tập hợp các cây quyết định, mỗi cây được huấn luyện trên một tập con ngẫu nhiên của dữ liệu huấn luyện. Trong Hệ thống Phát hiện Xâm nhập (IDS), Random Forest có thể được sử dụng để phân loại lưu lượng mạng dựa trên các đặc trưng được trích xuất, đồng thời cung cấp thông tin về tầm quan trọng của các đặc trưng.

IV. Nghiên cứu Học không giám sát cho Hệ thống Phát hiện Xâm nhập

Học không giám sát (Unsupervised Learning) là một phương pháp tiếp cận khác trong việc xây dựng Hệ thống Phát hiện Xâm nhập (IDS). Phương pháp này không yêu cầu dữ liệu huấn luyện được gán nhãn, mà thay vào đó, tìm kiếm các cấu trúc và mẫu ẩn trong dữ liệu. Các thuật toán Machine Learning được sử dụng để phân cụm dữ liệu, tìm kiếm các điểm dị thường, hoặc xây dựng các mô hình thống kê về hành vi bình thường của hệ thống. Các thuật toán học không giám sát phổ biến được sử dụng trong IDS bao gồm K-Means, Clustering, và Anomaly Detection. Ưu điểm của học không giám sát là không yêu cầu dữ liệu huấn luyện được gán nhãn, nhưng nhược điểm là độ chính xác có thể thấp hơn so với học giám sát.

4.1. Phát hiện hành vi bất thường bằng thuật toán K Means Clustering

K-Means Clustering là một thuật toán học không giám sát phổ biến, được sử dụng để phân chia dữ liệu thành các cụm dựa trên khoảng cách giữa các điểm dữ liệu. Trong Hệ thống Phát hiện Xâm nhập (IDS), K-Means Clustering có thể được sử dụng để phân loại lưu lượng mạng thành các cụm khác nhau, dựa trên các đặc trưng được trích xuất. Các điểm dữ liệu nằm ngoài các cụm này có thể được xem là bất thường và được đánh dấu là có khả năng là tấn công.

4.2. Ứng dụng Anomaly Detection để phát hiện các cuộc tấn công mới

Anomaly Detection là một tập hợp các kỹ thuật học không giám sát được sử dụng để tìm kiếm các điểm dị thường trong dữ liệu. Các điểm dị thường là các điểm dữ liệu có hành vi khác biệt đáng kể so với phần lớn dữ liệu còn lại. Trong Hệ thống Phát hiện Xâm nhập (IDS), Anomaly Detection có thể được sử dụng để phát hiện các cuộc tấn công mới hoặc các biến thể của các cuộc tấn công đã biết, mà các hệ thống phát hiện dựa trên chữ ký có thể bỏ qua.

V. Đánh giá và so sánh hiệu suất các thuật toán Machine Learning cho IDS

Việc đánh giá hiệu suất của các thuật toán Machine Learning trong Hệ thống Phát hiện Xâm nhập (IDS) là rất quan trọng để đảm bảo tính hiệu quả và độ tin cậy của hệ thống. Các chỉ số đánh giá phổ biến bao gồm độ chính xác (Accuracy), độ tin cậy (Precision), độ nhạy (Recall), và điểm F1 (F1-Score). Ngoài ra, việc sử dụng các bộ dữ liệu chuẩn như KDD Cup 99, NSL-KDD, và CICIDS2017 cho phép so sánh hiệu suất của các thuật toán khác nhau một cách khách quan. Kết quả đánh giá sẽ giúp lựa chọn các thuật toán phù hợp nhất cho từng loại tấn công và môi trường mạng cụ thể.

5.1. Các chỉ số đánh giá hiệu suất IDS Accuracy Precision Recall F1 Score

Để đánh giá hiệu quả của Hệ thống Phát hiện Xâm nhập (IDS), cần sử dụng các chỉ số đánh giá phù hợp. Accuracy đo lường tỷ lệ các dự đoán đúng trên tổng số dự đoán. Precision đo lường tỷ lệ các dự đoán tấn công đúng trên tổng số các dự đoán là tấn công. Recall đo lường tỷ lệ các tấn công được phát hiện đúng trên tổng số các tấn công thực tế. F1-Score là trung bình điều hòa của Precision và Recall, cung cấp một đánh giá tổng quan về hiệu suất của hệ thống.

5.2. Sử dụng bộ dữ liệu chuẩn KDD Cup 99 NSL KDD CICIDS2017 để so sánh

Để đảm bảo tính khách quan và có thể so sánh được, cần sử dụng các bộ dữ liệu chuẩn để đánh giá hiệu suất của Hệ thống Phát hiện Xâm nhập (IDS). KDD Cup 99 là một trong những bộ dữ liệu đầu tiên được sử dụng rộng rãi, nhưng có nhiều vấn đề về tính đại diện. NSL-KDD là một phiên bản cải tiến của KDD Cup 99, giải quyết một số vấn đề về tính đại diện. CICIDS2017 là một bộ dữ liệu mới hơn, cung cấp một tập hợp các cuộc tấn công đa dạng và thực tế hơn.

VI. Tương lai của Hệ thống Phát hiện Xâm nhập Deep Learning và XAI

Trong tương lai, Deep Learning và Explainable AI (XAI) sẽ đóng vai trò ngày càng quan trọng trong Hệ thống Phát hiện Xâm nhập (IDS). Deep Learning có khả năng học hỏi các đặc trưng phức tạp từ dữ liệu, cho phép phát hiện các cuộc tấn công tinh vi mà các thuật toán truyền thống có thể bỏ qua. XAI cung cấp khả năng giải thích các quyết định của mô hình Machine Learning, giúp người dùng hiểu rõ hơn về lý do tại sao một mẫu dữ liệu được đánh dấu là tấn công. Điều này giúp tăng cường sự tin tưởng vào hệ thống và cho phép người dùng đưa ra các quyết định sáng suốt hơn về các biện pháp phòng thủ.

6.1. Ứng dụng Deep Learning để phát hiện các cuộc tấn công phức tạp

Deep Learning là một tập hợp các thuật toán Machine Learning dựa trên mạng nơ-ron sâu, có khả năng học hỏi các biểu diễn phức tạp của dữ liệu. Trong Hệ thống Phát hiện Xâm nhập (IDS), Deep Learning có thể được sử dụng để phát hiện các cuộc tấn công tinh vi sử dụng các kỹ thuật che giấu hoặc ngụy trang, mà các thuật toán truyền thống có thể bỏ qua.

6.2. Tầm quan trọng của Explainable AI XAI trong Hệ thống Phát hiện Xâm nhập

Explainable AI (XAI) là một lĩnh vực nghiên cứu mới nổi, tập trung vào việc làm cho các mô hình Machine Learning dễ hiểu và dễ giải thích hơn. Trong Hệ thống Phát hiện Xâm nhập (IDS), XAI có thể được sử dụng để cung cấp các giải thích về lý do tại sao một mẫu dữ liệu được đánh dấu là tấn công, giúp người dùng hiểu rõ hơn về các mối đe dọa và đưa ra các quyết định sáng suốt hơn về các biện pháp phòng thủ.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh mạng Internet phát triển nhanh chóng và trở thành hạ tầng quan trọng chi phối nhiều lĩnh vực như kinh tế, giáo dục, thương mại điện tử, an ninh mạng ngày càng trở thành vấn đề cấp thiết. Theo báo cáo của các nhà mạng lớn, năm 2020 đã ghi nhận hơn 32.000 cuộc tấn công mạng trên 81 quốc gia, gây ra hàng nghìn vụ đánh cắp và vi phạm dữ liệu, thiệt hại kinh tế lên đến hàng tỷ đô la. Các cuộc tấn công ngày càng đa dạng về hình thức và tinh vi hơn, đòi hỏi các hệ thống phát hiện xâm nhập (Intrusion Detection Systems - IDS) phải được nâng cao hiệu quả và khả năng nhận diện các cuộc tấn công mới.

Mục tiêu nghiên cứu của luận văn là đánh giá và so sánh hiệu quả của các thuật toán học máy trong việc phát hiện xâm nhập mạng dựa trên tập dữ liệu thực tế CICIDS 2017, đồng thời đề xuất phương pháp lựa chọn đặc trưng tối ưu nhằm nâng cao hiệu suất phát hiện. Nghiên cứu tập trung vào 12 loại tấn công phổ biến, bao gồm DoS, DDoS, Botnet, PortScan, FTP-Patator, SSH-Patator, Web Attack, Infiltration, Heartbleed, và các biến thể DoS khác. Phạm vi nghiên cứu bao gồm dữ liệu thu thập trong 5 ngày từ 03/07/2017 đến 07/07/2017, với hơn 3 triệu mẫu luồng dữ liệu mạng.

Ý nghĩa của nghiên cứu thể hiện qua việc cung cấp cái nhìn tổng quan về ứng dụng các thuật toán học máy trong phát hiện xâm nhập, đồng thời góp phần nâng cao độ chính xác và giảm thiểu chi phí tính toán cho các hệ thống IDS hiện đại, đáp ứng yêu cầu bảo mật ngày càng cao trong môi trường mạng phức tạp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình học máy phổ biến trong lĩnh vực phát hiện xâm nhập mạng, bao gồm:

• Lý thuyết phát hiện bất thường (Anomaly Detection): Phân loại các mẫu dữ liệu thành bình thường và bất thường dựa trên các tiêu chí như điểm bất thường, ngữ cảnh bất thường và bất thường chung. Đây là cơ sở để phát hiện các cuộc tấn công mới chưa từng xuất hiện.

• Các thuật toán học máy giám sát: Bao gồm Random Forest, AdaBoost, K-Nearest Neighbors (KNN), Naive Bayes, Quadratic Discriminant Analysis (QDA), Multilayer Perceptron (MLP), và ID3. Các thuật toán này được lựa chọn dựa trên khả năng phân loại và xử lý dữ liệu lớn, phức tạp.

• Mô hình cây quyết định và rừng ngẫu nhiên (Random Forest): Sử dụng các cây quyết định nhị phân với phép đo tạp chất Gini hoặc entropy để phân loại dữ liệu, đồng thời giảm phương sai bằng cách lấy trung bình dự đoán của nhiều cây.

• Thuật toán AdaBoost: Tăng trọng số cho các mẫu bị phân loại sai trong quá trình huấn luyện nhằm cải thiện độ chính xác của mô hình.

• Mạng Bayes và Naive Bayes: Mô hình xác suất có điều kiện dựa trên định lý Bayes, giả định các đặc trưng độc lập để tính toán xác suất hậu nghiệm.

• Phân tích phân biệt tuyến tính và bậc hai (LDA, QDA): Sử dụng phân phối Gaussian để mô hình hóa các lớp và xác định ranh giới phân loại.

• Mạng nơ-ron nhân tạo đa lớp (MLP): Mạng perceptron nhiều lớp với các hàm kích hoạt phi tuyến để phân loại dữ liệu phức tạp.

• Thuật toán ID3: Thuật toán cây quyết định dựa trên hàm entropy để lựa chọn thuộc tính phân chia dữ liệu tốt nhất.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng tập dữ liệu CICIDS 2017, bao gồm hơn 3 triệu mẫu luồng dữ liệu mạng với 85 đặc trưng, ghi nhận các loại tấn công và luồng dữ liệu bình thường trong 5 ngày.

• Tiền xử lý dữ liệu: Loại bỏ các mẫu dữ liệu thiếu hoặc không hợp lệ (khoảng 288.602 mẫu), xử lý các giá trị đặc biệt như "Infinity" và "NaN", chuyển đổi dữ liệu dạng chuỗi sang dạng số bằng LabelEncoder.

• Lựa chọn đặc trưng: Áp dụng thuật toán Random Forest Regressor để đánh giá tầm quan trọng của từng đặc trưng, lựa chọn các đặc trưng có trọng số cao nhất cho từng loại tấn công và cho toàn bộ tập dữ liệu.

• Phân chia dữ liệu: Tập dữ liệu được chia ngẫu nhiên theo tỷ lệ 70% huấn luyện và 30% kiểm tra, thực hiện lặp lại 10 lần để đảm bảo tính ổn định của kết quả.

• Phương pháp phân tích: Triển khai và so sánh hiệu quả của 7 thuật toán học máy (Random Forest, AdaBoost, KNN, Naive Bayes, QDA, MLP, ID3) trên các tập dữ liệu đã lựa chọn đặc trưng, đánh giá dựa trên các chỉ số Accuracy, Precision, Recall và F1-score.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 9/2019 đến tháng 10/2020, bao gồm các giai đoạn thu thập, tiền xử lý dữ liệu, triển khai thuật toán, đánh giá và phân tích kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả lựa chọn đặc trưng:

   • Lựa chọn đặc trưng theo từng loại tấn công giúp giảm số lượng đặc trưng từ 85 xuống còn 48, sau khi loại bỏ trùng lặp còn 18 đặc trưng chính.
   • Đặc trưng quan trọng nhất bao gồm các thông số như Bwd Packet Length Std, Flow Bytes/s, Total Length of Fwd Packets, Flow IAT Min, chiếm hơn 90% tổng trọng số tầm quan trọng.

2. Hiệu suất các thuật toán học máy trên từng loại tấn công:

   • Thuật toán ID3 đạt F1-score cao nhất với 7/12 loại tấn công có kết quả trên 0.9, thời gian xử lý nhanh hơn so với AdaBoost và Random Forest.
   • KNN có hiệu suất cao nhất (F1-score ~0.98) khi áp dụng trên tập 18 đặc trưng, nhưng thời gian xử lý lâu hơn đáng kể.
   • Naive Bayes và QDA có hiệu suất thấp nhất, đặc biệt QDA chỉ đạt khoảng 0.3-0.5 F1-score trên nhiều loại tấn công.

3. Hiệu quả các thuật toán trên tập dữ liệu tổng hợp:

   • Khi gộp tất cả các loại tấn công thành một nhãn duy nhất "tấn công", các thuật toán như Random Forest, ID3, AdaBoost đạt F1-score trên 0.94, trong khi Naive Bayes và MLP đạt khoảng 0.85-0.93.
   • Việc giảm số lượng đặc trưng từ 85 xuống còn 7 đặc trưng quan trọng giúp giảm đáng kể thời gian xử lý mà vẫn giữ được hiệu suất cao.

4. So sánh với nghiên cứu trước:

   • Kết quả của luận văn tương đương hoặc vượt trội hơn so với nghiên cứu của Sharafaldin et al. (2018) trên tập dữ liệu CICIDS 2017, đặc biệt với các thuật toán Random Forest, ID3 và AdaBoost.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc lựa chọn đặc trưng dựa trên trọng số quan trọng của Random Forest giúp giảm đáng kể chi phí tính toán mà không làm giảm hiệu suất phát hiện xâm nhập. Thuật toán ID3 thể hiện sự cân bằng tốt giữa độ chính xác và thời gian xử lý, phù hợp cho các hệ thống phát hiện xâm nhập thời gian thực. KNN tuy có hiệu suất cao nhưng chi phí tính toán lớn, hạn chế ứng dụng trong môi trường mạng lớn.

Hiệu suất thấp của Naive Bayes và QDA có thể do giả định độc lập giữa các đặc trưng hoặc phân phối Gaussian không phù hợp với dữ liệu thực tế phức tạp. MLP cho thấy hiệu quả phụ thuộc vào số lượng mẫu dữ liệu, với các loại tấn công có ít mẫu như Heartbleed và Infiltration thì hiệu suất giảm đáng kể.

Việc gộp tất cả các loại tấn công thành một nhãn duy nhất giúp đơn giản hóa mô hình nhưng có thể làm mất thông tin chi tiết về từng loại tấn công, do đó cần cân nhắc khi áp dụng trong thực tế. Các kết quả có thể được trình bày qua biểu đồ cột so sánh F1-score giữa các thuật toán trên từng loại tấn công và biểu đồ đường thể hiện thời gian xử lý tương ứng.

Đề xuất và khuyến nghị

1. Xây dựng hệ thống phát hiện xâm nhập phân tầng:

   • Áp dụng mô hình phân tầng với lớp đầu tiên sử dụng các thuật toán nhẹ như Naive Bayes, QDA để phát hiện nhanh các bất thường.
   • Lớp tiếp theo sử dụng các thuật toán có độ chính xác cao hơn như ID3, AdaBoost để phân loại chi tiết hơn.
   • Thời gian thực hiện: 6-12 tháng, chủ thể: các tổ chức an ninh mạng và doanh nghiệp CNTT.

2. Tối ưu lựa chọn đặc trưng theo từng loại tấn công:

   • Phát triển công cụ tự động lựa chọn đặc trưng dựa trên trọng số quan trọng để giảm chi phí tính toán và nâng cao hiệu quả phát hiện.
   • Thời gian thực hiện: 3-6 tháng, chủ thể: nhóm nghiên cứu và phát triển phần mềm an ninh mạng.

3. Mở rộng tập dữ liệu huấn luyện:

   • Thu thập và bổ sung thêm các mẫu dữ liệu cho các loại tấn công ít mẫu như Heartbleed, Infiltration để cải thiện hiệu suất các thuật toán như MLP.
   • Thời gian thực hiện: liên tục, chủ thể: các trung tâm nghiên cứu và tổ chức bảo mật.

4. Phát triển mô hình học máy kết hợp đa thuật toán:

   • Nghiên cứu và triển khai mô hình ensemble kết hợp các thuật toán học máy để tận dụng ưu điểm từng phương pháp, nâng cao độ chính xác và khả năng phát hiện.
   • Thời gian thực hiện: 12 tháng, chủ thể: các viện nghiên cứu và doanh nghiệp công nghệ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành An ninh mạng, Khoa học máy tính:

   • Lợi ích: Hiểu rõ các thuật toán học máy ứng dụng trong phát hiện xâm nhập, phương pháp lựa chọn đặc trưng hiệu quả.
   • Use case: Phát triển đề tài nghiên cứu, luận văn thạc sĩ, tiến sĩ về an ninh mạng.

2. Chuyên gia phát triển hệ thống IDS/IPS:

   • Lợi ích: Áp dụng các thuật toán học máy tối ưu vào hệ thống phát hiện xâm nhập thực tế, nâng cao hiệu suất và giảm chi phí vận hành.
   • Use case: Thiết kế, cải tiến hệ thống IDS/IPS cho doanh nghiệp, tổ chức.

3. Doanh nghiệp cung cấp dịch vụ an ninh mạng:

   • Lợi ích: Nắm bắt xu hướng công nghệ mới, lựa chọn giải pháp phát hiện xâm nhập phù hợp với môi trường mạng đa dạng.
   • Use case: Triển khai hệ thống giám sát an ninh mạng, bảo vệ hạ tầng CNTT.

4. Cơ quan quản lý và hoạch định chính sách an ninh mạng:

   • Lợi ích: Hiểu rõ các phương pháp phát hiện xâm nhập hiện đại, đánh giá hiệu quả các giải pháp công nghệ.
   • Use case: Xây dựng tiêu chuẩn, quy định về an ninh mạng, hỗ trợ các dự án phát triển hạ tầng an toàn thông tin.

Câu hỏi thường gặp

1. Tại sao cần lựa chọn đặc trưng trong phát hiện xâm nhập?
   Lựa chọn đặc trưng giúp giảm số lượng biến đầu vào, giảm chi phí tính toán và tránh hiện tượng quá khớp, từ đó nâng cao hiệu suất và độ chính xác của mô hình học máy. Ví dụ, trong nghiên cứu này, số đặc trưng giảm từ 85 xuống còn 18 vẫn giữ được hiệu quả cao.

2. Thuật toán nào phù hợp nhất cho phát hiện xâm nhập mạng?
   Thuật toán ID3 và Random Forest cho kết quả cân bằng giữa độ chính xác và thời gian xử lý, phù hợp cho hệ thống phát hiện xâm nhập thời gian thực. KNN có hiệu suất cao nhưng chi phí tính toán lớn, còn Naive Bayes và QDA có hiệu suất thấp hơn.

3. Tập dữ liệu CICIDS 2017 có ưu điểm gì so với các tập dữ liệu khác?
   CICIDS 2017 là tập dữ liệu thực tế, đa dạng các loại tấn công và giao thức mạng, được đánh nhãn chi tiết, phù hợp cho nghiên cứu và phát triển hệ thống IDS hiện đại. Tuy nhiên, kích thước lớn và chưa có tập huấn luyện riêng là những thách thức khi sử dụng.

4. Làm thế nào để xử lý dữ liệu thiếu hoặc không hợp lệ trong tập dữ liệu mạng?
   Cần loại bỏ hoặc sửa chữa các mẫu dữ liệu thiếu, giá trị vô hạn hoặc không xác định (NaN, Infinity) trước khi huấn luyện mô hình. Ví dụ, trong nghiên cứu này, khoảng 288.602 mẫu bị loại bỏ và các giá trị đặc biệt được thay thế bằng số thích hợp.

5. Có thể áp dụng mô hình học máy này trong môi trường mạng thực tế không?
   Có thể, nhưng cần xây dựng hệ thống phân tầng với các thuật toán phù hợp từng lớp để cân bằng giữa hiệu suất và chi phí tính toán. Ngoài ra, cần cập nhật liên tục dữ liệu và mô hình để phát hiện các cuộc tấn công mới.

Kết luận

• Luận văn đã nghiên cứu và đánh giá hiệu quả của 7 thuật toán học máy trong phát hiện xâm nhập mạng dựa trên tập dữ liệu thực tế CICIDS 2017 với hơn 3 triệu mẫu.
• Lựa chọn đặc trưng dựa trên Random Forest giúp giảm đáng kể số lượng biến đầu vào mà vẫn giữ được hiệu suất cao, tối ưu chi phí tính toán.
• Thuật toán ID3 và Random Forest thể hiện hiệu quả cân bằng giữa độ chính xác và thời gian xử lý, phù hợp cho ứng dụng thực tế.
• Kết quả nghiên cứu vượt trội hoặc tương đương với các nghiên cứu trước đây trên cùng tập dữ liệu, góp phần nâng cao khả năng phát hiện xâm nhập mạng.
• Đề xuất xây dựng hệ thống phát hiện xâm nhập phân tầng, mở rộng tập dữ liệu huấn luyện và phát triển mô hình học máy kết hợp đa thuật toán trong các nghiên cứu tiếp theo.

Áp dụng mô hình phân tầng vào hệ thống IDS thực tế, mở rộng thu thập dữ liệu và nghiên cứu các thuật toán học sâu để nâng cao khả năng phát hiện các cuộc tấn công mới.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 hoc, luan luan van cao TỔNGvan QUAN VỀ LĨNH tong hopluan van totVỰC NGHIÊN nghiep, luan van CỨU thac si,VÀ luan van cao hoc, l CÁC CÔNG TRÌNH LIÊN QUAN ep, luan van thac si,Trong cuộccao luan van sống hiện hoc, nay, luan vanmạng tong Internet hopluanđang phát van tot triển vượt nghiep, bậc và luan van mỗi thac si, ngày có cao hoc, l luan van ep, luan van thac si,hàng luantriệu van người giao cao hoc, tiếpvan luan vớitong nhauhopluan qua môivan trường internetluan tot nghiep, [1] [2]. vanInternet thac si, chi luanphối van cao hoc, l đến nhiều khía cạnh của cuộc sống như kinh tế, giáo dục, khoa học xã hội … đặc biệt ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l là tác động mạnh mẽ đến thương mại điện tử. Cùng với sự phát triển này, số lượng ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l các cuộc tấn công được thực hiện trên Internet xu hướng ngày càng tăng và mức độ ep, luan van thac si,ngày luancàng van nguy hiểmluan cao hoc, [3].van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l Hình 1.1 Thể hiện danh mục tấn công của thế giới theo từng loại tấn công. Các loại tấn công ngày càng đa dạng về hình thức [4] và độ nguy hiểm ngày càng lớn theo thống kê của nhà mạng Verizon [5] [6]( theo cập nhật của verizon năm 2020 đến nay số cuộc tấn công ảnh hưởng đến 81 quốc gia, 32.002 cuộc tấn công xảy ra với 3.950 cuộc đánh cắp và vi phạm dữ liệu).

Thiệt hại của các cuộc tấn công không chỉ ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ảnh hưởng lớn đến hoạt động hệ thống còn ảnh hưởng đến chi phí lớn về tiền bạc [7] ep, luan van thac si,vàluan ảnhvan caođến hưởng hoc,hệluan vantrong thống tongnhiều hopluan lĩnhvan vựctot vànghiep, luan nhau. ngành khác van thac Điểnsi,hình luannhư van cao hoc, l ep, luan van thac si,cuộc luantấn công van caoransomware Gandcrab hoc, luan van năm 2019 tong hopluan vangây ảnh hưởng tot nghiep, đến luan hàng van loạt thac si,hệ thống luan van cao hoc, l an van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop 4 ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si,đến nhiều luan van công ty vàluan cao hoc, gâyvan ảnhtong hưởng khoảnvan hopluan 2 tỷtotđônghiep, [8].2 vanthểthac hiện si,mục luantiêu van cao hoc, l tấn công trong giai đoạn 2018 – 2019 [6]. ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l Hình 1.2 Thể hiện sự thay đổi trong mục tiêu tấn công trong giai đoạn 2018-2019. Để chống lại các cuộc tấn công này, chúng ta có thể phát hiện các cuộc tấn công với ep, luan van thac si,các biện luan vanpháp cao đảm hoc, bảo luanan toàn van thông tong tin hoặc hopluan van nhận dạng dựa tot nghiep, luantrên vanbất thacthường hoặc si, luan van cao hoc, l nhận dạng thông qua chữ ký.

Một trong những phương pháp phát hiện tấn công nhằm ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l đảm bảo an toàn dữ liệu thông qua chữ ký [9]. Phương pháp phát hiện bất thường ep, luan van thac si,thông luan qua van chữ cao ký hoc, là luan van tong một trong hopluan những phươngvan tot nghiep, pháp hiệu quảluan vancơ nhưng thac si, luan sở dữ van cao hoc, l liệu cần ep, luan van thac si,được luancập vannhật cao liên hoc,tục đểvan luan pháttong hiệnhopluan các cuộcvan tấntot công kịp thời. nghiep, luanTuy van nhiên, thac si,khi cơ van luan sở cao hoc, l dữ liệu vẫn được cập nhật thường xuyên nhưng lỗ hổng zero-day [10] vẫn ảnh hưởng nghiêm trọng đến hệ thống. Ngoài phương pháp dựa trên chữ ký, quá trình phân tích, kiểm tra và kiểm soát luồng dữ liệu mạng nhằm phát hiện hành vi bất thường cũng được đánh giá cao.

Phương pháp phát hiện hành vi bất thường có khả năng nhận dạng và phát hiện một số cuộc tấn công mới diễn ra chưa từng xuất hiện trước đây. Do đó, nó phù hợp trong việc phát hiện các lỗ hổng mới của những cuộc tấn công zero-day ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l [11]. ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l Trong quá trình kiểm soát luồng dữ liệu, để nhận biết được luồng tấn công, chúng ta ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l cần có mẫu dữ liệu tấn công hay luồng dữ liệu bình thường. Mẫu dữ liệu tấn công là an van tong hop luan van tot nghiep, luan van thac si, luan van cao hoc, luan van tong hop 5 ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l ep, luan van thac si,mẫu luandữvan liệucao có những đặcvan hoc, luan tínhtong đượchopluan xác địnhvan khác totsonghiep, với mẫu dữ van luan liệu của thacluồng thông si, luan van cao hoc, l thường [12].

Do đó, các mẫu phải được xác định, kiểm tra thông qua một quy tắc cụ thể các giá trị khi kiểm tra so với mẫu dữ liệu phải hợp lệ. Quá trình kiểm tra sự bất ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l thường có thể dựa vào ba tiêu chí [12]: một điểm bất thường, ngữ cảnh bất thường, ep, luan van thac si,bất thường luan chung. van cao hoc,Điểm bất thường luan van xảy ravan tong hopluan khi tot mộtnghiep, mẫu dữ liệuvan luan khác hoàn thac toàn van si, luan so cao hoc, l ep, luan van thac si,với bộvan luan dữ liệu với những cao hoc, đặctong luan van tínhhopluan chung của vanbộ totdữ liệu đó. nghiep, Với luan một van ngữ thac si,cảnh luan bất van cao hoc, l thường thì hành vi không theo khuôn mẫu theo các điều kiện nhất định hoặc xảy ra ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l trong các điều kiện nhất định.

Nếu tất cả dữ liệu bao gồm các dữ liệu tương tự có ep, luan van thac si, luan van cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l thuộc tính bất thường so với dữ liệu bình thường thì điều này được gọi là bất thường ep, luan van thac si,chung [12].cao hoc, luan van tong hopluan van tot nghiep, luan van thac si, luan van cao hoc, l luan van ep, luan van thac si,Trong hệ thống, luan van internet cao hoc, luôntong luan van đượchopluan tăng cường tínhnghiep, van tot bảo mật bằng luan vanmã hoási,SSL/TLS thac luan van cao hoc, l nhằm mã hoá dữ liệu trên đường truyền [13]. Trong quá trình truyền dữ liệu, nếu dữ liệu được mã hoá nên việc quan sát dữ liệu thông qua chữ ký sẽ không hiệu quả. Quá trình kiểm soát dữ liệu bất thường phụ thuộc nhiều vào kích thước gói tin trong quá trình truyền, số lượng gói tin truyền trong một đơn vị thời gian cũng như số lượng kết ep, luan van thac si,nối luan van trên cao đơn vịhoc, thời luan gian.van Dotong hopluanpháp đó, phương van tot nghiep, phát luan hiện bất van thac thường si, điểm là ưu luan van để cao hoc, l ep, luan van thac si,phát luanhiện vanmột caocách hoc,hiệu luanquả vanvà ngăn tong chặn được hopluan cácnghiep, van tot cuộc tấnluan công mạng. van thac si, luan van cao hoc, l ep, luan van thac si,Trong luậncao luan van vănhoc, này,luan tôi sẽ thực van hiện tong thực thi hopluan vancác totphương nghiep,pháp luan học van máy thac nhằm đánh si, luan van cao hoc, l ep, luan van thac si,giá được luan vanquá caotrình hoc,nhận luandiện van được cuộc tấn van tong hopluan công.

totSau khi thực nghiep, luanhiện van quá thactrình nghiên si, luan van cao hoc, l cứu, luận văn này sẽ xây dựng và đóng góp một phần bằng cách phát hiện mạng bất thường nhanh chóng và hiệu quả hơn.