Luận văn Thạc sĩ: Phát hiện Xâm nhập dùng Khai phá Dữ liệu - Trần Huy Phong

Nghiên cứu luận văn thạc sĩ về hệ thống phát hiện xâm nhập (IDS) dựa trên khai phá dữ liệu, phương pháp phân lớp để bảo mật hệ thống mạng hiệu quả.

• Tác giả: Trần Huy Phong
• Người hướng dẫn: TS. Trần Đức Sự
• Trường học: Đại học Thái Nguyên - Trường Đại học Công nghệ Thông tin & Truyền thông
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Tìm hiểu, Nghiên cứu Hệ thống Phát hiện Xâm nhập Dựa trên Khai phá Dữ liệu
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• MỞ ĐẦU
• 1. Lý do chọn đề tài:
• 2. Mục tiêu nghiên cứu:
• 3. Đối tƣợng và phạm vi nghiên cứu:
• 4. Ý nghĩa thực tiễn của luận văn:
• 5. Phƣơng pháp nghiên cứu:
• 1. CHƢƠNG I: TỔNG QUAN VỀ HỆ THỐNG PHÁT HIỆN XÂM NHẬP
• 1.1. Khái niệm về hệ thống phát hiện xâm nhập
• 1.2. Chức năng và vai trò của hệ thống phát hiện xâm nhập
• 1.2.1. Chức năng nhiệm vụ của IDS
• 1.2.2. Vai trò của hệ thống phát hiện xâm nhập
• 1.3. Mô hình kiến trúc của hệ thống phát hiện xâm nhập
• 1.3.1. Các thành phần cơ bản:
• 1.3.2. Kiến trúc của hệ thống IDS:
• 1.4. Phân loại các hệ thống phát hiện xâm nhập
• 1.4.1. Hệ thống phát hiện xâm nhập máy chủ (HIDS)
• 1.4.2. Hệ thống phát hiện xâm nhập mạng (NIDS)
• 1.5. Các kỹ thuật phát hiện xâm nhập của hệ thống IDS
• 1.5.1. Phát hiện dựa vào dấu hiệu ( Signature-base detection)
• 1.5.2. Phát hiện dựa trên sự bất thƣờng (Abnormaly - base detection)
• 1.5.3. Kỹ thuật phát hiện dựa vào phân tích trạng thái giao thức
• 1.5.4. Phát hiện dựa trên mô hình
• 1.6. Hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu
• 2. CHƢƠNG II: KHAI PHÁ DỮ LIỆU
• 2.1. Khái niệm về khai phá dữ liệu
• 2.2. Các bài toán chính trong khai phá dữ liệu
• 2.2.1. Quá trình phân lớp
• 2.2.2. Hồi quy và dự báo ( Regression and Prediction)
• 2.2.3. Mô hình hoá sự phụ thuộc (dependency modeling)
• 2.2.4. Phát hiện sự biến đổi và độ lệch (change and deviation dectection)
• 2.3. Ứng dụng và phân loại khai phá dữ liệu
• 2.4. Những thách thức và khó khăn trong khai phá dữ liệu
• 2.4.1. Những thách thức trong khai phá dữ liệu
• 2.4.2. Những khó khăn trong khai phá dữ liệu
• 2.4.2.1. Các vấn đề về cơ sở dữ liệu
• 2.4.2.2. Một số vấn đề khác
• 3. CHƢƠNG III: MÔ HÌNH HỆ THỐNG PHÁT HIỆN XÂM NHẬP DỰA TRÊN KHAI PHÁ DỮ LIỆU SỬ DỤNG KỸ THUẬT PHÂN LỚP
• 3.1. Đánh giá các kỹ thuật phân lớp
• 3.1.1. Khái niệm phân lớp
• 3.1.2. Mục đích của phân lớp
• 3.1.3. Các tiêu chí để đánh giá thuật toán phân lớp
• 3.1.4. Các phƣơng pháp đánh giá độ chính xác của mô hình phân lớp
• 3.2. Phân lớp dựa trên phƣơng pháp học Naïve bayes
• 3.2.1. Bộ phân lớp Naïve bayes
• 3.3. Phân lớp dựa trên cây quyết định (Decision Tree)
• 3.3.1. Khái niệm cây quyết định
• 3.3.2. Giải thuật qui nạp cây quyết định (ID3)
• 3.3.3. Độ lợi thông tin (Information Gain) trong cây quyết định
• 3.3.4. Nội dung giải thuật học cây quyết định cơ bản ID3
• 3.3.5. Những thiếu sót của giải thuật ID3
• 3.3.6. Các vấn đề cần xem xét khi phân lớp dựa trên cây quyết định
• 3.4. Xây dựng mô hình phát hiện xâm nhập trái phép sử dụng các kỹ thuật phân lớp
• 3.4.1. Mô hình bài toán
• 3.4.1.1. Thu thập dữ liệu
• 3.4.1.2. Trích rút và lựa chọn các thuộc tính
• 3.4.1.3. Xây dựng bộ phân lớp
• 3.4.2. Tiến hành thực nghiệm
• 3.4.2.1. Phân lớp đa lớp
• 3.4.2.2. Bộ phân lớp nhị phân
• 3.4.3. Phân tích đánh giá kết quả
• DANH MỤC VIẾT TẮT
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC BIỂU ĐỒ
• 1. MỞ ĐẦU
• 1.1. Lý do chọn đề tài:

Tóm tắt

I. Tối Ưu Hệ Thống Phát Hiện Xâm Nhập Tổng Quan Về IDS và Khai Phá Dữ Liệu

Trong bối cảnh kỷ nguyên số bùng nổ, an toàn mạng trở thành mối quan tâm hàng đầu của mọi tổ chức và cá nhân. Số lượng các tấn công mạng ngày càng gia tăng về mức độ tinh vi và phức tạp, đòi hỏi các giải pháp bảo mật phải không ngừng được cải tiến. Trong đó, Hệ thống Phát hiện Xâm nhập (IDS) đóng vai trò trụ cột, cung cấp khả năng giám sát và cảnh báo kịp thời về các mối đe dọa. Tuy nhiên, các kỹ thuật IDS truyền thống dần bộc lộ hạn chế khi đối mặt với những kiểu tấn công mới. Luận văn này khám phá tiềm năng của việc kết hợp Khai phá Dữ liệu trong an ninh mạng để nâng cao hiệu quả của Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu, mở ra hướng đi mới cho công nghệ phát hiện mối đe dọa [3], [5].

1.1. Khái niệm cơ bản về Hệ thống phát hiện xâm nhập IDS

Hệ thống phát hiện xâm nhập (IDS) là một công cụ bảo mật quan trọng, được thiết kế để giám sát lưu lượng mạng hoặc hoạt động của hệ thống, phân tích các sự kiện nhằm phát hiện hành vi truy cập trái phép hoặc độc hại. Khác với tường lửa (firewall) chủ yếu ngăn chặn các cuộc tấn công, IDS tập trung vào việc cung cấp thông tin và cảnh báo về các mối đe dọa đã hoặc đang xảy ra [1]. Một IDS có thể là phần cứng, phần mềm, hoặc sự kết hợp của cả hai, tự động theo dõi và phân tích để đưa ra cảnh báo cho nhà quản trị khi phát hiện dấu hiệu bất thường liên quan đến an ninh. Công cụ này hoạt động như một lớp bảo vệ bổ sung, có khả năng phát hiện các mã độc hại đã vượt qua được tường lửa, giúp tăng cường khả năng phòng thủ tổng thể của một hệ thống mạng. Các chức năng chính của IDS bao gồm giám sát lưu lượng, cảnh báo về tình trạng mạng và, ở mức độ cao hơn, có thể thực hiện các hành động bảo vệ tự động dựa trên cấu hình sẵn.

1.2. Vai trò thiết yếu của IDS trong An toàn mạng

Vai trò của Hệ thống phát hiện xâm nhập (IDS) trong việc duy trì an toàn mạng là không thể phủ nhận. IDS giúp các tổ chức bảo vệ hệ thống của mình trước các mối đe dọa ngày càng phức tạp, từ đó đảm bảo bảo mật thông tin. Chức năng giám sát liên tục cho phép IDS phát hiện sớm các dấu hiệu tấn công, bao gồm cả những hành vi bất thường hoặc các loại tấn công mạng như DDoS, brute force hay malware, mà các hệ thống phòng thủ khác có thể bỏ sót. Ngoài ra, IDS còn cung cấp cái nhìn sâu sắc về những gì đang diễn ra trên mạng, hỗ trợ nhà quản trị hiểu rõ hơn về tình hình an ninh, từ đó đưa ra các quyết định sáng suốt. Khả năng cảnh báo tức thì cùng với tùy chọn tích hợp với Hệ thống ngăn chặn xâm nhập (IPS) cho phép phản ứng nhanh chóng, giảm thiểu thiệt hại và tăng cường khả năng chống chịu của hệ thống trước các cuộc tấn công. Vai trò này càng trở nên quan trọng khi các hệ thống mạng ngày càng mở rộng và phức tạp, đối mặt với vô số mối đe dọa tiềm ẩn.

1.3. Khai phá dữ liệu Nền tảng cải tiến Phát hiện Xâm nhập

Khai phá dữ liệu đã nổi lên như một phương pháp tiếp cận mạnh mẽ để cải thiện đáng kể hiệu quả của Hệ thống phát hiện xâm nhập (IDS). Phương pháp này định nghĩa việc phát hiện xâm nhập như một tiến trình phân tích dữ liệu, nơi các thuật toán và kỹ thuật được sử dụng để khám phá các mẫu, mối quan hệ và sự bất thường trong tập dữ liệu lớn [12]. Trong an ninh mạng, Khai phá dữ liệu trong an ninh mạng giúp trích xuất tri thức từ các bản ghi truy cập, lưu lượng mạng để xây dựng các mô hình dự đoán xâm nhập hiệu quả. Bằng cách áp dụng các thuật toán học máy, IDS có thể tự động học hỏi từ dữ liệu lịch sử, nhận diện các hành vi độc hại mới mà không cần định nghĩa dấu hiệu cụ thể trước. Sự kết hợp giữa IDS và khai phá dữ liệu hứa hẹn một hệ thống phòng thủ linh hoạt hơn, có khả năng thích nghi và phản ứng nhanh chóng với các mối đe dọa mới nổi, giảm thiểu tỷ lệ cảnh báo sai và tăng cường độ chính xác trong việc phát hiện tấn công mạng bằng AI.

II. Thách Thức Khi Phát Hiện Xâm Nhập IDS Truyền Thống và Lộ Trình Cải Tiến

Mặc dù Hệ thống Phát hiện Xâm nhập (IDS) đã chứng minh vai trò không thể thiếu trong an toàn mạng, các phương pháp truyền thống vẫn đối mặt với những hạn chế cố hữu. Sự phát triển không ngừng của các kỹ thuật tấn công mạng đòi hỏi IDS phải liên tục thích nghi và đổi mới. Vấn đề cảnh báo giả (false positive) và bỏ sót tấn công (false negative) vẫn là thách thức lớn, ảnh hưởng đến độ tin cậy và hiệu quả của hệ thống. Đây là lúc Khai phá dữ liệu trong an ninh mạng và IDS dựa trên học máy trở thành lộ trình cải tiến quan trọng, nhằm vượt qua những rào cản hiện tại và nâng cao khả năng phát hiện xâm nhập [1].

2.1. Hạn chế của các Kỹ thuật phát hiện xâm nhập truyền thống

Các kỹ thuật phát hiện xâm nhập truyền thống chủ yếu dựa trên hai phương pháp: phát hiện dựa trên dấu hiệu (signature-based detection) và phát hiện dựa trên sự bất thường (anomaly-based detection). Phương pháp dựa trên dấu hiệu có độ chính xác cao đối với các tấn công mạng đã biết và ít tạo ra cảnh báo nhầm. Tuy nhiên, điểm yếu cố hữu của nó là không thể phát hiện các tấn công mới, chưa có dấu hiệu định nghĩa trong cơ sở dữ liệu [1]. Điều này làm cho hệ thống trở nên lỗi thời nhanh chóng trước các cuộc tấn công "zero-day" hay những biến thể mới. Ngược lại, phương pháp phát hiện dựa trên sự bất thường có khả năng nhận diện các tấn công chưa biết bằng cách so sánh hành vi hiện tại với một hồ sơ hành vi bình thường. Dù vậy, phương pháp này thường có độ chính xác thấp hơn, dễ tạo ra nhiều cảnh báo giả khi các hành vi bình thường thay đổi hoặc khi hệ thống chưa đủ thời gian để học đầy đủ các mẫu hành vi hợp lệ [1]. Việc phân tích dữ liệu lưu lượng mạng phức tạp trong thời gian thực cũng là một thách thức lớn đối với cả hai phương pháp truyền thống này.

2.2. Những khó khăn khi triển khai Khai phá dữ liệu trong an ninh mạng

Dù mang lại nhiều hứa hẹn, việc triển khai Khai phá dữ liệu trong an ninh mạng để tăng cường Phát hiện Xâm nhập (IDS) cũng đối mặt với không ít khó khăn. Thách thức lớn nhất nằm ở tính chất của dữ liệu: dữ liệu lớn, dữ liệu động, không đầy đủ, và thường bị nhiễu [12]. Các bộ dữ liệu phát hiện xâm nhập (IDS dataset) thực tế thường rất lớn, đòi hỏi tài nguyên tính toán đáng kể cho quá trình tiền xử lý, trích chọn đặc trưng và huấn luyện mô hình. Vấn đề dữ liệu không cân bằng (imbalanced data), khi số lượng mẫu tấn công ít hơn rất nhiều so với mẫu bình thường, cũng là một rào cản lớn, có thể dẫn đến các mô hình bị thiên vị và kém hiệu quả trong việc phát hiện các cuộc tấn công hiếm gặp. Ngoài ra, việc lựa chọn và tối ưu hóa thuật toán khai phá dữ liệu cho IDS phù hợp với từng loại tấn công cụ thể là một quá trình phức tạp, đòi hỏi kiến thức chuyên sâu về cả khoa học dữ liệu ứng dụng trong bảo mật và an toàn mạng. Sự thay đổi liên tục của các kỹ thuật tấn công mạng cũng yêu cầu các mô hình phải được cập nhật và tái huấn luyện thường xuyên, làm tăng chi phí và công sức duy trì.

III. Phương Pháp Khai Phá Dữ Liệu Chìa Khóa Cho Phát Hiện Xâm Nhập Hiệu Quả

Để vượt qua những thách thức của IDS truyền thống, Khai phá dữ liệu cung cấp một khung công tác mạnh mẽ. Bằng cách khám phá các mẫu ẩn và mối quan hệ trong dữ liệu lưu lượng mạng, khai phá dữ liệu có thể xây dựng các mô hình dự đoán xâm nhập chính xác và linh hoạt hơn. Quá trình này không chỉ bao gồm việc áp dụng các thuật toán mà còn đòi hỏi một quy trình chuẩn hóa từ thu thập đến đánh giá, nhằm tối ưu hóa khả năng Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu. Việc tích hợp khoa học dữ liệu ứng dụng trong bảo mật là bước đi chiến lược, mở đường cho những IDS thông minh, có khả năng tự học và thích nghi [9].

3.1. Các bài toán chính của Khai phá dữ liệu ứng dụng cho IDS

Khai phá dữ liệu bao gồm một số bài toán chính có thể ứng dụng trực tiếp vào Hệ thống Phát hiện Xâm nhập (IDS). Phân lớp (Classification) là bài toán quan trọng nhất, nơi hệ thống được huấn luyện để gán nhãn cho một mẫu dữ liệu (ví dụ: 'bình thường' hoặc 'tấn công') dựa trên các đặc trưng của nó. Các thuật toán khai phá dữ liệu cho IDS như Cây quyết định trong IDS hay Naïve Bayes thường được sử dụng cho mục đích này. Phân cụm (Clustering) giúp nhóm các mẫu dữ liệu tương tự lại với nhau mà không cần nhãn định trước, rất hữu ích trong phát hiện bất thường mạng (Anomaly Detection) để nhận diện các hoạt động khác lạ. Hồi quy và dự báo có thể được dùng để dự đoán xu hướng lưu lượng mạng hoặc xác suất xảy ra tấn công. Ngoài ra, phát hiện sự biến đổi và độ lệch giúp nhận diện những thay đổi đáng kể trong hành vi mạng, cung cấp tín hiệu sớm về các mối đe dọa tiềm tàng. Việc lựa chọn bài toán và thuật toán phù hợp là yếu tố then chốt để xây dựng một IDS dựa trên học máy hiệu quả.

3.2. Quy trình và lợi ích của Khoa học dữ liệu ứng dụng trong bảo mật

Quy trình xây dựng một hệ thống Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu theo khoa học dữ liệu ứng dụng trong bảo mật bao gồm nhiều bước. Đầu tiên là thu thập dữ liệu từ các nguồn mạng và hệ thống. Sau đó, tiền xử lý dữ liệu là giai đoạn quan trọng để làm sạch, chuyển đổi dữ liệu thô sang định dạng phù hợp. Tiếp theo, trích chọn đặc trưng cho IDS nhằm chọn ra các thuộc tính quan trọng nhất để huấn luyện mô hình, giảm nhiễu và tăng hiệu suất. Cuối cùng, các thuật toán học máy được áp dụng để huấn luyện và xây dựng mô hình dự đoán xâm nhập [9]. Lợi ích của phương pháp này là rất lớn: khả năng phát hiện các tấn công mạng chưa từng thấy (zero-day attacks), giảm thiểu sự phụ thuộc vào các dấu hiệu định nghĩa sẵn, và cải thiện đáng kể độ chính xác trong việc phân loại xâm nhập mạng. Phương pháp này còn cho phép hệ thống tự học và thích nghi với các mối đe dọa mới, nâng cao khả năng phòng thủ chủ động của một Hệ thống phát hiện xâm nhập mạng.

IV. Giải Pháp IDS Dùng Phân Lớp Thuật Toán Học Máy Nào Đáng Tin Cậy

Trong lĩnh vực Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu, các kỹ thuật phân lớp đóng vai trò trung tâm. Chúng cho phép hệ thống học hỏi từ dữ liệu có nhãn để phân biệt giữa hoạt động bình thường và các tấn công mạng. Việc lựa chọn thuật toán khai phá dữ liệu cho IDS phù hợp là yếu tố then chốt quyết định hiệu suất của hệ thống. Luận văn này tập trung vào việc đánh giá hiệu suất IDS của các thuật toán phổ biến như Naïve Bayes và Cây quyết định trong IDS, nhằm cung cấp cái nhìn sâu sắc về khả năng của chúng trong việc xây dựng các mô hình dự đoán xâm nhập đáng tin cậy. Sự so sánh này giúp định hướng cho việc triển khai IDS dựa trên học máy trong thực tiễn [11].

4.1. Phân loại xâm nhập mạng qua các thuật toán học máy

Phân loại xâm nhập mạng là một bài toán cốt lõi trong Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu. Nó liên quan đến việc xây dựng một mô hình có khả năng gán nhãn cho các phiên hoạt động mạng (bình thường, DoS, U2R, R2L, Probe, v.v.) dựa trên tập các đặc trưng. Các kỹ thuật học giám sát trong IDS như Naïve Bayes, Cây quyết định trong IDS, và Máy học vector hỗ trợ (SVM) cho IDS là những ứng viên hàng đầu. Naïve Bayes, dựa trên định lý Bayes, giả định tính độc lập của các thuộc tính và cung cấp một phương pháp phân loại nhanh chóng và hiệu quả. Cây quyết định, với cấu trúc phân cấp, dễ hiểu và dễ diễn giải, cũng rất phù hợp cho việc phân loại xâm nhập mạng. Các thuật toán này học từ các bộ dữ liệu phát hiện xâm nhập đã được gán nhãn để tạo ra các quy tắc hoặc mô hình, sau đó sử dụng chúng để phân loại các dữ liệu mới. Việc hiểu rõ cách mỗi thuật toán hoạt động và các giả định của chúng là cần thiết để chọn ra giải pháp tối ưu cho kiến trúc IDS cụ thể.

4.2. Đánh giá và lựa chọn Thuật toán khai phá dữ liệu cho IDS

Việc đánh giá hiệu suất IDS và lựa chọn thuật toán khai phá dữ liệu cho IDS là một bước quan trọng trong quá trình xây dựng Hệ thống Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu. Các tiêu chí đánh giá bao gồm: độ chính xác dự đoán (predictive accuracy), tốc độ huấn luyện và sử dụng mô hình, sức mạnh (robustness) khi xử lý dữ liệu nhiễu, khả năng mở rộng (scalability) với dữ liệu lớn, và tính hiểu được (interpretability) của mô hình [11]. Phương pháp holdout và k-fold cross-validation thường được sử dụng để ước lượng độ chính xác một cách khách quan. Khi lựa chọn thuật toán, cần xem xét loại tấn công mạng mục tiêu, đặc điểm của bộ dữ liệu phát hiện xâm nhập sẵn có, và tài nguyên tính toán. Ví dụ, Naïve Bayes thường nhanh và đơn giản, phù hợp cho dữ liệu có thuộc tính độc lập. Cây quyết định dễ diễn giải nhưng có thể dễ bị quá vừa (overfitting) nếu không được điều chỉnh. Các thuật toán học sâu cho IDS như mạng nơ-ron (Neural Networks) có thể đạt độ chính xác cao nhưng đòi hỏi dữ liệu lớn và tài nguyên tính toán mạnh. Quyết định cuối cùng phụ thuộc vào sự cân bằng giữa các tiêu chí và yêu cầu cụ thể của hệ thống.

4.3. Các Mô hình dự đoán xâm nhập bằng Naïve Bayes và Cây Quyết định

Trong luận văn này, việc xây dựng các mô hình dự đoán xâm nhập tập trung vào việc sử dụng hai thuật toán khai phá dữ liệu cho IDS là Naïve Bayes và Cây quyết định trong IDS. Đối với Naïve Bayes, mô hình được xây dựng dựa trên xác suất có điều kiện của các thuộc tính đối với mỗi lớp (bình thường/tấn công). Ưu điểm của phương pháp này là tốc độ học nhanh và hiệu quả trong nhiều trường hợp, đặc biệt khi các thuộc tính độc lập với nhau [10]. Trong khi đó, Cây quyết định xây dựng một cấu trúc phân cấp, nơi mỗi nút bên trong đại diện cho một thuộc tính kiểm tra, mỗi nhánh là một kết quả kiểm tra và mỗi nút lá đại diện cho một nhãn lớp [11]. Giải thuật ID3, sử dụng độ lợi thông tin (Information Gain) để chọn thuộc tính chia tốt nhất, là một ví dụ điển hình. Các mô hình này được huấn luyện trên bộ dữ liệu phát hiện xâm nhập KDD Cup 1999 để học các quy tắc hoặc phân vùng không gian đặc trưng. Sau đó, chúng được đánh giá về khả năng phân loại xâm nhập mạng và phát hiện bất thường mạng trên dữ liệu kiểm tra độc lập, cung cấp cái nhìn định lượng về hiệu suất của từng thuật toán trong việc phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu.

V. Kết Quả Thực Nghiệm Hiệu Năng Của IDS Dùng Khai Phá Dữ Liệu Trong Luận Văn

Phần thực nghiệm là trọng tâm của luận văn, nơi các lý thuyết về Khai phá dữ liệu trong an ninh mạng được kiểm chứng. Bằng cách áp dụng các thuật toán học máy vào một bộ dữ liệu phát hiện xâm nhập tiêu chuẩn, khả năng của Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu được định lượng hóa. Các kết quả này không chỉ cung cấp bằng chứng về tính hiệu quả mà còn chỉ ra những ưu điểm và hạn chế của từng phương pháp, từ đó đưa ra các đề xuất về lựa chọn kỹ thuật phù hợp cho an toàn mạng trong thực tế. Việc đánh giá hiệu suất IDS một cách có hệ thống là cần thiết để xác định các mô hình dự đoán xâm nhập tối ưu [11].

5.1. Bộ dữ liệu phát hiện xâm nhập KDD Cup 1999 và môi trường WEKA

Để đánh giá hiệu năng của các thuật toán trong Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu, bộ dữ liệu phát hiện xâm nhập KDD Cup 1999 được lựa chọn làm cơ sở. Đây là một tập dữ liệu tiêu chuẩn và được sử dụng rộng rãi trong nghiên cứu IDS, mô phỏng lưu lượng mạng và các tấn công mạng khác nhau như DoS, U2R, R2L, Probe [15]. KDD Cup 1999 chứa hàng triệu bản ghi với 41 thuộc tính, bao gồm cả các thuộc tính kết nối và nội dung, cung cấp một nguồn dữ liệu phong phú để trích chọn đặc trưng cho IDS. Môi trường phần mềm WEKA [14] (Waikato Environment for Knowledge Analysis) được sử dụng để tiến hành các thực nghiệm. WEKA là một bộ công cụ học máy mã nguồn mở mạnh mẽ, cung cấp nhiều thuật toán khai phá dữ liệu cho IDS và các công cụ để tiền xử lý dữ liệu, xây dựng mô hình và đánh giá hiệu suất IDS. Việc sử dụng một bộ dữ liệu tiêu chuẩn và một công cụ phân tích dữ liệu chuyên nghiệp đảm bảo tính khách quan và khả năng tái lập của các kết quả nghiên cứu trong luận văn.

5.2. Đánh giá hiệu suất IDS và so sánh các kỹ thuật phân lớp

Quá trình đánh giá hiệu suất IDS được thực hiện trên các mô hình phân lớp xâm nhập mạng đã xây dựng bằng Naïve Bayes và Cây quyết định trong IDS. Các chỉ số đánh giá quan trọng bao gồm: độ chính xác (accuracy), độ nhạy (recall), độ đặc hiệu (precision), và F-measure. Các chỉ số này giúp đo lường khả năng của mô hình trong việc phân loại đúng các mẫu bình thường và các mẫu tấn công, cũng như đánh giá tỷ lệ cảnh báo giả và bỏ sót tấn công [11]. Kết quả thực nghiệm trên bộ dữ liệu phát hiện xâm nhập KDD Cup 1999 cho thấy cả hai thuật toán đều có khả năng phát hiện xâm nhập hiệu quả. Tuy nhiên, mỗi thuật toán lại có những ưu điểm riêng đối với từng loại tấn công mạng cụ thể. Ví dụ, một thuật toán có thể vượt trội trong việc phát hiện tấn công DoS nhưng lại kém hơn trong việc nhận diện R2L. Luận văn đã phân tích và so sánh chi tiết hiệu năng của Naïve Bayes và Cây quyết định, từ đó đề xuất lựa chọn thuật toán khai phá dữ liệu cho IDS phù hợp nhất tùy thuộc vào mục tiêu và yêu cầu của hệ thống an toàn mạng, góp phần tối ưu hóa Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu.

VI. Tương Lai Của Phát Hiện Xâm Nhập IDS Dùng Khai Phá Dữ Liệu Có Gì Mới

Tương lai của Phát hiện Xâm nhập (IDS) dùng Khai phá Dữ liệu hứa hẹn những tiến bộ vượt bậc, đặc biệt với sự phát triển của Học sâu (Deep Learning) và các kỹ thuật AI tiên tiến. Khi an toàn mạng trở nên ngày càng phức tạp, nhu cầu về các Hệ thống Phát hiện Xâm nhập mạng thông minh, có khả năng tự học, thích nghi và giải thích được sẽ trở nên cấp thiết. Việc tiếp tục nghiên cứu và tích hợp các công nghệ mới sẽ mở ra những chân trời mới cho công nghệ phát hiện mối đe dọa, giúp chúng ta đối phó hiệu quả hơn với những tấn công mạng chưa từng có [5]. Luận văn này là một bước khởi đầu, đặt nền móng cho những nghiên cứu sâu rộng hơn về lĩnh vực đầy tiềm năng này.

6.1. Hướng phát triển cho Hệ thống phát hiện xâm nhập mạng thông minh

Các Hệ thống phát hiện xâm nhập mạng trong tương lai sẽ tiếp tục tích hợp sâu hơn các kỹ thuật Khai phá dữ liệu trong an ninh mạng và học máy để trở nên thông minh hơn. Một trong những hướng phát triển chính là khả năng Phân tích hành vi người dùng (UBA), giúp IDS nhận diện các hoạt động đáng ngờ dựa trên sự lệch lạc so với hành vi bình thường của người dùng hoặc hệ thống. Việc tập trung vào phát hiện bất thường mạng (Anomaly Detection) với các mô hình phức tạp hơn, có khả năng học từ dữ liệu chưa được gán nhãn (kỹ thuật học không giám sát trong IDS) sẽ giúp phát hiện các cuộc tấn công mới (zero-day attacks) hiệu quả hơn. Ngoài ra, phát triển kiến trúc IDS phân tán và có khả năng hoạt động thời gian thực (real-time IDS) cũng là một mục tiêu quan trọng, nhằm cung cấp phản ứng tức thì trước các mối đe dọa. Sự kết hợp với Hệ thống ngăn chặn xâm nhập (IPS) sẽ tạo ra các giải pháp bảo mật toàn diện hơn, không chỉ phát hiện mà còn chủ động ngăn chặn các cuộc tấn công.

6.2. Tiềm năng của Học sâu cho IDS và AI trong an ninh mạng

Tiềm năng của Học sâu (Deep Learning) cho IDS và Trí tuệ nhân tạo (AI) trong an ninh mạng là rất lớn. Các kiến trúc mạng nơ-ron sâu, như Mạng nơ-ron tích chập (CNN) và Mạng nơ-ron hồi quy (RNN/LSTM), có khả năng tự động học các đặc trưng phức tạp từ dữ liệu thô, loại bỏ nhu cầu trích chọn đặc trưng cho IDS thủ công. Điều này đặc biệt hữu ích khi xử lý dữ liệu lớn và phức tạp của lưu lượng mạng. Học sâu cho IDS có thể nâng cao đáng kể khả năng phát hiện tấn công mạng bằng AI, đặc biệt với các loại tấn công tinh vi và biến đổi nhanh. Ngoài ra, việc phát triển các mô hình AI giải thích được (Explainable AI - XAI) trong IDS là một hướng đi quan trọng, giúp nhà quản trị hiểu rõ hơn lý do đằng sau các cảnh báo, từ đó tăng cường độ tin cậy và khả năng đưa ra quyết định. Việc kết hợp Khai phá dữ liệu trong an ninh mạng với các tiến bộ mới nhất của AI sẽ tạo ra một thế hệ Hệ thống Phát hiện Xâm nhập mạng mạnh mẽ, tự động và thông minh, sẵn sàng đối phó với cảnh quan mối đe dọa ngày càng phát triển.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Lý do chọn đề tài: Kể từ khi mạng Internet ra đời đến nay, thế giới đã chứng kiến sự thay đổi vô cùng to lớn và kì diệu về nhiều mặt của đời sống con ngƣời. Nền kinh tế thế giới và đời sống xã hội đã có nhiều sự biến đổi và ngày càng phụ thuộc vào công nghệ thông tin nói chung cũng nhƣ công nghệ Internet nói riêng. Điều đó cũng dẫn đến một mặt trái, đó là càng ngày càng nhiều các thông tin quan trọng của các cơ quan, tổ chức hay cá nhân lƣu trữ trên các mạng máy tính, mà đa số các mạng máy tính này lại không đảm bảo độ an toàn, bảo mật thông tin tuyệt đối.

Đi cùng với sự phát triển đó là những nguy cơ tấn công và xâm nhập mạng không ngừng gia tăng. Các đối tƣợng tấn công và hình thức tấn công mạng ngày một đa dạng, tinh vi và phức tạp hơn. Vấn đề bảo mật, an toàn cho các hệ thống thông tin nói chung và hệ thống mạng nói riêng là một vấn đề cấp bách và rất đáng đƣợc quan tâm. Bởi vậy, để bảo vệ các hệ thống thông tin ngƣời ta sử dụng nhiều các giải pháp kỹ thuật khác nhau nhƣ hệ thống tƣờng lửa, mã hoá, mạng riêng ảo (VPN), phòng chống virus…Trong đó phát hiện xâm nhập trái phép (IDS) là một trong những công nghệ quan trọng nhất nhằm giúp các tổ chức phát hiện và ngăn chặn kịp thời các tấn công trong thời gian thực, cũng nhƣ dự đoán đƣợc các nguy cơ tấn công trong tƣơng lai [3], [5].

Chính vì vậy, nghiên cứu về hệ thống IDS sẽ giúp chúng ta nâng cao khả năng xây dựng hệ thống phòng thủ cho việc giám sát an ninh mạng. Hai phƣơng pháp cơ bản để phát hiện xâm nhập trái phép là dựa trên tập luật và dựa trên các dấu hiệu bất thƣờng [1], [2], [6], [7]. Phƣơng pháp dựa trên tập luật có thể phát hiện các tấn công dựa trên một cơ sở dữ liệu các dấu hiệu đã đƣợc định nghĩa trƣớc. Phƣơng pháp này thƣờng có độ chính xác cao cũng nhƣ ít đƣa ra các cảnh báo nhầm.

Tuy nhiên, vấn đề của phƣơng pháp này là không thể phát hiện đƣợc các tấn công mới chƣa đƣợc định nghĩa hoặc cập nhật trong cơ sở dữ liệu. Phƣơng pháp dựa trên các dấu hiệu bất thƣờng có thể giúp xác định các tấn công mới nhƣng thƣờng cho độ chính xác thấp hơn so với phƣơng pháp dựa trên tập luật. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn download by : [e-mail] 2 Hiện nay, Khai phá dữ liệu đã có nhiều bƣớc phát triển vƣợt bậc và có nhiều ứng dụng kỹ thuật bằng các thuật toán khác nhau trong thực tế. Khai phá dữ liệu là một phƣơng pháp tiếp cận mới trong việc phát hiện xâm nhập.

Xây dựng mô hình hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu là một hƣớng phát triển mới và hiệu quả trong xây dựng hệ thống IDS. Xuất phát từ những yêu cầu và lý do trên, em lựa chọn đề tài luận văn là: "Tìm hiểu, nghiên cứu hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu". Luận văn nghiên cứu khai phá dữ liệu và nghiên cứu ứng dụng mô hình hệ thống phát hiện xâm nhập trái phép dựa trên khai phá dữ liệu; Từ đó đánh giá hiệu năng của hệ thống phát hiện xâm nhập đối với các thuật toán phân lớp khác nhau trong thực tế. Mục tiêu nghiên cứu: - Nghiên cứu tổng quan về hệ thống phát hiện xâm nhập.

- Nghiên cứu một số thuật toán khai phá dữ liệu. - Ứng dụng một số thuật toán khai phá dữ liệu trong phát hiện xâm nhập, so sánh sự hiệu quả của các thuật toán. - Đánh giá hiệu năng cho mô hình đó bằng các thuật toán phân lớp khác nhau nhƣ: Naïve Bayes, Decision Tree. Đối tƣợng và phạm vi nghiên cứu: - Nghiên cứu mô hình hệ thống IDS hiện nay và đánh giá ƣu, nhƣợc điểm của IDS.

- Nghiên cứu các bài toán, kỹ thuật khai phá dữ liệu. - Ứng dụng của khai phá dữ liệu trong hệ thống phát hiện xâm nhập. - Một số thuật toán phân lớp dữ liệu. - Đánh giá hiệu năng các kỹ thuật phân lớp cho hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu.

Ý nghĩa thực tiễn của luận văn: - Nghiên cứu ứng dụng mô hình hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu giải quyết các vấn đề tồn tại của hệ thống IDS hiện nay. - Đánh giá hiệu quả phân lớp cho mô hình. Đồng thời đề xuất lựa chọn các kỹ thuật phân lớp phù hợp với từng loại tấn công cụ thể cho hệ thống phát hiện xâm nhập dựa trên khai phá dữ liệu đã đề xuất. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn download by : skknchat@gmail.

Phƣơng pháp nghiên cứu: Việc giám sát các hành động trên mạng có thể thu thập và phân tích để phát hiện ra các tấn công mạng. Các hành động này có thể tìm thấy trong các tệp log của ứng dụng nhƣ tạo, xóa file, truy cập vào tệp có mật khẩu, gọi các lệnh của hệ thống. Việc phân tích phát hiện các tấn công dựa trên tập dữ liệu về các hành động này có thể thực hiện thông qua các thuật toán phân lớp dữ liệu, để phân lớp thành các lớp tấn công đã biết trƣớc hoặc lớp truy cập bình thƣờng. Nghiên cứu các tài liệu liên quan trong lĩnh vực khai phá dữ liệu và phát hiện xâm nhập.

Tìm hiểu, nghiên cứu các kỹ thuật phát hiện xâm nhập dựa trên phƣơng pháp thống kê và khai phá dữ liệu. Trên cơ sở nghiên cứu và phân tích tập dữ liệu DARPA [15]. Phân tích bằng lý thuyết và thực nghiệm để xác định các thuộc tính quan trọng của tập dữ liệu có ảnh hƣởng đến một hành động tấn công cụ thể, từ đó trích rút và chuyển đổi thành định dạng phù hợp cho các thuật toán học phân lớp. Nghiên cứu xây dựng các thực nghiệm sử dụng phần mềm Weka [14], đánh giá hiệu quả của các thuật toán học phân lớp trên tập dữ liệu DARPA.

Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn download by : [e-mail] 4 CHƢƠNG I: TỔNG QUAN VỀ HỆ THỐNG PHÁT HIỆN XÂM NHẬP Hệ thống phát hiện xâm nhập trái phép ra đời cách đây khoảng hơn 30 năm và nó đã trở nên rất có ích cho việc bảo vệ các hệ thống mạng máy tính, bằng cách đƣa ra các cảnh báo khi có dấu hiệu tấn công vào hệ thống, từ đó cho phép ngƣời quản trị có thể xử lý kịp thời nhằm hạn chế các rủi ro do các tấn công gây ra. Chƣơng này sẽ trình bày tổng quan về IDS hiện nay, để làm cơ sở cho nghiên cứu tiếp theo trong luận văn.1 Khái niệm về hệ thống phát hiện xâm nhập. Hệ thống phát hiện xâm nhập (Intrusion Detection System - IDS) cung cấp thêm cho việc bảo vệ an toàn thông tin mạng một mức độ cao hơn. Nó đƣợc đánh giá về giá trị không giống nhƣ firewall và VPN là ngăn ngừa các cuộc tấn công mà IDS cung cấp sự bảo vệ bằng cách trang bị cho bạn thông tin về cuộc tấn công.

Bởi vậy, một IDS có thể thoả mãn nhu cầu về an toàn hệ thống của bạn bằng cách cảnh báo cho bạn về khả năng các cuộc tấn công (và thỉnh thoảng thì ngoài những thông báo chính xác thì chúng cũng đƣa ra một số cảnh báo chƣa đúng). Nhìn chung, IDS không tự động cấm các cuộc tấn công hoặc là ngăn chặn những ngƣời khai thác một cách thành công, tuy nhiên, một sự phát triển mới nhất của IDS đó là hệ thống ngăn chặn xâm nhập (the intrusion prevention systems) đã có để thực hiện nhiều vai trò hơn và có thể ngăn chặn các cuộc tấn công khi nó xảy ra. Hệ thống phát hiện xâm nhập (IDS) là hệ thống phần cứng, phần mềm hoặc kết hợp cả hai đƣợc sử dụng để phát hiện các hành động truy nhập trái phép, có chức năng giám sát lƣu thông mạng, tự động theo dõi các sự kiện xảy ra trên hệ thống máy tính, phân tích để phát hiện ra các vấn đề liên quan đến an ninh, bảo mật và đƣa ra cảnh báo cho nhà quản trị. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn download by : skknchat@gmail.1- IDS-giải pháp bảo mật bổ sung cho Firewall Hệ thống phát hiện xâm nhập thƣờng thực hiện việc giám sát, theo dõi và thu thập thông tin từ nhiều nguồn khác nhau.

Sau đó sẽ phân tích, đánh giá nhằm phát hiện việc xâm nhập đã đƣợc thực hiện, đang xuất hiện hoặc khả năng đối phó với những xâm nhập khi đã bị xâm nhập trong các mạng và các hệ thống thông tin. Đồng thời tìm ra dấu hiệu của sự xâm nhập hay tấn công hệ thống và thông báo đến ngƣời quản trị hệ thống. IDS đƣợc coi là công cụ bảo mật vô cùng quan trọng, nó đƣợc lựa chọn là giải pháp bảo mật đƣợc bổ sung cho Firewall. Một IDS có khả năng phát hiện ra các đoạn mã độc hại hoạt động trong hệ thống mạng, có khả năng vƣợt qua đƣợc Firewall.

Nó có thể kết hợp với Firewall hoặc một số công cụ khác để đƣa ra cách đối phó với những đoạn mã độc đó.2 Chức năng và vai trò của hệ thống phát hiện xâm nhập.1 Chức năng nhiệm vụ của IDS Hệ thống phát hiện xâm nhập cho phép các tổ chức bảo vệ hệ thống của họ khỏi những đe dọa với việc gia tăng kết nối mạng và sự tin cậy của hệ thống thông tin. Những đe dọa đối với an ninh mạng ngày càng trở nên cấp thiết đã đặt ra câu hỏi cho các nhà an ninh mạng chuyên nghiệp có nên sử dụng hệ thống phát hiện xâm nhập trừ khi những đặc tính của hệ thống phát hiện xâm nhập là hữu ích cho họ, bổ sung những điểm yếu của hệ thống khác… Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn download by : [e-mail] 6 Ngày nay, IDS đã trở nên rất có ích và hiệu quả trong việc phòng chống và giảm thiểu các nguy cơ tấn công, bảo vệ an toàn cho các hệ thống thông tin. Hệ thống phát hiện xâm nhập trái phép IDS có các chức năng quan trọng nhất là: Giám sát – Cảnh báo – Bảo vệ. + Giám sát: Lƣu lƣợng mạng và các hoạt động khả nghi.

+ Cảnh báo: Báo cáo về tình trạng mạng cho hệ thống và nhà quản trị. + Bảo vệ: Dùng những thiết lập mặc định và sự cấu hình từ nhà quản trị mà có những hành động thiết thực chống lại kẻ xâm nhập và phá hoại bảo vệ sự toàn vẹn các hệ thống và các file dữ liệu quan trọng.