Phát hiện xâm nhập mạng dựa trên thuật toán K-Means (ĐH Thái Nguyên)

Phát hiện xâm nhập hiệu quả với thuật toán K-Means. Tìm hiểu cách K-Means phân cụm dữ liệu mạng, phát hiện bất thường và bảo vệ hệ thống an ninh mạng.

• Tác giả: Đinh Mạnh Cường
• Người hướng dẫn: Pgs. Nguyễn Văn Tam
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát hiện xâm nhập dựa trên thuật toán K-Means
• Loại tài liệu: Luận văn
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• MỞ ĐẦU
• 1. Chƣơng 1: KHÁI QUÁT BÀI TOÁN PHÁT HIỆN XÂM NHẬP
• 1.1. Định nghĩa về phát hiện xâm nhập
• 1.2. Sự khác nhau giữa IDS/IPS
• 1.3. Các thành phần và chức năng của hệ thống phát hiện thâm nhập
• 1.4. Thành phần thu thập gói tin
• 1.5. Thành phần phát hiện gói tin
• 1.6. Thành phần phản hồi
• 1.7. Phân loại phát hiện xâm nhập
• 1.8. Network based IDS – NIDS
• 1.9. Host based IDS – HIDS
• 1.10. Mô hình phát hiện sự lạm dụng
• 1.11. Mô hình phát hiện sự bất thường
• 1.12. So sánh giữa hai mô hình
• 2. Chƣơng 2: PHÁT HIỆN XÂM NHẬP DỰA TRÊN THUẬT TOÁN K-MEANS
• 2.1. Thuật toán K-means
• 2.2. Nhược điểm của K-Means và cách khắc phục
• 2.3. Thuật toán K-means với phát hiện xâm nhập
• 2.4. Phân tích tập dữ liệu kiểm thử
• 2.5. Mô hình phát hiện bất thường dựa trên thuât toán K-means
• 3. Chƣơng 3: XÂY DỰNG CHƢƠNG TRÌNH PHÁT HIỆN XÂM NHẬP DỰA TRÊN THUẬT TOÁN K-MEANS
• 3.1. Mô tả bài toán
• 3.2. Mô tả dữ liệu đầu vào
• 3.3. Mô tả các thuộc tính trong file dữ liệu đầu vào
• 3.4. Giảm số lượng bản ghi trong dữ liệu đầu vào:
• 3.5. Cài đặt thuật toán K-Means và thử nghiệm trong phân cụm phần tử dị biệt
• 3.6. Giới thiệu về môi trường cài đặt
• 3.7. Các chức năng của chương trình
• 3.8. Nhận xét, đánh giá chương trình thử nghiệm
• KẾT LUẬN VÀ HƢỚNG NGHIÊN CỨU
• TÀI LIỆU THAM KHẢO
• PHẦN PHỤ LỤC

Tóm tắt

I. Tổng quan phương pháp phát hiện xâm nhập bằng K Means

Trong bối cảnh an ninh mạng ngày càng phức tạp, việc phát triển các hệ thống phòng thủ thông minh trở thành yêu cầu cấp thiết. Hệ thống phát hiện xâm nhập (IDS) đóng vai trò là một lá chắn quan trọng, giám sát và phân tích lưu lượng mạng để nhận diện các hành vi đáng ngờ. Các phương pháp truyền thống dựa trên signature (dấu hiệu đã biết) tỏ ra kém hiệu quả trước các cuộc tấn công mới và tinh vi. Để giải quyết vấn đề này, các kỹ thuật Machine Learning cho an ninh mạng đã được ứng dụng, trong đó thuật toán K-Means nổi lên như một giải pháp tiềm năng. K-Means là một thuật toán thuộc nhóm học không giám sát, có khả năng tự động nhóm các đối tượng dữ liệu tương tự vào cùng một cụm mà không cần gán nhãn trước. Bằng cách áp dụng K-Means vào việc phân tích lưu lượng mạng, hệ thống có thể xây dựng mô hình hành vi "bình thường". Bất kỳ kết nối mạng nào không thuộc về các cụm bình thường này sẽ được xem là dị biệt hoặc tiềm ẩn nguy cơ tấn công mạng. Phương pháp này đặc biệt hiệu quả trong việc phát hiện bất thường (Anomaly Detection), giúp nhận diện cả những mối đe dọa chưa từng được biết đến. Luận văn "Phát hiện xâm nhập dựa trên thuật toán K-Means" của Đinh Mạnh Cường (2015) đã đi sâu vào việc khai thác khả năng này, đề xuất một mô hình ứng dụng K-Means để phân loại các kết nối mạng, từ đó nâng cao hiệu quả của IDS.

1.1. Khái niệm về Hệ thống phát hiện xâm nhập IDS

Một Hệ thống phát hiện xâm nhập (IDS) là một thiết bị hoặc ứng dụng phần mềm có chức năng giám sát lưu lượng mạng hoặc hoạt động trên một hệ thống để tìm kiếm các dấu hiệu của hành vi độc hại hoặc vi phạm chính sách an ninh. Theo định nghĩa, IDS thu thập thông tin từ nhiều nguồn, phân tích chúng để xác định các nỗ lực xâm nhập. Khi phát hiện một mối đe dọa, hệ thống sẽ gửi cảnh báo đến quản trị viên. Có hai loại IDS chính: Network-based IDS (NIDS) giám sát lưu lượng trên toàn mạng, trong khi Host-based IDS (HIDS) theo dõi các hoạt động trên một máy chủ hoặc thiết bị cụ thể. Vai trò của IDS không phải là ngăn chặn trực tiếp mà là phát hiện và cảnh báo, cung cấp thông tin quan trọng để con người hoặc các hệ thống khác (như IPS - Intrusion Prevention System) có thể đưa ra hành động phản ứng kịp thời. Mục tiêu cuối cùng là bảo vệ tính bí mật, toàn vẹn và sẵn sàng của tài nguyên hệ thống.

1.2. Vai trò của học không giám sát trong an ninh mạng

Trong lĩnh vực an ninh mạng, học không giám sát (Unsupervised Learning) đóng một vai trò cực kỳ quan trọng, đặc biệt trong việc phát hiện bất thường. Khác với học có giám sát yêu cầu dữ liệu phải được gán nhãn (ví dụ: "tấn công" hoặc "bình thường"), học không giám sát làm việc với dữ liệu thô, không có nhãn. Các thuật toán như K-Means tự tìm ra cấu trúc hoặc các mẫu tiềm ẩn trong dữ liệu. Trong phát hiện xâm nhập, điều này có nghĩa là hệ thống có thể tự học "thế nào là hành vi bình thường" chỉ bằng cách quan sát lưu lượng mạng qua thời gian. Mọi hoạt động đi chệch khỏi các mẫu bình thường đã học này sẽ bị gắn cờ là bất thường. Ưu điểm lớn nhất của phương pháp này là khả năng phát hiện các cuộc tấn công zero-day hoặc các biến thể tấn công mới, những thứ mà các hệ thống dựa trên signature không thể nhận diện được vì chưa có dấu hiệu định nghĩa trước.

II. Top thách thức trong việc phát hiện tấn công mạng hiện nay

Việc phát hiện xâm nhập trong môi trường mạng hiện đại phải đối mặt với nhiều thách thức to lớn. Thứ nhất, khối lượng dữ liệu mạng (network traffic) khổng lồ và tốc độ truyền tải cao khiến việc phân tích thời gian thực trở nên vô cùng khó khăn. Các hệ thống IDS phải xử lý hàng terabyte dữ liệu mỗi ngày, đòi hỏi hiệu năng tính toán cực lớn. Thứ hai, các kỹ thuật tấn công mạng ngày càng trở nên tinh vi và đa dạng. Kẻ tấn công thường sử dụng các phương pháp lẩn tránh như mã hóa lưu lượng, phân mảnh gói tin, hoặc thực hiện các cuộc tấn công với tốc độ chậm để qua mặt các cơ chế phát hiện. Thách thức thứ ba là sự cân bằng giữa tỷ lệ phát hiện (Detection Rate) và tỷ lệ báo động giả (False Alarm Rate). Một hệ thống quá nhạy có thể tạo ra hàng ngàn cảnh báo sai mỗi ngày, gây quá tải cho đội ngũ quản trị an ninh và làm giảm sự tin cậy vào hệ thống. Ngược lại, một hệ thống kém nhạy sẽ bỏ lọt các cuộc tấn công thực sự. Vấn đề này đặc biệt nghiêm trọng với các phương pháp phát hiện dựa trên sự bất thường, nơi ranh giới giữa hành vi "bình thường" và "bất thường" đôi khi rất mong manh. Cuối cùng, việc xây dựng và duy trì một cơ sở tri thức tấn công cập nhật là một cuộc chạy đua không ngừng nghỉ với tin tặc.

2.1. Hạn chế của các phương pháp phát hiện dựa trên signature

Các hệ thống phát hiện xâm nhập truyền thống chủ yếu hoạt động dựa trên mô hình phát hiện lạm dụng (Misuse Detection), tức là so khớp lưu lượng mạng với một cơ sở dữ liệu các "dấu hiệu" (signatures) của các cuộc tấn công đã biết. Phương pháp này có độ chính xác cao và tỷ lệ báo động giả thấp đối với các mối đe dọa đã được định danh. Tuy nhiên, nhược điểm chí mạng của nó là không có khả năng phát hiện các cuộc tấn công mới, chưa từng xuất hiện (zero-day attacks) hoặc các biến thể đã được tùy chỉnh của các cuộc tấn công cũ. Cơ sở dữ liệu signature đòi hỏi phải được cập nhật liên tục, nhưng luôn có một độ trễ nhất định giữa thời điểm một cuộc tấn công mới được phát hiện và thời điểm signature của nó được cập nhật vào hệ thống. Khoảng trống này tạo ra một cửa sổ cơ hội cho kẻ tấn công khai thác.

2.2. Vấn đề tỷ lệ báo động giả False Alarm Rate cao

Một trong những rào cản lớn nhất đối với việc triển khai hiệu quả các hệ thống IDS, đặc biệt là các hệ thống dựa trên phát hiện bất thường, là tỷ lệ báo động giả (False Alarm Rate). Tỷ lệ này thể hiện số lượng cảnh báo không chính xác, xác định một hành vi bình thường là một cuộc tấn công. Khi tỷ lệ này cao, các nhà phân tích an ninh sẽ bị "ngập" trong một biển cảnh báo, khiến họ khó có thể tập trung vào các mối đe dọa thực sự. Dần dần, họ có thể trở nên xem nhẹ các cảnh báo từ hệ thống, dẫn đến nguy cơ bỏ lọt các sự cố nghiêm trọng. Nguyên nhân của tỷ lệ báo động giả cao thường đến từ việc mô hình hành vi "bình thường" không đủ chính xác hoặc không thể thích ứng kịp thời với những thay đổi hợp lệ trong hoạt động mạng, chẳng hạn như khi một dịch vụ mới được triển khai hoặc khi có sự gia tăng đột biến về lưu lượng truy cập do một sự kiện đặc biệt.

III. Hướng dẫn thuật toán K Means cho phân cụm dữ liệu mạng

Thuật toán K-Means là một thuật toán phân cụm dựa trên trọng tâm, có mục tiêu phân chia một tập hợp gồm n đối tượng dữ liệu vào k cụm khác nhau, sao cho mỗi đối tượng thuộc về cụm có trọng tâm (centroid) gần nó nhất. Trong bối cảnh phát hiện xâm nhập, mỗi đối tượng dữ liệu là một bản ghi kết nối mạng, được biểu diễn dưới dạng một véc-tơ đặc trưng. Quá trình hoạt động của K-Means bắt đầu bằng việc khởi tạo ngẫu nhiên k trọng tâm cụm. Sau đó, thuật toán lặp lại hai bước chính: (1) Gán mỗi đối tượng dữ liệu vào cụm có trọng tâm gần nhất, thường được đo bằng khoảng cách Euclidean. (2) Cập nhật lại vị trí của trọng tâm mỗi cụm bằng cách lấy giá trị trung bình của tất cả các đối tượng trong cụm đó. Quá trình này tiếp tục cho đến khi vị trí các trọng tâm không còn thay đổi đáng kể, tức là thuật toán đã hội tụ. Kết quả là các bản ghi kết nối mạng có hành vi tương tự sẽ được nhóm vào cùng một cụm. Việc phân cụm dữ liệu này là nền tảng để xác định các hành vi bất thường, tạo tiền đề cho việc xây dựng một hệ thống Machine Learning cho an ninh mạng hiệu quả.

3.1. Nguyên lý hoạt động của thuật toán phân cụm K Means

Thuật toán phân cụm K-Means hoạt động theo một nguyên lý đơn giản nhưng mạnh mẽ: tối thiểu hóa tổng phương sai trong mỗi cụm. Về cơ bản, nó cố gắng tìm ra các nhóm dữ liệu sao cho các điểm dữ liệu trong cùng một nhóm thì gần nhau, và các điểm dữ liệu ở các nhóm khác nhau thì xa nhau. Input của thuật toán bao gồm tập dữ liệu cần phân cụm và số lượng cụm mong muốn (k). Các bước thực hiện tuần tự như sau: Khởi tạo k điểm làm tâm cụm ban đầu. Sau đó, gán mỗi điểm dữ liệu vào cụm có tâm gần nhất. Tiếp theo, tính toán lại tâm cho mỗi cụm dựa trên trung bình cộng của tất cả các điểm trong cụm đó. Hai bước gán và cập nhật tâm được lặp đi lặp lại cho đến khi các tâm cụm không còn thay đổi. Thuật toán này có ưu điểm là đơn giản, dễ cài đặt và hiệu quả về mặt tính toán với các tập dữ liệu lớn.

3.2. Vai trò của tâm cụm và độ đo tương đồng trong K Means

Tâm cụm (centroid) và độ đo tương đồng (similarity measure) là hai khái niệm cốt lõi của thuật toán K-Means. Tâm cụm là một điểm ảo đại diện cho trung tâm của một cụm, và vị trí của nó được tính bằng trung bình của tất cả các điểm dữ liệu thuộc cụm đó. Trong mỗi vòng lặp, thuật toán cố gắng điều chỉnh vị trí của các tâm cụm để chúng đại diện tốt nhất cho các nhóm dữ liệu. Độ đo tương đồng, thường là khoảng cách Euclidean, được sử dụng để xác định một điểm dữ liệu "gần" với tâm cụm nào nhất. Khoảng cách Euclidean tính toán khoảng cách hình học thẳng giữa hai điểm trong không gian nhiều chiều. Lựa chọn độ đo tương đồng phù hợp là rất quan trọng vì nó ảnh hưởng trực tiếp đến cách các cụm được hình thành. Việc xác định chính xác các tâm cụm và sử dụng độ đo phù hợp đảm bảo rằng quá trình phân cụm dữ liệu phản ánh đúng cấu trúc tự nhiên của dữ liệu.

IV. Mô hình phát hiện bất thường tối ưu với thuật toán K Means

Mô hình phát hiện xâm nhập dựa trên thuật toán K-Means được đề xuất trong nghiên cứu của Đinh Mạnh Cường (2015) bao gồm nhiều mô-đun hoạt động phối hợp. Đầu tiên, mô-đun lọc thông tin thực hiện việc thu thập dữ liệu từ các nguồn như file log hoặc sensor mạng và loại bỏ các thông tin không cần thiết để giảm tải cho hệ thống. Tiếp theo, mô-đun trích xuất thông tin sẽ xử lý dữ liệu thô, chuyển đổi mỗi kết nối mạng thành một véc-tơ đặc trưng có thể tính toán được. Giai đoạn cốt lõi là mô-đun phát hiện, nơi thuật toán phân cụm K-Means được áp dụng. Dữ liệu huấn luyện (chỉ chứa các kết nối bình thường) được sử dụng để tạo ra các cụm đại diện cho hành vi chuẩn. Khi có một kết nối mới, hệ thống sẽ tính khoảng cách từ véc-tơ đặc trưng của nó đến tâm của tất cả các cụm "bình thường". Nếu khoảng cách này vượt qua một ngưỡng xác định, kết nối đó sẽ bị coi là bất thường và một cảnh báo được tạo ra. Mô hình này giúp tự động hóa quá trình phân tích lưu lượng mạng, tăng cường khả năng phát hiện bất thường mà không cần sự can thiệp liên tục của con người.

4.1. Quy trình tiền xử lý dữ liệu và trích xuất véc tơ đặc trưng

Trước khi áp dụng thuật toán K-Means, dữ liệu mạng thô cần trải qua quá trình tiền xử lý dữ liệu và trích xuất đặc trưng. Đây là một bước cực kỳ quan trọng quyết định hiệu quả của toàn bộ mô hình. Dữ liệu từ các gói tin (TCP, UDP, ICMP) được thu thập và tổng hợp thành các bản ghi kết nối. Mỗi bản ghi chứa các thông tin cơ bản như địa chỉ IP nguồn/đích, cổng nguồn/đích, giao thức. Tuy nhiên, chỉ những thuộc tính này là không đủ. Mô hình cần trích xuất các thuộc tính cấp cao hơn, ví dụ như thời gian kết nối, số byte truyền/nhận, số lần đăng nhập thất bại, v.v. Các thuộc tính này sau đó được chuyển đổi thành dạng số. Quá trình chuẩn hóa (Normalization) cũng thường được áp dụng để đưa tất cả các thuộc tính về cùng một thang đo, tránh việc các thuộc tính có giá trị lớn lấn át các thuộc tính có giá trị nhỏ. Kết quả của quá trình này là mỗi kết nối được biểu diễn bằng một véc-tơ đặc trưng sẵn sàng cho việc phân cụm.

4.2. Áp dụng K Means để phân loại hành vi mạng

Sau khi có được tập các véc-tơ đặc trưng từ dữ liệu huấn luyện (chỉ gồm các kết nối bình thường), thuật toán K-Means được thực thi để phân cụm dữ liệu. Số lượng cụm (k) được xác định trước, thường dựa trên phân tích thực nghiệm. Thuật toán sẽ nhóm các kết nối bình thường có hành vi tương tự vào cùng một cụm. Ví dụ, tất cả các kết nối duyệt web (HTTP) có thể thuộc về một cụm, trong khi các kết nối truyền file (FTP) thuộc về một cụm khác. Sau quá trình huấn luyện, hệ thống sẽ có được một tập hợp các tâm cụm đại diện cho các loại hành vi bình thường khác nhau. Khi một kết nối mới xuất hiện, hệ thống sẽ không gán nó vào cụm nào, mà thay vào đó sẽ tính khoảng cách của nó đến tâm cụm gần nhất. Dựa vào khoảng cách này, hệ thống có thể phân loại hành vi đó là bình thường hay bất thường.

V. Kết quả thực nghiệm phát hiện xâm nhập trên tập KDD Cup 99

Để đánh giá hiệu quả của mô hình phát hiện xâm nhập sử dụng K-Means, các nghiên cứu thường sử dụng các bộ dữ liệu chuẩn hóa. Tập dữ liệu KDD Cup 99 là một trong những bộ dữ liệu phổ biến và có ảnh hưởng nhất trong lĩnh vực này. Nó được tạo ra từ dữ liệu thu thập trong môi trường mạng quân sự mô phỏng, chứa cả lưu lượng bình thường và một loạt các loại tấn công mạng đã được gán nhãn. Các cuộc tấn công được phân thành bốn loại chính: DoS (Từ chối dịch vụ), Probe (Thăm dò), U2R (Người dùng đến Root), và R2L (Từ xa đến Cục bộ). Trong thực nghiệm, mô hình K-Means được huấn luyện trên một phần của bộ dữ liệu chỉ chứa các kết nối bình thường. Sau đó, mô hình được kiểm thử trên phần còn lại của bộ dữ liệu, bao gồm cả kết nối bình thường và tấn công. Kết quả cho thấy K-Means đạt hiệu quả cao trong việc phát hiện các cuộc tấn công DoS và Probe. Nguyên nhân là vì các loại tấn công này tạo ra các mẫu lưu lượng rất khác biệt so với hành vi thông thường, giúp thuật toán dễ dàng xác định chúng là các điểm dị biệt. Tuy nhiên, việc phát hiện các cuộc tấn công U2R và R2L gặp nhiều khó khăn hơn do chúng thường ẩn mình trong các kết nối trông có vẻ bình thường.

5.1. Giới thiệu tập dữ liệu KDD Cup 99 và NSL KDD

Tập dữ liệu KDD Cup 99 được xây dựng dựa trên dữ liệu từ cuộc thi DARPA'98. Nó bao gồm khoảng 4.9 triệu bản ghi kết nối trong tập huấn luyện và 300,000 bản ghi trong tập kiểm tra. Mỗi bản ghi được mô tả bởi 41 thuộc tính và một nhãn chỉ định nó là "bình thường" hay một loại tấn công cụ thể. Mặc dù được sử dụng rộng rãi, KDD Cup 99 có một số nhược điểm như chứa nhiều bản ghi trùng lặp. Để khắc phục, tập dữ liệu NSL-KDD đã được đề xuất. NSL-KDD là một phiên bản cải tiến, đã loại bỏ các bản ghi dư thừa, giúp cho việc đánh giá các thuật toán phát hiện xâm nhập trở nên công bằng và chính xác hơn. Cả hai bộ dữ liệu này đều là nguồn tài nguyên quý giá để kiểm nghiệm và so sánh hiệu suất của các phương pháp Machine Learning cho an ninh mạng.

5.2. Đánh giá hiệu quả mô hình qua tỷ lệ phát hiện và độ chính xác

Hiệu quả của mô hình được đánh giá dựa trên các chỉ số quan trọng như Tỷ lệ phát hiện (Detection Rate - DR) và Tỷ lệ báo động giả (False Positive Rate - FPR, còn gọi là False Alarm Rate). Tỷ lệ phát hiện đo lường phần trăm các cuộc tấn công thực sự đã được hệ thống xác định chính xác. Tỷ lệ báo động giả đo lường phần trăm các kết nối bình thường bị phân loại nhầm là tấn công. Một mô hình lý tưởng sẽ có DR cao và FPR thấp. Thực nghiệm trên tập dữ liệu KDD Cup 99 cho thấy mô hình K-Means có thể đạt DR rất cao đối với các tấn công DoS, nhưng FPR cũng có xu hướng tăng theo. Việc lựa chọn ngưỡng khoảng cách để phân loại một kết nối là bất thường đóng vai trò quyết định trong việc cân bằng giữa hai chỉ số này. Đây là một sự đánh đổi mà các nhà quản trị hệ thống phải cân nhắc kỹ lưỡng khi triển khai.

VI. Tương lai của Machine Learning cho an ninh mạng và K Means

Sự thành công của thuật toán K-Means trong việc phát hiện xâm nhập đã mở đường cho nhiều nghiên cứu sâu hơn về ứng dụng Machine Learning cho an ninh mạng. K-Means, với tư cách là một đại diện của học không giám sát, đã chứng minh khả năng phát hiện các mối đe dọa chưa từng có, một yếu tố sống còn trong cuộc chiến chống lại tội phạm mạng. Tuy nhiên, bản thân thuật toán này cũng có những hạn chế như sự nhạy cảm với việc chọn số cụm k ban đầu và khó khăn khi xử lý các cụm có hình dạng không phải hình cầu. Tương lai của lĩnh vực này sẽ tập trung vào việc khắc phục những nhược điểm đó. Các phương pháp lai (Hybrid) kết hợp K-Means với các thuật toán khác như mạng nơ-ron, máy véc-tơ hỗ trợ (SVM), hoặc các kỹ thuật học sâu (Deep Learning) đang được khám phá để tạo ra các hệ thống IDS thông minh hơn, chính xác hơn và có khả năng thích ứng cao hơn. Mục tiêu là xây dựng một hệ thống phòng thủ tự động, có thể học hỏi và tiến hóa liên tục để đối phó với bối cảnh tấn công mạng luôn thay đổi, giảm thiểu sự phụ thuộc vào con người và giảm tỷ lệ báo động giả.

6.1. Tóm tắt ưu và nhược điểm của phương pháp K Means

Ưu điểm chính của K-Means trong phát hiện xâm nhập là sự đơn giản, tốc độ xử lý nhanh trên các bộ dữ liệu lớn và khả năng phát hiện bất thường mà không cần dữ liệu được gán nhãn. Điều này làm cho nó trở thành một lựa chọn hấp dẫn cho việc phân tích lưu lượng mạng gần thời gian thực. Tuy nhiên, nhược điểm của nó cũng cần được lưu ý. Thứ nhất, hiệu suất của thuật toán phụ thuộc nhiều vào việc lựa chọn số cụm k và các tâm cụm ban đầu. Thứ hai, K-Means giả định rằng các cụm có hình dạng cầu và kích thước tương đương nhau, điều này không phải lúc nào cũng đúng với dữ liệu an ninh mạng. Cuối cùng, nó nhạy cảm với các điểm dữ liệu ngoại lai (outliers), vốn có thể là chính các cuộc tấn công mà chúng ta cần tìm.

6.2. Hướng phát triển ứng dụng Machine Learning cho an ninh mạng

Hướng phát triển trong tương lai cho Machine Learning cho an ninh mạng rất đa dạng. Một hướng đi quan trọng là phát triển các mô hình học tăng cường (Reinforcement Learning) cho phép hệ thống tự động thực hiện các hành động phản ứng, chẳng hạn như cấu hình lại tường lửa để chặn một cuộc tấn công. Một hướng khác là sử dụng các kỹ thuật học sâu, như mạng nơ-ron tái phát (RNN) và Long Short-Term Memory (LSTM), để phân tích các chuỗi hành vi trong lưu lượng mạng, giúp phát hiện các cuộc tấn công đa giai đoạn phức tạp. Ngoài ra, việc ứng dụng các kỹ thuật giải thích được AI (Explainable AI - XAI) cũng ngày càng trở nên quan trọng, giúp các nhà phân tích hiểu được "tại sao" một mô hình lại đưa ra một cảnh báo cụ thể, từ đó tăng cường sự tin cậy và hiệu quả trong vận hành hệ thống phát hiện xâm nhập.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ngày nay, hệ thống mạng máy tính đã trở nên rất phổ biến và được ứng dụng trong hầu hết các hoạt động kinh tế-xã hội của nước ta. Tuy nhiên, mạng máy tính cũng phải đương đầu với nhiều thách thức, đặc biệt là vấn đề an toàn và bảo mật dữ liệu trên mạng. Trong các mối đe dọa đối với an ninh mạng thì việc xâm nhập mạng để thay đổi thông tin, lấy cắp dữ liệu và phá hoại hạ tầng mạng là nghiêm trọng nhất. Chính vì vậy, việc phát hiện và ngăn chặn xâm nhập mạng máy tính là chủ đề đang được quan tâm nghiên cứu và phát triển ứng dụng mạnh mẽ hiện nay.

Phát hiện và ngăn chặn được hiểu là xác định xâm nhập và ngăn chặn một cách nhanh nhất khi nó xảy ra. Hiện nay không có phương pháp phát hiện truy nhập trái phép nào là hoàn hảo bởi các kĩ thuật xâm nhập ngày càng tinh vi và luôn luôn được đổi mới. Khi phương pháp phát hiện xâm nhập được biết đến thì những kẻ xâm nhập sẽ sửa những chiến lược và thử một kiểu xâm nhập mới. Chính vì thế tôi đã lựa chọn chủ đề “ -means.” là đề tài nghiên cứu cho luận văn của mình.

* Cấu trúc của luận văn bao gồm 3 chương như sau: Chƣơng 1: Chương này trình bày nhưng kiến thức cơ bản về phát hiện xâm nhập như: định nghĩa, các thành phần và chức năng của hệ thống, phân loại, và các phương pháp phát hiện xâm nhập. Chƣơng 2: Chương này trình bày về việc phát hiện xâm nhập dựa trên thuật toán K-means. Nội dung của thuật toán, ví dụ minh họa thuật toán, tập dữ liệu kiểm thử và mô hình phát hiện xâm nhập dựa trên thuật toán K-means. Chƣơng 3: Chương này là kết quả cài đặt bài toán phát hiện xâm nhập dựa trên thuật toán k-means.

Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.vn/ 4 Chƣơng 1 KHÁI QUÁT BÀI TOÁN PHÁT HIỆN XÂM NHẬP 1. Định nghĩa về phát hiện xâm nhập 1. Định nghĩa Hệ thống phát hiện xâm nhập (IDS) là hệ thống có nhiệm vụ theo dõi, phát hiện và (có thể) ngăn cản sự xâm nhập, cũng như các hành vi khai thác trái phép tài nguyên của hệ thống được bảo vệ mà có thể dẫn đến việc làm tổn hại đến tính bảo mật, tính toàn vẹn và tính sẵn sàng của hệ thống.[6] Hệ thống IDS sẽ thu thập thông tin từ rất nhiều nguồn trong hệ thống được bảo vệ sau đó tiến hành phân tích những thông tin đó theo các cách khác nhau để phát hiện những xâm nhập trái phép. Khi một hệ thống IDS có khả năng ngăn chặn các nguy cơ xâm nhập mà nó phát hiện được thì nó được gọi là một hệ thống phòng chống xâm nhập hay IPS.

Hình sau minh họa các vị trí thường cài đặt IDS trong mạng: Hình 1.1: Các vị trí đặt IDS trong mạng. Sự khác nhau giữa IDS/IPS Có thể nhận thấy sự khác biệt giữa hai khái niệm ngay ở tên gọi: “phát hiện” và “ngăn chặn”. Các hệ thống IDS được thiết kế với mục đích chủ yếu là phát hiện và cảnh báo các nguy cơ xâm nhập đối với mạng máy tính nó đang bảo vệ trong khi đó, một hệ thống IPS ngoài khả năng phát hiện còn có thể tự hành động chống lại Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.vn/ 5 các nguy cơ theo các quy định được người quản trị thiết lập sẵn. Tuy vậy, sự khác biệt này trên thực tế không thật sự rõ ràng.

Một số hệ thống IDS được thiết kế với khả năng ngăn chặn như một chức năng tùy chọn. Trong khi đó một số hệ thống IPS lại không mang đầy đủ chức năng của một hệ thống phòng chống theo đúng nghĩa. Một câu hỏi được đặt ra là lựa chọn giải pháp nào, IDS hay IPS? Câu trả lời tùy thuộc vào quy mô, tính chất của từng mạng máy tính cụ thể cũng như chính sách an ninh của những người quản trị mạng. Trong trường hợp các mạng có quy mô nhỏ, với một máy chủ an ninh, thì giải pháp IPS thường được cân nhắc nhiều hơn do tính chất kết hợp giữa phát hiện, cảnh báo và ngăn chặn của nó.

Tuy nhiên với các mạng lớn hơn thì chức năng ngăn chặn thường được giao phó cho một sản phẩm chuyên dụng như một firewall chẳng hạn. Khi đó, hệ thống cảnh báo sẽ chỉ cần theo dõi, phát hiện và gửi các cảnh báo đến một hệ thống ngăn chặn khác. Sự phân chia trách nhiệm này sẽ làm cho việc đảm bảo an ninh cho mạng trở nên linh động và hiệu quả hơn. Các thành phần và chức năng của hệ thống phát hiện thâm nhập.

IDS bao gồm các thành phần chính: - Thành phần thu thập gói tin. - Thành phần phát hiện gói tin. - Thành phần phản hồi (xử lý).2: Mô hình kiến trúc hệ thống phát hiện xâm nhập (IDS). Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.

Thành phần thu thập gói tin Thành phần này có nhiệm vụ lấy tất cả các gói tin đi đến mạng. Thông thường các gói tin có địa chỉ không phải của một card mạng thì sẽ bị card mạng đó hủy bỏ nhưng card mạng của IDS được đặt ở chế độ thu nhận tất cả. Tất cả các gói tin qua chúng đều được sao chụp, xử lý, phân tích đến từng trường thông tin. Bộ phận thu thập gói tin sẽ đọc thông tin từng trường trong gói tin, xác định chúng thuộc kiểu gói tin nào, dịch vụ gì.

Các thông tin này được chuyển đến thành phần phát hiện tấn công. Thành phần phát hiện gói tin Ở thành phần này, các bộ cảm biến đóng vai trò quyết định. Vai trò của bộ cảm biến là để lọc thông tin và loại bỏ những thông tin dữ liệu không tương thích đạt được từ các sự kiện liên quan tới hệ thống bảo vệ, vì vậy có thể phát hiện các hành động nghi ngờ. Thành phần phản hồi Khi có dấu hiệu của sự tấn công hoặc thâm nhập, thành phần phát hiện tấn công sẽ gửi tín hiệu báo hiệu (alert) có sự tấn công hoặc thâm nhập đến thành phần phản ứng.

Lúc đó thành phần phản ứng sữ kích hoạt tường lửa thực hiện chức năng ngăn chặn cuộc tấn công hay cảnh báo tới người quản trị. Dưới đây là một số kỹ thuật ngăn chặn: * Cảnh báo thời gian thực: Gửi các cảnh báo thời gian thực đến người quản trị để họ nắm được chi tiết các cuộc tấn công, các đặc điểm và thông tin về chúng. * Ghi lại vào tập tin: Các dữ liệu của gói tin sẽ được lưu trữ trong hệ thống các tập tin log. Mục đích là để những người quản trị có thể theo dõi các luồng thông tin và là nguồn thông tin giúp cho module phát hiện tấn công hoạt động.

* Ngăn chặn, thay đổi gói tin: Khi một gói tin khớp với dấu hiệu tấn công thì IDS sẽ phản hồi bằng cách xóa bỏ, từ chối hay thay đổi nội dung của gói tin, làm cho gói tin trở nên không bình thường. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www. Phân loại phát hiện xâm nhập Cách thông thường nhất để phân loại các hệ thống IDS (cũng như IPS) là dựa vào đặc điểm của nguồn dữ liệu thu thập được. Trong trường hợp này, các hệ thống IDS được chia thành các loại sau: • Host-based IDS (HIDS): Sử dụng dữ liệu kiểm tra từ một máy trạm đơn để phát hiện xâm nhập.

• Network-based IDS (NIDS): Sử dụng dữ liệu trên toàn bộ lưu thông mạng, cùng với dữ liệu kiểm tra từ một hoặc một vài máy trạm để phát hiện xâm nhập. Network based IDS – NIDS NIDS thường bao gồm có hai thành phần logic: • Bộ cảm biến – Sensor: đặt tại một đoạn mạng, kiểm soát các cuộc lưu thông nghi ngờ trên đoạn mạng đó. • Trạm quản lý: nhận các tín hiệu cảnh báo từ bộ cảm biến và thông báo cho một điều hành viên.3: Mô hình NIDS Một NIDS truyền thống với hai bộ cảm biến trên các đoạn mạng khác nhau cùng giao tiếp với một trạm kiểm soát. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.

Ƣu điểm • Chi phí thấp: Do chỉ cần cài đặt NIDS ở những vị trí trọng yếu là có thể giám sát lưu lượng toàn mạng nên hệ thống không cần phải nạp các phần mềm và quản lý trên các máy toàn mạng. • Phát hiện được các cuộc tấn công mà HIDS bỏ qua: Khác với HIDS, NIDS kiểm tra header của tất cả các gói tin vì thế nó không bỏ sót các dấu hiệu xuất phát từ đây. Ví dụ: nhiều cuộc tấn công DoS, TearDrop (phân nhỏ) chỉ bị phát hiện khi xem header của các gói tin lưu chuyển trên mạng. • Khó xoá bỏ dấu vết (evidence): Các thông tin lưu trong log file có thể bị kẻ đột nhập sửa đổi để che dấu các hoạt động xâm nhập, trong tình huống này HIDS khó có đủ thông tin để hoạt động.

NIDS sử dụng lưu thông hiện hành trên mạng để phát hiện xâm nhập. Vì thế, kẻ đột nhập không thể xoá bỏ được các dấu vết tấn công. Các thông tin bắt được không chỉ chứa cách thức tấn công mà cả thông tin hỗ trợ cho việc xác minh và buộc tội kẻ đột nhập. • Phát hiện và đối phó kịp thời: NIDS phát hiện các cuộc tấn công ngay khi xảy ra, vì thế việc cảnh báo và đối phó có thể thực hiện được nhanh hơn.

VD: Một hacker thực hiện tấn công DoS dựa trên TCP có thể bị NIDS phát hiện và ngăn chặn ngay bằng việc gửi yêu cầu TCP reset nhằm chấm dứt cuộc tấn công trước khi nó xâm nhập và phá vỡ máy bị hại. • Có tính độc lập cao: Lỗi hệ thống không có ảnh hưởng đáng kể nào đối với công việc của các máy trên mạng. Chúng chạy trên một hệ thống chuyên dụng dễ dàng cài đặt; đơn thuần chỉ mở thiết bị ra, thực hiện một vài sự thay đổi cấu hình và cắm chúng vào trong mạng tại một vị trí cho phép nó kiểm soát các cuộc lưu thông nhạy cảm. Nhƣợc điểm • Bị hạn chế với Switch: Nhiều lợi điểm của NIDS không phát huy được trong các mạng chuyển mạch hiện đại.

Thiết bị switch chia mạng thành nhiều phần độc lập vì thế NIDS khó thu thập được thông tin trong toàn mạng. Do chỉ kiểm tra mạng trên đoạn mà nó trực tiếp kết nối tới, nó không thể phát hiện một cuộc tấn Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.vn/ 9 công xảy ra trên các đoạn mạng khác.Vấn đề này dẫn tới yêu cầu tổ chức cần phải mua một lượng lớn các bộ cảm biến để có thể bao phủ hết toàn mạng gây tốn kém về chi phí cài đặt.