Phát hiện xâm nhập mạng dựa trên bất thường và học máy - Nghiên cứu từ Đại học Bách Khoa Hà Nội

Phát hiện xâm nhập mạng dựa trên bất thường bằng học máy. Tìm hiểu các phương pháp và kỹ thuật an ninh mạng tiên tiến để bảo vệ hệ thống.

• Tác giả: Đỗ Văn Hải
• Người hướng dẫn: PGS.TS Nguyễn Linh Giang
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: An Ninh Mạng
• Đề tài: Phát hiện xâm nhập mạng dựa trên bất thường và các phương pháp học máy
• Loại tài liệu: Đồ án môn học
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÒNG CHỐNG XÂM NHẬP MẠNG
• 1.1. Khái niệm IDS/IPS
• 1.2. Chức năng của IDS/IPS
• 1.3. Ưu, nhược điểm của IDS
• 1.4. Kiến trúc của IDS và nguyên lý hoạt động
• 2. CHƯƠNG 2: CÁC PHƯƠNG PHÁP PHÁT HIỆN TẤN CÔNG TRONG HỆ THỐNG IDS/IPS VÀ SNORT
• 2.1. Các phương pháp phát hiện bất thường
• 2.1.1. Phát hiện xâm nhập mạng bất thường dựa trên luật (rule – based) trong IDS/IPS
• 2.1.2. Phát hiện xâm nhập mạng bất thường dựa trên các thuật toán học máy
• 2.1.3. Phát hiện xâm nhập mạng bất thường dựa trên mạng nơ-ron (Artificial Neural Network)
• 2.2. Hệ thống ngăn chặn xâm nhập SNORT
• 2.2.1. Kiến trúc của Snort
• 2.2.2. Bộ luật của snort
• 2.2.3. Cách sử dụng Snort phát hiện xâm nhập mạng
• 3. CHƯƠNG 3: THỬ NGHIỆM PHÁT HIỆN TẤN CÔNG XÂM NHẬP MẠNG BẤT THƯỜNG BẰNG HỌC MÁY
• 3.1. Các kiểu tấn công Portscan
• 3.2. Thử nghiệm phát hiện tấn công bằng học máy
• 3.3. Giới thiệu PortscanAI
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Hướng dẫn tổng quan về phát hiện xâm nhập mạng bất thường

Trong bối cảnh Internet trở thành một phần không thể thiếu của mọi lĩnh vực, từ kinh tế, y tế đến quốc phòng, vấn đề an ninh mạng đã trở nên cấp thiết hơn bao giờ hết. Các mối đe dọa trực tuyến ngày càng tinh vi, nhắm vào dữ liệu cá nhân, tài chính và bí mật quốc gia, gây ra những thiệt hại khổng lồ. Để đối phó, các hệ thống phát hiện xâm nhập (IDS) và hệ thống phòng chống xâm nhập (IPS) ra đời như những người lính gác trên không gian mạng. Mục tiêu chính của các hệ thống này là giám sát, phân tích và phản ứng lại các hoạt động đáng ngờ, bảo vệ tính toàn vẹn và bảo mật của hệ thống. Một hệ thống phát hiện xâm nhập mạng hiệu quả phải có khả năng xác định các hành vi bất thường, phân biệt chúng với lưu lượng hợp lệ và đưa ra cảnh báo kịp thời cho quản trị viên. Việc nghiên cứu các phương pháp tiên tiến để nâng cao hiệu quả của IDS là một nhiệm vụ quan trọng, đặc biệt là ứng dụng học máy trong an ninh mạng để nhận diện các cuộc tấn công chưa từng được biết đến. Cách tiếp cận này giúp hệ thống trở nên thông minh và linh hoạt hơn, thay vì chỉ dựa vào các mẫu tấn công đã được định nghĩa sẵn.

1.1. Khái niệm cốt lõi về hệ thống phát hiện xâm nhập IDS

Một Hệ thống phát hiện xâm nhập (IDS - Intrusion Detection System) là một thiết bị phần cứng hoặc ứng dụng phần mềm thực hiện chức năng giám sát lưu lượng mạng hoặc các hoạt động trên một hệ thống. Mục tiêu của nó là phân tích các hoạt động này để tìm kiếm dấu hiệu của các hành vi độc hại hoặc vi phạm chính sách bảo mật. Khi phát hiện một hoạt động đáng ngờ, IDS sẽ tạo ra cảnh báo và gửi đến quản trị viên. Có hai loại IDS chính: Network IDS (NIDS), giám sát lưu lượng trên toàn bộ mạng, và Host IDS (HIDS), giám sát các hoạt động trên một máy chủ hoặc thiết bị cuối cụ thể. Cần phân biệt IDS với hệ thống phòng chống xâm nhập (IPS). Trong khi IDS chỉ có chức năng phát hiện và cảnh báo (giám sát thụ động), IPS có thêm khả năng chủ động ngăn chặn cuộc tấn công ngay khi phát hiện ra, ví dụ như chặn địa chỉ IP của kẻ tấn công hoặc ngắt kết nối đáng ngờ.

1.2. So sánh phát hiện xâm nhập dựa trên chữ ký và dị thường

Có hai phương pháp chính trong việc phát hiện xâm nhập. Thứ nhất là phát hiện xâm nhập dựa trên chữ ký (Signature-based Intrusion Detection). Phương pháp này hoạt động bằng cách so sánh lưu lượng mạng với một cơ sở dữ liệu chứa các mẫu (chữ ký) của những cuộc tấn công đã biết. Ưu điểm của nó là độ chính xác cao và tỷ lệ dương tính giả (false positive) thấp đối với các mối đe dọa quen thuộc. Tuy nhiên, nó hoàn toàn không hiệu quả với các cuộc tấn công mới (zero-day) chưa có chữ ký. Ngược lại, phát hiện xâm nhập dựa trên dị thường (Anomaly-based Intrusion Detection) hoạt động bằng cách xây dựng một mô hình hành vi 'bình thường' của hệ thống. Bất kỳ hoạt động nào sai lệch đáng kể so với mô hình này đều được coi là bất thường và có thể là một cuộc tấnâm công. Phương pháp này có khả năng phát hiện các cuộc tấn công mới, nhưng lại có nguy cơ tạo ra nhiều cảnh báo sai nếu mô hình 'bình thường' không được xây dựng chuẩn xác.

II. Thách thức lớn khi phát hiện xâm nhập mạng dựa trên luật

Phương pháp phát hiện xâm nhập dựa trên luật (rule-based) hay dựa trên chữ ký, mặc dù phổ biến, nhưng đang bộc lộ nhiều hạn chế đáng kể trước sự phát triển của các kỹ thuật tấn công hiện đại. Thách thức lớn nhất là sự phụ thuộc hoàn toàn vào cơ sở dữ liệu các luật hoặc chữ ký được định nghĩa trước. Điều này có nghĩa là hệ thống chỉ có thể nhận diện những gì nó đã được 'dạy', khiến nó trở nên vô dụng trước các biến thể tấn công mới hoặc các cuộc tấn công zero-day. Hơn nữa, khi quy mô mạng lưới và khối lượng lưu lượng tăng lên, tập luật cũng phình to theo. Việc xử lý một khối lượng luật khổng lồ khiến hệ thống trở nên chậm chạp, có thể gây ra hiện tượng nghẽn cổ chai và không đáp ứng được yêu cầu phân tích thời gian thực. Quá trình cập nhật và bảo trì tập luật này cũng đòi hỏi sự can thiệp thủ công liên tục từ các chuyên gia an toàn thông tin, gây tốn kém về thời gian và nguồn lực. Những nhược điểm này thúc đẩy sự cần thiết phải tìm đến các giải pháp thông minh hơn, có khả năng tự học và thích ứng, điển hình là các phương pháp học máy.

2.1. Hạn chế về tốc độ và khả năng mở rộng của hệ thống IDS

Một trong những nhược điểm cố hữu của hệ thống IDS dựa trên luật là hiệu suất suy giảm khi tập luật trở nên quá lớn. Mỗi gói tin đi qua hệ thống đều phải được so khớp với hàng ngàn, thậm chí hàng triệu luật. Quá trình này tiêu tốn rất nhiều tài nguyên xử lý. Khi lưu lượng mạng đạt đỉnh, hệ thống có thể không xử lý kịp, dẫn đến việc bỏ sót gói tin và tạo ra các điểm mù an ninh. Khả năng mở rộng cũng là một vấn đề. Mỗi khi hệ thống mạng được nâng cấp hoặc thay đổi kiến trúc, người quản trị phải rà soát và cập nhật lại toàn bộ tập luật để đảm bảo tính tương thích và hiệu quả, một công việc phức tạp và dễ xảy ra sai sót. Điều này làm cho phương pháp rule-based trở nên kém linh hoạt trong các môi trường mạng năng động ngày nay.

2.2. Vấn đề dương tính giả false positive và âm tính giả

Cân bằng giữa dương tính giả (false positive) và âm tính giả (false negative) là một thách thức kinh điển trong an ninh mạng. Âm tính giả xảy ra khi IDS không phát hiện được một cuộc tấn công thực sự, đây là rủi ro nghiêm trọng nhất. Các hệ thống dựa trên luật rất dễ gặp phải vấn đề này với các cuộc tấn công mới. Ngược lại, dương tính giả là khi hệ thống cảnh báo một hoạt động hợp lệ là tấn công. Mặc dù ít nguy hiểm hơn, nhưng quá nhiều cảnh báo sai sẽ làm quản trị viên mất thời gian điều tra, giảm sự tin tưởng vào hệ thống và có thể vô tình bỏ qua một cảnh báo thật sự. Các hệ thống phát hiện dị thường có xu hướng gặp nhiều dương tính giả hơn nếu ngưỡng 'bình thường' được thiết lập quá nhạy. Việc tinh chỉnh để giảm thiểu cả hai loại lỗi này là một bài toán khó, đòi hỏi sự kết hợp giữa công nghệ và kinh nghiệm chuyên môn.

III. Phương pháp học máy Giải pháp cho an ninh mạng hiện đại

Để khắc phục những nhược điểm của phương pháp truyền thống, học máy trong an ninh mạng đã nổi lên như một giải pháp đột phá. Thay vì dựa vào các luật được lập trình sẵn, các thuật toán học máy cho phép hệ thống tự động học các mẫu từ dữ liệu lưu lượng mạng. Các mô hình phát hiện bất thường được xây dựng dựa trên khả năng phân loại hoạt động mạng thành hai nhóm: 'bình thường' và 'bất thường' (tấn công). Ưu điểm vượt trội của phương pháp này là khả năng nhận diện các mối đe dọa chưa từng thấy trước đây bằng cách xác định các sai lệch so với hành vi chuẩn đã học được. Các mô hình học máy có thể xử lý các tập dữ liệu khổng lồ, phức tạp và không chắc chắn, đồng thời tự động cập nhật tri thức thông qua quá trình huấn luyện lại. Việc áp dụng học máy không chỉ giúp tự động hóa quá trình phát hiện mà còn nâng cao độ chính xác và giảm sự phụ thuộc vào can thiệp thủ công, mở ra một kỷ nguyên mới cho các hệ thống IDS thông minh và chủ động.

3.1. Các thuật toán học máy SVM Cây quyết định và KNN

Nhiều thuật toán học máy đã được áp dụng thành công trong việc phát hiện xâm nhập. Máy vector hỗ trợ (SVM - Support Vector Machine) là một thuật toán mạnh mẽ, hoạt động bằng cách tìm ra một siêu phẳng tối ưu để phân tách các điểm dữ liệu thuộc các lớp khác nhau (ví dụ: tấn công và bình thường). Cây quyết định (Decision Tree) xây dựng một mô hình dạng cây, trong đó mỗi nút đại diện cho một thuộc tính của dữ liệu và mỗi nhánh là một quy tắc quyết định, giúp phân loại dữ liệu một cách trực quan. Một thuật toán phổ biến khác là K-Láng giềng gần nhất (KNN - K-Nearest Neighbors), hoạt động dựa trên nguyên tắc rằng các điểm dữ liệu tương tự thường nằm gần nhau. Nó phân loại một điểm dữ liệu mới dựa trên 'phiếu bầu' của K điểm lân cận gần nhất trong tập huấn luyện. Mỗi thuật toán có ưu và nhược điểm riêng, việc lựa chọn phụ thuộc vào đặc điểm của dữ liệu và yêu cầu cụ thể của bài toán.

3.2. Vai trò của học có giám sát và không giám sát trong IDS

Các thuật toán học máy trong IDS có thể được chia thành hai loại chính: học có giám sát và không giám sát. Trong học có giám sát (Supervised Learning), mô hình được huấn luyện trên một bộ dữ liệu an ninh mạng đã được gán nhãn, ví dụ như NSL-KDD. Mỗi mẫu dữ liệu được đánh dấu là 'bình thường' hoặc thuộc một loại tấn công cụ thể (ví dụ: tấn công từ chối dịch vụ DoS/DDoS). Phương pháp này thường cho độ chính xác cao nhưng đòi hỏi dữ liệu gán nhãn chất lượng. Ngược lại, học không giám sát (Unsupervised Learning) làm việc với dữ liệu không gán nhãn. Các thuật toán như K-Means Clustering sẽ tự động nhóm các điểm dữ liệu tương tự lại với nhau. Các cụm nhỏ hoặc các điểm dữ liệu nằm xa các cụm chính có thể được xác định là bất thường. Phương pháp này rất hữu ích để phát hiện các loại tấn công hoàn toàn mới.

IV. Bí quyết dùng học sâu và mạng nơ ron phát hiện xâm nhập

Tiến xa hơn học máy truyền thống, học sâu (deep learning) và mạng nơ-ron nhân tạo (ANN - Artificial Neural Network) đang mang lại những kết quả ấn tượng trong lĩnh vực phát hiện xâm nhập. Các mô hình này được lấy cảm hứng từ cấu trúc não bộ con người, bao gồm nhiều lớp nơ-ron liên kết với nhau, cho phép học các đặc trưng phức tạp và trừu tượng trực tiếp từ dữ liệu thô. Trong phân tích lưu lượng mạng, một mạng nơ-ron có thể tự động xác định các mẫu tinh vi mà con người hoặc các thuật toán truyền thống khó có thể nhận ra. Khả năng này đặc biệt quan trọng để chống lại các cuộc tấn công tinh vi, có chủ đích (APT) hoặc các loại phần mềm độc hại (malware) mới. Các kiến trúc như mạng nơ-ron tích chập (CNN) hay mạng nơ-ron hồi quy (RNN) đang được nghiên cứu và áp dụng để phân tích dữ liệu chuỗi thời gian trong lưu lượng mạng, hứa hẹn tạo ra một thế hệ IDS/IPS có khả năng dự báo và phòng thủ vượt trội.

4.1. Cấu trúc và nguyên lý hoạt động của mạng nơ ron nhân tạo

Một mạng nơ-ron nhân tạo (ANN) cơ bản bao gồm ba loại lớp: lớp đầu vào (Input Layer), một hoặc nhiều lớp ẩn (Hidden Layers), và lớp đầu ra (Output Layer). Lớp đầu vào nhận dữ liệu thô, chẳng hạn như các đặc trưng của một gói tin mạng. Mỗi nơ-ron trong lớp ẩn nhận đầu vào từ lớp trước đó, nhân chúng với các trọng số (weights), cộng thêm một giá trị thiên vị (bias), sau đó đưa kết quả qua một hàm kích hoạt (activation function) để chuẩn hóa đầu ra. Quá trình này được lặp lại qua các lớp, cho phép mạng học các biểu diễn dữ liệu ngày càng phức tạp. Lớp đầu ra cuối cùng sẽ đưa ra dự đoán, ví dụ như xác suất gói tin đó là một cuộc tấn công. Sức mạnh của học sâu phát hiện xâm nhập nằm ở số lượng lớp ẩn; càng nhiều lớp, mạng càng 'sâu' và có khả năng học các mẫu phức tạp hơn.

4.2. Ứng dụng thuật toán lan truyền ngược Backpropagation

Để một mạng nơ-ron có thể 'học', nó cần một cơ chế để điều chỉnh các trọng số của mình. Thuật toán lan truyền ngược (Backpropagation) là thuật toán huấn luyện phổ biến nhất cho ANN. Quá trình này diễn ra sau khi mạng đưa ra một dự đoán. Đầu tiên, sai số giữa kết quả dự đoán và kết quả thực tế được tính toán thông qua một hàm mất mát (loss function). Sau đó, thuật toán sẽ tính toán đạo hàm của hàm mất mát theo từng trọng số, bắt đầu từ lớp cuối cùng và lan truyền ngược về các lớp đầu tiên. Gradient này cho biết mỗi trọng số đã 'góp phần' vào sai số như thế nào. Dựa trên thông tin đó, các trọng số sẽ được cập nhật một chút theo hướng làm giảm sai số. Quá trình này được lặp lại hàng ngàn lần với toàn bộ dữ liệu huấn luyện cho đến khi mạng hội tụ và đạt được độ chính xác mong muốn.

V. Phân tích thử nghiệm dùng học máy phát hiện tấn công Portscan

Để chứng minh tính hiệu quả của học máy trong thực tiễn, nghiên cứu đã tiến hành thử nghiệm xây dựng một mô hình phát hiện tấn công Portscan. Tấn công Portscan là một kỹ thuật thăm dò phổ biến, trong đó kẻ tấn công quét các cổng trên một máy chủ để tìm ra các dịch vụ đang mở và có thể khai thác. Mô hình thử nghiệm, được đặt tên là PortscanAI, là một module tiền xử lý sử dụng mạng nơ-ron nhân tạo (ANN) được tích hợp trực tiếp vào hệ thống phát hiện xâm nhập mã nguồn mở nổi tiếng Snort. Thay vì chỉ dựa vào các luật tĩnh, PortscanAI thực hiện phân tích lưu lượng mạng trong thời gian thực, trích xuất các đặc trưng thống kê quan trọng và đưa chúng vào mô hình ANN để phân loại. Thử nghiệm này cho thấy việc kết hợp sức mạnh của trí tuệ nhân tạo (AI) cho an ninh mạng với các công cụ IDS truyền thống có thể tăng cường đáng kể khả năng phát hiện các hành vi bất thường, đặc biệt là các cuộc tấn công thăm dò tinh vi.

5.1. Giới thiệu mô hình PortscanAI tích hợp vào hệ thống Snort

PortscanAI được thiết kế như một bộ tiền xử lý (preprocessor) cho Snort. Khi Snort bắt các gói tin, chúng sẽ được chuyển qua PortscanAI trước khi đến bộ máy phát hiện dựa trên luật. Module này sử dụng một bảng băm (hash table) để theo dõi các thông số thống kê của từng địa chỉ IP trong mạng. Các tham số này sau đó được chuẩn hóa và đưa vào một mạng nơ-ron đã được huấn luyện trước. Mạng nơ-ron sẽ đưa ra dự đoán về khả năng một IP đang thực hiện tấn công Portscan. Nếu kết quả vượt qua một ngưỡng nhất định, một cảnh báo sẽ được tạo ra. Cách tiếp cận này giúp Snort có thêm khả năng phát hiện xâm nhập dựa trên dị thường mà không cần phải xây dựng các bộ luật phức tạp và dễ bị lỗi thời cho từng biến thể tấn công Portscan.

5.2. Phân tích các tham số đầu vào cho mô hình mạng nơ ron

Chất lượng của mô hình học máy phụ thuộc rất nhiều vào các đặc trưng đầu vào. Trong PortscanAI, mạng nơ-ron được huấn luyện với 7 tham số chính được trích xuất từ lưu lượng mạng, bao gồm: số lượt truy cập với vai trò là đích (hits_as_dst), thời gian trung bình giữa các yêu cầu kết nối nhận được (av_rcv_time), và số lượng phản hồi tiêu cực (negative_resp - thường là các gói tin RST+ACK từ các cổng đóng). Các giá trị này phản ánh hành vi đặc trưng của một cuộc tấn công Portscan: một địa chỉ IP nạn nhân sẽ nhận được rất nhiều yêu cầu kết nối trong một thời gian ngắn, và phần lớn các yêu cầu này sẽ nhận lại phản hồi tiêu cực vì các cổng đều đóng. Dữ liệu này được thu thập và sử dụng để huấn luyện một mạng nơ-ron nhân tạo ba lớp với hàm kích hoạt sigmoid, giúp mô hình học cách phân biệt giữa lưu lượng bình thường và hoạt động quét cổng.

5.3. Đánh giá hiệu quả mô hình phát hiện bất thường PortscanAI

Kết quả thử nghiệm cho thấy PortscanAI mang lại nhiều ưu điểm so với phương pháp phát hiện dựa trên luật truyền thống. Ưu điểm lớn nhất là khả năng tự động cảnh báo các cuộc tấn công mới mà không cần cập nhật luật. Mô hình có thể phát hiện các kỹ thuật quét tinh vi như TCP SYN Scan hay Decoy Scan, những kỹ thuật mà kẻ tấn công thường sử dụng để né tránh các IDS thông thường. Việc sử dụng học sâu phát hiện xâm nhập giúp đơn giản hóa công việc cho người quản trị, giảm thời gian xây dựng và bảo trì các bộ luật phức tạp. Mặc dù vẫn còn những thách thức như cảnh báo dư thừa hoặc bỏ sót gói tin, nhưng mô hình này đã chứng minh tiềm năng to lớn của việc tích hợp AI vào các hệ thống an toàn thông tin để tạo ra một lớp phòng thủ chủ động và thông minh hơn.

VI. Tương lai của an ninh mạng Vai trò chủ đạo của AI học máy

Xu hướng phát triển của an ninh mạng rõ ràng đang dịch chuyển về phía tự động hóa và trí thông minh. Các phương pháp phát hiện xâm nhập truyền thống đã không còn đủ sức chống chọi với các mối đe dọa ngày càng phức tạp và có quy mô lớn. Tương lai thuộc về các hệ thống phòng thủ thông minh, nơi trí tuệ nhân tạo (AI) cho an ninh mạng và các phương pháp học máy đóng vai trò trung tâm. Các hệ thống này không chỉ phản ứng với các cuộc tấn công đã xảy ra mà còn có khả năng dự đoán các mối đe dọa tiềm tàng thông qua phân tích hành vi người dùng và thực thể (UEBA). Việc tích hợp AI sẽ giúp giảm gánh nặng cho các chuyên gia an ninh, cho phép họ tập trung vào việc điều tra các sự cố phức tạp thay vì phải sàng lọc vô số cảnh báo. Để hiện thực hóa tiềm năng này, cộng đồng an ninh mạng cần tiếp tục nghiên cứu các thuật toán hiệu quả hơn và xây dựng các bộ dữ liệu chất lượng cao để huấn luyện các mô hình ngày càng chính xác và mạnh mẽ.

6.1. Hướng phát triển của hệ thống phát hiện xâm nhập thông minh

Trong tương lai, các hệ thống phát hiện xâm nhập (IDS) sẽ ngày càng thông minh hơn bằng cách kết hợp nhiều kỹ thuật AI khác nhau. Thay vì chỉ dựa vào một mô hình duy nhất, các hệ thống hybrid sẽ tận dụng điểm mạnh của cả phương pháp dựa trên chữ ký (để phát hiện nhanh các mối đe dọa đã biết) và phương pháp dựa trên dị thường (để phát hiện các tấn công zero-day). Các mô hình học sâu (deep learning) sẽ được tối ưu hóa để có thể triển khai trên các thiết bị mạng có tài nguyên hạn chế, cho phép phân tích ngay tại biên mạng. Hơn nữa, các hệ thống sẽ có khả năng tự động cập nhật và tinh chỉnh mô hình của mình dựa trên dữ liệu mới, tạo ra một chu trình học hỏi liên tục để thích ứng với bối cảnh mối đe dọa luôn thay đổi.

6.2. Tầm quan trọng của bộ dữ liệu an ninh mạng chất lượng

Nền tảng của bất kỳ hệ thống học máy trong an ninh mạng hiệu quả nào cũng là dữ liệu. Hiệu suất của một mô hình phụ thuộc trực tiếp vào chất lượng và sự đa dạng của bộ dữ liệu an ninh mạng được dùng để huấn luyện. Các bộ dữ liệu kinh điển như KDD Cup 99 hay NSL-KDD đã có phần lỗi thời so với các loại tấn công hiện đại. Do đó, việc xây dựng và chia sẻ các bộ dữ liệu mới, cập nhật và thực tế hơn như CIC-IDS2017 là vô cùng quan trọng. Một bộ dữ liệu tốt cần phải bao gồm một lượng lớn lưu lượng mạng thực tế, đa dạng các loại tấn công và được gán nhãn chính xác. Đây là một thách thức lớn nhưng cũng là yếu tố then chốt để thúc đẩy sự phát triển của các giải pháp an ninh mạng dựa trên AI trong tương lai.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong xu thế số hóa toàn cầu, Internet đã trở thành hạ tầng công nghệ thiết yếu, phục vụ từ đời sống cá nhân đến các lĩnh vực trọng yếu như y tế, giáo dục, tài chính và quốc phòng. Sự mở rộng không ngừng của không gian mạng kéo theo các rủi ro bảo mật nghiêm trọng. Trong khi thiệt hại đối với người dùng cá nhân có thể ở mức giới hạn, các cuộc tấn công mạng nhằm vào doanh nghiệp và tổ chức lớn có thể gây thiệt hại hàng triệu đô la; đặc biệt, nguy cơ rò rỉ dữ liệu tại các cơ quan chính phủ và an ninh quốc phòng đe dọa trực tiếp đến chủ quyền quốc gia. Các đối tượng tấn công có thể nhắm vào dữ liệu, tài khoản ngân hàng, hệ thống phần mềm và hạ tầng mạng cục bộ thông qua nhiều hình thức mã độc và xâm nhập tinh vi.

Nhằm bảo vệ hệ thống thông tin nội bộ, đề tài "Phát hiện xâm nhập mạng dựa trên bất thường và các phương pháp học máy" được nhóm sinh viên ngành An toàn thông tin / Công nghệ thông tin thuộc Trường Công nghệ Thông tin và Truyền thông – Đại học Bách khoa Hà Nội thực hiện vào năm 2023. Đề tài tập trung vào ba nhiệm vụ nghiên cứu trọng tâm:

1. Nghiên cứu tổng quan lý thuyết về hệ thống phát hiện xâm nhập (IDS) và hệ thống phòng chống xâm nhập (IPS), bao gồm cấu trúc, nguyên lý vận hành và các tiêu chí phân loại.
2. Phân tích các phương pháp phát hiện tấn công mạng phổ biến, so sánh cơ chế phát hiện dựa trên tập luật (rule-based) và các thuật toán học máy, đồng thời tìm hiểu sâu về kiến trúc hệ thống Snort và mạng nơ-ron nhân tạo (ANN).
3. Triển khai thử nghiệm công cụ Snort trên môi trường thực tế để bắt và xử lý gói tin mạng, đồng thời đánh giá khả năng tích hợp mô hình học máy PortscanAI vào khối tiền xử lý nhằm tự động hóa việc phát hiện các hành vi quét cổng (Portscan).

Đối tượng nghiên cứu của đồ án là lưu lượng mạng máy tính, các dấu hiệu bất thường biểu hiện hành vi xâm nhập, các phương thức quét cổng mạng (TCP Connect, SYN, UDP, ACK, FIN, Decoy) và cơ chế xử lý gói tin của hệ thống mã nguồn mở Snort. Phạm vi không gian nghiên cứu được giới hạn trên môi trường máy ảo chạy hệ điều hành Ubuntu, giám sát gói tin qua giao diện mạng nội bộ. Phạm vi thời gian và dữ liệu thực nghiệm được giới hạn trong năm 2023, sử dụng tập dữ liệu gồm 2.092 mẫu lưu lượng mạng phục vụ bài toán huấn luyện mô hình phân loại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết của đề tài được xây dựng dựa trên nguyên lý an ninh mạng về giám sát và bảo vệ hạ tầng thông tin:

• Hệ thống phát hiện và phòng chống xâm nhập: IDS hoạt động như một hệ thống giám sát thụ động, theo dõi lưu lượng mạng và phát tín hiệu cảnh báo đến quản trị viên khi phát hiện dấu hiệu vi phạm an ninh. Ngược lại, IPS có khả năng chủ động ngăn chặn lưu lượng độc hại ngay tại thời điểm phát hiện dựa trên chính sách định sẵn. Các hệ thống IDS được phân thành ba nhóm chính: Network IDS (NIDS) giám sát toàn bộ phân đoạn mạng, Node Network IDS triển khai tại các nút mạng cụ thể, và Host IDS (HIDS) giám sát hoạt động nội tại của từng máy chủ đơn lẻ.
• Cơ chế phát hiện dựa trên tập luật (Rule-based): Dựa trên việc xây dựng cơ sở dữ liệu chứa các quy tắc mô tả hành vi tấn công hoặc trình tự sự kiện chuẩn (ví dụ mô hình trạng thái $A \to B \to C$). Khi một chuỗi sự kiện thực tế lệch khỏi quy tắc chuẩn (ví dụ $A \to B \to D$), hệ thống sẽ gắn nhãn bất thường.
• Các mô hình học máy: Văn bản hệ thống hóa các thuật toán ứng dụng trong IDS, bao gồm Cây quyết định (Decision Tree - DT với các thuật toán CART, C4.5, Random Forest, XGBoost), Thuật toán K láng giềng gần nhất (KNN), Máy vector hỗ trợ (SVM với các hàm nhân phân chia ranh giới cực đại), và Phân cụm K-Means không giám sát.
• Mạng nơ-ron nhân tạo (ANN): Đề tài mô hình hóa mạng nơ-ron đa tầng (Multi-layer Perceptron) gồm ba lớp: lớp đầu vào (input layer), lớp ẩn (hidden layer) và lớp đầu ra (output layer). Hoạt động toán học của từng nơ-ron tuân theo công thức:

$$y = f\left(\sum x_i w_i + b\right)$$

Trong đó $x_i$ là các giá trị đầu vào, $w_i$ là các trọng số kết nối, $b$ là hệ số điều chỉnh (bias), và $f$ là hàm kích hoạt. Hàm kích hoạt được lựa chọn là hàm Sigmoid có phương trình:

$$F(x) = \frac{1}{1 + e^{-\alpha x}}$$

Mô hình được huấn luyện bằng thuật toán lan truyền ngược (Backpropagation), sử dụng quy tắc đạo hàm chuỗi (chain rule) để tính toán độ sai lệch qua hàm mất mát và cập nhật trọng số thông qua thuật toán tối ưu hóa giảm độ dốc (gradient descent).

Phương pháp nghiên cứu thực nghiệm được thực hiện thông qua việc thiết lập môi trường giả lập trên máy ảo Ubuntu. Nhóm nghiên cứu tiến hành biên dịch Snort từ mã nguồn, tích hợp các thư viện nền tảng và viết các luật phát hiện để kiểm thử với lưu lượng ping ICMP thực tế. Dữ liệu thực nghiệm được thu thập trực tiếp thông qua cơ chế tiền xử lý của Snort dưới dạng các bản ghi bảng băm địa chỉ IP (IP Hash tables), từ đó chuẩn hóa thành 2.092 mẫu dữ liệu phục vụ huấn luyện mạng nơ-ron.

Thiết kế và triển khai hệ thống

Đồ án tập trung nghiên cứu kiến trúc của hệ thống Snort và mô-đun tiền xử lý PortscanAI:

Kiến trúc chuẩn của hệ thống Snort bao gồm năm thành phần liên kết chặt chẽ:

1. Mô-đun giải mã gói tin (Packet Decoder): Tiếp nhận và chuyển đổi gói tin nhị phân từ môi trường mạng sang định dạng văn bản phục vụ phân tích.
2. Mô-đun tiền xử lý (Preprocessor): Xử lý gói tin thô trước khi đưa vào phân tích, bao gồm tái tạo gói, loại bỏ thông tin thừa và giải mã dữ liệu mã hóa.
3. Mô-đun phát hiện (Detection Engine): So khớp gói tin với hệ thống quy tắc phát hiện để nhận biết dấu hiệu xâm nhập.
4. Mô-đun ghi nhật ký và cảnh báo (Logging and Alerting System): Tạo bản ghi nhật ký và sinh cảnh báo khi phát hiện gói tin độc hại.
5. Mô-đun kết xuất thông tin (Output Modules): Định dạng và xuất cảnh báo đến quản trị viên hoặc các cơ sở dữ liệu lưu trữ.

Mô-đun tiền xử lý PortscanAI được thiết kế để nhúng trực tiếp vào Snort nhằm phát hiện các hành vi quét cổng. Công cụ này được phát triển bằng ngôn ngữ ANSI C cho mô-đun tiền xử lý lõi và PHP cho giao diện giám sát nền Web. PortscanAI vận hành qua ba khối chức năng:

• Khối xử lý bảng băm (Hash tables processing): Ghi nhận lưu lượng và cập nhật các thông số mạng vào bảng IP Hash.
• Khối thích ứng dữ liệu cho mạng nơ-ron (Data adaptation for ANN): Chuẩn hóa các giá trị thống kê từ bảng băm về đoạn số học $[0, 1]$ để làm đầu vào cho mạng nơ-ron.
• Khối bộ lọc (Filter): Nhận kết quả từ mạng nơ-ron và so sánh với ngưỡng cấu hình trong tệp snort.conf (ví dụ: cảnh báo phát sinh nếu tỷ lệ lưu lượng bình thường dưới 40%).

Mô hình mạng nơ-ron tích hợp trong PortscanAI tiếp nhận bảy tham số đầu vào được trích xuất từ bảng IP Hash:

1. hits_as_dst / max_hits_as_dst: Tỷ lệ số kết nối đến địa chỉ IP đích trên giá trị cực đại của bảng băm. Giá trị cao phản ánh IP đích có nguy cơ là nạn nhân bị quét cổng.
2. hits_as_src / max_hits_as_src: Tỷ lệ số kết nối gửi đi từ IP nguồn trên giá trị cực đại. Giá trị cao thể hiện tần suất gửi yêu cầu bất thường từ nguồn.
3. av_rcv_time: Thời gian trung bình giữa các yêu cầu kết nối mà IP đích nhận được (sử dụng biến thời gian AVG_TIME). Giá trị thấp chỉ ra tần suất kết nối nhận dồn dập.
4. av_snd_time: Thời gian trung bình giữa các yêu cầu kết nối mà IP nguồn gửi đi (sử dụng biến AVG_TIME). Giá trị thấp là biểu hiện nguồn đang thực hiện hành vi quét cổng.
5. negative_resp / max_negative_resp: Tỷ lệ phản hồi tiêu cực nhận được, bao gồm các gói tin TCP mang cờ RST và ACK phản hồi từ các cổng đã đóng. Giá trị cao là dấu hiệu máy chủ nhận nhiều yêu cầu tới cổng không hoạt động.
6. rel_hits / hits_as_src: Tỷ lệ yêu cầu khởi tạo kết nối giữa nguồn và đích so với tổng kết nối từ nguồn.
7. rel_hits / hits_as_dst: Tỷ lệ yêu cầu khởi tạo kết nối giữa đích và nguồn so với tổng kết nối đến đích.

Mô hình mạng nơ-ron được thiết lập gồm 3 lớp: lớp đầu vào gồm 7 nơ-ron tương ứng với 7 tham số trích xuất; một lớp ẩn gồm 4 nơ-ron; và lớp đầu ra gồm 2 nơ-ron biểu diễn trạng thái lưu lượng trong khoảng giá trị $[0, 1]$.

Về quy trình cài đặt thực tế, hệ thống Snort được triển khai trên máy ảo Ubuntu qua bốn bước:

• Bước 1: Cài đặt các gói phụ trợ từ kho lưu trữ và biên dịch: build-essential, libpcap-dev, libpcre3-dev, libdumbnet-dev, bison, flex.
• Bước 2: Tải và giải nén các tệp daq-2.gz và snort-2.gz, thực hiện biên dịch bằng lệnh make với cờ CFLAGS=-I/usr/include/ntirpc, liên kết tệp thực thi vào thư mục hệ thống /usr/sbin/snort và kiểm tra phiên bản bằng lệnh snort -V.
• Bước 3: Cấu hình hệ thống thư mục lưu trữ và chỉnh sửa tệp snort.conf, thiết lập đường dẫn đến thư mục chứa các tệp luật /etc/snort/rules.
• Bước 4: Kiểm tra tính đúng đắn của tệp cấu hình bằng câu lệnh sudo snort -i ens33 -c /etc/snort/snort.conf -T.

Nội dung chính theo từng chương

Chương I. Tổng quan về phát hiện và phòng chống xâm nhập mạng

Chương I tập trung làm rõ bản chất công nghệ, phân loại và cơ chế vận hành của các hệ thống bảo vệ chu vi mạng:

• Phân biệt IDS và IPS: Tác giả nhấn mạnh IDS đóng vai trò chuông cảnh báo thụ động, việc ngăn chặn phụ thuộc hoàn toàn vào quản trị viên. IDS truyền thống chỉ sử dụng 1 đến 2 cơ chế phân tích (lạm dụng hoặc bất thường), dễ phát sinh cảnh báo sai và phản ứng trễ (chỉ đáp ứng sau khi gói tin đã đến đích). Hơn nữa, việc phản hồi gián tiếp qua tường lửa có thể tạo ra tác dụng phụ tiêu cực, ví dụ như chặn nhầm IP của khách hàng khi kẻ tấn công giả mạo địa chỉ (IP spoofing). Ngược lại, IPS có độ chính xác cao hơn, hoạt động trên nhiều cơ chế và chủ động ngắt luồng lưu lượng độc hại ngay khi xuất hiện dấu hiệu bất thường.
• Chức năng của IDS/IPS: Được khái quát thành bốn nhóm nhiệm vụ: giám sát lưu lượng, cảnh báo tình trạng cho hệ thống, bảo vệ hệ thống dựa trên cấu hình, và phát hiện bất thường dựa trên mẫu đã biết hoặc đường cơ sở (baseline).
• Ưu nhược điểm và phân loại: Tác giả tổng hợp các ưu điểm (phát hiện sớm, cảnh báo nhanh, ghi log phân tích) và nhược điểm (phụ thuộc cấu hình, chi phí vận hành cao, khả năng phân tích lưu lượng mã hóa kém) của IDS. Phân loại chi tiết gồm Network IDS (NIDS), Node Network IDS và Host IDS (HIDS).
• Kiến trúc và nguyên lý hoạt động: Khái quát ba thành phần cốt lõi của IDS gồm thu thập gói tin, phân tích phát hiện dựa trên bộ cảm biến (sensor) và phản hồi. Quy trình hoạt động gồm 8 bước tuần tự từ lúc host tạo gói tin, cảm biến đọc gói tin trên mạng cục bộ, kiểm tra dấu hiệu vi phạm, gửi cảnh báo qua giao diện điều khiển (email, popup, web), thực thi phản hồi, lưu vết dữ liệu và tạo báo cáo sự cố.

Chương II. Các phương pháp phát hiện tấn công trong hệ thống IDS/IPS và Snort

Chương II đi sâu vào phân tích kỹ thuật hai cách tiếp cận chính trong bài toán phát hiện xâm nhập cùng công cụ Snort:

• Phương pháp phát hiện dựa trên luật (Rule-based): Sử dụng hệ chuyên gia với cơ sở dữ liệu tập luật để đối sánh với các luồng dữ liệu. Ưu điểm nổi bật là dễ cấu hình, dễ bổ sung luật và tỷ lệ báo động nhầm rất thấp. Tuy nhiên, nhược điểm lớn là hiệu năng xử lý suy giảm khi tập luật mở rộng, dẫn đến hiện tượng nghẽn cổ chai, mở quá nhiều kết nối TCP, quá tải băng thông và hoàn toàn phụ thuộc vào việc cập nhật luật thủ công của người quản trị.
• Phương pháp phát hiện dựa trên học máy: Khắc phục hạn chế của phương pháp dựa trên luật thông qua khả năng tự động học các đặc trưng của lưu lượng từ dữ liệu lớn, phát hiện được các cuộc tấn công mới chưa từng được định nghĩa, và thích ứng với dữ liệu không đầy đủ. Tác giả khảo sát các thuật toán tiêu biểu: Decision Tree (DT), K-Nearest Neighbors (KNN), Support Vector Machine (SVM), K-Means Clustering và Mạng nơ-ron nhân tạo (ANN).
• Mạng nơ-ron nhân tạo và giải thuật Backpropagation: Phân tích cơ chế nơ-ron sinh học và toán học nơ-ron nhân tạo, cấu trúc ba lớp (vào, ẩn, ra). Đồ án mô tả quy trình ứng dụng ANN trong IDS qua ba giai đoạn: thu thập nhật ký đăng nhập để tạo vector phân phối tần suất lệnh của người dùng; huấn luyện mạng nơ-ron nhận dạng người dùng; và triển khai cảnh báo bất thường trong thực tế. Thuật toán lan truyền ngược được trình bày cụ thể thông qua cơ chế tính đạo hàm hàm mất mát bằng quy tắc chuỗi và tối ưu hóa trọng số qua gradient descent.
• Khảo sát hệ thống Snort: Trình bày kiến trúc 5 mô-đun của Snort, cấu trúc cú pháp của một luật Snort chuẩn gồm phần tiêu đề (action, protocol, sourceIP/sourcePort, destinationIP/destinationPort) và phần tùy chọn (msg, content, flow, threshold, sid, rev). Tác giả đưa ra ví dụ về luật phát hiện tấn công vét cạn HTTP Brute Force (SID 1000001, đếm 5 yêu cầu GET trong 60 giây).
• Thực nghiệm cài đặt và triển khai Snort: Trình bày chi tiết từng bước biên dịch, cài đặt các gói phụ trợ trên Ubuntu và cấu hình tệp snort.conf. Tác giả thiết lập kịch bản phát hiện tấn công dò quét ICMP bằng cách tạo tệp luật icmp.rules với nội dung:

alert icmp any any -> any any (msg:"ICMP-Co may dang Ping"; sid:1000001; rev:1;)

Hệ thống Snort được chạy với lệnh sudo snort -i ens33 -c /etc/snort/snort.conf và ghi nhận thành công cảnh báo khi máy client thực hiện lệnh ping vào hệ thống. Văn bản đồng thời liệt kê tiêu đề của hai kịch bản tiếp theo gồm phát hiện dò quét dịch vụ/cổng và phát hiện tấn công từ chối dịch vụ (DoS).

Chương III. Thử nghiệm phát hiện tấn công xâm nhập mạng bất thường bằng học máy

Chương III trình bày bài toán thực nghiệm phát hiện tấn công quét cổng bằng mô hình mạng nơ-ron tích hợp trong Snort:

• Các kiểu tấn công Portscan: Phân tích 6 kỹ thuật thám dò mạng phổ biến:
  • TCP Connect Scan: Kẻ tấn công tạo kết nối đầy đủ đến từng cổng để kiểm tra trạng thái lắng nghe.
  • SYN/Stealth Scan: Gửi gói tin SYN và xác định cổng mở khi nhận lại gói SYN/ACK.
  • UDP Scan: Gửi gói UDP để thăm dò phản hồi từ các cổng dịch vụ UDP.
  • ACK Scan: Gửi gói tin ACK; nếu nhận được gói RST nghĩa là cổng đang đóng.
  • FIN Scan: Gửi gói tin FIN; xác nhận cổng đóng khi nhận lại gói RST.
  • Decoy Scan: Kỹ thuật tạo các đối tượng và địa chỉ mồi giả mạo nhằm đánh lạc hướng và gây nhầm lẫn cho hệ thống phòng thủ. Tác giả nêu rõ hai thuộc tính cốt lõi của hành vi Portscan là số lượng (số cổng kết nối từ 1 đến 65535) và thời gian (khoảng cách trung bình giữa các lần gửi yêu cầu, đo bằng mili giây), được biến hóa theo thời gian và không gian nhằm vượt qua IDS.
• Giới thiệu và thiết kế PortscanAI: Phân tích giải pháp tích hợp công cụ học máy vào khối tiền xử lý của Snort. Hệ thống gồm mã nguồn tiền xử lý bằng ANSI C và giao diện quản trị Web viết bằng PHP. Đặc tả 7 tham số đầu vào của mạng nơ-ron trích xuất từ bảng băm IP Hash cùng các biến thời gian quản lý gói tin (last_rcv_time, last_snd_time, av_rcv_time, av_snd_time).
• Cấu trúc và huấn luyện mạng nơ-ron: Thiết lập mạng nơ-ron 3 lớp (7 nơ-ron đầu vào, 4 nơ-ron lớp ẩn, 2 nơ-ron đầu ra) với hàm kích hoạt Sigmoid và giải thuật Backpropagation. Dữ liệu huấn luyện được thu thập bằng cơ chế tiền xử lý của Snort. Tập dữ liệu chuẩn hóa phục vụ PortscanAI gồm tổng cộng 2.092 mẫu dữ liệu, trong đó có 748 mẫu lưu lượng bình thường và 1.344 mẫu lưu lượng tấn công Portscan.
• Kết quả cài đặt và tổng kết: Tác giả ghi nhận quá trình cài đặt thực nghiệm công cụ PortscanAI không thành công do tài liệu hướng dẫn đi kèm quá ít. Cuối chương, tác giả xây dựng bảng so sánh giữa hệ thống Snort truyền thống và Snort tích hợp PortscanAI, đồng thời thảo luận về những hạn chế cố hữu của mạng nơ-ron trong an ninh mạng.

Kết quả và đóng góp

Đồ án ghi nhận các kết quả thực nghiệm và đóng góp cụ thể dựa trên nội dung báo cáo:

Thực nghiệm hệ thống Snort dựa trên tập luật đã được triển khai thành công trên môi trường máy ảo Ubuntu. Hệ thống đã lắng nghe lưu lượng qua giao diện mạng ens33, đọc đúng cấu hình tại /etc/snort/snort.conf, và kích hoạt thành công cảnh báo khi có lưu lượng ping ICMP từ máy khách gửi đến theo đúng quy tắc kiểm thử có mã định danh sid:1000001.

Về mô hình học máy PortscanAI, nhóm nghiên cứu đã xây dựng thành công thiết kế logic cho mạng nơ-ron 3 lớp (7-4-2), xác định cụ thể 7 tham số trích xuất từ bảng băm lưu lượng IP và chuẩn hóa bộ dữ liệu huấn luyện gồm 2.092 mẫu (748 mẫu bình thường và 1.344 mẫu tấn công). Tuy nhiên, về mặt triển khai thực tế, tác giả báo cáo trung thực rằng quá trình cài đặt công cụ PortscanAI không thành công do tài liệu hướng dẫn của công cụ quá ít.

Dựa trên các phân tích lý thuyết và thiết kế hệ thống, tác giả tổng hợp bảng so sánh tính năng giữa hệ thống Snort nguyên bản và hệ thống tích hợp PortscanAI:

Tiêu chí so sánh	Hệ thống cũ (Snort nguyên bản)	Hệ thống có tích hợp PortscanAI
Khả năng tự động cảnh báo xâm nhập	Không (phụ thuộc hoàn toàn vào tập luật do người quản trị xây dựng)	Có (tự động nhận biết dựa trên mô hình học máy)
Khả năng cảnh báo cuộc tấn công mới không nằm trong tập luật	Không	Có (có khả năng nhận diện các hình thức TCP Connect, TCP SYN, Decoy mà không cần tạo luật trước)

Đóng góp của đồ án thể hiện ở việc hệ thống hóa toàn diện kiến trúc IDS/IPS và quy trình biên dịch, cấu hình hệ thống Snort trên nền tảng Linux. Đồng thời, đề tài đã chỉ ra phương thức giải quyết bài toán suy giảm hiệu năng của phương pháp rule-based bằng cách đưa mạng nơ-ron nhân tạo vào tầng tiền xử lý, giúp đơn giản hóa công việc của nhà phát triển và hỗ trợ cảnh báo sớm các nguy cơ tấn công quét cổng mà không cần bảo trì tập luật thủ công.

Hạn chế và hướng nghiên cứu tiếp

Báo cáo đã chỉ ra các hạn chế thực tế trong quá trình nghiên cứu:

• Quá trình thử nghiệm và cài đặt công cụ PortscanAI trên hệ thống thực tế không thành công do sự thiếu hụt tài liệu kỹ thuật hướng dẫn từ nhà phát triển công cụ.
• Hệ thống ứng dụng học máy vẫn tiềm ẩn các hạn chế về chất lượng nhận diện, cụ thể là việc phát sinh cảnh báo dư thừa (dương tính giả) hoặc bỏ sót gói tin (âm tính giả).
• Hiệu quả hoạt động của mạng nơ-ron phụ thuộc hoàn toàn vào việc lựa chọn chính xác giá trị các tham số đầu vào.
• Cấu trúc mạng nơ-ron ảnh hưởng trực tiếp đến hiệu năng hệ thống: nếu cấu hình mạng có quá nhiều lớp, tốc độ hội tụ của mô hình sẽ trở nên rất chậm.

Về hướng nghiên cứu tiếp, văn bản xác định hệ thống cần phải trải qua quá trình thực nghiệm mở rộng với nhiều bộ tham số và cấu hình khác nhau để xác định mô hình tối ưu phù hợp với lưu lượng mạng thực tế. Đồng thời, cần tiếp tục giải quyết các vấn đề tương thích cài đặt để hoàn thiện việc tích hợp PortscanAI vào khối tiền xử lý của Snort.

Giá trị tham khảo

Đồ án môn học là tài liệu tham khảo phù hợp cho sinh viên các ngành An toàn thông tin, Mạng máy tính và Công nghệ thông tin đang thực hiện đồ án môn học hoặc khóa luận tốt nghiệp liên quan đến giám sát mạng và hệ thống phát hiện xâm nhập.

Nội dung đồ án mang lại giá trị thực tiễn ở các phần:

• Quy trình từng bước cài đặt, biên dịch Snort từ mã nguồn và cấu hình tệp snort.conf trên môi trường Linux Ubuntu.
• Cách viết và thử nghiệm các luật Snort tùy biến cho các kịch bản mạng cụ thể.
• Phương pháp luận trích xuất và chuẩn hóa 7 thuộc tính lưu lượng mạng từ bảng băm IP phục vụ bài toán phân loại hành vi quét cổng bằng mô hình mạng nơ-ron.
• Kinh nghiệm thực tiễn về những rào cản kỹ thuật khi tích hợp các mô-đun học máy mã nguồn mở vào hệ thống IDS truyền thống.

Câu hỏi thường gặp

1. Kiến trúc của Snort gồm những thành phần nào và mô-đun tiền xử lý có vai trò gì?

Hệ thống Snort gồm năm thành phần chính: Mô-đun giải mã gói tin (Packet Decoder), Mô-đun tiền xử lý (Preprocessor), Mô-đun phát hiện (Detection Engine), Mô-đun ghi log và cảnh báo (Logging and Alerting System), và Mô-đun kết xuất thông tin (Output Modules). Trong đó, mô-đun tiền xử lý có nhiệm vụ xử lý trước gói tin thô trước khi đưa vào phân tích, thực hiện tái tạo gói, loại bỏ thông tin thừa, giải mã dữ liệu mã hóa hoặc tích hợp các công cụ phân tích bất thường như PortscanAI.

2. Mô hình PortscanAI sử dụng bao nhiêu tham số đầu vào và trích xuất từ nguồn nào?

Mô hình PortscanAI sử dụng 7 tham số đầu vào được trích xuất từ bảng băm IP (IP Hash tables) do khối tiền xử lý của Snort thu thập, bao gồm: tỷ lệ kết nối đến IP đích (hits_as_dst/max_hits_as_dst), tỷ lệ kết nối từ IP nguồn (hits_as_src/max_hits_as_src), thời gian trung bình nhận kết nối (av_rcv_time), thời gian trung bình gửi kết nối (av_snd_time), tỷ lệ phản hồi tiêu cực mang cờ RST/ACK (negative_resp/max_negative_resp), cùng hai tỷ lệ kết nối tương đối giữa nguồn và đích (rel_hits/hits_as_src và rel_hits/hits_as_dst).

3. Quy mô và cấu trúc bộ dữ liệu huấn luyện cho PortscanAI được mô tả như thế nào?

Bộ dữ liệu chuẩn hóa phục vụ huấn luyện mô hình PortscanAI gồm tổng cộng 2.092 mẫu dữ liệu. Trong đó, tập dữ liệu được phân chia thành 748 mẫu lưu lượng thuộc trạng thái bình thường và 1.344 mẫu lưu lượng ghi nhận sự kiện tấn công quét cổng (Portscan).

4. Cấu trúc mạng nơ-ron trong PortscanAI được thiết kế ra sao?

Mô hình mạng nơ-ron trong PortscanAI được xây dựng theo kiến trúc ba lớp: lớp đầu vào gồm 7 nơ-ron (tương ứng với 7 tham số mạng trích xuất), một lớp ẩn gồm 4 nơ-ron, và lớp đầu ra gồm 2 nơ-ron trả về giá trị trong khoảng $[0, 1]$. Mô hình sử dụng hàm kích hoạt Sigmoid và được huấn luyện thông qua thuật toán lan truyền ngược (Backpropagation).

5. Tại sao nhóm tác giả không thực nghiệm thành công việc cài đặt công cụ PortscanAI trên hệ thống?

Theo công bố trực tiếp của nhóm tác giả trong báo cáo, việc cài đặt và thử nghiệm công cụ PortscanAI trên môi trường thực tế không thành công do nguyên nhân "tài liệu hướng dẫn quá ít", dẫn đến việc thiếu cơ sở kỹ thuật để cấu hình và tích hợp trọn vẹn mô-đun này vào Snort.

Kết luận

Đồ án môn học đã hệ thống hóa cơ sở lý thuyết về hệ thống phát hiện và phòng chống xâm nhập mạng IDS/IPS, đồng thời phân tích rõ ưu nhược điểm giữa phương pháp phát hiện dựa trên tập luật và các kỹ thuật học máy. Nhóm tác giả đã triển khai thực tế thành công hệ thống Snort trên hệ điều hành Ubuntu, cấu hình tệp luật và kiểm thử hiệu quả kịch bản phát hiện lưu lượng ping ICMP. Mặc dù thử nghiệm tích hợp mô-đun học máy PortscanAI chưa hoàn thiện do hạn chế về tài liệu kỹ thuật, đề tài đã đề xuất được thiết kế mạng nơ-ron 7-4-2 và bộ tham số đặc trưng lưu lượng chi tiết cho bài toán nhận diện tấn công quét cổng.

Trích đoạn nội dung tài liệu

CHƯƠNG I. TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÒNG CHỐNG XÂM NHẬP MẠNG I. Khái niệm IDS/IPS IDS – Intrusion Detection System (Hệ thống phát hiện xâm nhập) là hệ thống phần cứng hoặc phần mềm có chức n\ng tự động theo d]i các sự kiện xảy ra trên hệ thống máy tính, phân tích để phát hiện ra các vấn đề liên quan đến an ninh, bảo mật. Khi một hệ thống IDS có khả n\ng ng\n chặn các nguy cơ xâm nhập mà nó phát hiện được thì nó được gọi là một hệ thống phòng chống xâm nhập hay IPS.

Các vị trí thường cài đặt IDS trong mạng: Ngày nay công nghệ IDS đã dần được thay thế bằng các giải pháp IPS. Ta có thể hiểu đơn giản IDS chỉ là một cái chuông để cảnh báo cho người quản trị biết những nguy cơ có thể xảy ra tấn công đây là một giải pháp giám sát thụ động, tức là chỉ có thể cảnh báo, việc thực hiện ng\n chặn các cuộc tấn công vào hệ thống lại hoàn toàn phụ thuộc vào người quản trị. Vì vậy yêu cầu rất cao đối với nhà quản trị trong việc xác định các lưu lượng cần và các lưu lượng bất thường có nghi vấn là dấu hiệu của một cuộc tấn công, công việc này thì trở nên hết sức khó kh\n. 7 An ninh mạng Nhóm 08.

Đề tài 17 Với IPS, người quản trị không những có thể xác định được các lưu lượng khả nghi khi có dấu hiệu tấn công mà còn giảm thiểu được khả n\ng xác định sai các lưu lượng. Với IPS, các cuộc tấn công sb bị loại bc ngay khi mới có dấu hiệu và nó hoạt động tuân theo một quy luật do nhà Quản trị định sen. IDS hiện nay chỉ sử dụng từ một đến 2 cơ chế để phát hiện tấn công phát hiện sự lạm dụng, phát hiện sự bất thường. Vì mgi cuộc tấn công lại có các cơ chế khác nhau của nó, vì vậy cần có các cơ chế khác nhau để phân biệt.

Với IDS, do số lượng cơ chế là ít nên có thể dhn đến tình trạng không phát hiện ra được các cuộc tấn công với cơ chế không định sen, dhn đến khả n\ng các cuộc tấn công sb thành công, gây ảnh hưởng đến hệ thống. Thêm vào đó, do các cơ chế của IDS là tổng quát, dhn đến tình trạng báo cáo nhầm, cảnh báo nhầm, làm tốn thời gian và công sức của nhà quản trị. Với IPS thì được xây dựng trên rất nhiều cơ chế tấn công và hoàn toàn có thể tạo mới các cơ chế phù hợp với các dạng thức tấn công mới nên sb giảm thiểu được khả n\ng tấn công của mạng, thêm đó, độ chính xác của IPS là cao hơn so với IDS. Với IDS, việc đáp ứng lại các cuộc tấn công chỉ có thể xuất hiện sau khi gói tin của cuộc tấn công đã đi tới đích, lúc đó việc chống lại tấn công là việc nó gửi các yêu cầu đến các máy của hệ thống để xoá các kết nối đến máy tấn công và máy chủ, hoặc là gửi thông tin thông báo đên tường lửa ( Firewall) để tường lửa thực hiện chức n\ng của nó, tuy nhiên, việc làm này đôi khi lại gây tác động phụ đến hệ thống.

Ví dụ: như nếu Attacker giả mạo (sniffer) của một đối tác, hay là khách hàng, để tạo một cuộc tấn công từ chối dịch vụ thì có thể thấy rằng, mặc dù IDS có thể chặn được cuộc tấn công từ chối dịch vụ nhưng nó clng sb Block luôn cả IP của khách hàng, đối tác, như vậy thiệt hại vhn tnn tại và coi như hiệu ứng phụ của DoS thành 8 An ninh mạng Nhóm 08. Đề tài 17 công mặc dù cuộc tấn công từ chối dịch vụ thất bại. Nhưng với IPS thì khác nó sb phát hiện ngay từ đầu dấu hiệu của cuộc tấn công và sau đó là khoá ngay các lưu lượng mạng này thì mới có khả n\ng giảm thiểu được các cuộc tấn công. Như vây các hệ thống IDS được thiết kế với mục đích chủ yếu là phát hiện và cảnh báo các nguy cơ xâm nhập đối với mạng máy tính nó đang bảo vệ trong khi đó, một hệ thống IPS ngoài khả n\ng phát hiện còn có thể tự hành động chống lại các nguy cơ theo các quy định được người quản trị thiết lập sen.

Chức năng của IDS/IPS Chức n\ng quan trọng nhất của IDS là: giám sát – cảnh báo – bảo vệ  Giám sát: lưu lượng mạng và các hoạt động khả nghi.  Cảnh báo: báo cáo về tình trạng mạng cho hệ thống và nhà quản trị.  Bảo vệ: dùng những thiết lập mặc định và sự cấu hình từ nhà quản trị mà có những hành động thiết thực chống lại kẻ xâm nhập và phá hoại. Phát hiện: những dấu hiệu bất thường dựa trên những gì đã biết hoặc nhờ vào sự so sánh thông lượng mạng hiện tại với baseline.

Ngoài ra hệ thống phát hiện xâm nhập IDS còn có chức n\ng:  Ng\n chặn sự gia t\ng của những tấn công  Bổ sung những điểm yếu mà các hệ thống khác chưa làm được  Đánh giá chất lượng của việc thiết kế hệ thống 9 An ninh mạng Nhóm 08. Ưu, nhược điểm của IDS. Các loại IDS Ngày nay công nghệ IDS đã dần được thay thế bằng các giải pháp IPS. Tuy nhiên trên thực tế, một số hệ thống IDS được thiết kế với khả n\ng ng\n chặn như một chức n\ng tùy chọn.

Trong khi đó, một số hệ thống IPS lại không mang đầy đủ chức n\ng của một hệ thống phòng chống theo đúng nghĩa. Ưu điểm của IDS gồm:  Phát hiện sớm các hoạt động xâm nhập.  Cảnh báo và phản ứng nhanh.  Ghi lại và phân tích.

 Đảm bảo sự hoạt động ổn định và tin cậy của hệ thống. Tuy nhiên, hệ thống IDS vẫn còn tồn đọng những nhược điểm cần lưu ý để sử dụng hiệu quả:  IDS cần được cấu hình đúng để tránh báo động nhầm.  Khả n\ng phân tích traffic mã hóa của IDS còn tương đối thấp.  Chi phí phát triển và vận hành hệ thống clng khá cao.

Các loại IDS: Loại Đặc điểm Là hệ thống phát hiện xâm nhập mạng. NIDS giám sát và phân Network IDS (NIDS) tích lưu lượng mạng để phát hiện các hoạt động xâm nhập hoặc bất thường trên mạng. Nod Network IDS Là hệ thống phát hiện xâm nhập mạng dựa trên các nút mạng. 10 An ninh mạng Nhóm 08.

Đề tài 17 Nod Network IDS được triển khai tại các điểm truy cập vào mạng hoặc trong các phân đoạn mạng cụ thể để giám sát và phát hiện các hoạt động xâm nhập. Là hệ thống phát hiện xâm nhập trên máy chủ hoặc thiết bị cuối. HIDS giám sát và phân tích hoạt Host IDS (HIDS) động của một máy chủ hoặc thiết bị đơn lẻ để phát hiện các hoạt động xâm nhập hoặc bất thường trên máy chủ. Kiến trúc của IDS và nguyên lý hoạt động Kiến trúc  IDS bao gồm các thành phần chính: thành phần thu thập gói tin (information collection), thành phần phân tích gói tin (Detection), thành phần phản hồi (response) nếu gói tin đó được phát hiện là một cuộc tấn công.

 Thành phần phân tích gói tin là quan trọng nhất và ở thành phần này bộ cảm biến đóng vai trò quyết định. Bộ cảm biến tích hợp với thành phần 11 An ninh mạng Nhóm 08. Đề tài 17 là sưu tập dữ liệu và một bộ tạo sự kiến. Cách sưu tập này được xác định bởi chính sách tạo sự kiện để định nghĩa chế độ lọc thông tin sự kiện.

Vai trò của bộ cảm biến là dùng để lọc thông tin và loại bỏ dữ liệu không tương thích đạt được từ các sự kiện liên quan với hệ thống bảo vệ, vì vậy có thể phát hiện được các hành động nghi ngờ. Bộ phân tích sử dụng cơ sở dữ liệu chính sách phát hiện cho mục này. Ngoài ra còn có các thành phần: dấu hiệu tấn công, profile hành vi thông thường, các tham số cần thiết. Thêm vào đó, cơ sở dữ liệu giữa các tham số cấu hình, gồm các chế độ truyền thông với module đáp trả.

Bộ cảm biến cũng có sơ sở dữ liệu của riêng nó. Nguyên lý hoạt động  Một host tạo ra một gói tin mạng.  Các cảm biến trong mạng đọc các gói tin trong khoảng thời gian trước khi nó được gửi ra khỏi mạng cục bộ (cảm biến này cần phải được đặt sao cho nó có thể đọc tất cả các gói tin).  Chương trình phát hiện nằm trong bộ cảm biến kiểm tra xem có gói tin nào có dấu hiệu vi phạm hay không.

Khi có dấu hiệu vi phạm thì một cảnh báo sẽ được tạo ra và gửi đến giao diện điều khiển.  Khi giao diện điều khiển lệnh nhận được cảnh báo nó sẽ gửi thông báo cho một người hoặc một nhóm đã được chỉ định từ trước (thông qua email, cửa sổ popup, trang web v.  Phản hồi được khởi tạo theo quy định ứng với dấu hiệu xâm nhập này.  Các cảnh báo được lưu lại để tham khảo trong tương lai (trên địa chỉ cục bộ hoặc trên cơ sở dữ liệu).

 Một báo cáo tóm tắt về chi tiết của sự cố được tạo ra.  Cảnh báo được so sánh với các dữ liệu khác để xác định xem đây có phải là cuộc tấn công hay không. 12 An ninh mạng Nhóm 08. Đề tài 17 CHƯƠNG II.

CÁC PHƯƠNG PHÁP PHÁT HIỆN TẤN CÔNG TRONG HỆ THỐNG IDS/IPS VÀ SNORT II. Các phương pháp phát hiện bất thường Các phương pháp thường được sử dụng trong bài toán phát hiện xâm nhập mạng là: phát hiện dựa trên luật (rule-based) và mạng nơ-ron. 13 An ninh mạng Nhóm 08. Phát hiện xâm nhập mạng bất thường dựa trên luật (rule – based) trong IDS/IPS Đây là phương pháp ra đời từ rất sớm và được ứng dụng vào lĩnh vực dò lgi hay phát hiện bất thường trong mạng.

Trong hệ chuyên gia, một cơ sở dữ liệu chứa tập luật (rules) miêu tả các hành vi bất thường được dùng để so sánh với các lunng dữ liệu đi đến hệ thống mạng. Nếu một lunng dữ liệu đi đến hệ thống với mục đích tấn công mà không được định nghĩa trong tập luật thì hệ thống IDS không thể phát hiện được. Trên thực tế phương pháp này được áp dụng cho hệ thống phát hiện xâm nhập Snort rất nổi tiếng. Ưu điểm: Hệ thống phát hiện bất thường dựa trên rule-based có đặc điểm dễ cấu hình, dễ thêm luật mới và dễ sử dụng.

Mgi khi hệ thống mạng đứng trước những nguy cơ tấn công mới, người quản trị chỉ việc cập nhật thêm các luật chưa có vào cơ sở dữ liệu.