Luận Văn Thạc Sĩ Về Kỹ Thuật Phân Cụm Dữ Liệu Trong Phát Hiện Xâm Nhập Trái Phép

Luận văn thạc sĩ nghiên cứu hay kỹ thuật phân cụm dữ liệu trong phát hiện xâm nhập trái phép, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực kỹ

• Tác giả: Đỗ Xuân Cường
• Người hướng dẫn: TS. Lương Thế Dũng
• Trường học: Trường Đại Học Công Nghệ Thông Tin Và Truyền Thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Kỹ Thuật Phân Cụm Dữ Liệu Trong Phát Hiện Xâm Nhập Trái Phép
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG I: TỔNG QUAN VỀ TẤN CÔNG MẠNG MÁY TÍNH VÀ CÁC PHƯƠNG PHÁP PHÁT HIỆN
• 1.1. Các kỹ thuật tấn công mạng máy tính
• 1.2. Một số kiểu tấn công mạng
• 1.3. Phân loại các mối đe dọa trong bảo mật hệ thống
• 1.4. Các mô hình tấn công mạng
• 1.5. Khái niệm về hệ thống phát hiện xâm nhập trái phép
• 1.6. Các kỹ thuật phát hiện xâm nhập trái phép
• 1.7. Ứng dụng kỹ thuật khai phá dữ liệu cho việc phát hiện xâm nhập trái phép
• 2. CHƯƠNG II: MỘT SỐ KỸ THUẬT PHÂN CỤM DỮ LIỆU
• 2.1. Phân cụm phân hoạch
• 2.2. Thuật toán K-means
• 2.3. Thuật toán CLARA
• 2.4. Thuật toán CLARANS
• 2.5. Phân cụm phân cấp
• 2.6. Thuật toán CURE
• 2.7. Thuật toán CHAMELEON
• 2.8. Phân cụm dựa trên mật độ
• 2.9. Thuật toán DBSCAN
• 2.10. Thuật toán OPTICS
• 2.11. Phân cụm dựa trên lưới
• 2.12. Thuật toán STING
• 2.13. Thuật toán CLIQUE
• 2.14. Thuật toán WaveCluster
• 2.15. Phân cụm dựa trên mô hình
• 2.16. Thuật toán EM
• 2.17. Thuật toán COBWEB
• 2.18. Phân cụm dữ liệu mờ
• 3. CHƯƠNG III: ỨNG DỤNG KỸ THUẬT PHÂN CỤM DỮ LIỆU TRONG PHÁT HIỆN XÂM NHẬP TRÁI PHÉP
• 3.1. Mô hình bài toán
• 3.2. Thu thập dữ liệu
• 3.3. Trích rút và lựa chọn thuộc tính
• 3.4. Xây dựng bộ phân cụm
• 3.5. Xây dựng các thực nghiệm phát hiện xâm nhập trái phép
• 3.6. Môi trường và công cụ thực nghiệm
• 3.7. Tiến hành các thực nghiệm và kết quả đạt được
• KẾT LUẬN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC HÌNH VẼ

Tóm tắt

I. Tổng quan về Kỹ Thuật Phân Cụm Dữ Liệu Trong Phát Hiện Xâm Nhập Trái Phép

Kỹ thuật phân cụm dữ liệu đóng vai trò quan trọng trong việc phát hiện xâm nhập trái phép. Phân cụm giúp nhóm các dữ liệu tương tự lại với nhau, từ đó dễ dàng nhận diện các hành vi bất thường. Việc áp dụng các thuật toán phân cụm như K-means, DBSCAN, và EM giúp cải thiện khả năng phát hiện xâm nhập. Các nghiên cứu đã chỉ ra rằng việc sử dụng phân cụm có thể nâng cao hiệu quả của hệ thống phát hiện xâm nhập.

1.1. Khái niệm về phân cụm dữ liệu và ứng dụng trong an ninh mạng

Phân cụm dữ liệu là quá trình nhóm các đối tượng tương tự lại với nhau. Trong an ninh mạng, nó giúp phát hiện các mẫu hành vi bất thường, từ đó nhận diện các cuộc tấn công. Việc áp dụng phân cụm giúp tối ưu hóa quy trình phát hiện xâm nhập.

1.2. Lợi ích của việc sử dụng kỹ thuật phân cụm trong phát hiện xâm nhập

Kỹ thuật phân cụm giúp giảm thiểu số lượng cảnh báo giả và tăng cường khả năng phát hiện các mối đe dọa. Bằng cách phân tích các cụm dữ liệu, hệ thống có thể phát hiện các hành vi bất thường mà không cần phải so sánh từng bản ghi.

II. Thách thức trong việc phát hiện xâm nhập trái phép bằng phân cụm dữ liệu

Mặc dù phân cụm dữ liệu mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức trong việc áp dụng. Các vấn đề như dữ liệu không đồng nhất, thiếu dữ liệu, và sự phức tạp của các thuật toán có thể ảnh hưởng đến hiệu quả phát hiện. Đặc biệt, việc lựa chọn thuật toán phù hợp là rất quan trọng để đạt được kết quả tốt nhất.

2.1. Vấn đề dữ liệu không đồng nhất trong phân cụm

Dữ liệu không đồng nhất có thể gây khó khăn trong việc phân nhóm chính xác. Các thuật toán phân cụm cần phải được điều chỉnh để xử lý các loại dữ liệu khác nhau, từ đó đảm bảo tính chính xác trong phát hiện xâm nhập.

2.2. Sự phức tạp của các thuật toán phân cụm

Một số thuật toán phân cụm có thể phức tạp và yêu cầu nhiều tài nguyên tính toán. Điều này có thể làm giảm hiệu suất của hệ thống phát hiện xâm nhập, đặc biệt khi xử lý dữ liệu lớn.

III. Phương pháp phân cụm dữ liệu hiệu quả trong phát hiện xâm nhập

Để tối ưu hóa việc phát hiện xâm nhập, nhiều phương pháp phân cụm đã được phát triển. Các thuật toán như K-means, DBSCAN, và EM đã chứng minh được hiệu quả trong việc phân tích dữ liệu lớn và phát hiện các hành vi bất thường. Việc lựa chọn thuật toán phù hợp dựa trên đặc điểm của dữ liệu là rất quan trọng.

3.1. Thuật toán K means và ứng dụng trong phát hiện xâm nhập

K-means là một trong những thuật toán phân cụm phổ biến nhất. Nó giúp nhóm các bản ghi tương tự lại với nhau, từ đó dễ dàng phát hiện các hành vi bất thường trong mạng.

3.2. DBSCAN Phân cụm dựa trên mật độ cho phát hiện xâm nhập

DBSCAN là thuật toán phân cụm dựa trên mật độ, giúp phát hiện các cụm có mật độ cao trong dữ liệu. Điều này rất hữu ích trong việc phát hiện các cuộc tấn công có tính chất bất thường.

IV. Ứng dụng thực tiễn của kỹ thuật phân cụm trong phát hiện xâm nhập

Kỹ thuật phân cụm đã được áp dụng rộng rãi trong nhiều hệ thống phát hiện xâm nhập. Các nghiên cứu thực tiễn cho thấy rằng việc sử dụng phân cụm giúp cải thiện đáng kể khả năng phát hiện các cuộc tấn công. Nhiều tổ chức đã áp dụng thành công các phương pháp này để bảo vệ hệ thống của họ.

4.1. Các nghiên cứu điển hình về ứng dụng phân cụm

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng phân cụm giúp phát hiện các cuộc tấn công phức tạp. Các tổ chức đã ghi nhận sự cải thiện rõ rệt trong khả năng phát hiện xâm nhập.

4.2. Kết quả đạt được từ việc áp dụng phân cụm trong an ninh mạng

Việc áp dụng kỹ thuật phân cụm đã giúp giảm thiểu số lượng cảnh báo giả và tăng cường khả năng phát hiện các mối đe dọa. Điều này đã góp phần nâng cao an ninh mạng cho nhiều tổ chức.

V. Kết luận và tương lai của kỹ thuật phân cụm trong phát hiện xâm nhập

Kỹ thuật phân cụm dữ liệu trong phát hiện xâm nhập trái phép đang ngày càng trở nên quan trọng. Với sự phát triển của công nghệ và dữ liệu lớn, việc áp dụng các phương pháp phân cụm sẽ tiếp tục được nghiên cứu và cải tiến. Tương lai của an ninh mạng sẽ phụ thuộc vào khả năng phát hiện và ứng phó với các mối đe dọa mới.

5.1. Tương lai của phân cụm trong an ninh mạng

Với sự phát triển không ngừng của công nghệ, kỹ thuật phân cụm sẽ tiếp tục được cải tiến để đáp ứng nhu cầu ngày càng cao trong việc phát hiện xâm nhập.

5.2. Những thách thức và cơ hội trong nghiên cứu phân cụm

Nghiên cứu về phân cụm sẽ đối mặt với nhiều thách thức, nhưng cũng mở ra nhiều cơ hội mới trong việc phát triển các phương pháp phát hiện xâm nhập hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa, hơn 70% các vụ tấn công mạng xuất phát từ việc khai thác các lỗ hổng giao thức và điểm yếu bảo mật chưa được vá, gây thiệt hại ước tính hàng triệu USD cho các tổ chức mỗi năm. Tại Việt Nam, hơn 65% cơ quan và doanh nghiệp từng ghi nhận các nỗ lực xâm nhập hệ thống trái phép. Các giải pháp an ninh mạng truyền thống chủ yếu dựa vào công nghệ phát hiện xâm nhập (IDS) theo cơ chế so khớp mẫu (Signature-based). Dù phương pháp này đạt độ chính xác trên 95% đối với các mối đe dọa đã biết, nhưng hoàn toàn bộc lộ hạn chế trước các cuộc tấn công mới (Zero-day) hoặc các biến thể mã độc tinh vi do phải liên tục cập nhật cơ sở dữ liệu mẫu khổng lồ.

Nhằm giải quyết triệt để vấn đề trên, luận văn thạc sĩ chuyên ngành Khoa học máy tính của tác giả Đỗ Xuân Cường, dưới sự hướng dẫn khoa học của Tiến sĩ Lương Thế Dũng tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên (năm 2015), đã tập trung nghiên cứu đề tài: "Kỹ thuật phân cụm dữ liệu trong phát hiện xâm nhập trái phép". Mục tiêu cụ thể của công trình là hệ thống hóa các nguy cơ tấn công mạng, phân tích chuyên sâu các phương pháp phân cụm dữ liệu và xây dựng mô hình thực nghiệm phát hiện xâm nhập tự động dựa trên khai phá dữ liệu nguồn mở.

Nghiên cứu được triển khai trên tập dữ liệu chuẩn KDD Cup 1999 với 41 thuộc tính kết nối đặc trưng. Ý nghĩa thực tiễn của luận văn thể hiện ở việc nâng cao tỷ lệ phát hiện tấn công mới lên trên 82%, giảm thiểu sự phụ thuộc vào chuyên gia bảo mật và cắt giảm tới 60% chi phí đầu tư bản quyền phần mềm nhờ định hướng ứng dụng công nghệ mã nguồn mở.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng lý thuyết Khám phá tri thức trong cơ sở dữ liệu (KDD) kết hợp cùng khung kiến trúc phát hiện xâm nhập tự động MADAMID (Mining Audit Data for Automated Models for Intrusion Detection). Nghiên cứu tích hợp 3 trụ cột lý thuyết chính: Lý thuyết an toàn mạng và phân loại mối đe dọa, Lý thuyết hệ thống phát hiện xâm nhập (IDS/NIDS/HIDS) và Lý thuyết khai phá dữ liệu thông qua học máy không giám sát.

Bốn khái niệm cốt lõi được định nghĩa và làm rõ trong mô hình nghiên cứu bao gồm:

1. Hệ thống phát hiện xâm nhập (IDS): Cơ chế phần cứng hoặc phần mềm tự động giám sát các sự kiện mạng, phân tích gói tin và nhật ký (log) nhằm cảnh báo hành vi vi phạm tính bí mật, tính toàn vẹn và tính sẵn sàng của dữ liệu.
2. Phân cụm dữ liệu (Clustering): Tiến trình nhóm tập hợp n đối tượng trong không gian d chiều thành k cụm riêng biệt sao cho độ tương đồng giữa các đối tượng trong cùng một cụm là lớn nhất và giữa các cụm khác nhau là nhỏ nhất.
3. Độ đo khoảng cách Euclidean: Công thức xác định khoảng cách không gian giữa các véc-tơ đặc trưng dữ liệu để đánh giá mức độ tương đồng.
4. Phân loại tấn công mạng: Bốn nhóm tấn công chính gồm Từ chối dịch vụ (DoS), Thăm dò/Quét cổng (Probe), Leo thang đặc quyền cục bộ (U2R) và Truy cập trái phép từ xa (R2L).

Luận văn phân tích toàn diện 6 họ thuật toán phân cụm tiêu biểu: phân hoạch (K-means, CLARA, CLARANS), phân cấp (CURE, CHAMELEON), mật độ (DBSCAN, OPTICS), lưới (STING, CLIQUE), mô hình (EM, COBWEB) và phân cụm mờ.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu chuẩn quốc tế KDD Cup 1999, trích xuất từ dữ liệu kiểm toán mạng quân sự DARPA. Mỗi bản ghi kết nối mạng được mô tả thông qua 41 thuộc tính chuyên sâu, bao gồm các thuộc tính cơ bản của gói tin TCP/IP (như thời gian kết nối, loại giao thức, dịch vụ, số byte truyền tải), các thuộc tính nội dung và các thuộc tính thống kê lưu lượng theo thời gian thực.

Cỡ mẫu thực nghiệm được chọn lọc với quy mô 100.000 bản ghi dữ liệu mạng. Phương pháp chọn mẫu phân tầng ngẫu nhiên (Stratified Random Sampling) được áp dụng nhằm duy trì tỷ lệ phân phối thực tế giữa các luồng dữ liệu bình thường (Normal) và 4 nhóm tấn công (DoS, Probe, U2R, R2L). Lý do lựa chọn phân tích bằng hai thuật toán K-means (thuộc nhóm phân hoạch với độ phức tạp thời gian O(nkl)) và EM (Expectation-Maximization thuộc nhóm mô hình thống kê) là nhằm so sánh trực tiếp giữa phương pháp phân cụm cứng dựa trên khoảng cách hình học và phương pháp phân cụm mềm dựa trên hàm mật độ xác suất.

Quy trình thực nghiệm được tiến hành trong 8 tháng thông qua phần mềm khai phá dữ liệu Weka Explorer 3.6 và công cụ Cluster 3.0 trên nền tảng hệ điều hành Linux.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa thuật toán K-means và EM với các giá trị tham số số cụm k khác nhau (từ k=2 đến k=5) trên 100.000 bản ghi dữ liệu KDD Cup 1999 đã mang lại 4 phát hiện quan trọng:

Thứ nhất, thuật toán K-means đạt tỷ lệ phân cụm chính xác tổng thể 82.4% khi thiết lập k=5 cụm (tương ứng với 5 lớp dữ liệu gồm Normal, DoS, Probe, U2R, R2L). Trong đó, nhóm tấn công từ chối dịch vụ (DoS) đạt tỷ lệ phát hiện vượt trội lên tới 92.6% nhờ đặc trưng lưu lượng bùng nổ rõ rệt.

Thứ hai, thuật toán EM thể hiện ưu thế vượt trội trong việc phân tách các dạng tấn công tinh vi có số lượng mẫu nhỏ. Độ chính xác phát hiện lớp tấn công thăm dò (Probe) và truy cập từ xa (R2L) của EM đạt 86.1%, cao hơn 7.6% so với mức 78.5% của K-means.

Thứ ba, về hiệu năng tính toán, K-means vượt trội hoàn toàn về tốc độ xử lý khi chỉ mất 14.2 giây để hội tụ trên toàn bộ tập dữ liệu mẫu. Ngược lại, thuật toán EM cần tới 118.5 giây (chậm hơn khoảng 8.3 lần) do phải thực hiện các vòng lặp tính toán ma trận kỳ vọng và tối đa hóa phân phối xác suất Gaussian đa chiều.

Thứ tư, nghiên cứu phát hiện rằng việc giảm số chiều dữ liệu từ 41 thuộc tính ban đầu xuống còn 15 thuộc tính trọng yếu (tập trung vào src_bytes, dst_bytes, count, srv_count) giúp giảm 48.3% thời gian tính toán nhưng vẫn duy trì được 96.5% độ chính xác phân cụm ban đầu.

Thảo luận kết quả

Nguyên nhân K-means phát hiện DoS hiệu quả là do các cuộc tấn công tràn ngập như SYN Flood hay Smurf tạo ra các cụm dữ liệu hình cầu có mật độ cực cao trong không gian Euclidean, giúp tâm cụm dễ dàng cố định. Tuy nhiên, với các cuộc tấn công leo thang đặc quyền (U2R), kẻ tấn công sử dụng các lệnh tương tự người dùng hợp lệ, khiến ranh giới hình học bị mờ nhạt. Thuật toán EM khắc phục điểm yếu này nhờ gán xác suất thành viên thay vì phân định ranh giới cứng, giúp nhận diện tốt hơn các hành vi bất thường tiềm ẩn.

So với các nghiên cứu phát hiện xâm nhập truyền thống sử dụng tập luật cố định của hệ thống Snort, mô hình phân cụm không giám sát giúp tăng khả năng phát hiện biến thể tấn công mới thêm 12.5% mà không cần xây dựng cơ sở dữ liệu dấu hiệu từ trước.

Dữ liệu thực nghiệm được trực quan hóa sinh động thông qua biểu đồ phân tán 2 chiều (2D Scatter Plot) và biểu đồ cụm trên giao diện Weka Explorer. Hình ảnh trực quan thể hiện rõ 5 vùng dữ liệu riêng biệt được phân tách bằng màu sắc, với các điểm dị biệt (outliers) đại diện cho lưu lượng tấn công. Bảng so sánh hiệu năng chi tiết giữa K-means và EM phản ánh rõ nét sự đánh đổi giữa chi phí thời gian tính toán và độ nhạy phát hiện đối với từng dạng tấn công mạng.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 giải pháp công nghệ và quản trị mang tính khả thi cao:

1. Xây dựng mô hình phát hiện xâm nhập lai ghép (Hybrid IDS): Tích hợp thuật toán phân cụm K-means làm tầng tiền xử lý luồng gói tin trước khi chuyển qua bộ lọc dấu hiệu chuyên sâu. Giải pháp này giúp nâng tỷ lệ phát hiện tấn công mạng tổng thể lên trên 88% và rút ngắn thời gian phản hồi cảnh báo xuống dưới 2 giây. Thời gian triển khai trong vòng 3 đến 6 tháng, do đội ngũ kỹ sư an toàn thông tin tại các tổ chức chủ trì thực hiện.

2. Tối ưu hóa thuộc tính dữ liệu giám sát mạng: Tinh giản tập thuộc tính giám sát từ 41 biến xuống 12 đến 15 biến trọng yếu liên quan đến tần suất kết nối và khối lượng byte truyền nhận. Mục tiêu nhằm giảm 45% tải xử lý bộ nhớ RAM của các cảm biến và tăng thông lượng phân tích gói tin lên 1.8 lần. Thời gian hoàn thiện trong 2 tháng, giao cho bộ phận nghiên cứu và phát triển phần mềm (R&D) đảm trách.

3. Tự động hóa cập nhật tâm cụm định kỳ: Thiết lập chu trình tự động huấn luyện lại và cập nhật tọa độ tâm cụm (centroid) sau mỗi 24 giờ dựa trên lưu lượng mạng thực tế. Biện pháp này giúp mô hình thích ứng với sự thay đổi của thói quen người dùng, hạ tỷ lệ cảnh báo sai (False Alarm) xuống dưới 3.5%. Hoạt động được thực hiện liên tục bởi Trung tâm điều hành an ninh mạng (SOC).

4. Triển khai cảm biến mạng mã nguồn mở: Bố trí các cảm biến sensor thu thập gói tin đặt phía sau thiết bị tường lửa (Firewall) kết hợp các thư viện khai phá dữ liệu mã nguồn mở. Giải pháp giúp tiết kiệm trên 60% ngân sách đầu tư phần mềm thương mại hàng năm. Thời gian lắp đặt và nghiệm thu trong 6 tháng, thuộc trách nhiệm của Ban giám đốc CNTT và phòng Quản trị mạng.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chuyên môn:

1. Chuyên viên quản trị mạng và an toàn thông tin: Nắm vững nguyên lý hoạt động của các phương thức tấn công DoS, DDoS, Probe để cấu hình hệ thống tường lửa và bố trí sensor mạng hiệu quả trong hạ tầng có quy mô từ 500 đến 1.000 máy trạm.

2. Học viên cao học và nhà nghiên cứu Khoa học máy tính: Tiếp cận tài liệu tổng quan bài bản về 12 thuật toán phân cụm kinh điển cùng quy trình thực nghiệm chuẩn hóa trên công cụ Weka và bộ dữ liệu chuẩn KDD Cup 1999.

3. Kỹ sư phát triển phần mềm và kỹ sư trí tuệ nhân tạo (AI/ML): Hiểu rõ phương pháp trích chọn 41 đặc trưng gói tin TCP/IP, cách xử lý độ phức tạp thuật toán O(nkl) và tối ưu hóa mô hình phân cụm phục vụ xây dựng các sản phẩm an ninh mạng tự động hóa thế hệ mới.

4. Giám đốc công nghệ (CTO) và chuyên gia hoạch định chính sách an ninh mạng: Tham khảo cơ sở thực nghiệm để xây dựng chiến lược bảo mật tối ưu chi phí, tận dụng công nghệ mã nguồn mở nhằm tiết kiệm 40% đến 60% ngân sách mua sắm giải pháp độc quyền.

Câu hỏi thường gặp

1. Kỹ thuật phân cụm dữ liệu có ưu thế gì vượt trội so với phương pháp đối sánh mẫu truyền thống? Phương pháp đối sánh mẫu truyền thống đòi hỏi cơ sở dữ liệu hàng chục nghìn chữ ký và bất lực trước tấn công mới. Phân cụm dữ liệu là học máy không giám sát, tự động nhóm các luồng dữ liệu bất thường dựa trên khoảng cách đặc trưng. Kỹ thuật này giúp phát hiện các cuộc tấn công Zero-day với độ chính xác đạt trên 80% mà không cần gán nhãn thủ công từ trước.

2. Thuật toán K-means có điểm mạnh và hạn chế nào khi áp dụng trong hệ thống phát hiện xâm nhập? K-means có ưu điểm tốc độ tính toán vượt trội với độ phức tạp O(nkl), chỉ mất 14.2 giây để phân cụm 100.000 bản ghi mạng, rất thích hợp phát hiện tấn công DoS diện rộng. Tuy nhiên, hạn chế lớn nhất là thuật toán chỉ tìm được các cụm hình cầu và rất nhạy cảm với nhiễu, dễ dẫn đến cảnh báo nhầm với các tấn công phân tán phức tạp.

3. Vì sao tập dữ liệu KDD Cup 1999 được sử dụng phổ biến trong các nghiên cứu phát hiện xâm nhập? Tập dữ liệu KDD Cup 1999 cung cấp chuẩn đối sánh quốc tế với 41 thuộc tính kết nối mạng chi tiết và 4 nhóm tấn công chính diện rộng. Điều này giúp các nhà nghiên cứu dễ dàng đo lường khách quan độ chính xác, tỷ lệ cảnh báo sai và thời gian xử lý giữa các thuật toán phân cụm khác nhau trên cùng một quy mô mẫu lớn.

4. Làm thế nào để kiểm soát và hạ thấp tỷ lệ cảnh báo sai trong hệ thống IDS sử dụng phân cụm? Để giảm tỷ lệ cảnh báo sai xuống dưới mức 3.5%, hệ thống cần loại bỏ các thuộc tính gây nhiễu, chỉ giữ lại 15 đặc trưng cốt lõi và thực hiện tái huấn luyện tâm cụm định kỳ 24 giờ một lần. Việc kết hợp phân tích trạng thái giao thức cũng giúp loại bỏ những hành vi mạng bình thường nhưng mang tính đột biến ngẫu nhiên.

5. Doanh nghiệp vừa và nhỏ có thể ứng dụng kết quả của luận văn này vào thực tế như thế nào? Doanh nghiệp có thể tận dụng các công cụ mã nguồn mở như Weka, Snort và hệ điều hành Linux để xây dựng hệ thống giám sát nội bộ đặt sau tường lửa. Mô hình này giúp tiết kiệm tới 60% chi phí đầu tư thiết bị phần cứng chuyên dụng ban đầu mà vẫn đảm bảo khả năng giám sát tự động liên tục 24/7.

Kết luận

• Hệ thống hóa toàn diện 12 thuật toán phân cụm dữ liệu thuộc 6 phương pháp tiếp cận chính trong lĩnh vực an toàn thông tin mạng.
• Chứng minh tính hiệu quả của K-means và EM trên 41 thuộc tính KDD Cup 1999, đạt tỷ lệ phát hiện tấn công từ chối dịch vụ trên 92%.
• Rút ngắn thời gian phân cụm xuống 14.2 giây cho 100.000 bản ghi mạng, đáp ứng tốt yêu cầu xử lý gần thời gian thực.
• Đề xuất kiến trúc giám sát mã nguồn mở đặt sensor sau Firewall, giúp giảm thiểu hơn 60% chi phí bản quyền bảo mật cho tổ chức.
• Khẳng định vai trò then chốt của khai phá dữ liệu trong việc chuyển dịch mô hình phòng thủ an ninh mạng từ bị động sang chủ động.

Đóng góp chính của luận văn là đã cung cấp luận cứ khoa học vững chắc và giải pháp thực nghiệm rõ ràng, chứng minh khả năng ứng dụng học máy không giám sát vào phát hiện xâm nhập trái phép. Hướng phát triển tiếp theo trong 6 đến 12 tháng tới là mở rộng kiểm thử trên các tập dữ liệu lưu lượng mạng thời gian thực và tích hợp mạng nơ-ron học sâu.

Quý độc giả và các chuyên gia an ninh mạng hãy tham khảo toàn văn luận văn thạc sĩ của tác giả Đỗ Xuân Cường để áp dụng hiệu quả kỹ thuật phân cụm dữ liệu vào công tác bảo vệ an toàn thông tin cho đơn vị của mình.

Trích đoạn nội dung tài liệu

CHƯƠNG I: TỔNG QUAN VỀ TẤN CÔNG MẠNG MÁ Y TÍ NH VÀ CÁC PHƯƠNG PHÁP PHÁT HIỆN 1.Các kỹ thuật tấn công mạng máy tính Hiện nay vẫn chƣa có định nghĩa chính xác về thuật ngữ "tấn công" (xâm nhập, công kích). Mỗi chuyên gia trong lĩnh vực ATTT luận giải thuật ngữ này theo ý hiểu của mình. Ví dụ, "xâm nhập - là tác động bất kỳ đƣa hệ thống từ trạng thái an toàn vào tình trạng nguy hiểm". Thuật ngữ này có thể giải thích nhƣ sau: "xâm nhập - đó là sự phá huỷ chính sách ATTT" hoặc "là tác động bất kỳ dẫn đến việc phá huỷ tính toàn vẹn, tính bí mật, tính sẵn sàng của hệ thống và thông tin xử lý trong hệ thống".

Tấn công (attack) là hoạt động có chủ ý của kẻ phạm tội lợi dụng các thƣơng tổn của hệ thố ng thông tin và tiến hành phá vỡ tính sẵn sàng, tính toàn vẹn và tính bí mật của hê ̣ thố ng thông tin. Tấncông(attack,intrustion)mạnglàcáctácđộnghoặclàtrìnhtựliênkếtgiữacáctácđộ ngvớinhauđểpháhuỷ,dẫnđếnviệchiệnthựchoácácnguycơbằngcáchlợi dụngđặctínhdễbịtổnthƣơngcủacáchệthốngthôngtinnày.Cónghĩalà,nếucóthểbàitr ừnguycơthƣơngtổncủacáchệthôngtinchínhlàtrừbỏkhảnăngcóthểthựchiệntấncôn g. Để thực hiện đƣợc tấn công mạng, thì ngƣời thực hiện tấn công phải có sự hiểu biết về giao thức TCP/IP, có hiểu biêt vể hệ điều hành và sử dụng thành thạo một số ngôn ngữ lập trình. Khi đó kẻ tấn công sẽ xác định phƣơng hƣớng tấn công vào hệ thống.

Một số kiểu tấn công mạng Có rất nhiều dạng tấn công mạng đang đƣợc biết đến hiện nay, dựa vào hành động tấn công đƣợc phân thành các loại là tấn công thăm dò, tấn công sử dụng mã độc, tấn công xâm nhập mạng và tấn công từ chối dịch vụ. LUAN VAN CHAT LUONG download : add [e-mail] 4 Hoặc chúng ta có thể chia thành 2 loại tấn công chung nhất là tấn công chủ động và tấn công thụ động. - Tấn công chủ động (active attack): Kẻ tấn công thay đổi hoạt động của hệ thống và hoạt động của mạng khi tấn công và làm ảnh hƣởng đến tính toàn vẹn, sẵn sàng và xác thực của dữ liệu. - Tấn công bị động (passive attack): Kẻ tấn công cố gắng thu thập thông tin từ hoạt động của hệ thống và hoạt động của mạng làm phá vỡ tính bí mật của dữ liệu.

Dựa vào nguồn gốc của cuộc tấn công thì có thể phân loại tấn công thành 2 loại hình tấn công bao gồm: tấn công từ bên trong và tấn công từ bên ngoài, tấn công trực tiếp. - Tấn công bên trong bao gồm những hành vi mang tính chất xâm nhập hệ thống nhằm mục đích phá hoại. Kẻ tấn công bên trong thƣờng là những ngƣời nằm trong một hệ thống mạng nội bộ, lấy thông tin nhiều hơn quyền cho phép. Tấncôngkhôngchủý:Nhiềuhƣhạicủamạngdongƣời dùngtrongmạngvôýgâynên.Nhữngngƣờinàycóthểvôýđểhackerbênngoàihệthống lấyđƣợcpasswordhoặclàmhỏngcáctàinguyêncủamạngdothiếuhiểubiết.

Tấncôngcóchủý:Kẻtấncóchủýchốnglạicácquitắc,cácquiđịnhdocácchínhsá channinhmạngđƣara. - Tấn công bên ngoài là những tấn công xuất phát từ bên ngoài hệ thống nhƣ Internet hay các kết nối truy cập từ xa; gồm có: + Kẻ tấn công nghiệp dƣ (“script-kiddy”): Dùng các script đã tạo sẵn và có thể tạo nên các các thiệt hại đối với mạng. LUAN VAN CHAT LUONG download : add [e-mail] 5 + Kẻ tấn công đích thực (“true- hacker”): Mục đích chính của nhóm ngƣời này khi thực hiện các tấn công mạng là để mọi ngƣời thừa nhận khả năng của họ và để đƣợc nổi tiếng. + Kẻ tấn công chuyên nghiệp (“the elite”): Thực hiện các tấn công mạng là để thu lợi bất chính.

Tấn công bên ngoài có thể là những dạng tất công trực tiếp, các dạng tấn công này thông thƣờng là sử dụng trong giai đoạn đầu để chiếm quyền truy cập. Phổ biến nhất vẫn là cách dò tìm tên ngƣời sử dụng và mật khẩu. Tội phạm mạng có thể sử dụng những thông tin liên quan đến chủ tài khoản nhƣ ngày tháng năm sinh, tên vợ (chồng) hoặc con cái hoặc số điện thoại để dò tìm thông tin tài khoản và mật khẩu với mục đích chiếm quyền điều khiển của một tài khoản, thông thƣờng đối với những tài khoản có mật khẩu đơn giản thì tội phạm mạng chỉ dò tìm mật khẩu qua thông tin chủ tài khoản, một cách tiếp cận việc chiếm quyền truy nhập bằng cách tìm tài khoản và mật khẩu tài khoảng khác là dùng chƣơng trình để dò tìm mật khẩu. Phƣơng pháp này trong một số khả năng hữu dụng thì có thể thành công đến 30%.

Một kiểu tấn công bên ngoài khác đƣợc đề cập đến nữa chính là hình thức nghe trộm, việc nghe trộm thông tin trên mạng có thể đƣa lại những thông tin có ích nhƣ tên, mật khẩu của ngƣời sử dụng, các thông tin mật chuyển qua mạng. Việc nghe trộm thƣờng đƣợc tiến hành ngay sau khi kẻ tấn công đã chiếm đƣợc quyền truy nhập hệ thống, thông qua các chƣơng trình cho phép đƣa card giao tiếp mạng (Network Interface Card-NIC) vào chế độ nhận toàn bộ các thông tin lƣu truyền trên mạng. Những thông tin này cũng có thể dễ dàng lấy đƣợc trên Internet. - Một số các lỗi khác liên quan đến con ngƣời, hệ thống cũng là những kiểu tấn công trực tiếp từ bên ngoài nhƣng có mức độ phức tạp và khó khăn LUAN VAN CHAT LUONG download : add [e-mail] 6 hơn, nguy hiểm nhất là yếu tố con ngƣời bởi nó là một trong nhiều điểm yếu nhất trong bất kỳ hệ thống bảo mật nào.

- Khi một mạng máy tính bị tấn công, nó sẽ bị chiếm một lƣợng lớn tài nguyên trên máy chủ, mức độ chiếm lƣợng tài nguyên này tùy thuộc vào khả năng huy động tấn công của tội phạm mạng, đến một giới hạn nhất định khả năng cung cấp tài nguyên của máy chủ sẽ hết và nhƣ vậy việc từ chối các yêu cầu sử dụng dịch vụ của ngƣời dùng hợp pháp bị từ chối. Việc phát động tấn công của tội phạm mạng còn tùy thuộc vào số lƣợng các máy tính ma mà tội phạm mạng đó đang kiểm soát, nếu khả năng kiểm soát lớn thì thời gian để tấn công và làm sập hoàn toàn một hệ thống mạng sẽ nhanh và cấp độ tấn công sẽ tăng nhanh hơn, tội phạm mạng có thể một lúc tấn công nhiều hệ thống mạng khác nhau tùy vào mức độ kiểm soát chi phối các máy tính ma nhƣ thế nào. Phân loại các mối đe dọa trong bảo mật hệ thống a) Mối đe dọa bên trong Thuật ngữ mối đe dọa bên trong đƣợc sử dụng để mô ta một kiểu tấn công đƣợc thực hiện từ một ngƣời hoặc một tổ chức có quyền truy cập vào hệ thống mạng. Các cách tấn công từ bên trong đƣợc thực hiện từ một khu vực đƣợc coi là vùng tin cậy trong hệ thống mạng.

Mối đe dọa này có thể khó phòng chống hơn vì các nhân viên hoặc những tổ chức có quyền hạn trong hệ thống mạng sẽ truy cập vào mạng và dữ liệu bí mật của doanh nghiệp. Phần lớn các doanh nghiệp hiện nay đều có tƣờng lửa ở các đƣờng biên mạng và họ tin tƣởng hoàn toàn vào các ACL (Access Control List) và quyền truy cập vào server để qui định cho sự bảo mật bên trong. Quyền truy cập server thƣờng bảo vệ tài nguyên trên server nhƣng không cung cấp bất kì sự bảo vệ nào cho LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Mối đe dọa ở bên trong thƣờng đƣợc thực hiện bởi các nhân viên, tổ chức bất bình, muốn “quay mặt” lại với doanh nghiệp.

Nhiều phƣơng pháp bảo mật liên quan đến vành đai của hệ thống mạng, bảo vệ mạng bên trong khỏi các kết nối bên ngoài, nhƣ là truy cập Internet. Khi vành đai của hệ thống mạng đƣợc bảo mật, các phần tin cậy bên trong có khuynh hƣớng bị bớt nghiêm ngặt hơn. Khi một kẻ xâm nhập vƣợt qua vỏ bọc bảo mật cứng cáp đó của hệ thống mạng, mọi chuyện còn lại thƣờng là rất đơn giản. Các mạng không dây giới thiệu một lĩnh vực mới về quản trị bảo mật.

Không giống nhƣ mạng có dây, các mạng không dây tạo ra một khu vực bao phủ có thể bị can thiệp và sử dụng bởi bất kì ai có phần mềm đúng và một adapter của mạng không dây. Không chỉ tất cả các dữ liệu mạng có thể bị xem và ghi lại mà các sự tấn công vào mạng có thể đƣợc thực hiện từ bên trong, nơi mà cơ sở hạ tầng dễ bị nguy hiểm hơn nhiều. Vì vậy, các phƣơng pháp mã hóa mạnh luôn đƣợc sử dụng trong mạng không dây. b) Mối đe dọa từ bên ngoài Mối đe dọa ở bên ngoài là từ các tổ chức, chính phủ, hoặc cá nhân cố gắng truy cập từ bên ngoài mạng của doanh nghiệp và bao gồm tất cả những ngƣời không có quyền truy cập vào mạng bên trong.

Thông thƣờng, các kẻ tấn công từ bên ngoài cố gắng từ các server quay số hoặc các kết nối Internet. Mối đe dọa ở bên ngoài là những gì mà các doanh nghiệp thƣờng phải bỏ nhiều hầu hết thời gian và tiền bạc để ngăn ngừa. c) Mối đe dọa không có cấu trúc Mối đe dọa không có cấu trúc là mối đe dọa phổ biến nhất đối với hệ thống của một doanh nghiệp. Các hacker mới vào nghề, thƣờng đƣợc gọi là script kiddies, sử dụng các phần mềm để thu thập thông tin, truy cập hoặc thực hiện một kiểu tấn công DoS vào một hệ thống của một doanh nghiệp.

LUAN VAN CHAT LUONG download : add [e-mail] 8 Script kiddies tin tƣởng vào các phần mềm và kinh nghiệm của các hacker đi trƣớc. Khi script kiddies không có nhiều kiến thức và kinh nghiệm, họ có thể tiến hành phá hoại lên các doanh nghiệp không đƣợc chuẩn bị. Trong khi đây chỉ là trò chơi đối với các kiddie, các doanh nghiệp thƣờng mất hàng triệu đô la cũng nhƣ là sự tin tƣởng của cộng đồng. Nếu một web server của một doanh nghiệp bị tấn công, cộng đồng cho rằng hacker đã phá vỡ đƣợc sự bảo mật của doanh nghiệp đó, trong khi thật ra các hacker chỉ tấn công đƣợc một chỗ yếu của server.

Các server Web, FTP, SMTP và một vài server khác chứa các dịch vụ có rất nhiều lổ hổng để có thể bị tấn công, trong khi các server quan trọng đƣợc đặt sau rất nhiều lớp bảo mật. Cộng đồng thƣờng không hiểu rằng phá vỡ một trang web của một doanh nghiệp thì dễ hơn rất nhiều so với việc phá vỡ cơ sở dữ liệu thẻ tín dụng của doanh nghiệp đó. Cộng đồng phải tin tƣởng rằng một doanh nghiệp rất giỏi trong việc bảo mật các thông tin riêng tƣ của nó. d) Mối đe dọa có cấu trúc Mối đe dọa có cấu trúc là khó ngăn ngừa và phòng chống nhất vì nó xuất phát từ các tổ chức hoặc cá nhân sử dụng một vài loại phƣơng pháp luận thực hiện tấn công.

Các hacker với kiến thức, kinh nghiệm cao và thiết bị sẽ tạo ra mối đe dọa này.