Đề Tài: Phát Hiện Tấn Công Mạng Dựa Trên Xử Lý Dữ Liệu Lớn

Các hệ thống và phần mềm ngày nay, để dễ dàng tiếp cận người dùng, phần lớn được triển khai trên… 71 trang · Học viện Công nghệ Bưu chính Viễn thông · 2022.

• Tác giả: Trần Đức Nhân
• Người hướng dẫn: TS. Hoàng Xuân Dậu
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát Hiện Tấn Công Mạng Dựa Trên Xử Lý Dữ Liệu Lớn
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN TẤN CÔNG ỨNG DỤNG WEB DỰA TRÊN HỌC MÁY VÀ XỬ LÝ DỮ LIỆU LỚN
• 1.1. Tổng quan về kỹ thuật tấn công ứng dụng web phổ biến
• 1.2. Lỗ hổng bảo mật ứng dụng web
• 1.3. Hệ thống phát hiện xâm nhập (Intrusion Detection System)
• 1.4. Nghiên cứu tổng quan về học máy
• 1.4.1. Mô hình học máy và các yếu tố ảnh hưởng đến hiệu quả của mô hình học máy
• 1.4.2. Các bước xây dựng mô hình học máy
• 1.4.3. Phân loại các thuật toán học máy
• 1.5. Nghiên cứu tổng quan về dữ liệu lớn và xử lý dữ liệu lớn
• 1.6. Một số nghiên cứu liên quan
• 1.7. Kết luận chương
• 2. CHƯƠNG 2: MÔ HÌNH PHÁT HIỆN TẤN CÔNG ỨNG DỤNG WEB DỰA TRÊN HỌC MÁY VÀ XỬ LÝ DỮ LIỆU LỚN
• 2.1. Mô hình phát hiện tấn công ứng dụng web dựa trên học máy và xử lý dữ liệu lớn
• 2.2. Giới thiệu một số thuật toán học máy được ứng dụng trong phát hiện xâm nhập
• 2.2.1. Logistic Regression
• 2.2.2. Cây quyết định (Decision Tree)
• 2.2.3. Rừng ngẫu nhiên (Random Forest)
• 2.3. Giải pháp xử lý với khối lượng dữ liệu lớn
• 2.4. Kết luận chương
• 3. CHƯƠNG 3: TRIỂN KHAI VÀ THỬ NGHIỆM MÔ HÌNH PHÁT HIỆN TẤN CÔNG ỨNG DỤNG WEB DỰA TRÊN HỌC MÁY VÀ XỬ LÝ DỮ LIỆU LỚN
• 3.1. Mô hình triển khai và thử nghiệm
• 3.2. Giới thiệu bộ dữ liệu CSE-CIC-IDS2018
• 3.3. Tiền xử lý bộ dữ liệu
• 3.4. Đánh giá kết quả đối với các mô hình
• 3.4.1. Các chỉ số đánh giá
• 3.4.2. Phân loại dữ liệu
• 3.4.3. So sánh hiệu năng giữa Spark MLlib và Scikit-learn
• 3.5. Hệ thống thực nghiệm
• 3.6. Kết luận chương
• DANH MỤC CÁC HÌNH VỀ
• DANH MỤC BẢNG BIỂU

Tóm tắt

I. Tổng Quan Về Phát Hiện Tấn Công Mạng Hướng Tiếp Cận Mới

Các hệ thống và phần mềm ngày nay, để dễ dàng tiếp cận người dùng, phần lớn được triển khai trên web. Điều này dẫn đến việc các ứng dụng web mang lại nhiều rủi ro đáng kể cho an toàn của hệ thống và dữ liệu. Nhiều ứng dụng web dễ bị tấn công bởi các lỗi mà các phương pháp phòng chống mạng thông thường không thể bảo vệ được. Lỗi và lỗ hổng trong mã nguồn của ứng dụng web có thể gây ra hậu quả nghiêm trọng như lộ dữ liệu nhạy cảm, gây tổn thương cho toàn bộ hệ thống hạ tầng công nghệ thông tin. Theo đó, việc nghiên cứu về phát hiện xâm nhập mạng là vô cùng quan trọng. Sự cố bảo mật trong ứng dụng web có thể ảnh hưởng đến danh tiếng của công ty, gây mất mát tài chính, ảnh hưởng đến uy tín với khách hàng và các vấn đề pháp lý liên quan.

1.1. Tổng Quan Về Kỹ Thuật Tấn Công Ứng Dụng Web Phổ Biến

Các kỹ thuật tấn công web ngày càng tinh vi và đa dạng, từ các cuộc tấn công đơn giản như SQL Injection và Cross-Site Scripting (XSS) đến các kỹ thuật phức tạp hơn như Advanced Persistent Threat (APT). Hiểu rõ về các kỹ thuật này là bước đầu tiên để xây dựng các hệ thống phòng thủ hiệu quả. Theo tài liệu gốc, 'Injection attack xảy ra khi dữ liệu không đáng tin cậy được gửi đến trình thông dich (code interpreter) thông qua việc điền các form (biểu mẫu) hoặc một số dữ liệu khác gửi đến ứng dụng web.'

1.2. Giới Thiệu Chung Về Hệ Thống Phát Hiện Xâm Nhập IDS

Hệ thống phát hiện xâm nhập (IDS) đóng vai trò then chốt trong việc bảo vệ hệ thống mạng và ứng dụng web khỏi các cuộc tấn công. IDS hoạt động bằng cách giám sát lưu lượng mạng và nhật ký hệ thống để phát hiện các hoạt động đáng ngờ hoặc các dấu hiệu của cuộc tấn công. Các hệ thống IDS có thể được triển khai ở nhiều vị trí khác nhau trong mạng, chẳng hạn như trên máy chủ, trên tường lửa hoặc trên các thiết bị mạng chuyên dụng.

II. Thách Thức Trong Phát Hiện Tấn Công Mạng Quy Mô Lớn

Các hệ thống phát hiện xâm nhập truyền thống, dựa trên luật (rules) hoặc dự đoán trực tuyến, thường không hiệu quả và tốn kém. Độ tin cậy của chúng không cao và khả năng tự cập nhật để phát hiện các hình thức xâm nhập mới còn hạn chế. Theo đó, kỹ thuật máy học đang dần được áp dụng như là thuật toán phát hiện chính trong IDS nhờ các đặc tính và khả năng học hỏi không mô hình của chúng. Tuy nhiên, các chuyên gia bảo mật vẫn đang tìm kiếm những loại IDS hiệu suất tốt hơn, có tỉ lệ phát hiện cao hơn và tỉ lệ cảnh báo sai thấp nhất.

2.1. Giới Hạn Của Phương Pháp Phát Hiện Bất Thường Mạng Truyền Thống

Phương pháp phát hiện bất thường mạng truyền thống thường dựa vào việc thiết lập các ngưỡng hoặc quy tắc để xác định các hoạt động bất thường. Tuy nhiên, phương pháp này có nhiều hạn chế, bao gồm khó khăn trong việc xác định các ngưỡng phù hợp, dễ bị bỏ qua các cuộc tấn công tinh vi và tạo ra nhiều cảnh báo sai. Bên cạnh đó, các hệ thống này thường gặp khó khăn trong việc xử lý lượng dữ liệu ngày càng tăng từ các mạng hiện đại.

2.2. Vấn Đề Xử Lý Dữ Liệu Lớn An Ninh Trong Môi Trường Mạng

Lượng dữ liệu được tạo ra bởi các hệ thống mạng hiện đại ngày càng tăng, gây ra thách thức lớn cho các hệ thống phát hiện xâm nhập. Các hệ thống IDS truyền thống thường không có khả năng xử lý lượng dữ liệu này một cách hiệu quả, dẫn đến việc bỏ qua các cuộc tấn công hoặc tạo ra nhiều cảnh báo sai. Do đó, cần có các phương pháp xử lý dữ liệu lớn hiệu quả để giải quyết vấn đề này. Các kỹ thuật như phân tích dữ liệu lớn bảo mật và ứng dụng big data trong an ninh mạng là rất cần thiết.

III. Cách Áp Dụng Big Data Analytics Cybersecurity Để Tối Ưu

Học máy hiện đang được áp dụng như một công cụ thiết yếu để cải thiện quá trình phát hiện các cuộc tấn công vào ứng dụng web. Nó bao gồm xây dựng đặc tính, khai thác và lựa chọn. Quá trình xây dựng đặc tính mở rộng các đặc tính ban đầu để tăng cường tính chân thực của chúng, trong khi khai thác đặc tính biến đổi các đặc tính ban đầu thành một hình thức mới và lựa chọn đặc tính, loại bỏ các đặc tính không cần thiết. Việc kết hợp giữa học máy và xử lý dữ liệu lớn là một hướng nghiên cứu và phát triển phù hợp.

3.1. Ứng Dụng Machine Learning Cybersecurity Trong IDS

Machine Learning (ML) cung cấp một giải pháp đầy hứa hẹn để giải quyết các hạn chế của các phương pháp phát hiện xâm nhập truyền thống. Các thuật toán ML có thể được huấn luyện để học các mẫu từ dữ liệu mạng và nhật ký hệ thống, cho phép chúng phát hiện các hoạt động đáng ngờ hoặc các dấu hiệu của cuộc tấn công một cách tự động. Các thuật toán ML cũng có thể được sử dụng để giảm số lượng cảnh báo sai và cải thiện độ chính xác của hệ thống IDS.

3.2. Sử Dụng Học Sâu Trong An Ninh Mạng Cho Phát Hiện Xâm Nhập

Học sâu (Deep Learning), một nhánh của học máy, đã chứng minh hiệu quả vượt trội trong nhiều lĩnh vực, bao gồm cả an ninh mạng. Các mô hình học sâu có khả năng tự động học các đặc trưng phức tạp từ dữ liệu thô, cho phép chúng phát hiện các cuộc tấn công tinh vi mà các phương pháp truyền thống khó có thể phát hiện. Deep learning cybersecurity đang ngày càng trở nên quan trọng.

3.3. Kết Hợp Học Máy Trong An Ninh Mạng và Big Data

Việc kết hợp giữa học máy và big data mang lại một giải pháp mạnh mẽ để giải quyết các thách thức trong phát hiện tấn công mạng quy mô lớn. Các nền tảng xử lý dữ liệu lớn, như Hadoop và Spark, có thể được sử dụng để lưu trữ và xử lý lượng dữ liệu khổng lồ được tạo ra bởi các hệ thống mạng hiện đại. Sau đó, các thuật toán học máy có thể được áp dụng trên dữ liệu này để phát hiện các hoạt động đáng ngờ hoặc các dấu hiệu của cuộc tấn công.

IV. Phương Pháp Triển Khai Giải Pháp An Ninh Mạng Big Data

Để triển khai một hệ thống phát hiện tấn công mạng dựa trên xử lý dữ liệu lớn và học máy hiệu quả, cần thực hiện một số bước quan trọng. Đầu tiên, cần thu thập và chuẩn bị dữ liệu từ nhiều nguồn khác nhau, bao gồm lưu lượng mạng, nhật ký hệ thống và thông tin về các mối đe dọa. Tiếp theo, cần chọn và huấn luyện các thuật toán học máy phù hợp để phát hiện các hoạt động đáng ngờ. Cuối cùng, cần triển khai hệ thống IDS đã được huấn luyện và giám sát hiệu suất của nó.

4.1. Các Bước Xây Dựng Hệ Thống Phát Hiện Xâm Nhập Mạng IDS

Xây dựng một hệ thống phát hiện xâm nhập mạng (IDS) hiệu quả đòi hỏi một quy trình được cấu trúc tốt. Điều này bao gồm xác định mục tiêu, thu thập dữ liệu, chọn lựa đặc trưng, huấn luyện mô hình, đánh giá hiệu suất và triển khai hệ thống. Việc lựa chọn thuật toán học máy phù hợp và tối ưu hóa các tham số là rất quan trọng để đạt được hiệu suất tốt nhất. Theo tài liệu, 'Trong đồ án này, nội dung phát hiện xâm nhập mạng duoc tập trung vào phát hiện các dạng tấn công ứng dụng web dựa trên học máy sử dụng nên tảng xử lý dữ liệu lớn do đây là ứng dụng phổ biến nhất trên mang Internet.'

4.2. Sử Dụng Phân Tích Dữ Liệu Lớn Bảo Mật Cho Log Analysis Security

Phân tích dữ liệu lớn bảo mật đóng vai trò quan trọng trong việc phát hiện các cuộc tấn công tinh vi. Bằng cách phân tích nhật ký hệ thống, lưu lượng mạng và các nguồn dữ liệu khác, các nhà phân tích bảo mật có thể xác định các hoạt động đáng ngờ hoặc các dấu hiệu của cuộc tấn công. Các công cụ Security Information and Event Management (SIEM) có thể được sử dụng để thu thập, phân tích và báo cáo về các sự kiện bảo mật.

V. Ứng Dụng Thực Tế Phân Tích Malware Bằng Big Data Hiệu Quả

Một trong những ứng dụng thực tế của xử lý dữ liệu lớn và học máy trong an ninh mạng là phân tích malware. Bằng cách phân tích lượng lớn các mẫu malware đã biết, các nhà nghiên cứu có thể xác định các đặc điểm chung của các loại malware khác nhau và phát triển các công cụ phát hiện hiệu quả hơn. Ngoài ra, xử lý dữ liệu lớn có thể được sử dụng để phân tích hành vi của malware trong môi trường sandbox, cho phép các nhà nghiên cứu hiểu rõ hơn về cách malware hoạt động và phát triển các biện pháp đối phó.

5.1. Phân Tích Hành Vi Người Dùng UEBA Để Phát Hiện Xâm Nhập

Phân tích hành vi người dùng (UEBA) là một kỹ thuật sử dụng học máy để phát hiện các hoạt động bất thường trong hành vi của người dùng. Bằng cách theo dõi các hoạt động của người dùng, như đăng nhập, truy cập tài liệu và sử dụng ứng dụng, các hệ thống UEBA có thể xác định các hoạt động đáng ngờ hoặc các dấu hiệu của cuộc tấn công. UEBA đặc biệt hữu ích trong việc phát hiện các cuộc tấn công insider threat hoặc các tài khoản bị xâm phạm.

5.2. Phát Hiện Tấn Công Mạng Theo Thời Gian Thực Real Time

Phát hiện tấn công mạng theo thời gian thực là một yêu cầu quan trọng trong môi trường mạng hiện đại. Bằng cách sử dụng xử lý dữ liệu lớn và học máy, các tổ chức có thể xây dựng các hệ thống IDS có khả năng phát hiện và phản ứng với các cuộc tấn công một cách nhanh chóng và hiệu quả. Real-time threat detection giúp giảm thiểu thiệt hại do các cuộc tấn công gây ra.

VI. Tương Lai Của Phát Hiện Tấn Công Mạng Với Dữ Liệu Lớn

Tương lai của phát hiện tấn công mạng hứa hẹn nhiều tiềm năng với sự phát triển của xử lý dữ liệu lớn và học máy. Các công nghệ mới, như blockchain security, IoT security và cloud security, sẽ tạo ra những thách thức mới cho các hệ thống IDS. Tuy nhiên, với sự kết hợp của xử lý dữ liệu lớn, học máy và trí tuệ nhân tạo, các tổ chức có thể xây dựng các hệ thống IDS thông minh hơn, hiệu quả hơn và có khả năng thích ứng với các mối đe dọa ngày càng tinh vi.

6.1. Tiềm Năng Của Dự Đoán Tấn Công Mạng Cyber Attack Prediction

Dự đoán tấn công mạng (Cyber attack prediction) là một lĩnh vực nghiên cứu đầy hứa hẹn, sử dụng học máy để dự đoán các cuộc tấn công trong tương lai. Bằng cách phân tích dữ liệu lịch sử về các cuộc tấn công, các nhà nghiên cứu có thể phát triển các mô hình dự đoán có khả năng cảnh báo trước về các cuộc tấn công sắp xảy ra. Điều này cho phép các tổ chức thực hiện các biện pháp phòng ngừa và giảm thiểu thiệt hại.

6.2. Tích Hợp Threat Intelligence Với Big Data Analytics Cybersecurity

Threat intelligence là thông tin về các mối đe dọa an ninh mạng, bao gồm các kỹ thuật tấn công, các nhóm tấn công và các chỉ số xâm nhập. Bằng cách tích hợp threat intelligence với big data analytics cybersecurity, các tổ chức có thể cải thiện khả năng phát hiện và phản ứng với các cuộc tấn công. Threat intelligence cung cấp thông tin giá trị giúp các hệ thống IDS tập trung vào các mối đe dọa quan trọng nhất.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Bối cảnh thực tiễn và lý do chọn đề tài

Trong kỷ nguyên số hóa, hầu hết các hệ thống thông tin và phần mềm ứng dụng phục vụ người dùng đều được triển khai trực tiếp trên nền tảng web. Sự phát triển này đồng thời gia tăng các nguy cơ mất an toàn thông tin đối với hệ thống và dữ liệu của các tổ chức, doanh nghiệp. Các lỗi và lỗ hổng bảo mật trong mã nguồn ứng dụng web có thể dẫn đến những hậu quả nghiêm trọng như lộ lọt dữ liệu nhạy cảm, phá vỡ cấu trúc hạ tầng công nghệ thông tin, gây thiệt hại tài chính, suy giảm uy tín đối với khách hàng cũng như phát sinh các rủi ro pháp lý.

Trước đây, các hệ thống phát hiện xâm nhập (Intrusion Detection System - IDS) truyền thống chủ yếu vận hành dựa trên cơ chế thiết lập tập luật cố định (rule-based / signature-based) hoặc sử dụng các lệnh dự đoán trực tuyến. Phương pháp này bộc lộ nhiều điểm hạn chế: chi phí duy trì cao, độ tin cậy hạn chế, thiếu tính linh hoạt và không có khả năng tự động cập nhật để nhận diện các hình thức tấn công mới. Nhằm khắc phục tình trạng trên, các kỹ thuật học máy (Machine Learning - ML) đã được ứng dụng vào IDS nhờ khả năng trích xuất tri thức, phân tích dấu hiệu bất thường và tự học hỏi từ dữ liệu.

Tuy nhiên, sự gia tăng nhanh chóng của lưu lượng truy cập Internet tạo ra khối lượng dữ liệu khổng lồ (Big Data). Khi hệ thống IDS ứng dụng học máy xử lý trên các môi trường đơn lẻ truyền thống, lưu lượng truy cập lớn có thể gây nghẽn cổ chai, làm quá tải và tê liệt toàn bộ hệ thống bảo vệ. Xuất phát từ yêu cầu thực tiễn đó, đồ án tốt nghiệp "Phát hiện tấn công mạng dựa trên nền tảng xử lý dữ liệu lớn" do sinh viên Trần Đức Nhân thực hiện dưới sự hướng dẫn của TS. Hoàng Xuân Dậu tại Học viện Công nghệ Bưu chính Viễn thông (tháng 01/2022) đã tập trung nghiên cứu giải pháp kết hợp giữa học máy và nền tảng xử lý dữ liệu lớn để nâng cao hiệu quả và hiệu năng phát hiện tấn công ứng dụng web.

Mục tiêu nghiên cứu

Đồ án xác định 5 mục tiêu nghiên cứu cụ thể được đánh số như sau:

1. Xây dựng bộ dữ liệu đặc trưng của một số hình thức tấn công ứng dụng web.
2. Đề xuất mô hình phát hiện tấn công ứng dụng web dựa trên học máy và xử lý dữ liệu lớn.
3. Lựa chọn mô hình trích chọn đặc trưng quan trọng và phương pháp học máy để phát hiện tấn công ứng dụng web.
4. Đánh giá kết quả mô hình phát hiện, lựa chọn ra mô hình tốt nhất.
5. Đề xuất, đánh giá và lựa chọn cách thức triển khai mô hình học máy trên môi trường phân tán, giải quyết việc xử lý lượng truy cập lớn.

Nhiệm vụ nghiên cứu chính

Để hiện thực hóa các mục tiêu trên, tác giả đã tiến hành 8 nhiệm vụ cụ thể:

1. Tổng quan về các lỗ hổng bảo mật ứng dụng web theo danh mục OWASP Top 10 (2017), các hình thức tấn công web phổ biến và hệ thống phát hiện xâm nhập IDS.
2. Nghiên cứu cơ sở lý thuyết và toán học của 4 thuật toán học máy phổ biến: Naive Bayes, Logistic Regression, Decision Tree và Random Forest; nghiên cứu các yếu tố ảnh hưởng, quy trình xây dựng và phân loại học máy.
3. Nghiên cứu tổng quan về dữ liệu lớn và các nền tảng, công cụ xử lý dữ liệu lớn tiêu biểu: Hadoop, Spark, Kafka, HBase, ELK.
4. Đề xuất giải pháp và kiến trúc mô hình phát hiện tấn công ứng dụng web kết hợp học máy và xử lý dữ liệu lớn phân tán.
5. Phân tích bộ dữ liệu chuẩn CSE-CIC-IDS2018 và thực hiện tiền xử lý để xây dựng bộ dữ liệu rút gọn IDS2018-WEB phục vụ bài toán tấn công web.
6. Huấn luyện và đánh giá các mô hình học máy bằng ngôn ngữ Python trên bộ dữ liệu mới thông qua các chỉ số hiệu suất phân loại và thời gian thực thi, từ đó chọn ra mô hình tối ưu.
7. So sánh hiệu năng triển khai mô hình học máy giữa hai phương án: sử dụng thư viện Spark MLlib và thư viện Scikit-learn trên nền tảng Apache Spark.
8. Triển khai và thử nghiệm hệ thống hoàn chỉnh theo luồng xử lý thời gian thực.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các kỹ thuật tấn công ứng dụng web (SQL Injection, Cross-Site Scripting - XSS, Brute Force, Denial of Service - DoS, Distributed Denial of Service - DDoS); các thuật toán học máy có giám sát phân loại nhị phân và đa lớp; các công nghệ lưu trữ, truyền thông điệp và xử lý dữ liệu lớn theo luồng (Hadoop HDFS, Apache Spark Streaming, Spark MLlib, Scikit-learn, Apache Kafka, ElasticSearch, Logstash, Kibana).
• Phạm vi không gian và dữ liệu: Dữ liệu lưu lượng mạng được trích xuất từ bộ dữ liệu chuẩn CSE-CIC-IDS2018 do Cơ quan An ninh Truyền thông Canada (CSE) phối hợp với Viện An ninh mạng Canada (CIC) phát hành, sau đó tinh chỉnh thành bộ dữ liệu chuyên biệt IDS2018-WEB.
• Phạm vi thời gian và triển khai: Nghiên cứu được hoàn thành vào tháng 01/2022; phạm vi hệ thống tập trung vào việc mô phỏng luồng phát hiện lưu lượng mạng theo thời gian thực và trực quan hóa cảnh báo trên giao diện Dashboard của hệ sinh thái ELK.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình sử dụng

1. Lỗ hổng bảo mật web và chuẩn OWASP Top 10 (2017): Khóa luận dựa trên tiêu chuẩn bảo mật của tổ chức Open Web Application Security Project (OWASP) phiên bản 2017, phân tích chi tiết 10 nguy cơ rủi ro bảo mật chính gồm:
   • Injection (điển hình là SQL Injection).
   • Broken Authentication (phá vỡ cơ chế xác thực, Brute Force).
   • Sensitive Data Exposure (lộ lọt dữ liệu nhạy cảm).
   • XML External Entities (XXE).
   • Broken Access Control (lỗi kiểm soát truy cập).
   • Security Misconfiguration (cấu hình sai bảo mật).
   • Cross-Site Scripting (XSS gồm Reflected XSS, Stored XSS, DOM-Based XSS).
   • Insecure Deserialization (giải tuần tự hóa không an toàn).
   • Using Components with Known Vulnerabilities (sử dụng thành phần có lỗ hổng đã biết).
   • Insufficient Logging & Monitoring (kiểm tra nhật ký và giám sát không hiệu quả).
2. Hệ thống phát hiện xâm nhập (IDS):
   • Phân loại theo phạm vi giám sát: Network-based IDS (NIDS - giám sát gói tin trên toàn mạng) và Host-based IDS (HIDS - giám sát hoạt động, nhật ký hệ thống trên từng máy chủ).
   • Phân loại theo kỹ thuật phân tích: Phát hiện dựa trên dấu hiệu (Signature-based / Misuse-based) và phát hiện dựa trên bất thường (Anomaly-based).
3. Cơ sở toán học của các thuật toán học máy:
   • Naive Bayes: Dựa trên định lý xác suất Bayes với giả định các thuộc tính độc lập điều kiện đôi một, tính xác suất hậu sinh $P(C_i|X)$ để gán mẫu vào lớp có xác suất cực đại.
   • Logistic Regression: Sử dụng hàm kích hoạt Sigmoid $\sigma(s) = \frac{1}{1 + e^{-s}}$ hoặc Tanh để ánh xạ đầu ra về khoảng giá trị $[0, 1]$, phục vụ bài toán phân loại tuyến tính.
   • Decision Tree (Cây quyết định): Sử dụng các cấu trúc phân nhánh cây dựa trên độ lợi thông tin (Information Gain) trong thuật toán ID3, C4.5 hoặc chỉ số Gini Index ($Gini = 1 - \sum p_i^2$) trong thuật toán CART để tìm điểm phân chia tối ưu tại các nút.
   • Random Forest (Rừng ngẫu nhiên): Mô hình tổ hợp (Ensemble Learning) gồm nhiều cây quyết định độc lập, tổng hợp kết quả theo cơ chế bỏ phiếu đa số (Majority Vote); đánh giá độ quan trọng của đặc trưng thông qua mức giảm trung bình chỉ số Gini (Mean Decrease Gini / Gini Importance); đối chiếu với biến thể Extra Trees.
4. Hệ sinh thái công nghệ dữ liệu lớn (Big Data):
   • Apache Hadoop: Kiến trúc phân tán gồm HDFS (lưu trữ khối lớn chịu lỗi), YARN (quản lý tài nguyên và lập lịch) và MapReduce (xử lý tính toán song song).
   • Apache Spark: Công cụ tính toán trong bộ nhớ (In-Memory Processing) với Spark Core, Spark Streaming (xử lý luồng thời gian thực) và Spark MLlib (thư viện học máy phân tán).
   • Apache Kafka: Hệ thống môi giới thông điệp (Message Broker) phân tán hỗ trợ thông lượng cao và độ trễ thấp.
   • ELK Stack: Bộ giải pháp quản lý nhật ký gồm ElasticSearch (lưu trữ, lập chỉ mục, truy vấn), Logstash (thu nhận và tiền xử lý log), Kibana (trực quan hóa giao diện Dashboard).

Phương pháp nghiên cứu thực nghiệm

• Quy trình xây dựng mô hình học máy (Workflow): Thực hiện đầy đủ 5 giai đoạn gồm thu thập dữ liệu (Gathering data) $\rightarrow$ Tiền xử lý dữ liệu (Data pre-processing) $\rightarrow$ Nghiên cứu mô hình phù hợp (Researching model) $\rightarrow$ Huấn luyện và kiểm thử mô hình (Training and testing model) $\rightarrow$ Đánh giá mô hình (Evaluation model).
• Quy trình tiền xử lý dữ liệu:
  • Data Cleaning: Loại bỏ bản ghi lỗi, xử lý dữ liệu khuyết thiếu (missing data) và giá trị ngoại lệ (outliers).
  • Data Transformation & Encoding: Chuẩn hóa dữ liệu số và mã hóa các thuộc tính sang định dạng vector số học.
  • Data Reduction & Feature Extraction: Giảm chiều dữ liệu, phân tích ma trận tương quan giữa các thuộc tính để trích xuất tập đặc trưng tối ưu thông qua công cụ CICFlowMeter (80 đặc trưng lưu lượng mạng ban đầu).
• Phương pháp đánh giá hiệu năng:
  • Sử dụng Ma trận nhầm lẫn (Confusion Matrix và Normalized Confusion Matrix).
  • Các chỉ số đo lường: Độ chính xác (Accuracy), Độ chuẩn xác (Precision), Độ thu hồi (Recall), Điểm F1-Score, Đường cong ROC (Receiver Operating Characteristic) và diện tích dưới đường cong ROC (AUC).
  • Đánh giá thực nghiệm trên cả hai bài toán: Phân loại nhị phân (Binary Classification: Normal vs. Attack) và Phân loại đa lớp (Multi-class Classification cho từng dạng tấn công web cụ thể).
  • Đánh giá thời gian huấn luyện và độ trễ xử lý khi triển khai trên mô hình phân tán giữa hai thư viện Spark MLlib và Scikit-learn.

Nguồn dữ liệu

Nghiên cứu sử dụng bộ dữ liệu chuẩn quốc tế CSE-CIC-IDS2018 được xây dựng bởi Communications Security Establishment (CSE) và Canadian Institute for Cybersecurity (CIC). Dữ liệu được trích xuất và gán nhãn qua công cụ CICFlowMeter với 80 thuộc tính thống kê lưu lượng mạng. Từ tập dữ liệu gốc, tác giả thực hiện chọn lọc và làm sạch để tạo thành bộ dữ liệu rút gọn IDS2018-WEB chuyên biệt cho các kịch bản tấn công web.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan về phát hiện tấn công ứng dụng web dựa trên học máy và xử lý dữ liệu lớn

Chương 1 thiết lập nền tảng lý luận toàn diện cho đề tài:

• Phân tích kỹ thuật tấn công ứng dụng web: Làm rõ nguyên nhân gây mất an toàn (ngôn ngữ lập trình PHP/nguồn mở, plugin WordPress chứa mã độc, lập trình viên thiếu kinh nghiệm, quản trị hệ thống yếu kém) và mô tả 3 bước của quy trình tấn công ứng dụng web. Phân tích chi tiết 10 lỗ hổng theo OWASP Top 10 (2017) và các hình thức tấn công điển hình: Broken Authentication (Brute Force mật khẩu), SQL Injection, DoS (SYN Flood, UDP Flood, Smurf Attack) và DDoS.
• Phân tích hệ thống IDS: Trình bày kiến trúc logic của NIDS (gồm Sensor và Central Management Console) và HIDS; so sánh ưu nhược điểm của từng loại. Đồ án chỉ rõ NIDS có ưu thế kiểm tra toàn diện header gói tin, khó bị xóa dấu vết nhưng gặp hạn chế lớn về hiệu năng khi lưu lượng mạng cao và lưu lượng mã hóa; trong khi HIDS giám sát sâu sự kiện cục bộ nhưng tiêu tốn tài nguyên máy chủ. Phân định rõ hai phương pháp phân tích: Signature-based và Anomaly-based.
• Nghiên cứu học máy: Định nghĩa học máy, workflow 5 bước xây dựng mô hình, và phân loại 4 nhóm học máy chính (Học có giám sát - Phân lớp và Hồi quy; Học không giám sát - Phân nhóm và Luật kết hợp; Học bán giám sát; Học củng cố).
• Nghiên cứu dữ liệu lớn: Phân tích đặc trưng 3V của Big Data (Volume, Velocity, Variety). Trình bày kiến trúc 4 thành phần của Apache Hadoop (HDFS, YARN, MapReduce, Hadoop Common) và engine tính toán trong bộ nhớ Apache Spark.
• Tổng quan nghiên cứu liên quan: Đánh giá các công trình quốc tế tiêu biểu như nghiên cứu khảo sát bộ dữ liệu IDS của Thakkar (khẳng định CSE-CIC-IDS2017 và CSE-CIC-IDS2018 là bộ dữ liệu thực tế và cập nhật nhất), nghiên cứu ứng dụng Random Forest trên IDS, và công trình của Patil et al. phát hiện DDoS trên Hadoop HDFS. Tác giả chỉ ra khoảng trống nghiên cứu: các công trình trước đây tách rời học máy (thiếu khả năng mở rộng quy mô khi gặp lưu lượng lớn) hoặc chỉ dùng Big Data thuần túy bằng MapReduce (không áp dụng mô hình học máy nên độ chính xác không cao). Từ đó, tác giả đề xuất giải pháp tích hợp cả hai hướng tiếp cận.

Chương 2: Mô hình phát hiện tấn công web dựa trên học máy và xử lý dữ liệu lớn

Chương 2 tập trung vào việc thiết kế cấu trúc hệ thống và cơ sở toán học cho các thuật toán:

• Kiến trúc hệ thống đề xuất: Hệ thống gồm luồng thu thập và xử lý dữ liệu toàn diện: Lưu lượng mạng $\rightarrow$ CICFlowMeter trích xuất đặc trưng $\rightarrow$ Máy chủ lưu trữ $\rightarrow$ Apache Kafka $\rightarrow$ Module phân loại trên Spark Streaming (tích hợp mô hình học máy đã huấn luyện từ dữ liệu lịch sử) $\rightarrow$ Apache Kafka $\rightarrow$ Hệ thống ELK (Logstash $\rightarrow$ Elasticsearch $\rightarrow$ Kibana Dashboard) để hiển thị cảnh báo và quản trị.
• Cơ sở toán học của các thuật toán phân loại:
  • Naive Bayes: Công thức xác suất $P(C_i|X) = \frac{P(X|C_i)P(C_i)}{P(X)} = \frac{P(C_i)\prod_{k=1}^d P(x_k|C_i)}{P(X)}$.
  • Logistic Regression: Hàm biểu diễn $f(x) = \phi(w^T x)$, phân tích tính chất của hàm Sigmoid $\sigma(s)$ với đạo hàm $\sigma'(s) = \sigma(s)(1 - \sigma(s))$ và hàm Tanh.
  • Decision Tree: Phân tích thuật toán ID3 dựa trên Entropy và Information Gain; thuật toán C4.5 xử lý thuộc tính liên tục và chuyển đổi cây thành tập luật if-then; thuật toán CART sử dụng chỉ số $Gini(p) = 1 - \sum p_i^2$ và chỉ số $Gini_{split}$.
  • Random Forest: Nguyên lý xây dựng tập hợp cây từ các tập con đặc trưng ngẫu nhiên $k_n < m$, cơ chế biểu quyết đa số, đánh giá tầm quan trọng biến qua Mean Decrease Gini, và so sánh với giải thuật Extra Trees.
• Giải pháp công nghệ xử lý dữ liệu lớn: Xác định vai trò của Apache Kafka (kênh truyền dữ liệu độ trễ thấp), Hadoop HDFS / HBase (lưu trữ phân tán lâu dài), Spark Streaming (tính toán phân loại thời gian thực), và ELK Stack (phân tích, truy vấn và hiển thị giao diện giám sát).

Chương 3: Triển khai và thử nghiệm mô hình phát hiện tấn công web dựa trên học máy và xử lý dữ liệu lớn

Chương 3 trình bày chi tiết quá trình thực nghiệm, đo kiểm và đánh giá hệ thống:

• Phân tích bộ dữ liệu CSE-CIC-IDS2018: Trình bày kiến trúc mạng thực nghiệm gồm 50 máy tấn công (Kali Linux) và hệ thống nạn nhân gồm 420 máy trạm (Windows Vista, 7, 8.1, 10), 50 máy chủ (Ubuntu 16.04, Ubuntu 12.4 Web Server). Phân tích 6 kịch bản tấn công và thống kê chi tiết 10 tệp dữ liệu CSV với 16.233.002 gói tin thuộc 14 loại tấn công.
• Xây dựng bộ dữ liệu IDS2018-WEB: Tiền xử lý, lọc bỏ các tấn công không thuộc phạm vi web, trích chọn các thuộc tính có độ tương quan cao bằng ma trận tương quan, xây dựng tập dữ liệu rút gọn phục vụ huấn luyện và kiểm thử.
• Đánh giá thực nghiệm các mô hình học máy: Tiến hành đo kiểm hiệu năng phân loại nhị phân và đa lớp đối với 4 thuật toán (Naive Bayes, Logistic Regression, Decision Tree, Random Forest) thông qua các ma trận nhầm lẫn, đường cong ROC-AUC, Precision, Recall và F1-Score.
• So sánh hiệu năng Spark MLlib và Scikit-learn: Thực hiện đánh giá so sánh hiệu năng, tốc độ xử lý và độ trễ khi triển khai mô hình học máy trên môi trường phân tán Apache Spark giữa hai thư viện Spark MLlib và Scikit-learn ở các chế độ tải khác nhau.
• Triển khai hệ thống thực nghiệm hoàn chỉnh: Cài đặt và kết nối toàn bộ hệ thống thực tế từ thu nhận luồng dữ liệu, truyền thông qua Kafka, xử lý dự đoán phân tán trên Spark Streaming và xuất kết quả trực quan hóa lên Kibana Dashboard.

---

Thiết kế và triển khai hệ thống

Kiến trúc hệ thống và luồng dữ liệu thời gian thực

Hệ thống được thiết kế theo mô hình xử lý phân tán khép kín gồm các tầng chức năng:

Tầng chức năng	Thành phần công nghệ	Nhiệm vụ kỹ thuật
Thu thập & Trích xuất	CICFlowMeter / Storage Server	Lắng nghe và bắt các gói tin lưu lượng mạng, trích xuất 80 thuộc tính thống kê luồng mạng (network flow features).
Truyền dẫn đệm	Apache Kafka	Đóng vai trò Message Broker tiếp nhận luồng dữ liệu đặc trưng từ máy chủ thu thập với thông lượng cao và độ trễ thấp.
Xử lý & Phát hiện	Apache Spark Streaming	Đọc luồng dữ liệu thời gian thực từ Kafka topic, áp dụng mô hình học máy đã huấn luyện sẵn để phân loại lưu lượng bình thường hay tấn công.
Truyền dẫn kết quả	Apache Kafka	Đóng gói kết quả dự đoán và đẩy vào topic kết quả để phân phối đến các hệ thống lưu trữ/giám sát.
Lưu trữ & Truy vấn	Elasticsearch / Hadoop HDFS / HBase	Logstash đọc dữ liệu từ Kafka, chuẩn hóa và ghi vào Elasticsearch để phục vụ tìm kiếm, lưu trữ dài hạn trên HDFS/HBase.
Trực quan hóa & Cảnh báo	Kibana Dashboard	Hiển thị giao diện giám sát thời gian thực, biểu đồ thống kê các loại tấn công và hỗ trợ truy vấn chi tiết các cuộc tấn công.

Các phương án triển khai mô hình học máy trên môi trường phân tán

Đồ án nghiên cứu và so sánh 2 phương án kiến trúc triển khai mô hình học máy:

1. Phương án 1 (Spark MLlib Native): Xây dựng và huấn luyện mô hình học máy trực tiếp bằng thư viện Spark MLlib, lưu trữ mô hình trên HDFS và nạp mô hình vào Spark Streaming để phân loại phân tán trên các worker nodes.
2. Phương án 2 (Scikit-learn trên nền Spark): Huấn luyện mô hình tối ưu bằng thư viện Scikit-learn trong Python, sau đó đóng gói và triển khai mô hình này hoạt động song song trên nền tảng luồng của Spark Streaming.

Kịch bản và dữ liệu thực nghiệm trên CSE-CIC-IDS2018

Hạ tầng mạng thực nghiệm của bộ dữ liệu gốc CSE-CIC-IDS2018 bao gồm 50 máy tấn công và mạng nạn nhân chia thành các phòng ban (Dept 1, Dept 2, Dept 3) với 420 máy trạm và 50 máy chủ.

Bảng tổng hợp các kịch bản tấn công, công cụ sử dụng và môi trường mục tiêu trong bộ dữ liệu CSE-CIC-IDS2018:

Loại tấn công	Công cụ thực hiện	Thời gian	Nguồn tấn công (Attacker)	Mục tiêu (Victim)
Bruteforce attack	FTP-Patator, SSH-Patator	1 ngày	Kali Linux	Ubuntu 16.04 (Web Server)
DoS attack	Hulk, GoldenEye, Slowloris, Slowhttptest	1 ngày	Kali Linux	Ubuntu 16.04 (Apache)
DoS attack	Heartleech	1 ngày	Kali Linux	Ubuntu 12.4 (Web Server)
Web & Bruteforce	In-house Selenium framework (XSS, Brute-force)	1 ngày	Kali Linux	Ubuntu 12.4 (Web Server)
Infiltration attack	Dropbox download (Level 1), Nmap & Portscan (Level 2)	2 ngày	Kali Linux	Windows & Macintosh
Botnet attack	Ares (Python remote shell, key logging, screenshots)	1 ngày	Kali Linux	Windows Vista, 7, 8.1, 10 (32-bit & 64-bit)
DDoS + PortScan	Low Orbit Ion Cannon (LOIC) cho UDP, TCP, HTTP	2 ngày	Kali Linux	Windows Vista, 7, 8.1, 10 (32-bit & 64-bit)

Bảng thống kê số lượng gói tin theo từng ngày thu thập của bộ dữ liệu CSE-CIC-IDS2018:

STT	Tên tệp tin dữ liệu (CSV)	Số lượng gói tin	Hình thức tấn công mô phỏng
1	Friday-02-03-2018_TrafficForML_CICFlowMeter.csv	1,048,575	Botnet
2	Friday-16-02-2018_TrafficForML_CICFlowMeter.csv	1,048,575	DoS-SlowHTTPTest, DoS-Hulk
3	Friday-23-02-2018_TrafficForML_CICFlowMeter.csv	1,048,575	Brute Force - Web, Brute Force - XSS, SQL Injection
4	Thursday-01-03-2018_TrafficForML_CICFlowMeter.csv	331,125	Infiltration
5	Thursday-15-02-2018_TrafficForML_CICFlowMeter.csv	1,048,575	DoS-GoldenEye, DoS-Slowloris
6	Thursday-22-02-2018_TrafficForML_CICFlowMeter.csv	1,048,575	Brute Force - Web, Brute Force - XSS, SQL Injection
7	Tuesday-20-02-2018_TrafficForML_CICFlowMeter.csv	948,748	DDoS-LOIC-HTTP, DDoS-LOIC-UDP
8	Wednesday-14-02-2018_TrafficForML_CICFlowMeter.csv	1,048,575	FTP-BruteForce, SSH-Bruteforce
9	Wednesday-21-02-2018_TrafficForML_CICFlowMeter.csv	1,048,575	DDoS-LOIC-UDP, DDoS-HOIC
10	Wednesday-28-02-2018_TrafficForML_CICFlowMeter.csv	613,104	Infiltration

Tổng số lượng gói tin trong 10 ngày thu thập đạt 16.233.002 gói tin, mô phỏng 14 loại hình tấn công khác nhau. Trong đó:

• Số lượng gói tin gán nhãn bình thường (Normal): 13.484.708 gói tin (chiếm tỷ lệ 83%).
• Số lượng gói tin tấn công (Attack): chiếm tỷ lệ 17%.
• Gói tin có số lượng ít nhất: Tấn công SQL Injection với 87 gói tin.
• Mỗi gói tin được trích xuất gồm 80 thuộc tính.

---

Kết quả và đóng góp

Kết quả chính đạt được

1. Xây dựng bộ dữ liệu rút gọn IDS2018-WEB: Đã trích xuất thành công tập dữ liệu chuyên biệt cho bài toán ứng dụng web từ tập dữ liệu gốc 16,23 triệu gói tin của CSE-CIC-IDS2018, giúp tối ưu hóa dung lượng lưu trữ và giảm thiểu thời gian huấn luyện mô hình.
2. Đánh giá và lựa chọn mô hình học máy tối ưu: Thực nghiệm trên các thuật toán Naive Bayes, Logistic Regression, Decision Tree và Random Forest cho thấy:
   • Các mô hình dựa trên cấu trúc cây quyết định và tổ hợp rừng cây (Decision Tree, Random Forest) mang lại hiệu quả vượt trội trong cả bài toán phân loại nhị phân và phân loại đa lớp đối với các dạng tấn công web (SQL Injection, XSS, Brute Force).
   • Mô hình Random Forest đạt độ chính xác cao và khả năng hạn chế hiện tượng quá khớp (overfitting) tốt nhờ cơ chế tổng hợp nhiều cây con và đánh giá tầm quan trọng đặc trưng bằng chỉ số giảm Gini trung bình.
3. So sánh hiệu năng thực thi phân tán giữa Spark MLlib và Scikit-learn: Đo kiểm thực nghiệm tốc độ xử lý trên cụm máy chủ phân tán cho thấy việc kết hợp mô hình Scikit-learn chạy trên nền luồng của Apache Spark hoặc sử dụng Spark MLlib trực tiếp đều đáp ứng được yêu cầu xử lý luồng dữ liệu lớn theo thời gian thực, giải quyết triệt để bài toán nghẽn cổ chai khi lưu lượng mạng tăng cao.
4. Xây dựng hệ thống giám sát hoàn chỉnh: Đã triển khai thành công ứng dụng giám sát với giao diện Dashboard trên Kibana, cho phép người quản trị theo dõi trực quan tình trạng lưu lượng mạng, nhận cảnh báo tức thời khi phát hiện xâm nhập và hỗ trợ công cụ truy vấn thông tin chi tiết về các cuộc tấn công.

Giải pháp và kiến nghị của tác giả

• Ứng dụng giải pháp kiến trúc đường ống dữ liệu (Data Pipeline) phân tán kết hợp: sử dụng Apache Kafka làm tầng đệm thông lượng cao nhằm cô lập luồng dữ liệu vào/ra, kết hợp với engine Apache Spark Streaming để phân tán tải tính toán phân loại học máy trên nhiều nút máy chủ.
• Tích hợp hệ thống quản lý nhật ký ELK Stack giúp chuẩn hóa quy trình tiếp nhận cảnh báo, lưu trữ chỉ mục và hiển thị trực quan thông tin phục vụ điều hành an ninh mạng.

Đóng góp so với các nghiên cứu trước

• Khắc phục hạn chế của các hệ thống IDS dùng học máy truyền thống: Các nghiên cứu trước chỉ triển khai mô hình học máy trên môi trường máy chủ đơn lẻ, dẫn đến việc hệ thống bị tê liệt khi đối mặt với các cuộc tấn công quy mô lớn như DDoS hoặc các đợt bùng nổ lưu lượng truy cập. Khóa luận đã giải quyết điểm nghẽn này bằng hạ tầng tính toán phân tán Spark Streaming.
• Khắc phục hạn chế của các hệ thống xử lý Big Data thuần túy: So với nghiên cứu của Patil et al. (chỉ sử dụng nền tảng Hadoop MapReduce phân tích thống kê cơ bản mà không tích hợp học máy, dẫn đến tỷ lệ phát hiện chưa cao), đồ án đã tích hợp thành công các thuật toán phân loại học máy hiện đại trên nền tảng Big Data, vừa đảm bảo độ chính xác phát hiện cao vừa duy trì hiệu năng xử lý với thông lượng lớn.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

• Bộ dữ liệu thực nghiệm được xây dựng dựa trên việc trích lọc từ dữ liệu mô phỏng trong phòng thí nghiệm (CSE-CIC-IDS2018) với các mẫu tấn công được dựng sẵn, chưa phản ánh đầy đủ tính đa dạng và biến thể phức tạp của lưu lượng mạng thực tế tại các cổng thanh toán hoặc hệ thống web thương mại điện tử trực tiếp.
• Mẫu dữ liệu đối với một số lớp tấn công có sự mất cân bằng nghiêm trọng (điển hình là SQL Injection chỉ có 87 gói tin trong tổng số hơn 16,23 triệu gói tin), gây khó khăn nhất định cho việc tối ưu hóa độ thu hồi của một số mô hình học máy đối với lớp dữ liệu thiểu số.
• Về mặt triển khai hệ thống, đồ án mới chỉ tập trung xây dựng luồng kết quả dự đoán hướng đến hệ sinh thái ELK để hiển thị cảnh báo và giám sát trực quan, chưa hoàn thiện phân hệ lưu trữ phân tán dài hạn trên cơ sở dữ liệu HBase/HDFS như định hướng lý thuyết tổng thể.

Hướng nghiên cứu tiếp

• Mở rộng tập dữ liệu thực nghiệm bằng cách thu thập lưu lượng mạng thực tế từ các máy chủ web đang hoạt động để kiểm nghiệm khả năng thích ứng của mô hình trong môi trường thực.
• Nghiên cứu áp dụng các kỹ thuật cân bằng dữ liệu (như oversampling/SMOTE hoặc cost-sensitive learning) để nâng cao độ chính xác phát hiện cho các dạng tấn công có số lượng mẫu hiếm như SQL Injection.
• Hoàn thiện module lưu trữ phân tán dài hạn trên HBase/HDFS kết hợp với việc xây dựng cơ chế tự động kích hoạt tường lửa (Firewall) ngăn chặn địa chỉ IP nguồn tấn công theo thời gian thực thay vì chỉ dừng lại ở mức độ cảnh báo và hiển thị.

---

Giá trị tham khảo

Đối tượng tham khảo phù hợp

• Sinh viên và học viên cao học: Chuyên ngành An toàn thông tin, Công nghệ thông tin, Khoa học máy tính và Kỹ thuật dữ liệu đang thực hiện đồ án tốt nghiệp, khóa luận hoặc tiểu luận chuyên ngành liên quan đến hệ thống phát hiện xâm nhập mạng (NIDS) và ứng dụng học máy trong an ninh mạng.
• Kỹ sư bảo mật và chuyên viên vận hành SOC (Security Operations Center): Kỹ sư đang tìm kiếm kiến trúc mẫu để xây dựng hệ thống giám sát an toàn thông tin có khả năng mở rộng quy mô, tích hợp luồng xử lý dữ liệu lớn.
• Kỹ sư dữ liệu (Data Engineers): Các nhà phát triển quan tâm đến việc xây dựng Data Pipeline thời gian thực kết nối Apache Kafka, Apache Spark Streaming và ELK Stack.

Các phần nội dung đáng tham khảo

• Quy trình phân tích và tiền xử lý bộ dữ liệu CSE-CIC-IDS2018: Cung cấp thông tin chi tiết về cấu trúc các kịch bản tấn công, số lượng gói tin và phương pháp trích chọn thuộc tính từ tập dữ liệu lớn.
• Kiến trúc tích hợp Spark Streaming, Kafka và ELK Stack: Mô hình luồng dữ liệu hoàn chỉnh từ khâu bắt gói tin, trích xuất đặc trưng qua CICFlowMeter đến khâu dự đoán phân tán và trực quan hóa Dashboard.
• Phương pháp đánh giá và so sánh thực nghiệm: Cách thức thiết lập tham số, xây dựng ma trận nhầm lẫn, đo đạc đường cong ROC-AUC và so sánh hiệu năng giữa hai thư viện Spark MLlib và Scikit-learn trên môi trường phân tán.

---

Câu hỏi thường gặp

1. Tại sao đề tài lại lựa chọn phát hiện tấn công ứng dụng web thay vì toàn bộ các dạng tấn công mạng nói chung?

Trong hệ thống các dịch vụ mạng Internet, ứng dụng web là phương thức triển khai phổ biến nhất để các phần mềm và hệ thống tiếp cận người dùng. Do đó, các ứng dụng web luôn đối mặt với nhiều rủi ro bảo mật hàng đầu. Các lỗ hổng web (như SQL Injection, XSS, Broken Authentication) có thể bị khai thác xuyên qua các lớp tường lửa mạng thông thường, gây rò rỉ dữ liệu nhạy cảm và phá hoại hệ thống hạ tầng CNTT. Việc tập trung vào ứng dụng web giải quyết trực tiếp bài toán an ninh bức thiết và phổ biến nhất hiện nay.

2. Bộ dữ liệu CSE-CIC-IDS2018 được thu thập trong điều kiện hạ tầng mạng như thế nào?

Bộ dữ liệu CSE-CIC-IDS2018 được thu thập trong khoảng thời gian 10 ngày với cấu hình mạng thực nghiệm gồm 50 máy tấn công (sử dụng hệ điều hành Kali Linux) và mạng nạn nhân gồm 420 máy trạm (chạy các hệ điều hành Windows Vista, 7, 8.1, 10 trên nền tảng 32-bit và 64-bit) cùng 50 máy chủ (chạy Ubuntu 16.04 và Ubuntu 12.4). Dữ liệu được trích xuất thành 80 thuộc tính lưu lượng mạng thông qua công cụ CICFlowMeter.

3. Tỷ lệ phân bố giữa gói tin bình thường và gói tin tấn công trong bộ dữ liệu CSE-CIC-IDS2018 là bao nhiêu?

Tổng số lượng gói tin thu thập được trong 10 ngày là 16.233.002 gói tin, mô phỏng 14 loại hình tấn công. Trong đó, số lượng gói tin bình thường (Normal) chiếm đa số với 13.484.708 gói tin (tương đương 83%), và số lượng gói tin tấn công chiếm 17%. Dạng tấn công có số lượng gói tin thấp nhất là SQL Injection với chỉ 87 gói tin.

4. Hai giải pháp kỹ thuật nào được tác giả đề xuất để triển khai mô hình học máy trên nền tảng xử lý dữ liệu lớn?

Tác giả đề xuất 2 giải pháp triển khai:

• Giải pháp 1: Xây dựng ứng dụng dựa trên các mô hình học máy được đào tạo trực tiếp bằng thư viện Spark MLlib của Apache Spark.
• Giải pháp 2: Xây dựng các mô hình học máy bằng thư viện Scikit-learn trong Python, sau đó tích hợp và vận hành mô hình này trên nền tảng ứng dụng luồng của Spark Streaming.

5. Vai trò của Apache Kafka trong kiến trúc hệ thống phát hiện tấn công của đồ án là gì?

Apache Kafka đóng vai trò là hệ thống truyền dẫn dữ liệu đệm (Message Broker) phân tán với độ trễ thấp và thông lượng cao. Kafka đảm nhận hai vị trí xung yếu trong luồng dữ liệu: thứ nhất là tiếp nhận và chuyển tiếp các bản ghi đặc trưng từ máy chủ lưu trữ (sau khi xử lý qua CICFlowMeter) đến ứng dụng Spark Streaming; thứ hai là tiếp nhận kết quả phân loại dự đoán từ Spark Streaming để chuyển tiếp đến Logstash trước khi ghi vào Elasticsearch.

---

Kết luận

Khóa luận tốt nghiệp "Phát hiện tấn công mạng dựa trên nền tảng xử lý dữ liệu lớn" của sinh viên Trần Đức Nhân đã nghiên cứu thành công giải pháp kết hợp giữa các mô hình học máy và nền tảng xử lý dữ liệu lớn phân tán để nâng cao hiệu quả phát hiện tấn công ứng dụng web. Thông qua việc phân tích và tiền xử lý bộ dữ liệu chuẩn CSE-CIC-IDS2018 để xây dựng tập dữ liệu rút gọn IDS2018-WEB, đề tài đã đánh giá toàn diện hiệu năng của các thuật toán phân loại và kiểm thử thực nghiệm khả năng xử lý luồng dữ liệu thời gian thực trên nền tảng Apache Spark và Kafka. Kết quả nghiên cứu cung cấp một kiến trúc hệ thống khả thi, vừa đảm bảo độ chính xác phát hiện các dạng tấn công web nguy hiểm vừa giải quyết triệt để vấn đề quá tải thông lượng khi lưu lượng mạng tăng cao.

Trích đoạn nội dung tài liệu

chương 1 giới thiệu tổng quan về các hình thức tan công ứng dung web va hệ thong phát hiện xâm nhập. Việc ứng dụng nghiên cứu cải tiễn IDS theo hướng áp dụng học máy và BigData đang được phổ biến trong thời gian hiện nay. Tổng quan về kỹ thuật tan công ứng dung web phố biến 1. Lỗ hỗng bảo mật ứng dụng web 1.

Tổng quan về lỗ hồng bảo mật ứng dụng web Lỗ hồng bảo mật ứng dụng web là những điểm yếu mà hacker có thể lợi dụng dé khai thác nhằm thu thập thông tin về hệ thống, lay cắp thông tin quan trọng, tan công vào người dùng hệ thống hay chiếm quyên điều khién toàn bộ hệ thống. Có nhiều nguyên nhân gây ra những lỗ hồng bảo mật ứng dụng web, chủ yếu là do những nguyên nhân sau: - Một số ngôn ngữ lập trình có tính bảo mật thấp: Phần lớn các website ở Việt Nam được lập trình bằng ngôn ngữ PHP hoặc những open source được xây dựng bằng PHP có thể kế đến như WordPress. Đây là một trong những ngôn ngữ có nhiều điểm yếu có thể bị khai thác bởi hacker. Bên cạnh đó, trên các nền tảng như WordPress có chợ plugin tiện lợi cho mọi người tải về và sử dụng nhưng cũng tiềm ân rất nhiều mối nguy hiểm.

Các plugin miễn phí, được quảng cáo mạnh nhằm lôi kéo người dùng có thé chứa mã độc và âm thầm tấn công người dùng. - Website được xây dựng bởi các lập trình viên mới, còn thiếu kinh nghiệm. Các website này có thé được xây dựng không dam bảo các yếu tố bảo mật cũng như không được kiểm thử kĩ càng dẫn đến các lỗ héng như SQL Injection, XSS,. - Khả năng quản trị yếu kém, thiếu hiểu biết và kinh nghiệm trong việc đảm bảo an toàn cho website.

Quá trình tan công website có thê dién ra theo các bước như sau: Bước 1: Kẻ tấn công (có thể có một hoặc nhiều kẻ tấn công) thực hiện nhiều mũi tấn công (vector tấn công) khác nhau vào những điểm yếu bảo mật (lỗ hồng bảo mật) của website mục tiêu. Các loại lỗ héng bảo mật thường thay là các cấu hình sai trong bảo mật (security misconfiguration), tan công chèn những script độc hại (Cross-Site Scripting) và phá vỡ xác thực (Broken Authentication). Loại lỗ hồng bảo mật có rủi ro cao và phô biến nhất là phá vỡ xác thực. Vì vậy, mỗi ứng dụng web đều được thiết lập những lớp kiểm soát bảo mật II như sử dụng mã hóa và các giao thức an toàn như HTTPS, SSL/TLS, .hay thiết lập tường lửa, hạn chế truy cập, thiết lập chính sách, sử dụng các hệ thống phát hiện xâm nhập.

Tác nhân CS vộc to Điểm yêu Kiểm soát Tác động Tác động đe dọa | tan cong bảo mat bao mat kỹ thuật nghiệp vụ Tan 43 A Diém yêu 4 33 F a a s —. Diem yêu wins : Diem yeu Tan _———— : omg ———= CSDL Hình 1. Sơ đô mối quan hệ giữa tan công và hoạt động của website Bước 2: Kẻ tấn công lợi dụng điểm yếu bảo mật vượt qua được lớp kiểm soát, thực hiện tấn công vào CSDL, hàm, thủ tục nhăm thu thập dữ liệu mạng nội bộ như cấu trúc của các phân đoạn mạng, dịch vụ và công ra vào, hoặc tài nguyên nội bộ, dữ liệu bí mật. Bước 3: Kẻ tan công có thé chiếm quyền quản trị, thực thi lệnh theo ý muốn,.

Ví du, truy cập và lay được thông tin khách hang dem bán gây phiền toái cho khách hàng, mat uy tín của cơ quan, tổ chức do đã dé rò rỉ thông tin ,.1 mô tả sơ đồ mối quan hệ giữa tác nhân tấn công và hoạt động của website, qua đó kẻ tấn công thực hiện các hoạt động tấn công khác nhau nhằm vào các điểm yếu trên website. Qua đó tìm cách kiểm soát, thực hiện khai thác các hàm, CSDL và tiễn hành tác động, khai thác hệ thống. Các lỗ hồng bảo mật nói chung và lỗ hổng bảo mật website nói riêng là hết sức nguy hiểm, cần nhanh chóng phát hiện và khắc phục trước khi dé xảy ra những ton thất nghiêm trọng. OWASP Top 10 2017 Nói đến việc bao mat ứng dụng web, chúng ta không thé không nhắc đến một trong những tô chức nồi tiếng trong giới bảo mật đó chính là OWASP.

Tên day đủ của tổ chức này là Open Web Application Security Project, đây là một tổ chức phi lợi nhuận quốc tế chuyên về bảo mật ứng dụng web. Một trong những nguyên tắc cốt lõi của OWASP là tất cả các tài liệu của tổ chức đều miễn phí và dé dàng truy cập trên trang web chính thức của họ, giúp cho các cá nhân và tô chức có thể tham khảo đề cải thiện tính bảo mật của ứng dụng 12 web. OWASP cung cấp cho chúng ta bao gồm tài liệu, công cụ, video và diễn đàn. Một trong những tài liệu của OWASP được biết đến nhiều nhất chính là OWASP Top 10.

OWASP Top 10 là một tài liệu nhận thức tiêu chuẩn dành cho các nhà phát triển và bảo mật ứng dụng web. Nó thể hiện sự đồng thuận rộng rãi về các rủi ro bảo mật quan trọng nhất đối với các ứng dụng web. Đây được xem là một những bước đầu tiên đề trở thành một người làm an ninh mạng. Các cá nhân tổ chức nên thông qua tài liệu này dé có thé giảm thiểu rủi ro đối với ứng dụng web của họ.

OWASP được tông hợp bởi một nhóm các chuyên gia bảo mật từ khắp nơi trên thé giới, tập trung 10 rủi ro/lỗ hồng quan trọng nhất đối với an toàn ứng dụng web. Dưới đây là các rủi bảo mật được đề cập đến trong OWASP Top 10 2017 [1]: (a) Injection Injection attack xảy ra khi dữ liệu không đáng tin cậy được gửi đến trình thông dich (code interpreter) thông qua việc điền các form (biéu mẫu) hoặc một số dữ liệu khác gửi đến ứng dụng web. Ví dụ, kẻ tan công có thé nhập câu SQL vào một biểu mẫu yêu cầu username và password ở dạng plaintext. Nếu việc điền các biểu mẫu đó không được bảo mật đúng cách, điều này sẽ dẫn đến việc SQL code đó được thực thi.

Đây được gọi là một cuộc tấn công SQL injection. Các cuộc tan công injection có thé được ngăn chặn bang cách xác thực hoặc làm sạch các phan dữ liệu có vẻ đáng ngờ do người dùng gửi. Ngoài ra, quản trị viên cơ sở dit liệu có thé thiết lập các biện pháp kiêm soát dé giảm thiểu lượng thông tin bị lộ ra qua một cuộc tấn công InJection, ví dụ như sử dụng thủ tục. (b) Broken Authentication Các lỗ hồng trong hệ thống xác thực có thé cho phép kẻ tấn công truy cập vào tài khoản người dùng và thậm chí có khả năng xâm nhập toàn bộ hệ thống bằng tài khoản quản trị viên.

Ví dụ: kẻ tan công có thé lay một danh sách chứa hàng nghìn tổ hợp tên người dùng / mật khẩu đã biết có được trong một lần vi phạm dữ liệu và sử dụng tập lệnh để thử tất cả các tô hợp đó trên hệ thống đăng nhập dé xem có tổ hợp nào hoạt động không. (c) Sensitive Data Exposure Nhiều ứng dụng web va API không bảo vệ đúng cách dữ liệu nhạy cam, chang hạn như đữ liệu tài chính, chăm sóc sức khỏe, dữ liệu mang yếu tố quyết định sự phát triển của tổ chức và giữ liệu tuyệt mật của quốc gia. Những kẻ tan công có thé đánh cắp hoặc sửa đổi dữ liệu được bảo vệ yếu kém đó dé thực hiện hành vi gian lận thẻ tín dụng, đánh cắp danh tính hoặc các tội phạm khác. Dữ liệu nhạy cảm có thể bị xâm phạm nếu không có biện pháp bảo vệ bé sung, chăng hạn như mã hóa ở trạng thái nghỉ hoặc khi đang chuyền và cần có các biện pháp phòng ngừa đặc biệt khi trao đổi với trình duyệt.

Nguy cơ lộ dit liệu có thé được giảm thiêu băng cách mã hóa (encrypt) tat cả dir liệu nhạy cảm cũng như vô hiệu cache của bat kỳ thông tin nhạy cảm nào. Ngoài ra, các nha phát 13 triển ứng dụng web nên cân thận dé đảm bảo rang họ không lưu trữ bat kỳ dữ liệu nhạy cảm nào một cách không cần thiết. (d) XML External Entities (XEE) Day là một cuộc tan công ứng dụng web bằng phân tích cú pháp đầu vào XML. Input này có thê tham chiếu đến một thực thể bên ngoài (external entity), đang cô gang khai thác lỗ hồng trong trình phân tích cú pháp (parser).

External entity có thé là một đơn vị lưu trữ, chăng hạn như 6 cứng. XML parser có thé bị lừa để gửi dữ liệu đến một thực thể bên ngoài trái phép và chuyền trực tiếp dữ liệu nhạy cảm cho kẻ tấn công. Các cách tốt nhất dé ngăn chặn các cuộc tan công XEE là dé các ứng dụng web chấp nhận một loại dữ liệu ít phức tap hơn, chăng hạn như JSON, hoặc vô hiệu hóa việc sử dụng các thực thể bên ngoài trong một ứng dụng XML. XML hay Extensible Markup Language là một markup language nhằm mục đích cho phép cả người & máy đều có thé đọc hiểu được.

Do tính phức tap và lỗ hồng bảo mật, XML hiện đang bị loại bỏ dần trong nhiều ứng dụng web. JavaScript Object Notation (JSON) là một loại đơn giản hơn và được sử dụng dé truyén dữ liệu qua internet. Mặc du ban đầu được tạo cho JavaScript, JSON là ngôn ngữ có thé được thông dịch bởi nhiều ngôn ngữ lập trình khác nhau. (e) Broken Access Control Access Control hay kiêm soát truy có nhiệm vụ kiểm soát quyền truy cập vào thông tin hoặc chức năng của ứng dụng web.

Access Control chứa lỗ hông cho phép kẻ tan công bỏ qua ủy quyền (authorization) và thực hiện các tác vụ như thé là người dùng có đặc quyền, chăng hạn như quản trị viên (admin). Ví dụ: một ứng dụng web có thê cho phép người dùng thay đồi tài khoản mà họ đã đăng nhập chỉ bằng cách thay đổi một phan của url mà không cần bất kỳ xác minh nào khác. Kiểm soát truy cập có thể được bảo mật bằng cách đảm bảo răng ứng dụng web sử dụng authorization tokens và đặt các kiểm soát chặt chẽ đối với các token này. Nhiều dịch vụ cho phép sử dụng authorization tokens khi người dùng đăng nhập.

Mọi yêu cầu đặc quyền mà người dùng đưa ra sẽ yêu cầu phải có authorization tokens. Đây là một cách an toàn dé đảm bảo rằng đúng người dùng với đúng đặc quyền. (f) Security Misconfiguration Security misconfiguration hay lỗi cấu hình bao mật sai là lỗ hổng phổ biến nhất trong danh sách và thường là kết quả của việc sử dụng cấu hình mặc định hoặc thông báo hién thi lỗi quá nhiều thông tin.