Chương 1. TQ dG ti na. Mục tiêu của đê tài.-- Sc 2c St S1 v11 191511112 1111111 1 111 11x grrrưyn5 1. Đối tượng và phạm vi nghiên cứu.
_ Đối tượng nghiên cứu. _ Phạm vi nghiên cứu.-----555+5++c+cscseeterererereerrre 7 Chương2. Tổng quan về hệ thống phát hiện xâm nhập. Tổng quan về mang khả lập trình.
Kỹ thuật học máy trong phát hiện xâm nhập. Kỹ thuật dữ liệu lớn trong phát hiện xâm nhập 2. Các công trình liên quan.--¿-¿- + ¿5+5 S+2*+*‡+‡Et£etexexrkerrkererrree 15 Chương 3. NỘI DUNG VÀ PHƯƠNG PHÁP.
Xây dựng ha tang dữ liệu lớn kết hợp với mạng khả lập trình. Kiến trúc mạng khả lập trình. Các thành phan phân tích giám sát và phát hiện xâm nhập. Các bộ dữ liệu.
Mô hình phát hiện và phân loại các cuộc tân công mạng. _ Tiền xử lý dữ liệu. Huấn luyện mô hình máy học dé phát hiện các cuộc tan công mang38 3. Huấn luyện mô hình học sâu để phân loại các cuộc tấn công mạng.
Chỉ số đánh giá mô hình phát hiện và phân loại các cuộc tấn công. Phương pháp thực nghiệm kiểm thử hệ thống. Giả lập lưu lượng dữ liệu mạng kiểm định hệ thống. Chan lưu lượng mạng của kẻ tan công khi được phát hiện.
THỰC NGHIEM VÀ ĐÁNH GIA. Môi trường thực hiỆn. Kết quả nghiên cứu. Kết qua huấn luyện mô hình ML.
Kết quả huấn luyện mô hình DL. So sánh kết quả toàn bộ hệ thống với nghiên cứu khác. Kết quả triển khai thực tế hệ thống.------ccccccc+++crr 56 Chương 5. | TONG KET VÀ HƯỚNG PHÁT TRIẺN.
Ý nghĩa khoa học. Hiệu qua về mặt kinh tế - xã NOL eececcecssecssesssecssesssecssesssesssesssesssesssecased 64 5. Hướng phát triển trong tương lai.--::c+22v+zvevvvvrrerrvvvrrerrrer 65 Phụ lục A: Các công bố khoa hỌC. 66 TÀI LIỆU THAM KHẢO DANH MỤC HÌNH Hình I Tổng quan về hệ thống phát hiện xâm nhập [ 10].
10 Hình 3 Tổng quan về phân loại các thuật toán máy học.----¿- ¿25+ 11 Hình 4 Quy trình xử ly dữ liệu lớn dé phát hiện bat thường trong thời gian thực [18] %ũũÚỖŨỖỒ. 15 Hình 5 Tổng quan về kiến trúc hệ thống chúng tôi đề xuất.----- 2-52 19 Hình 6 Kiến trúc mô phỏng SDN.-- 2-2 © £+E£+E£EE#EE+EE+EE+EE£EEEEeEEeEkerkrrkrree 24 Hình 7 Tổng quan về mô hình hạ tang dữ liệu lớn dé xuất.-------2- s2 s2 25 Hình 8 Sơ đồ thuật toán hệ thông phát hiện và phân loại cuộc tan công. 36 Hình 9 Thiết kế mô hình phát hiện va phân loại các cuộc tan công mạng. 40 Hình 10 Chỉ số accuracy của mô hình trên tập huấn luyện và tập hiệu chỉnh trong quá trình huấn luyỆn.---2--2-- 2 2 £SE2E2EE2EE9EEEEE2E12E15717112117117171211 1111.42 Hình 11 Mô tả confusion matrix cho bài toán phân loại nhiều nhãn.- 44 Hình 12 Confusion matrix cho phát hiện tấn công trên tập dữ liệu NF-BoT-IoT-v2 (bên trái là kiểm thử trên tập dữ liệu con, bên phải là toàn bộ dif liệu).
49 Hình 13 Confusion matrix cho phát hiện tan công trên tập di liệu NF-CSE-CIC- IDS2018-v2 (bên trái là kiêm thử trên tập dữ liệu con, bên phải là toàn bộ dữ liệu). 50 Hình 14 Confusion matrix cho phát hiện tấn công trên tập dữ liệu NF-ToN-IoT-v2 (bên trái là kiểm thử trên tập dữ liệu con, bên phải là toàn bộ dữ liệu). 50 Hình 15 Confusion matrix cho phân loại tấn công của bộ dtr liệu NF-BoT-IoT-v2 52 Hình 16 Confusion matrix cho phân loại tan công của bộ dữ liệu NF-CSE-CIC- P0027. 53 Hinh 17 Confusion matrix cho phan loai tan công của bộ dit liệu NF-ToN-IoT-v2 54 Hình 18 Dia chi IP được gan cho các Host và S€TV€T.- Ăn se 57 Hình 19 Kiến trúc SDN được khởi tạo thành công với bộ điều khiển ONOS.
57 Hình 20 Cac hosts được khởi tao đã hoàn toàn kết nối với nhatl.e eee 57 Hình 21 Cấu hình trong nprobe.- 2-22 5¿+5+2E++E+2EEt2EEtEE++rxezrxerresree 58 Hình 22 Các trường đặc trưng nhận được ở Apache Kafka từ nProbe theo dạng Impật. 58 Hình 23 Code tạo luồng dữ liệu giữa Spark và Kafka .ceccccccccscsssesssesstecstessesseeseeens 58 Hình 24 Log của Spark khi chạy thành công.-- 5 + sen 59 Hình 25 Các luồng lưu lượng mạng được phân tích và trực quan hóa trên giao diện AolOk © ) ce 59 Hình 26 Các luồng lưu lượng mạng được phân tích và trực quan hóa trên giao diện 1002117 .Ô 60 Hình 27 Câu lệnh tan công TCP SYS Flooding.------ 2 2 2+s2+x£x+zx+zxzzszsez 60 Hình 28 Cảnh báo cuộc tấn công DDoS và thông báo chặn thiết bị được trả về từ MO Hinh IDS 00. 60 Hình 29 Luéng dữ liệu được gửi tới dé chặn vĩnh viễn tat cả lưu lượng từ địa chi IP nguôn 10.61 Hình 30 Kết quả kiểm tra khi chặn lưu lượng mạng của thiết bị tắn công. 62 Hình 31 Câu lệnh thực hiện tan công Port Scanning.-- 2 2 + 5s s+zs2 5+2 62 Hình 32 Cảnh báo cuộc tan công Scanning được trả về từ mô hình IDS.
62 DANH MỤC BANG Bang | So sánh giữa các phương thức phát hiện xâm nhâp [16].-- - - --- 9 Bang 2 Bang mô tả các đặc trưng của các bộ dữ liệu .-- ------+-<<++<s++sss+ 31 Bảng 3 Mô ta tập dữ liệu NF-BO/T-IO7T-V2. 2Á + + kS SH HH HH HH gttưệp 33 Bang 4 Mô tả chỉ tiết tập dit liệu NF-ToN-IoT-v22.---¿2s- s+cx+zxzzs+zxsrxcrez 34 Bảng 5 Mô ta tập dữ liệu NF-CSE-CIC-IDS2018-V2.- ác ssessssesske 35 Bảng 6 Chỉ tiết các giá trị siêu tham số tại mỗi lớp.---- 2-2 +s2+s+zx+zxzsz 40 Bang 7 Tổng số lượng mẫu dung dé đánh giá mô hình và thời gian huấn luyện .42 Bang 8 Mô tả confusion matrix cho bài toán phân loại nhị phân. -- 43 Bảng 9 Bảng so sánh kết quả giữa các thuật toán máy học cho mô-đun phát hiện tấn Bảng 12 Bảng so sánh chỉ số độ chính xác phân loại tân công trên bộ dữ liệu CSE- CIC-IDS20118. HH TT HH HH HT TH HH 56 DANH MỤC TU VIET TAT Số thứ tu | Thuật ngữ Mô tả 1 Al Artificial Intelligence 2 API Application Programming Interface 3 CNN Convolutional Neural Network 4 CPU Central Processing Unit 5 DB Database 6 DBN Deep Belief Network 7 DDOS Distributed Denial-Of-Service 8 DL Deep Learning 9 DNN Deep Neural Network 10 DNS Domain Name System 11 FN False Negative 12 FNR False Negative Rate 13 FP False Positive 14 FPR False Positive Rate 15 FTP File Transfer Protocol 16 GPU Graphics Processing Unit 17 HIDS Host-Based Intrusion Detection System 18 HTTP Hypertext Transfer Protocol 19 IDS Intrusion Detection System 20 IOT Internet Of Thing 21 IP Internet Protocol, 22 KNN K-Nearest Neighbors 23 ML Machine Learning 24 NÑIDS | Network-Based Intrusion Detection System 25 ONOS Open Network Operating System 26 PCA Principal Component Analysis 27 RAM Random-Access Memory 28 RBM Restricted Boltzmann Machine 29 RDD Resilient Distributed Datasets 30 RF Random Forest 31 RNN Recurrent Neural Network 32 SDN Software-Defined Networking 34 SSH Secure Shell 35 SVM Support Vector Machine 36 TCP Transmission Control Protocol 37 TN True Negative 38 TNR True Negative Rate 38 TP True Positive 39 TPR True Positive Rate 40 TTL Time To Live 41 UDP User Datagram Protocol 42 VM Virtual Machine TÓM TẮT KHÓA LUẬN Mạng khả lập trình (Software-defined Networking, viết tắt là SDN) đang trở thành một trong những giải pháp đầy hứa hẹn cho Internet trong tương lai.
Là một kiến trúc mạng mới, linh hoạt và dé quản lý với khả năng lập trình, SDN là một giải pháp hiệu quả cho các doanh nghiệp lớn dé quản lý giám sát hạ tang mạng của mình. Tuy nhiên cũng như các kiến trúc truyền thống khác, SDN phải đối mặt với các mối đe dọa tiềm ân từ các cuộc tấn công mạng. Cùng với sự phát triển của các thiết bị thông minh, lượng dữ liệu lưu thông trên Internet ngày càng nhiều, dẫn tới tầm quan trọng của hệ thống phân tích dữ liệu và bảo mật thông tin đối với dữ liệu lớn ngày càng tăng lên. Do đó, nghiên cứu này cung cấp giải pháp cho hệ thống phát hiện và phân loại xâm nhập mạng toàn diện và chỉ tiết, phù hợp với kiến trúc mạng khả lập trình trong bối cảnh dữ liệu lớn.
Cu thé, chúng tôi đã kết hợp thuật toán máy học và học sâu trên công nghệ xử lý dữ liệu lớn dé xây dựng mô hình phát hiện và phân loại các cuộc tan công. Phương pháp này không chỉ giúp giải quyết các van đề về tốc độ và thời gian tính toán của thuật toán mà còn có thé đảm bảo độ chính xác cao. Chúng tôi đã đánh giá mô hình trên ba bộ dữ liệu với kết quả đạt được rat đáng lưu ý: độ chính xác đạt từ 97% tới 99%, tỉ lệ cảnh báo giả chỉ từ 0.15% khi phân loại nhiều cuộc tấn công khác nhau. Toàn bộ hệ thống đã được chúng tôi triển khai thực nghiệm thành công, tạo nên một hệ thống phòng thủ vững chắc, không chỉ giúp quản trị viên theo dõi và phát hiện những bắt thường trong lưu lượng mạng của thiết bị mà còn có những hành động cụ thê đê ứng phó hiệu quả với các cuộc tân công.
Ngoài ra, công trình của chúng tôi còn là một tư liệu hữu ích cho các nhà nghiên cứu muốn tiếp cận vấn đề này vì nó là một trong những đề tài đi đầu về việc phát triển giải pháp giám sát, phát hiện và phân loại các cuộc tan công cho kiến trúc SDN trong ngữ cảnh dữ liệu lớn. Không những thế, kiến trúc mô hình linh hoạt giúp việc ứng dụng của nó phù hợp với mọi quy mô doanh nghiệp. Do đó, nó mang lại tiềm năng ứng dụng rât lớn đôi với các doanh nghiệp trong và ngoài nước. Tên đề tài Tên tiếng Việt: XÂY DUNG HE THONG PHÁT HIỆN XÂM NHẬP DUA TREN MÁY HỌC CHO MẠNG KHẢ LẬP TRÌNH TRONG NGỮ CẢNH DỮ LIỆU LỚN Tên tiếng Anh: BUILDING MACHINE LEARNING BASED INTRUSION DETECTION SYSTEM FOR SOFTWARE DEFINED NETWORK IN BIG DATA CONTEXT 1.
Dat van dé Sự phát triển bùng nỗ của việc sử dung Internet đã đưa chúng ta vào ky nguyên dữ liệu lớn. Vào đầu năm 2021, có hơn 65% dân số trên thế giới sử dụng Internet (88% ở Europe và 94% ở North America) [I]. Ngoài ra, sự phát triển của các xu hướng công nghệ hiện nay như IoT, Cloud, mạng xã hội cũng góp phan tạo ra khối dit liệu khống 16. Theo báo của Statista [2], dự kiến vào năm 2030, các thiết bị IoT kết nối Internet sẽ đạt tới 25.4 tỷ thiết bị tức tăng gấp ba lần so với năm 2020 là khoảng 8.74 tỷ thiết bị.
Dẫn đến hàng nghìn exabyte (EB) dữ liệu được tạo ra và lưu thông trên Internet hàng ngày với tốc độ chóng mặt. Dữ liệu lớn là dữ liệu khó lưu trữ, quản lý và phân tích bằng công nghệ phần mềm và cơ sở dữ liệu truyền thống. Dữ liệu lớn bao gồm dung lượng lớn và tốc độ cao, cũng như nhiều loại dữ liệu khác nhau đòi hỏi các công nghệ mới dé xử lý. Từ đó, các thách thức về phân tích dữ liệu lớn đã được đưa ra trong [3].