Tài liệu Kỹ thuật: Luận văn phát hiện xâm nhập mạng bất thường dựa trên

Luận văn nghiên cứu phát hiện xâm nhập mạng bất thường qua phân tích lưu lượng mạng ứng dụng các kỹ thuật machine learning tiên tiến.

• Tác giả: Vũ Mạnh Tuân
• Người hướng dẫn: PGS. Nguyễn Linh Giang
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Mạng Máy Tính Và An Toàn Thông Tin
• Đề tài: Phát Hiện Xâm Nhập Mạng Bất Thường Dựa Trên Phân Tích Lưu Lượng Mạng Sử Dụng Các Kỹ Thuật Trong Machine Learning
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Phát Hiện Xâm Nhập Mạng Bất Thường

Phát hiện xâm nhập mạng bất thường là một lĩnh vực quan trọng trong an toàn thông tin hiện đại. Luận văn thạc sĩ này tập trung vào việc phát triển các giải pháp phát hiện xâm nhập mạng dựa trên phân tích lưu lượng mạng và machine learning. Mục tiêu chính là xây dựng một hệ thống có khả năng nhận diện các hoạt động bất thường trên mạng máy tính một cách chính xác và hiệu quả. Nghiên cứu được thực hiện tại Trường Đại học Bách Khoa Hà Nội, dưới sự hướng dẫn của PGS. Nguyễn Linh Giang. Công trình này đánh dấu một bước tiến quan trọng trong việc ứng dụng công nghệ trí tuệ nhân tạo để bảo vệ cơ sở hạ tầng mạng khỏi các mối đe dọa an ninh mạng ngày càng phức tạp.

1.1. Khái Niệm Về Xâm Nhập Mạng Bất Thường

Xâm nhập mạng bất thường là các hoạt động trái phép hoặc bất thường trên hệ thống mạng. Các cuộc tấn công này có thể gây ảnh hưởng lớn đến an ninh dữ liệu và hoạt động kinh doanh. Phát hiện sớm các dấu hiệu bất thường giúp giảm thiểu rủi ro và bảo vệ thông tin quan trọng của tổ chức.

1.2. Tầm Quan Trọng Của Nghiên Cứu

Với sự gia tăng của các cuộc tấn công mạng máy tính, việc phát triển các hệ thống phát hiện xâm nhập hiệu quả trở nên cấp bách. Luận văn này cung cấp một giải pháp hỗ trợ các tổ chức bảo vệ hạ tầng mạng của họ bằng công nghệ machine learning tiên tiến.

II. Phương Pháp Học Máy Trong Phát Hiện Xâm Nhập

Luận văn sử dụng các kỹ thuật machine learning tiên tiến để xây dựng mô hình phát hiện xâm nhập. Đặc biệt, mô hình LSTM kết hợp với SVM được đề xuất để phân tích lưu lượng mạng và nhận diện các mô hình hoạt động bất thường. Long Short-Term Memory (LSTM) là một loại mạng neural network hiệu quả trong việc học các mô hình dữ liệu chuỗi thời gian, trong khi Support Vector Machine (SVM) cung cấp khả năng phân loại mạnh mẽ. Sự kết hợp này tạo ra một hệ thống có độ chính xác cao, có thể phát hiện các cuộc tấn công phức tạp mà các phương pháp truyền thống có thể bỏ sót.

2.1. Mô Hình LSTM Long Short Term Memory

LSTM là một kiến trúc mạng neural đặc biệt được thiết kế để xử lý các chuỗi dữ liệu dài. Nó có khả năng ghi nhớ thông tin quan trọng trong thời gian dài, giúp phát hiện các mô hình tấn công có khoảng thời gian dài. LSTM được sử dụng trong luận văn để phân tích lưu lượng mạng theo chiều thời gian.

2.2. Kết Hợp SVM Để Tăng Hiệu Quả

Support Vector Machine (SVM) là thuật toán học máy được sử dụng để phân loại các mẫu dữ liệu. Bằng cách kết hợp SVM với LSTM, mô hình đạt được độ chính xác cao hơn trong việc phát hiện xâm nhập mạng và giảm số lượng cảnh báo sai.

III. Tập Dữ Liệu Kyoto Dataset Và Xử Lý Dữ Liệu

Luận văn sử dụng Kyoto Dataset 2013 và 2015, một tập dữ liệu được công nhân rộng rãi trong lĩnh vực phát hiện xâm nhập. Các tập dữ liệu này chứa thông tin chi tiết về lưu lượng mạng thực tế, bao gồm các gói tin bình thường và các cuộc tấn công. Quá trình xử lý dữ liệu bao gồm nhiều bước quan trọng: trích rút dữ liệu từ các tập tin gốc, phân tích các đặc trưng, chuẩn hóa dữ liệu và chuyển đổi định dạng. Kỹ thuật Standardization được áp dụng để đưa các giá trị về cùng một tỷ lệ, trong khi One-hot Encoding được sử dụng để chuyển đổi các biến phân loại. Quá trình này đảm bảo dữ liệu được chuẩn bị tối ưu cho mô hình machine learning.

3.1. Giới Thiệu Kyoto Dataset

Kyoto Dataset là tập dữ liệu được thu thập từ một mạng đại học thực tế với hơn 1 triệu gói tin. Nó chứa các dòng ghi nhận chi tiết với 24 đặc trưng khác nhau, bao gồm thông tin về địa chỉ IP, cổng kết nối, và các giao thức mạng. Dataset này được chia thành dữ liệu huấn luyện và kiểm thử.

3.2. Các Bước Xử Lý Và Chuẩn Hóa Dữ Liệu

Dữ liệu trải qua các bước chuẩn hóa bao gồm loại bỏ các giá trị null, chuẩn hóa phạm vi giá trị, và mã hóa các biến phân loại. Kỹ thuật Standardization chuyển đổi dữ liệu về phân phối chuẩn, trong khi One-hot Encoding tạo các biến nhị phân từ các biến phân loại.

IV. Kết Quả Thực Nghiệm Và Đánh Giá Mô Hình

Luận văn trình bày các kết quả thực nghiệm chi tiết của mô hình LSTM-SVM trên cả tập Kyoto Dataset 2013 và 2015. Các kết quả được thể hiện thông qua confusion matrix, cho phép đánh giá hiệu suất với các chỉ số như độ chính xác, độ nhạy và độ đặc hiệu. Mô hình cho thấy kết quả ấn tượng với khả năng phát hiện cao các cuộc tấn công. Phân tích kỹ lưỡng các thông số hyper-parameter đã được tối ưu hóa để đạt được hiệu suất tốt nhất. Các biểu đồ và trực quan hóa dữ liệu được tạo bằng TensorBoard giúp dễ dàng theo dõi quá trình huấn luyện và kiểm thử mô hình. Kết quả cho thấy rằng kết hợp LSTM với SVM là một cách tiếp cận hiệu quả cho phát hiện xâm nhập mạng bất thường.

4.1. Các Chỉ Số Đánh Giá Hiệu Suất

Hiệu suất mô hình được đánh giá bằng các chỉ số như Accuracy (độ chính xác), Precision, Recall và F1-Score. Confusion Matrix cung cấp cái nhìn chi tiết về số lượng dự đoán đúng và sai. Các chỉ số này giúp xác định hiệu quả của mô hình trong phát hiện xâm nhập mạng.

4.2. Kết Quả Trên Các Bộ Dữ Liệu Khác Nhau

Mô hình được thử nghiệm trên Kyoto Dataset 2013 và 2015 để đảm bảo tính nhất quán và tin cậy. Kết quả cho thấy hiệu suất ổn định trên cả hai tập dữ liệu, xác nhận hiệu quả của phương pháp đề xuất trong phát hiện xâm nhập mạng trên các dữ liệu mới.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỎNG QUAN VỀ CÁC MÔ HINH HỌC MÁY ÁP DUNG TRONG IIE THÓNG PHÁT IIỆN XÂM NHẬP MẠNG BAT THƯỜNG 1. Kiến trúc của một hệ thống Network Intrustion Detection System 4 2. Từn hiểu về các mô hình Machine Learning :. Tỗi quy tuyển tính : - - 6 1.

Mô hình hồi quy tuyến tính. Ham mt mat : - - - - 8 1. Mé hinh Multilayer Neural network 3 1.1 Layer - - - - 9 12 Node neural : - - - - 10 1. Cac ham Activation Function : _ H 1.

Chu trúc ofia md hinh Multilayer Neural network 12 1. Recurrent neural network va cae bién thé - - 15 1. Recurrent neural network :. Các mô hình kiến trúc TENN thường gấp : - - 7 1.

Tùn hiểu vẻ 8VM: - - 18 1. Phát biển bài toán và ứng dung SVM - 19 1.Softanargin support vector machine - 20 1. Khảo sát và đánh giá một số nghiên cứu khoa học để lắm rõ các sục tiêu. Sơ sánh hiệu năng của LSTM và GRU :.

Đề xuất mô hình mạng neuron kết hop vevới SVME:.35 CHUONG 2: KHAO SAT MG HINH LSTM VA GRU. TIM THIÊU CHỊ TIẾT VỀ TẬP ne LIEU MANG KYOTO DATASET. -- 8 i LOI CAM ON Dầu tiên tôi xin dành lời cảm ơn đến PGS. Nguyễn Linh Giang đã hướng dẫn, đưa ra lời khuyên và hỗ trợ cho tôi trong quá trình hoản thành luận văn của minh.

"Tiếp (heo tôi xin chân thành cảm ơn các thây cỗ trong Viện Công nghệ thông tín và truyền thông, trường Đại học Bách Khoa Hà Nội đã giang day, truyền đạt kiến thức quý giá trong suốt quá trình tôi học tập, nghiên cúu tại trường. 'Tôi xin cảm ơn những người thân trong gia dình củng toản thể bạn bè, những người đồng nghi tại Cảng hàng không quốc tế Nội Bải dã giúp đỡ, động viên tôi khi vấp phải những khó khăn, bế tắc Cuối cùng tôi cũng xin cảm ơn để tài KC.15/16-20 đã hỗ trợ tôi trong quá trình thục hiện luận văn. Mặc dù đã rất có gắng nhưng luận vine ác chắn không Iránh khởi những sóI tối rất mong nhận được những ý kiên đánh giá và phê bình lừ phía. các Thây Cô đểluận văn được hoàn thiện hơn.

Tôi xin chân thành cảm ơn! Tinh 3.1 : Mô phỏng đồ thị xây dựng bởi thư viện Tensorflow.3 : Kiển trúc của mô hình để xuất 1S§TM-SVM 44 Hinh 3.4 :Biểu diễn graph trên TensorBoard mô phỏng lại các bước tính toán logic trong mỗ hình I.1 : Tap dit ligu Kyoto Dataset 2015 sau khi tải về - 49 Hình 4.2 : Các bước trích rút tập dữ liệu thực nghiệm 40 Hình 4.3 : Hiểu đồ thông kê số lượng nhãn các gói tin trong trường đữ liệu 54 Tỉnh 4. Giản đỗ mô phông các bước. ĐỒ xử lý đữ liệu trong mô hình dé xuất LSTM-SVM.5: Biểu dé matrix confusion cla LSTM-SVM trên tập b huần Tuyện Kyoto Dataset 2013. 68 Hình 46 Bidu dé matrix confusion của LSTM-SVM trên tập kiếm thir 70 " Hình 4.8:Biểu đỗphan bố nhần các gói tinntap kiểm thir Kyoto Dataset 2015 sie : : : 72 Tĩnh 4.9: Diễểu đồ matrix confusion của LSTMI-SVM trên tập huần luyện Kyoto Dataset 2015 73 Tinh 4.10:Biểu đồ matrix confusion của LSTM-SVM trên tập kiếm thử Kyoto Dataset 2015.

- - 74 y DANII MUC INI VE Hình 1.1 : Mô hình dp dung Machine Learning trong triển khai hệ thống Tỉnh 1.3 : XIê hình mạng neurral network có L layer.4 : Mô tã cách thức hoạt động của một neural - 10 Tĩnh 1.5 Mô hình Mululayer Neural network. tee ca L2 Hình 1.6 : Tiến trình tính toán trên một mang neural network HI. 13 Hình 17 : Tiên trình lan truyền tiến 14 Hình L8 : Tiến trình lan truyền ngược - 15 Hình 1.9 Mô hình biểu diễn một mang Recurrent Neural Network |B|.10 : Mô tả các kiến trúc của Recurrent Neural Network [10] 17 Hinh 1.11 : Mô tả 2 lớp dữ liệu xanh và đỗ, trong trưởng hợp này có vô số các đường thắng phân tách 2 lớp dữ liệu.12 : Ví dụ mình họa 2 lớp dữ liệuxanh và đỏ: sửfr dung mặt phan chia có phuong trinh: WIx +b =0.13: 5VM với bài toán đữ liệu khi có nhiều nhỏ.14 : SVM với bài toán khi dữ liệu gần tách biệt.15: Trường hợp áp dụng Soft-margin support vector machine THình 1.16 :So sánh RNN-TD8 với các thuật toán khác trong phân loại đa lớp 24 Tình 1.17 :8o sánh RINN-TIDS với các thuật toán khác trong phần loại nhị phân.18 : Hãng so sánh GRU-SVM va4 GRU-Softmax 26 Hình 2.1: Bảng so sánh đặc trưng của cdc tap dit ligu mang.2 : Diễm benmark của 2 tập dữ liệu KDD99 và Kyoto Dataset .3 : Mô hình mạng Recurrent Neural Network dùng hàm tanh ở hidden layer.4: Mô hìnhmạng „Long Short Term Memory với các công chức năng 34 1nh 2.5 : Chú thích cáo toán tử trong mạng Long ShorL Tem Memory. 34 Hình 26 trúc của bộ nhớ dai han cell state rong LSTM.

35 Hình 27 - Mô tả cầu trúc của lớp cổng quên trong LSTM 36 Hình 2.8 : Mô tả cầu trúc của lớp công đầu vào trong LS1M.9 : Mô tả các bước cập nhập lại trạng thái cell state trong ].10 : Mô tả cầu trúc lớp công đầu vào trong LSTM.11 : Mô hình mạng Gated Recurrent Unit với các cổng chức năng [22 38 DANII MUC INI VE Hình 1.1 : Mô hình dp dung Machine Learning trong triển khai hệ thống Tỉnh 1.3 : XIê hình mạng neurral network có L layer.4 : Mô tã cách thức hoạt động của một neural - 10 Tĩnh 1.5 Mô hình Mululayer Neural network. tee ca L2 Hình 1.6 : Tiến trình tính toán trên một mang neural network HI. 13 Hình 17 : Tiên trình lan truyền tiến 14 Hình L8 : Tiến trình lan truyền ngược - 15 Hình 1.9 Mô hình biểu diễn một mang Recurrent Neural Network |B|.10 : Mô tả các kiến trúc của Recurrent Neural Network [10] 17 Hinh 1.11 : Mô tả 2 lớp dữ liệu xanh và đỗ, trong trưởng hợp này có vô số các đường thắng phân tách 2 lớp dữ liệu.12 : Ví dụ mình họa 2 lớp dữ liệuxanh và đỏ: sửfr dung mặt phan chia có phuong trinh: WIx +b =0.13: 5VM với bài toán đữ liệu khi có nhiều nhỏ.14 : SVM với bài toán khi dữ liệu gần tách biệt.15: Trường hợp áp dụng Soft-margin support vector machine THình 1.16 :So sánh RNN-TD8 với các thuật toán khác trong phân loại đa lớp 24 Tình 1.17 :8o sánh RINN-TIDS với các thuật toán khác trong phần loại nhị phân.18 : Hãng so sánh GRU-SVM va4 GRU-Softmax 26 Hình 2.1: Bảng so sánh đặc trưng của cdc tap dit ligu mang.2 : Diễm benmark của 2 tập dữ liệu KDD99 và Kyoto Dataset .3 : Mô hình mạng Recurrent Neural Network dùng hàm tanh ở hidden layer.4: Mô hìnhmạng „Long Short Term Memory với các công chức năng 34 1nh 2.5 : Chú thích cáo toán tử trong mạng Long ShorL Tem Memory. 34 Hình 26 trúc của bộ nhớ dai han cell state rong LSTM.

35 Hình 27 - Mô tả cầu trúc của lớp cổng quên trong LSTM 36 Hình 2.8 : Mô tả cầu trúc của lớp công đầu vào trong LS1M.9 : Mô tả các bước cập nhập lại trạng thái cell state trong ].10 : Mô tả cầu trúc lớp công đầu vào trong LSTM.11 : Mô hình mạng Gated Recurrent Unit với các cổng chức năng [22 38 LOI CAM DOAN Tôi xin cam đoan rằng luận van tétnghiép voi dé tai “Phat hién xim nhập mạng hắt thường dựa trên phân tích lưu lượng mạng sử dụng các kf thuat trong Machine Learning ” 1a công trình nghiên cứu của tôi, dưới sự hướng dẫn của PGS.TS Nguyễn Tính Giang. Tôi đã trích dẫn đầy đú các tải liệu, các công trình nghiên cứu liên quan ở trong nước và quốc tế trong phẩn tài liệu tham khảo. Ngoại trừ các tải liệu tham khảo đã dẫn chứng, luận văn này hoản (oảnlà công trình nghiễn cứu của riêng tôi. “Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình.

Hà Nội, ngày. năm 2020 Học Viên Vũ Mạnh Tuân DANILMUC VIET TAT TU VIET TAT TIENG ANH iG VIET Al Artificial Intelligence Trí tuệ nhân tạo NIDS Network intrusion detection | Hệ thống phát hiện xâm nhập mạng CPU Central Pa scoring Unit Bé chip xi lý máy tính GPU Graphics Processing Unit Bộ vi xử lý dỗ họa RAM Random Access Memory Bộ nhớ lưu trữ tạm thời ANN Artificial Neural Network ‘Mang thin kin nan tao RNN Reourrent Neural Network Mạng no ron hồi quy LSTM Long Short Term Memory | Mạng nơron bộ nhỏ ngăn đài hạn GRU Gated Recurrent Units Mang no ron héi tiếp có công CXN Convolutional Neural Network Mang nơ-rơn tích chập SVM Support Vector Machine Một thuật toán phân lớp TPR True positive rate Tỉ l phản loại đúng các gói tin gin nhấn “độc hại” INR True napative rate Tỉ lệ phân loại đúng các gỗi tin gần. nhãn “bình thưởng” FPR False posilive rate Tỉ lệ phát hiện nhằm các gói lim độc hại nhưng thực tế lä bình thường FNR Falsc negalive rate Tí lệ loại trù nhằm các gói tin là bình thường nhưng thực tế la độc bại iti DANILMUC VIET TAT TU VIET TAT TIENG ANH iG VIET Al Artificial Intelligence Trí tuệ nhân tạo NIDS Network intrusion detection | Hệ thống phát hiện xâm nhập mạng CPU Central Pa scoring Unit Bé chip xi lý máy tính GPU Graphics Processing Unit Bộ vi xử lý dỗ họa RAM Random Access Memory Bộ nhớ lưu trữ tạm thời ANN Artificial Neural Network ‘Mang thin kin nan tao RNN Reourrent Neural Network Mạng no ron hồi quy LSTM Long Short Term Memory | Mạng nơron bộ nhỏ ngăn đài hạn GRU Gated Recurrent Units Mang no ron héi tiếp có công CXN Convolutional Neural Network Mang nơ-rơn tích chập SVM Support Vector Machine Một thuật toán phân lớp TPR True positive rate Tỉ l phản loại đúng các gói tin gin nhấn “độc hại” INR True napative rate Tỉ lệ phân loại đúng các gỗi tin gần. nhãn “bình thưởng” FPR False posilive rate Tỉ lệ phát hiện nhằm các gói lim độc hại nhưng thực tế lä bình thường FNR Falsc negalive rate Tí lệ loại trù nhằm các gói tin là bình thường nhưng thực tế la độc bại iti 3.

Tập dé du thue nghiéin Kyoto Dataset 28 2. Giới thiêu về Kyoto Datasct ;. So sánh Kyoto Datzsel với các bộ dữ liệu mạng hiện nay 29 2. Các đặc trưng trong,bộ dữ liệu Kyoto dataset :.

Long Short Tem Memory :. Giới thuệu về mô hinh mạng LSTM Tìm hiểu về cầu trúc mạng LSTM : 2. Gated Recurrent Unit CHƯƠNG 3 : MÔ HÌNH ĐÈ XUẤT LSTM KẾT HOP VOI SVM AP DUNG CHO BALTOAN PHAT HIERN XÂM NHẬP MẠNG. Giới thiệu ngôn ngữ lập trinh Python va thu vin Tensorflow : 40 3.

Ngên ngữ lập trình Python: - „40 3. Thư viện Tensorflow - 0 3.