ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN HOÀNG QUỐC BẢO XÂY DỰNG FRAMEWORK PHÁT HIỆN VÀ PHÂN LOẠI BẤT THƯỜNG MẠNG DỰA TRÊN CÁC KỸ THUẬT HỌC MÁY VÀ PHẦN CỨNG KHẢ CẤU HÌNH Chuyên ngành: Khoa học Máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 7 năm 2022 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG - HCM Cán bộ hướng dẫn khoa học : PGS. Trần Ngọc Thịnh Cán bộ chấm nhận xét 1 : PGS.
Đinh Đức Anh Vũ Cán bộ chấm nhận xét 2 : PGS. Trần Mạnh Hà Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 28 tháng 7 năm 2022. Thành phần Hội đồng đánh giá Luận văn thạc sĩ gồm: 1.
Chủ tịch: PGS. PHẠM QUỐC CƯỜNG 2. LÊ TRỌNG NHÂN 3. Phản biện 1: PGS.
ĐINH ĐỨC ANH VŨ 4. Phản biện 2: PGS. TRẦN MẠNH HÀ 5. Ủy viên: PGS.
TRẦN NGỌC THỊNH Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: TRẦN HOÀNG QUỐC BẢO MSHV: 2070402 Ngày, tháng, năm sinh: 15/8/1996 Nơi sinh: Vũng Tàu Ngành: Khoa học máy tính Mã số: 8480101 I. TÊN ĐỀ TÀI: Xây dựng framework phát hiện và phân loại bất thường mạng dựa trên các kỹ thuật học máy và phần cứng khả cấu hình. A framework for network anomaly detection and classification based on machine learning techniques and reconfigurable hardware.
NHIỆM VỤ VÀ NỘI DUNG: • Tìm hiểu các vấn đề về hành vi xâm nhập bất thường mạng, các tập dữ liệu phổ biến hiện nay, kỹ thuật học máy/học sâu, nền tảng phần cứng khả cấu hình cho thiết bị mạng và cơ sở lý thuyết liên quan. • Phân tích tập dữ liệu, đề xuất giải pháp phát hiện phân loại bất thường mạng sử dụng các kỹ thuật học máy/học sâu. • Xây dựng khung sườn lõi xử lý tính toán mô hình học máy ứng dụng phân loại hành vi bất thường mạng. • Xây dựng môi trường đánh giá, kiểm thử hệ thống, và đưa ra những định hướng phát triển trong tương lai.
NGÀY GIAO NHIỆM VỤ: 14/02/2022 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 10/06/2022 V. CÁN BỘ HƯỚNG DẪN: PGS. TRẦN NGỌC THỊNH.
HCM, ngày 28 tháng 7 năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên và chữ ký) LỜI CÁM ƠN Lời đầu tiên, tác giả xin trân trọng gửi lời cảm ơn đến thầy hướng dẫn PGS. Trần Ngọc Thịnh đã không ngần ngại giúp đỡ trong quá trình thực hiện đề tài, cảm ơn thầy đã tận tình góp ý và định hướng trong quá trình tiến hành nghiên cứu. Một lần nữa, tác giả xin cảm ơn thầy hướng dẫn và thầy PGS. Phạm Quốc Cường đã tạo điều kiện thuận lợi để tác giả có thể thực hiện đề tài, cũng như môi trường làm việc học tập hiệu quả để có được kết quả như hôm nay.
Gửi đến những người bạn đồng hành trong CE Lab, cám ơn anh Ngô Đức Minh, anh Lê Tấn Long, và những anh chị khóa trước đã để lại những nền tảng cơ sở giúp cho tác giả có thể tiếp tục phát triển công trình nghiên cứu này. Gửi lời tri ân tới các bạn đồng hành Nguyễn Xuân Quang, Huỳnh Hoàng Kha và Huỳnh Phúc Nghị đã không quản ngại giúp đỡ tác giả trong quá trình hoàn thành luận văn này. Kính xin gửi những lời thân yêu và sự trân trọng tới gia đình bạn bè, và những người xung quanh đã luôn ủng hộ tác giả về mặt tinh thần trong những lúc khó khăn. Ngoài ra, tác giả cũng xin chân thành cảm ơn thầy cô trường Đại học Bách Khoa - ĐHQG - HCM đã tận tình truyền đạt kiến thức trong suốt quá trình theo học Thạc sĩ.
Cuối cùng xin gửi lời cảm ơn tới công ty Xilinx đã tài trợ bản quyền phần mềm và board NetFPGA-SUME để tác giả có thể điều kiện thực hiện nghiên cứu. Hồ Chí Minh, tháng 7 năm 2022 Trần Hoàng Quốc Bảo i TÓM TẮT LUẬN VĂN THẠC SĨ Phát hiện xâm nhập mạng dựa trên dấu hiệu bất thường (Anomaly-based Network Intrusion Detection System - ANIDS) được ứng dụng kỹ thuật học máy và học sâu, đang là lĩnh vực được nhiều công trình nghiên cứu trong thời gian gần đây. Trước những nguy cơ về tấn công mạng, môi trường mạng cần được đảm bảo an ninh nhằm giảm thiểu những rủi ro về mặt chi phí và thông tin cá nhân. Để phòng tránh được những tiềm ẩn đó, thì hệ thống ANIDS phải đáp ứng được khả năng nhận dạng hành vi bất thường và khả năng phản hồi khi có dấu hiệu rủi ro.
Trong những năm gần đây, kỹ thuật học máy và học sâu (Machine Learning/Deep Learning) đang được áp dụng trong nhiều lĩnh vực và đặc biệt IDS. Để đánh giá được khả năng nhận dạng bất thường một cách hiệu quả thì ANIDS cần được kiểm thử trên tập dữ liệu phổ biến như NSL-KDD, UNSW-NB15, và CIC-IDS2017. Trong đề tài này, tác giả đề xuất giải pháp xây dựng khung sườn tính toán mô hình học máy/học sâu trên phần cứng mạng khả cấu hình (NetFPGA) cho kiến trúc ANIDS. Khối thiết kế phát hiện bất thường bằng mạng tự mã hoá (Anomaly Detection Autoencoder - ADA) sẽ được dùng để xử lý dữ liệu cho bộ NSL-KDD.
Và mô hình đề xuất phân loại bằng mạng nơ-ron nhân tạo (Artificial Neural Classification - ANC) sẽ được dùng để phân loại cho dữ liệu của UNSW-NB15, và CIC-IDS2017. Thiết bị phần cứng hiện thực NetFPGA-SUME được thiết kế với mô hình ADA và ANC sử dụng 21% tài nguyên LUT, 15.1% FF, sử dụng lần lượt 19. Tốc độ truyền tải dữ liệu của ADA đạt được 28.7 Gbps và ANC là 31. Khi xét về lưu lượng xử lý số phép tính thì ADA có thể xử lý ở tốc độ 18.7 Gops, còn ADA là 9.1 Gops khi xét ở những dữ liệu khác nhau.
Còn đối với độ chính xác khi đánh giá trên tập dữ liệu NSL-KDD thì ADA đạt được 90.87% với tỷ lệ FNR (False Negative Rate) là 7. ANC khi xử lý trên dữ liệu UNSW-NB15 và CIC-IDS2017 có độ chính xác lần lượt là 87.22%, với tỷ lệ FNR đạt được 3. Từ khóa - Machine Learning, IDS, An ninh mạng, FPGA ii ABSTRACT Anomaly-based Network Intrusion Detection System (ANIDS) is applied with machine learning or deep learning techniques, which is a field of research in recent times. Before the risks of cyber attacks, the network environment needs to be secured to minimize the damage costs and personal information.
To avoid those potentials, the ANIDS must adapt the ability to recognize abnormal behavior and alert risky signs. In recent years, machine learning or deep learning techniques are being used in many fields and IDS. For evaluation of the ability to identify anomalies, ANIDS is tested on popular datasets such as NSL-KDD, UNSW-NB15, and CIC-IDS2017. In this study, the author proposes a solution to build a computational framework for machine learning/deep learning models on configurable network hardware (NetFPGA) in ANIDS.
The Anomaly Detection Autoencoder (ADA) design block will be used to process data for NSL-KDD. Artificial Neural Classification (ANC) will be used to classify data in UNSW-NB15, CIC-IDS2017. The NetFPGA-SUME which is an implementation hardware device is designed with ADA, ANC models using 21% LUTs resources, 15. The bandwidth of ADA is 28.7 Gbps, ANC is 31.
In terms of computational traffic, ADA can process at 18.7 Gops, while ADA is 9.1 Gops with different datasets. With the NSL-KDD dataset, the ADA achieved 90.87% accuracy and the FNR of 7. The ANC when processing on UNSW-NB15, CIC-IDS2017 has an accuracy of 87.22%, respectively, with FNR rates achieving 3. Keywords: Machine Learning, IDS, Cyber Security, FPGA.
iii iv Lời cam đoan Tôi xin cam đoan ngoại trừ các trường hợp tham khảo cụ thể đối với công việc của người khác thì nội dung này là bản gốc và chưa được đệ trình toàn bộ nội dung cho bất kỳ công trình nào khác. Nếu không đúng như đã nêu trên, tôi xin hoàn toàn chịu trách nhiệm về đề tài của mình. Một phần của công trình này đã được công bố dưới hình thức bài báo khoa học: 1. Tran Hoang Quoc Bao, Long Tan Le, Tran Ngoc Thinh and Cong- Kha Pham.
A High-Performance FPGA-Based Feature Engineering Architecture for Intrusion Detection System in SDN Networks. In The First International Conference on Intelligence of Things (ICIT 2022), Hanoi, Vietnam, 2022. Tran Ngoc Thinh, Tran Hoang Quoc Bao, Duc-Minh Ngo, Cuong Pham-Quoc. High-performance anomaly intrusion detection system with ensemble neural networks on reconfigurable hardware.
In Concurrency and Computation Practice and Experience, 2021, p. e6370, ISBN/ISSN: 1532-0634 (SCIE) Trần Hoàng Quốc Bảo MỤC LỤC Lời cám ơn i Tóm tắt Luận Văn Thạc sĩ ii Lời cam đoan iv Danh sách hình vẽ viii Danh sách bảng x 1 GIỚI THIỆU 1 1.1 Mục tiêu đề tài .3 Nội dung đề tài. 7 2 CƠ SỞ LÝ THUYẾT VÀ CÔNG TRÌNH LIÊN QUAN 8 2.1 Transmission Control Protocol / Internet Protocol Model .2 Nền tảng NetFPGA .1 Field-Programmable Gate Array .2 Kiến trúc NetFPGA .3 Hệ thống phát hiện xâm nhập mạng .1 Mạng nơ-ron học sâu nhân tạo .6 Tập dữ liệu. 35 v MỤC LỤC vi 2.7 Công trình liên quan .1 Các thuật toán học máy về phát hiện bất thường .2 Các công trình học máy phát hiện bất thường trên FPGA.
41 3 HỆ THỐNG ĐỀ XUẤT VÀ GIẢI PHÁP 43 3.1 Tổng hợp những yêu cầu hệ thống .1 Yêu cầu bảo mật trong mạng máy tính .2 Đặc trưng của dữ liệu .3 Yêu cầu về khả năng đáp ứng hiệu suất xử lý.4 Yêu cầu về tiết kiệm năng lượng .2 Tổng quan hệ thống đề xuất .3 Thiết kế và hiện thực ANIDS.1 Trích xuất & chuyển hoá đặc trưng (Feature Extraction & Normalization - FEN) .2 Phát hiện bất thường bằng mô hình mạng tự mã hoá (Anomaly Detection Autoencoder - ADA) .3 Mô hình phân loại sử dụng mạng nơ-ron nhân tạo (Artificial Neural Classification - ANC) .4 Xây dựng khung sườn lõi xử lý tính toán ADNN (Anomaly Detection Neural Network) .1 Kiến trúc tổng quan trên NetFPGA-SUME .2 Mô hình mạng nơ-ron trên phần cứng .3 Bộ xử lý lớp nơ-ron .5 Khối xử lý hàm mất mát .6 Khối phát hiện bất thường. 65 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ 67 4.1 Các tiêu chí đánh giá hệ thống .1 Tài nguyên tổng hợp .2 Hiệu suất xử lý .3 Khả năng phân loại.2 Kết quả thực nghiệm .1 Chi tiết về tập dữ liệu .2 Kết quả tổng hợp .3 Kết quả đánh giá tốc độ xử lý. 74 MỤC LỤC vii 4.4 Kết quả đánh giá khả năng phân loại ANIDS.