Đề tài sử dụng deep learning và phương pháp giảm chiều dữ liệu pca cho xác định bất thường trong hệ thống iot

Phát hiện bất thường trong hệ thống IoT là một thách thức lớn trong lĩnh vực an ninh mạng. 100 trang · Học viện Công nghệ Bưu chính Viễn thông · 2021.

• Tác giả: Đinh Quang Huy
• Người hướng dẫn: TS. Hoàng Trọng Minh
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Sử Dụng Deep Learning và PCA Trong Phát Hiện Bất Thường Hệ Thống IoT
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG VÀ FIGURE
• THUẬT NGỮ VIẾT TẮT
• BẢNG KÍ HIỆU
• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG DỰA TRÊN TRÍ TUỆ NHÂN TẠO
• 1.1. Giới thiệu chung
• 1.2. Hệ thống phát hiệm xâm nhập (IDS)
• 1.3. Phân loại hệ thống phát hiện xâm nhập
• 1.4. Hệ thống phát hiện xâm nhập dựa trên chữ ký (SIDS)
• 1.5. Hệ thống phát hiện xâm nhập dựa trên sự bất thường (AIDS)
• 1.6. Nguồn dữ liệu sử dụng cho hệ thống phát hiện xâm nhập
• 1.7. Ưu và nhược điểm của hệ thống phát hiện xâm nhập IDS
• 1.8. Vấn đề trong hệ thống phát hiện xâm nhập
• 1.9. AI trong hệ thống phát hiện xâm nhập
• 1.10. Bộ dữ liệu phát hiện xâm nhập
• 2. CHƯƠNG 2: XÂY DỰNG VÀ PHÂN TÍCH CHIẾN LƯỢC DỰA TRÊN DNN VÀ PCA
• 2.1. Chiến lược áp dụng
• 2.2. Tiền xử lý dữ liệu (preprocessing data)
• 2.3. Phân tích thành phần chính (PCA)
• 2.4. Xây dựng mô hình thuật toán
• 3. CHƯƠNG 3: TRIỂN KHAI MÔ HÌNH THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Tổng quan về đánh giá mô hình
• 3.2. Thiết lập nghiên cứu và đánh giá
• 3.3. Kết luận chung và phân tích kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Sử Dụng Deep Learning Trong Phát Hiện Bất Thường

Phát hiện bất thường trong hệ thống IoT là một thách thức lớn trong lĩnh vực an ninh mạng. Sự gia tăng kết nối giữa các thiết bị thông minh đã tạo ra một lượng dữ liệu khổng lồ, đòi hỏi các phương pháp phân tích hiệu quả. Deep Learning đã trở thành một công cụ mạnh mẽ trong việc phát hiện các hành vi bất thường, nhờ khả năng học hỏi từ dữ liệu lớn và phát hiện các mẫu phức tạp mà các phương pháp truyền thống không thể nhận diện.

1.1. Khái Niệm Về Deep Learning Trong An Ninh Mạng

Deep Learning là một nhánh của Machine Learning, sử dụng các Mạng Nơ-ron để phân tích và học từ dữ liệu. Trong bối cảnh an ninh mạng, nó giúp phát hiện các cuộc tấn công và hành vi bất thường bằng cách phân tích lưu lượng mạng và nhận diện các mẫu không bình thường.

1.2. Lợi Ích Của Deep Learning Trong Phát Hiện Bất Thường

Việc áp dụng Deep Learning trong phát hiện bất thường mang lại nhiều lợi ích, bao gồm khả năng tự động hóa quy trình phát hiện, giảm thiểu tỷ lệ cảnh báo sai và cải thiện độ chính xác trong việc nhận diện các mối đe dọa tiềm ẩn.

II. Thách Thức Trong Phát Hiện Bất Thường Hệ Thống IoT

Hệ thống IoT đang phải đối mặt với nhiều thách thức trong việc phát hiện bất thường. Sự đa dạng của các thiết bị và giao thức kết nối tạo ra một môi trường phức tạp, làm cho việc phát hiện các hành vi bất thường trở nên khó khăn hơn. Các vấn đề như dữ liệu không đồng nhất và thiếu hụt thông tin cũng gây khó khăn cho các mô hình phân tích.

2.1. Đặc Điểm Dữ Liệu Trong Hệ Thống IoT

Dữ liệu trong hệ thống IoT thường không đồng nhất và có thể chứa nhiều loại thông tin khác nhau. Điều này làm cho việc phân tích và phát hiện bất thường trở nên phức tạp hơn, yêu cầu các phương pháp xử lý dữ liệu tiên tiến.

2.2. Tỷ Lệ Cảnh Báo Sai Trong Phát Hiện Bất Thường

Tỷ lệ cảnh báo sai cao là một trong những thách thức lớn nhất trong phát hiện bất thường. Điều này không chỉ gây lãng phí tài nguyên mà còn làm giảm độ tin cậy của hệ thống an ninh mạng.

III. Phương Pháp Sử Dụng PCA Trong Phát Hiện Bất Thường

Phân tích thành phần chính (PCA) là một kỹ thuật hữu ích trong việc giảm chiều dữ liệu, giúp cải thiện hiệu suất của các mô hình Deep Learning. Bằng cách loại bỏ các đặc trưng không cần thiết, PCA giúp tăng tốc độ xử lý và giảm thiểu tài nguyên máy tính cần thiết cho việc phát hiện bất thường.

3.1. Nguyên Tắc Hoạt Động Của PCA

PCA hoạt động bằng cách xác định các thành phần chính trong dữ liệu, từ đó giảm số lượng biến mà vẫn giữ lại được thông tin quan trọng. Điều này giúp cải thiện hiệu suất của các mô hình học máy trong việc phát hiện bất thường.

3.2. Lợi Ích Của PCA Trong Phát Hiện Bất Thường

Việc áp dụng PCA giúp giảm thiểu độ phức tạp của dữ liệu, từ đó tăng tốc độ huấn luyện mô hình và cải thiện độ chính xác trong việc phát hiện các hành vi bất thường trong hệ thống IoT.

IV. Ứng Dụng Thực Tiễn Của Deep Learning Và PCA

Việc kết hợp Deep Learning và PCA đã cho thấy hiệu quả rõ rệt trong nhiều ứng dụng thực tiễn. Các nghiên cứu đã chỉ ra rằng sự kết hợp này không chỉ giúp phát hiện bất thường mà còn cải thiện khả năng phản ứng của hệ thống an ninh mạng.

4.1. Các Nghiên Cứu Điển Hình

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng Deep Learning kết hợp với PCA có thể cải thiện đáng kể độ chính xác trong việc phát hiện các cuộc tấn công mạng, đặc biệt là trong các hệ thống IoT.

4.2. Kết Quả Thực Tế Từ Các Dự Án

Các dự án thực tế đã chứng minh rằng việc sử dụng Deep Learning và PCA không chỉ giúp phát hiện bất thường hiệu quả mà còn giảm thiểu thời gian xử lý và tài nguyên máy tính cần thiết.

V. Kết Luận Về Tương Lai Của Phát Hiện Bất Thường Trong IoT

Tương lai của phát hiện bất thường trong hệ thống IoT sẽ tiếp tục được cải thiện nhờ vào sự phát triển của công nghệ Deep Learning và các phương pháp phân tích dữ liệu tiên tiến như PCA. Sự kết hợp này hứa hẹn sẽ mang lại những giải pháp an ninh mạng hiệu quả hơn trong bối cảnh ngày càng phức tạp của các mối đe dọa mạng.

5.1. Xu Hướng Phát Triển Công Nghệ

Công nghệ Deep Learning và PCA sẽ tiếp tục phát triển, mở ra nhiều cơ hội mới trong việc phát hiện và ngăn chặn các cuộc tấn công mạng trong hệ thống IoT.

5.2. Tầm Quan Trọng Của An Ninh Mạng Trong Tương Lai

An ninh mạng sẽ trở thành một yếu tố quan trọng trong sự phát triển của công nghệ IoT, yêu cầu các giải pháp phát hiện bất thường ngày càng hiệu quả và thông minh hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ thông tin và mạng máy tính phát triển mạnh mẽ, an ninh mạng đã trở thành một yếu tố cấp thiết tác động trực tiếp đến sự an toàn và hiệu quả hoạt động của các hệ thống thông tin. Các cuộc tấn công vào cơ sở hạ tầng mạng ngày càng gia tăng về mức độ tinh vi và tần suất, gây suy giảm nghiêm trọng các thuộc tính an toàn thông tin cốt lõi gồm tính bảo mật, tính toàn vẹn và tính khả dụng của dữ liệu. Theo truyền thống, công tác an ninh mạng phần lớn phụ thuộc vào các quy trình thủ công tiêu tốn nhiều nhân lực và thời gian (như giám sát, tìm kiếm mối đe dọa, phân tích và ứng phó sự cố). Sự chậm trễ trong các thao tác thủ công này khiến hệ thống dễ bị tổn thương trước các tác nhân đe dọa. Việc ứng dụng Trí tuệ nhân tạo (AI), Học máy (Machine Learning - ML) và Học sâu (Deep Learning - DL) đã mở ra hướng tiếp cận tự động hóa quy trình giám sát, nâng cao tốc độ phản hồi và tăng cường khả năng phát hiện các hành vi xâm nhập có sắc thái phức tạp.

Hệ thống phát hiện xâm nhập (Intrusion Detection System - IDS) là một chốt chặn an ninh mạng quan trọng nhằm giám sát trạng thái phần mềm và phần cứng trong mạng. Tuy nhiên, các hệ thống IDS truyền thống gặp phải nhiều thách thức lớn: khó nâng cao độ chính xác, tỷ lệ cảnh báo sai (False Alarm) còn cao và đặc biệt là hạn chế trong việc phát hiện các cuộc tấn công chưa từng biết (tấn công zero-day). Mặc dù các mô hình Mạng nơ-ron sâu (Deep Neural Network - DNN) đã chứng minh được hiệu quả vượt trội trong việc phát hiện bất thường, các bộ dữ liệu lưu lượng mạng và tấn công trong môi trường Internet vạn vật (IoT) hiện nay thường có kích thước rất lớn và chứa nhiều đặc trưng dư thừa, không mang thông tin hữu ích. Điều này trực tiếp gây ra sự lãng phí tài nguyên máy tính (cả về bộ nhớ RAM và thời gian xử lý của CPU/GPU), đồng thời kéo dài thời gian huấn luyện và kiểm thử mô hình. Do đó, việc nghiên cứu một giải pháp giảm chiều dữ liệu hiệu quả nhằm loại bỏ các thuộc tính không cần thiết mà vẫn bảo toàn tối đa lượng thông tin là yêu cầu cấp thiết.

Mục tiêu và nhiệm vụ nghiên cứu của đồ án được xác định cụ thể như sau:

1. Nghiên cứu tổng quan về hệ thống phát hiện xâm nhập mạng, phân loại các công nghệ IDS và khảo sát các phương pháp Trí tuệ nhân tạo áp dụng trong việc nhận diện bất thường mạng.
2. Xây dựng chiến lược kết hợp phương pháp Phân tích thành phần chính (Principal Component Analysis - PCA) để giảm chiều dữ liệu và Mạng nơ-ron sâu (DNN) để phân loại bất thường mạng IoT.
3. Thiết lập môi trường thử nghiệm trên tập dữ liệu lưu lượng mạng IoT mới (IoT-23), tiến hành tiền xử lý dữ liệu, huấn luyện mô hình và đánh giá định lượng hiệu năng trước và sau khi giảm chiều dữ liệu dựa trên các tiêu chí: độ chính xác, thời gian huấn luyện và thời gian kiểm tra.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Lưu lượng mạng IoT, các dạng hành vi bất thường và tấn công mạng; phương pháp giảm chiều dữ liệu PCA; cấu trúc mô hình phân loại học sâu DNN; các chỉ số đánh giá hiệu năng hệ thống phát hiện xâm nhập.
• Phạm vi không gian và dữ liệu: Đồ án thực hiện thử nghiệm trên bộ dữ liệu an ninh mạng IoT-23 (tập dữ liệu về lưu lượng tấn công mạng và lưu lượng bình thường trong môi trường IoT được công bố lần đầu vào tháng 01/2020); các tệp nhật ký kết nối conn.labeled.
• Phạm vi thời gian: Đồ án tốt nghiệp đại học ngành Kỹ thuật Điện tử - Viễn thông, hoàn thành vào tháng 12/2021 tại Khoa Viễn thông 1, Học viện Công nghệ Bưu chính Viễn thông.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên các khái niệm an ninh mạng, lý thuyết phát hiện bất thường, các giải thuật học máy và đại số tuyến tính:

• Phân loại hệ thống IDS theo vị trí triển khai: Hệ thống phát hiện xâm nhập mạng (NIDS), Hệ thống phát hiện xâm nhập nút mạng (NNIDS) và Hệ thống phát hiện xâm nhập máy chủ (HIDS).
• Phân loại hệ thống IDS theo phương pháp phát hiện: Hệ thống phát hiện xâm nhập dựa trên chữ ký (Signature-based IDS - SIDS) và Hệ thống phát hiện xâm nhập dựa trên sự bất thường (Anomaly-based IDS - AIDS); cơ chế phản ứng thụ động (Passive) và chủ động (Reactive).
• Phân loại bất thường mạng: Khái niệm bất thường theo định nghĩa của Chandola và cộng sự (2009), chia thành ba dạng chính: Điểm bất thường (Point anomaly), Bất thường theo ngữ cảnh (Contextual anomaly) và Điểm bất thường tập thể (Collective anomaly).
• Các mô hình Học máy có giám sát (Supervised Learning): Cây quyết định (Decision Tree - DT), Rừng ngẫu nhiên (Random Forest - RF), K láng giềng gần nhất (K-Nearest Neighbors - KNN), Naïve Bayes, Máy vector hỗ trợ (Support Vector Machine - SVM), Logic mờ (Fuzzy Logic) và Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) sử dụng thuật toán lan truyền ngược (Backpropagation - BP).
• Các mô hình Học máy không giám sát (Unsupervised Learning): Thuật toán phân cụm K-Means và Luật kết hợp (Association Rules).
• Mô hình Mạng nơ-ron sâu (DNN): Cấu trúc mạng nhiều lớp ẩn (Dense layers/Fully connected layers), hàm kích hoạt (Activation functions như Sigmoid), các tham số trọng số (Weights) và độ lệch (Bias).
• Phương pháp toán học Phân tích thành phần chính (PCA): Dựa trên việc tính toán vector kỳ vọng $\bar{\mathbf{x}}$, ma trận hiệp phương sai $\mathbf{S}$, giải phương trình đặc trưng để tìm các trị riêng ($\lambda$) và ma trận các vector riêng tương ứng nhằm chiếu dữ liệu từ không gian nhiều chiều sang không gian có số chiều thấp hơn.

Phương pháp nghiên cứu thực nghiệm được tác giả triển khai tuần tự qua các bước:

• Phương pháp phân tích - tổng hợp lý thuyết: Hệ thống hóa các công trình nghiên cứu về IDS, đối chiếu ưu nhược điểm giữa các cấu trúc mạng và các thuật toán học máy.
• Phương pháp tiền xử lý dữ liệu: Đọc và trích xuất dữ liệu từ các file văn bản conn.labeled của tập IoT-23; xử lý dữ liệu khuyết theo các cơ chế (MCAR, MAR, MNAR); gán nhãn tập dữ liệu; xử lý mất cân bằng dữ liệu (kỹ thuật SMOTE); mã hóa và chuẩn hóa các đặc trưng số và đặc trưng phân loại.
• Phương pháp giảm chiều dữ liệu: Áp dụng thuật toán PCA để trích xuất các thành phần chính (Principal Components - PC) giữ lại phương sai lớn nhất của tập dữ liệu lưu lượng.
• Phương pháp đánh giá định lượng: Sử dụng Ma trận nhầm lẫn (Confusion Matrix cho IDS) để đánh giá các chỉ số phân loại; đo lường và so sánh thời gian huấn luyện (Training time) và thời gian kiểm tra (Testing time) giữa mô hình DNN sử dụng toàn bộ đặc trưng gốc và mô hình DNN sau khi áp dụng PCA.

Nguồn dữ liệu sử dụng: Tập dữ liệu an ninh mạng IoT-23 (xuất bản tháng 01/2020) gồm lưu lượng mạng bình thường và 23 kịch bản tấn công trên các thiết bị IoT thực tế, được lưu trữ dưới dạng bản ghi kết nối mạng với các giao thức TCP, UDP, ICMP.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan về phát hiện bất thường trong mạng dựa trên trí tuệ nhân tạo

Chương 1 tập trung khảo sát tổng quan về cơ chế hoạt động, kiến trúc và phân loại các hệ thống phát hiện xâm nhập (IDS), đồng thời phân tích vai trò của trí tuệ nhân tạo trong an ninh mạng:

• Phân loại và so sánh công nghệ IDS: Phân tích chi tiết ba mô hình triển khai gồm NIDS, NNIDS và HIDS; chỉ ra sự khác biệt giữa hai nguyên lý phát hiện cốt lõi SIDS và AIDS. SIDS hoạt động dựa trên đối sánh mẫu đã biết, có độ chính xác cao đối với các cuộc tấn công cũ và tỷ lệ cảnh báo sai thấp, nhưng hoàn toàn mất tác dụng trước các cuộc tấn công zero-day hoặc biến thể đa hình. Ngược lại, AIDS thiết lập hồ sơ hành vi bình thường để cảnh báo các sai lệch, có khả năng phát hiện các cuộc tấn công mới và nội gián nhưng dễ gây ra tỷ lệ dương tính giả cao.

Tiêu chí so sánh	Hệ thống phát hiện dựa trên chữ ký (SIDS)	Hệ thống phát hiện dựa trên sự bất thường (AIDS)
Khả năng phát hiện	Hiệu quả cao với các cuộc tấn công đã biết trước	Có khả năng phát hiện các cuộc tấn công mới (zero-day)
Cảnh báo sai (FA)	Tối thiểu đối với các chữ ký đã được lưu trong cơ sở dữ liệu	Tỷ lệ cảnh báo dương tính giả (False Positive) cao
Cơ chế cập nhật	Bắt buộc cập nhật chữ ký mới liên tục	Tự học hành vi thông qua dữ liệu đào tạo ban đầu
Phát hiện nội gián	Hạn chế, không nhận biết được hành vi vượt quyền tinh vi	Phát hiện tốt khi tài khoản có hành vi lệch chuẩn
Xử lý gói mã hóa	Dựa trên so khớp chuỗi/máy trạng thái nên khó xử lý	Không thể xử lý sâu nội dung các gói tin bị mã hóa

• Nguồn dữ liệu của IDS: So sánh chi tiết hai nguồn dữ liệu chính cho hệ thống giám sát:

Loại công nghệ	Ưu điểm	Nhược điểm	Nguồn dữ liệu
HIDS (Dựa trên máy chủ)	Kiểm tra được hành vi truyền thông mã hóa end-to-end; không cần phần cứng mạng chuyên dụng; giám sát sâu các lệnh gọi hệ thống và tệp tin.	Gây chậm trễ báo cáo; tiêu thụ tài nguyên máy chủ; phải cài đặt trên từng máy; chỉ giám sát phạm vi cục bộ.	Bản ghi nhật ký hệ điều hành, API ứng dụng, mẫu quy tắc, tệp hệ thống, lệnh gọi hệ thống (system calls).
NIDS (Dựa trên mạng)	Giám sát toàn diện nhiều máy tính trong mạng; phát hiện sớm mối đe dọa bên ngoài trước khi lây lan; không cần cài đặt lên máy chủ.	Khó phân tích lưu lượng tốc độ cao; gặp thách thức lớn với lưu lượng mã hóa; cần phần cứng chuyên dụng; khó phát hiện nội gián tinh vi.	Giao thức quản lý mạng SNMP, gói tin mạng (TCP, UDP, ICMP), cơ sở thông tin quản lý (MIB), bản ghi NetFlow.

• Tổng quan các thuật toán Trí tuệ nhân tạo: Hệ thống hóa các thuật toán Học có giám sát (Cây quyết định, Rừng ngẫu nhiên, KNN, Naïve Bayes, SVM, Logic mờ, ANN) và Học không giám sát (Phân cụm K-Means, Phân tích luật kết hợp). Tác giả làm rõ nguyên lý hoạt động của mạng nơ-ron nhân tạo nhiều lớp (DNN) với thuật toán lan truyền ngược, chỉ ra rằng DNN có khả năng mô hình hóa các phi tuyến tính phức tạp trong dữ liệu mạng.
• Vấn đề tồn đọng: Dữ liệu lưu lượng mạng IoT thường có số chiều lớn, chứa nhiều thông tin nhiễu và thuộc tính dư thừa làm suy giảm tốc độ xử lý của mô hình DNN, đặt ra yêu cầu phải ứng dụng kỹ thuật giảm chiều dữ liệu PCA.

Chương 2: Xây dựng và phân tích chiến lược dựa trên DNN và PCA

Chương 2 trình bày chi tiết quy trình thiết kế hệ thống phát hiện bất thường kết hợp giữa kỹ thuật giảm chiều dữ liệu PCA và mô hình học sâu DNN:

• Chiến lược tổng thể: Quy trình gồm 4 giai đoạn chính: (1) Thu thập và tiền xử lý dữ liệu thô từ tập IoT-23; (2) Trích xuất và chọn lọc đặc trưng bằng phương pháp PCA; (3) Phân chia tập dữ liệu huấn luyện và kiểm thử; (4) Xây dựng, huấn luyện và đánh giá mô hình phân loại DNN.
• Tiền xử lý dữ liệu (Data Preprocessing):
  • Đọc dữ liệu từ các file nhật ký mạng conn.labeled và chuyển đổi sang định dạng phù hợp cho xử lý số liệu.
  • Gộp các tập dữ liệu thành phần và tiến hành gán nhãn cho các lớp lưu lượng (bình thường và các loại tấn công độc hại).
  • Xử lý các giá trị dữ liệu bị khuyết (Missing data) dựa trên phân loại bản chất khuyết: Khuyết hoàn toàn ngẫu nhiên (MCAR), Khuyết ngẫu nhiên (MAR) và Khuyết không ngẫu nhiên (MNAR).
  • Áp dụng các giải pháp kỹ thuật nhằm cân bằng mẫu (như kỹ thuật SMOTE) và chuẩn hóa dữ liệu số về cùng một thang đo.
• Cơ sở toán học của Phân tích thành phần chính (PCA):
  • Giả sử tập dữ liệu đầu vào gồm các vector $\mathbf{x} \in \mathbb{R}^D$, bước đầu tiên là tính vector kỳ vọng của dữ liệu: $\bar{\mathbf{x}} = \frac{1}{N}\sum_{i=1}^N \mathbf{x}_i$.
  • Tính toán ma trận hiệp phương sai $\mathbf{S}$: $$\mathbf{S} = \frac{1}{N}\sum_{i=1}^N (\mathbf{x}_i - \bar{\mathbf{x}})(\mathbf{x}_i - \bar{\mathbf{x}})^T$$
  • Giải phương trình trị riêng và vector riêng: $\mathbf{S}\mathbf{u} = \lambda\mathbf{u}$, trong đó $\mathbf{u}$ là vector riêng và $\lambda$ là trị riêng tương ứng.
  • Sắp xếp các trị riêng theo thứ tự giảm dần và chọn ra $k$ vector riêng tương ứng ($k < D$) để tạo thành ma trận biến đổi, giúp chiếu không gian dữ liệu ban đầu về không gian $k$ chiều có phương sai cực đại.
• Xây dựng kiến trúc Mạng nơ-ron sâu (DNN): Thiết lập mô hình mạng nơ-ron truyền thẳng gồm lớp đầu vào tiếp nhận các thành phần chính sau PCA, các lớp ẩn được kết nối đầy đủ (Fully Connected/Dense layers) có sử dụng hàm kích hoạt phi tuyến (như Sigmoid), và lớp đầu ra thực hiện dự đoán phân loại nhãn lưu lượng.

Chương 3: Triển khai mô hình thử nghiệm và đánh giá kết quả

Chương 3 tập trung vào việc cài đặt thực nghiệm mô hình, thiết lập môi trường đo lường và phân tích các kết quả định lượng:

• Thiết lập nghiên cứu: Dữ liệu sau khi xử lý được phân chia thành tập huấn luyện (Training set) và tập kiểm tra (Testing set). Mô hình DNN được cấu hình các siêu tham số huấn luyện cụ thể để đảm bảo quá trình tối ưu hóa trọng số hội tụ ổn định.
• Công cụ đánh giá mô hình: Sử dụng Ma trận nhầm lẫn (Confusion Matrix) để theo dõi các giá trị Dự đoán đúng - Tích cực (TP), Dự đoán đúng - Tiêu cực (TN), Dương tính giả (FP) và Âm tính giả (FN). Từ đó đánh giá khả năng nhận diện các cuộc tấn công mạng của hệ thống.
• Đánh giá hiệu năng trước và sau khi áp dụng PCA:
  • So sánh thời gian huấn luyện (Training time): Việc giảm số chiều dữ liệu bằng PCA giúp mô hình DNN rút ngắn đáng kể thời gian cần thiết để hoàn thành các vòng lặp huấn luyện so với khi giữ nguyên toàn bộ đặc trưng gốc.
  • So sánh thời gian kiểm tra (Testing time): Tốc độ phân loại và gán nhãn cho các mẫu lưu lượng kiểm thử mới tăng lên rõ rệt khi số lượng biến đầu vào được tinh gọn.
  • Tiêu hao tài nguyên tính toán: Giảm tải áp lực chiếm dụng bộ nhớ RAM và thời gian xử lý của CPU trong suốt quá trình huấn luyện và dự đoán.
  • Độ chính xác phân loại: Mô hình sau khi giảm chiều vẫn duy trì được hiệu quả nhận diện bất thường tương đương với mô hình ban đầu, chứng minh rằng các đặc trưng bị loại bỏ chủ yếu là đặc trưng dư thừa, ít mang thông tin phân loại.

---

Kết quả và đóng góp

Khóa luận đã thu được các kết quả cụ thể và mang lại những đóng góp học thuật - kỹ thuật sau:

• Kết quả thực nghiệm:
  • Chứng minh tính khả thi và hiệu quả của phương pháp PCA trong việc giảm số chiều đặc trưng của tập dữ liệu lưu lượng mạng IoT-23 mà không làm mất đi các thông tin bản chất.
  • Giảm thiểu đáng kể thời gian huấn luyện (Training time) và thời gian kiểm tra (Testing time) của mạng nơ-ron sâu DNN.
  • Tối ưu hóa việc sử dụng tài nguyên phần cứng, tiết kiệm đáng kể bộ nhớ và chu kỳ xử lý của CPU/GPU trong quá trình phân loại lưu lượng mạng.
  • Duy trì độ chính xác phát hiện bất thường ở mức cao, hạn chế tỷ lệ cảnh báo sai (False Alarm).
• Đóng góp của tác giả:
  • Khảo sát và ứng dụng thực nghiệm thành công mô hình học sâu DNN kết hợp PCA trên tập dữ liệu an ninh mạng IoT-23 (tập dữ liệu chuẩn mới xuất bản năm 2020).
  • Đề xuất một quy trình tiền xử lý, trích xuất đặc trưng và phân loại lưu lượng hoàn chỉnh, cung cấp giải pháp giảm tải tính toán cho các hệ thống giám sát an ninh mạng IoT vốn bị giới hạn về năng lực phần cứng.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung được trình bày trong đồ án, một số hạn chế và hướng phát triển được xác định:

• Hạn chế:
  • Mô hình mới chỉ được triển khai và đánh giá thực nghiệm trên tập dữ liệu ngoại tuyến (offline dataset - IoT-23) dưới dạng tệp nhật ký kết nối, chưa được tích hợp và kiểm thử trực tiếp trên luồng lưu lượng mạng thời gian thực (real-time stream).
  • Nghiên cứu bị giới hạn về thời gian và năng lực phần cứng thực nghiệm cá nhân, chưa mở rộng khảo sát trên toàn bộ các kịch bản tấn công phức tạp hoặc các dạng lưu lượng bị mã hóa toàn phần.
• Hướng nghiên cứu tiếp:
  • Triển khai thử nghiệm mô hình kết hợp PCA - DNN trên các thiết bị phần cứng nhúng thực tế và gateway mạng IoT.
  • Nghiên cứu kết hợp thêm các kỹ thuật lấy mẫu nâng cao (như SMOTE) để xử lý triệt để bài toán mất cân bằng dữ liệu đối với các cuộc tấn công tần số thấp (ví dụ như tấn công chiếm quyền User to Root - U2R).
  • Mở rộng thử nghiệm trên các kiến trúc học sâu chuyên sâu khác nhằm tối ưu hơn nữa khả năng phát hiện xâm nhập đa bước.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn đối với:

• Đối tượng tham khảo: Sinh viên, học viên cao học thuộc các chuyên ngành Kỹ thuật Điện tử - Viễn thông, Công nghệ Thông tin, An toàn Thông tin và Khoa học Dữ liệu đang nghiên cứu về an ninh mạng IoT hoặc ứng dụng AI trong an toàn thông tin.
• Nội dung đáng giá:
  • Tài liệu cung cấp bức tranh tổng quan, có hệ thống về phân loại IDS, phân tích chi tiết ưu nhược điểm của các mô hình HIDS/NIDS và SIDS/AIDS.
  • Quy trình tiền xử lý dữ liệu thực tế từ tệp nhật ký conn.labeled của bộ dữ liệu IoT-23.
  • Phương pháp luận toán học và các bước cài đặt giải thuật PCA để giảm chiều dữ liệu trong các bài toán an ninh mạng có số chiều lớn.

---

Câu hỏi thường gặp

1. Mục đích chính của việc áp dụng phương pháp PCA trước khi đưa dữ liệu vào mạng DNN trong đồ án là gì?
Mục đích chính là loại bỏ các đặc trưng dư thừa, không chứa thông tin hữu ích trong tập dữ liệu lưu lượng mạng IoT. Việc này giúp giảm đáng kể số lượng tài nguyên máy tính cần sử dụng (cả bộ nhớ RAM và thời gian CPU), rút ngắn thời gian huấn luyện và kiểm tra của mô hình DNN mà vẫn hạn chế tối đa việc mất mát thông tin phân loại.

2. Tập dữ liệu nào được sử dụng để thực nghiệm và tập dữ liệu này có điểm gì đặc biệt?
Tác giả sử dụng tập dữ liệu IoT-23, được xuất bản lần đầu tiên vào tháng 01/2020. Đây là bộ dữ liệu hiện đại ghi lại lưu lượng mạng thực tế gồm cả lưu lượng bình thường và các kịch bản tấn công mạng trên các thiết bị IoT, khắc phục sự lạc hậu của các bộ dữ liệu an ninh mạng truyền thống (như KDD'99).

3. Theo phân tích trong đồ án, điểm khác biệt then chốt giữa SIDS và AIDS là gì?
SIDS phát hiện xâm nhập dựa trên việc so khớp mẫu với cơ sở dữ liệu chữ ký đã biết, có độ chính xác cao và ít cảnh báo sai nhưng không thể phát hiện tấn công mới (zero-day). Ngược lại, AIDS xây dựng mô hình hành vi bình thường để cảnh báo mọi sự sai lệch, giúp nhận diện được các cuộc tấn công zero-day và tấn công nội gián, nhưng lại có tỷ lệ cảnh báo dương tính giả cao hơn.

4. Dữ liệu bất thường trong bài toán phát hiện xâm nhập mạng được chia thành những loại nào?
Theo đồ án (dẫn theo nghiên cứu của Chandola và cộng sự), bất thường được chia thành 3 loại: Điểm bất thường (Point anomaly - một điểm dữ liệu đơn lẻ khác biệt), Bất thường theo ngữ cảnh (Contextual anomaly - điểm dữ liệu bất thường trong một bối cảnh cụ thể) và Điểm bất thường tập thể (Collective anomaly - một tập hợp các điểm dữ liệu cùng tạo nên một mẫu bất thường).

5. Ma trận nhầm lẫn (Confusion Matrix) đóng vai trò gì trong việc đánh giá mô hình của đồ án?
Ma trận nhầm lẫn là công cụ đo lường thực nghiệm giúp xác định chi tiết số lượng các trường hợp dự đoán đúng và sai của hệ thống IDS (bao gồm TP, TN, FP, FN). Dựa vào ma trận này, tác giả định lượng được khả năng phân loại chính xác các cuộc tấn công và đánh giá tỷ lệ cảnh báo sai của mô hình trước và sau khi giảm chiều dữ liệu.

---

Kết luận

Đồ án tốt nghiệp "Sử dụng Deep Learning và phương pháp giảm chiều dữ liệu PCA cho xác định bất thường trong hệ thống IoT" của sinh viên Đinh Quang Huy đã giải quyết thành công bài toán tối ưu hóa tài nguyên trong phát hiện xâm nhập mạng IoT. Bằng việc kết hợp phương pháp Phân tích thành phần chính (PCA) với Mạng nơ-ron sâu (DNN) trên bộ dữ liệu chuẩn IoT-23, nghiên cứu đã chứng minh khả năng rút ngắn đáng kể thời gian huấn luyện và kiểm tra mô hình cũng như tiết kiệm tài nguyên tính toán của CPU/RAM. Kết quả nghiên cứu khẳng định tính đúng đắn của việc ứng dụng các kỹ thuật học máy và học sâu hiện đại nhằm nâng cao hiệu quả bảo mật cho các hệ thống mạng thế hệ mới.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG DỰA TRÊN TRÍ TUỆ NHÂN TẠO 1. Giới thiệu chung Hệ thống phát hiện xâm nhập trái phép phát hiện sự truy cập và khai thác hệ thống máy tính bất hợp pháp thông qua việc giám sát các hoạt động bất thường của người sử dụng, dựa trên việc thiết lập các luật (rules) hoặc sử dụng các lệnh dự đoán trực tuyến. Tuy nhiên, các biện pháp này tỏ ra không hiệu quả, khá tốn kém, độ tin cậy không cao và không có khả năng tự cập nhật để phát hiện xâm nhập mới. Việc ứng dụng mạng nơ-ron, một kỹ thuật học máy trong các hệ thống phát hiện xâm nhập là hướng tiếp cận đã khắc phục được các hạn chế trên và đang được quan tâm nghiên cứu.

Những năm gần đây vấn đề an ninh mạng đã trở nên cấp thiết và tác động lớn tới hiệu quả hoạt động của các mạng máy tính hiện đại. Một trong những biện pháp bảo đảm an toàn cho các hệ thống mạng là Hệ thống phát hiện xâm nhập trái phép (Intrustion Detector System - IDS). Tuy nhiên, các biện pháp này tỏ ra không hiệu quả khá tốn kém, độ tin cậy không cao và không có khả năng tự cập nhật để phát hiện xâm nhập mới. Một hướng tiếp cận khác đã khắc phục được các hạn chế trên và ngày càng thể hiện tính ưu việt là ứng dụng kỹ thuật học máy (Machine Learning) và kỹ thuật học sâu (Deep Learning), với nhiều phương pháp khác nhau.

Bài báo cáo này giới thiệu về ứng dụng mạng nơ-ron, một kỹ thuật học máy trong các hệ thống phát hiện xâm nhập. Vấn đề này đã đã được nghiên cứu, đề xuất từ những năm 1990 và gần đây có nhiều kết quả nghiên cứu được công bố trên toàn thế giới. Thông qua quá trình tìm hiểu và khảo sát, trong bài báo cáo này em muốn thử nghiện việc xác định bất thường trên tập dữ liệu mới được xuất bản lần đầu tiên vào tháng 1 năm 2020 là IoT-23 và sử dụng thuật toán học sâu cụ thể là DNN được chỉ ra khả năng phát hiện xâm nhập rất hiệu quả cho một hệ thống phát hiện xâm nhập mạng dựa trên sự bất thường. Hệ thống phát hiệm xâm nhập (IDS) Khi Internet và các mạng nội bộ càng ngày càng phổ biến, thách thức của các vấn đề xâm nhập mạng trái phép đã buộc các tổ chức phải bổ sung thêm hệ thống để kiểm tra các lỗ hổng về bảo mật CNTT.

Một trong những hệ thống được những người quan tâm đến bảo mật nhắc đến nhiều nhất là hệ thống phát hiện xâm nhập (IDS). Bài viết này chúng tôi sẽ giới thiệu cho các bạn về IDS, cụ thể là vấn đề tổng quan về một số loại tấn công có thể phát hiện, triệu chứng khi bị tấn công và nhiệm vụ của IDS, các kiến trúc khác nhau và những khái niệm trong lĩnh vực này. Khái niệm Hình 1. 1: Hệ thống phát hiện xâm nhập IDS IDS (Intrusion Detection Systems - Hệ thống phát hiện xâm nhập) là thiết bị hoặc phần mềm có nhiệm vụ giám sát traffic mạng, các hành vi đáng ngờ và cảnh báo cho admin hệ thống.

Mục đích của IDS là phát hiện và ngăn ngừa các hành động phá hoại bảo mật hệ thống, hoặc những hành động trong tiến trình tấn công như dò tìm, quét các cổng. IDS cũng có thể phân biệt giữa những cuộ tấn công nội bộ (từ chính nhân viên hoặc khách hàng trong tổ chức) và tấn công bên ngoài (từ hacker). Trong một số trường hợp, IDS có thể phản ứng lại với các traffic bất thường/độc hại bằng cách chặn người dùng hoặc địa chỉ IP nguồn truy cập mạng. Hệ thống luôn lắng nghe thông tin trên đường truyền nhằm phát hiện gói tin dựa vào các dấu hiệu trong nội dung gói tin, hoặc sự bất thường trong traffic của mạng.

Khi phát hiện hệ thống sẽ cảnh báo tới người quản trị hoặc ra hiệu cho hệ thống khác xử lý tiếp. Tuỳ vào mức độ IDS có thể tự động đưa ra các hành động đối với các xâm phạm trái phép. Phân loại hệ thống phát hiện xâm nhập [1] o NIDS (Network intrusion detection system): hệ thống phát hện xâm nhập mạng là hệ thống sẽ tập hợp gói tin để phân tích sâu bên trong mà không làm thay đổi cấu trúc gói tin. NIDS có thể là phần mềm triển khai trên server hoặc dạng thiết bị tích hợp appliance.

Nó so sánh dữ liệu trên mạng của bạn với các cuộc tấn công đã biết trên toàn bộ mạng con và gắn cờ bất kỳ lưu lượng đáng ngờ nào. 2: Hệ thống phát hiện xâm nhập mạng (NIDS) o NNIDS (Network node intrusion detection system): hệ thống phát hiện xâm nhập nút mạng hoạt động tương tự như NIDS, ngoại trừ ở cấp độ vi mô. Nó kiểm tra từng nút được kết nối với mạng để tìm các mối đe dọa và hoạt động độc hại. NNIDS là nhân viên bảo vệ kiểm tra túi xách của từng người bước vào sự kiện.

3: Hình ảnh hệ thống phát hiện xâm nhập nút mạng (NNIDS) o HIDS (Host intrusion detection system): hệ thống phát hiện xâm nhập host là hệ thống theo dõi các hoạt động bất thường trên các host riêng biệt. HIDS được cài đặt trực tiếp trên các máy (host) cần theo dõi. HIDS kiểm tra tất cả các nút và máy chủ của hệ thống để thu thập một bức tranh hoàn chỉnh hơn và sau đó chạy kiểm tra bảo mật cho hoạt động độc hại dựa trên toàn bộ bức tranh đó. Một số chuyên gia bảo mật cho rằng loại IDS này là hiệu quả nhất vì nó có thể phát hiện các mối đe dọa bắt nguồn từ bên trong mạng cũng như các mối đe dọa từ bên ngoài.

4: Hệ thống phát hiện xâm nhập host o Signature-Based [2]: Là các IDS hoạt động dựa trên chữ ký, giám sát các gói tin trên mạng và so sánh chúng với cơ sở dữ liệu chữ ký, thuộc tính từ những mối đe dọa đã biết, tương tự như cách phần mềm diệt virus hoạt động. Vấn đề đối với hệ thống IDS này là có thể không phát hiện ra mối đe dọa mới, khi chữ ký để nhận biết nó chưa được IDS kịp cập nhật. 5: Phương pháp luận được sử dụng trong IDS dựa trên chữ ký Signature-based/Profile-based/Misuse-based IDS bao gồm bốn thành phần như được mô tả trong Hình a. Bước đầu tiên liên quan đến việc thực hiện phát hiện xâm nhập bằng cách thu thập các gói mạng và sau đó phân tích chúng.

Thành phần thứ hai ngay lập tức thả các gói đó xuống và kiểm tra xem chúng có đáp ứng các quy tắc của bảng khối hay không. Các gói không có trình quản lý phần tử tự trị và có bộ điều phối tự trị cho các quy tắc đó sẽ được chuyển tiếp đến mô-đun phân cụm cảnh báo và nó tạo ra cảnh báo cho các gói đáng ngờ. Phần thứ ba chặn các gói đáng ngờ và gửi cảnh báo đến các IDS khác. Bước thứ tư tập hợp các cảnh báo và đưa ra các quyết định về gói tin.

o Anomaly-Based [3]: IDS này sẽ phát hiện mối đe dọa dựa trên sự bất thường. Nó giám sát traffic mạng và so sánh với baseline đã được thiết lập. Baseline sẽ xác định đâu là mức bình thường của mạng: loại băng thông thường được dùng, giao thức thường dùng, cổng và thiết bị thường kết nối với nhau, cảnh báo cho quản trị viên mạng hoặc người dùng khi phát hiện traffic truy cập bất thường hoặc những khác biệt đáng kể so với baseline. Hành vi mạng là thông số chính mà hệ thống phát hiện bất thường dựa vào.

Nếu hành vi mạng nằm trong hành vi được xác định trước, thì giao dịch mạng được chấp nhận hoặc nếu không, nó sẽ kích hoạt cảnh báo trong hệ thống phát hiện bất thường. Hiệu suất mạng được chấp nhận có thể được xác định trước hoặc thông báo trước thông qua các thông số kỹ thuật hoặc điều kiện do quản trị viên mạng xác định. Giai đoạn quan trọng của việc xác định hành vi là khả năng của công cụ hệ thống phát hiện đối với nhiều giao thức ở mỗi cấp. Công cụ IDS phải có khả năng hiểu được quy trình của các giao thức và mục tiêu của nó.

Mặc dù thực tế là phân tích nguyên mẫu rất tốn kém về mặt tính toán, nhưng những lợi ích như tăng bộ quy tắc hỗ trợ mức độ cảnh báo dương tính giả thấp hơn. Việc xác định các bộ quy tắc là một trong những hạn chế chính của phát hiện dựa trên sự bất thường. Hiệu quả của hệ thống phụ thuộc vào việc triển khai và kiểm tra hiệu quả các bộ quy tắc trên tất cả các giao thức. Ngoài ra, nhiều giao thức được sử dụng bởi các nhà cung cấp khác nhau ảnh hưởng đến quy tắc xác định quy trình.

Ngoài các giao thức đã nói ở trên, các giao thức tùy chỉnh cũng tăng thêm độ phức tạp cho quá trình xác định quy tắc. Để phát hiện chính xác, ban quản trị nên hiểu rõ về hành vi mạng có thể chấp nhận được. Tuy nhiên, với các quy tắc và giao thức kết hợp chặt chẽ, quy trình phát hiện bất thường có thể sẽ hoạt động hiệu quả hơn. Tuy nhiên, với các quy tắc và giao thức kết hợp chặt chẽ, quy trình phát hiện bất thường có thể sẽ hoạt động hiệu quả hơn.

Lợi ích chính của hệ thống phát hiện dựa trên sự bất thường là về phạm vi phát hiện các cuộc tấn công mới. Loại phương pháp tiếp cận phát hiện xâm nhập này cũng có thể khả thi, ngay cả khi thiếu các khớp mẫu chữ ký và cũng hoạt động trong điều kiện vượt quá các mẫu lưu lượng truy cập thông thường o Passive: IDS thụ động sẽ chỉ phát hiện và cảnh báo. Khi phát hiện traffic đáng ngờ hoặc độc hại, nó sẽ tạo cảnh báo và gửi đến quản trị viên hoặc người dùng. Việc hành động như nào sau đó tùy thuộc vào người dùng và quản trị viên.

o Reactive: Loại IDS này bên cạnh nhiệm vụ như IDS Passive, nó còn thực hiện những hành động được thiết lập sẵn để ngay lập tức phản ứng lại các mối đe dọa, ví như: chặn truy cập, khóa IP. Mỗi thành phần tham gia trong kiến trúc mạng đều có chức năng, điểm mạnh, điểm yếu khác nhau. Sử dụng, khai thác đúng mục đích sẽ đem lại hiệu quả cao. IDS là một trong những thành phần quan trọng trong các giải pháp bảo vệ hệ thống.

Khi triển khai có thể giúp hệ thống:  Theo dõi các hoạt động bất thường đối với hệ thống.  Xác định ai đang tác động đến hệ thống và cách thức như thế nào.  Các hoạt động xâm nhập xảy ra tại vị trí nào trong cấu trúc mạng.