Đề tài sử dụng deep learning và phương pháp giảm chiều dữ liệu pca cho xác định bất thường trong hệ thống iot

Tài liệu nghiên cứu Đề tài sử dụng deep learning và phương pháp giảm chiều dữ liệu pca cho xác định bất thường trong hệ, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Đinh Quang Huy
• Người hướng dẫn: TS. Hoàng Trọng Minh
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Sử Dụng Deep Learning và PCA Trong Phát Hiện Bất Thường Hệ Thống IoT
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG VÀ FIGURE
• THUẬT NGỮ VIẾT TẮT
• BẢNG KÍ HIỆU
• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG DỰA TRÊN TRÍ TUỆ NHÂN TẠO
• 1.1. Giới thiệu chung
• 1.2. Hệ thống phát hiệm xâm nhập (IDS)
• 1.3. Phân loại hệ thống phát hiện xâm nhập
• 1.4. Hệ thống phát hiện xâm nhập dựa trên chữ ký (SIDS)
• 1.5. Hệ thống phát hiện xâm nhập dựa trên sự bất thường (AIDS)
• 1.6. Nguồn dữ liệu sử dụng cho hệ thống phát hiện xâm nhập
• 1.7. Ưu và nhược điểm của hệ thống phát hiện xâm nhập IDS
• 1.8. Vấn đề trong hệ thống phát hiện xâm nhập
• 1.9. AI trong hệ thống phát hiện xâm nhập
• 1.10. Bộ dữ liệu phát hiện xâm nhập
• 2. CHƯƠNG 2: XÂY DỰNG VÀ PHÂN TÍCH CHIẾN LƯỢC DỰA TRÊN DNN VÀ PCA
• 2.1. Chiến lược áp dụng
• 2.2. Tiền xử lý dữ liệu (preprocessing data)
• 2.3. Phân tích thành phần chính (PCA)
• 2.4. Xây dựng mô hình thuật toán
• 3. CHƯƠNG 3: TRIỂN KHAI MÔ HÌNH THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Tổng quan về đánh giá mô hình
• 3.2. Thiết lập nghiên cứu và đánh giá
• 3.3. Kết luận chung và phân tích kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Sử Dụng Deep Learning Trong Phát Hiện Bất Thường

Phát hiện bất thường trong hệ thống IoT là một thách thức lớn trong lĩnh vực an ninh mạng. Sự gia tăng kết nối giữa các thiết bị thông minh đã tạo ra một lượng dữ liệu khổng lồ, đòi hỏi các phương pháp phân tích hiệu quả. Deep Learning đã trở thành một công cụ mạnh mẽ trong việc phát hiện các hành vi bất thường, nhờ khả năng học hỏi từ dữ liệu lớn và phát hiện các mẫu phức tạp mà các phương pháp truyền thống không thể nhận diện.

1.1. Khái Niệm Về Deep Learning Trong An Ninh Mạng

Deep Learning là một nhánh của Machine Learning, sử dụng các Mạng Nơ-ron để phân tích và học từ dữ liệu. Trong bối cảnh an ninh mạng, nó giúp phát hiện các cuộc tấn công và hành vi bất thường bằng cách phân tích lưu lượng mạng và nhận diện các mẫu không bình thường.

1.2. Lợi Ích Của Deep Learning Trong Phát Hiện Bất Thường

Việc áp dụng Deep Learning trong phát hiện bất thường mang lại nhiều lợi ích, bao gồm khả năng tự động hóa quy trình phát hiện, giảm thiểu tỷ lệ cảnh báo sai và cải thiện độ chính xác trong việc nhận diện các mối đe dọa tiềm ẩn.

II. Thách Thức Trong Phát Hiện Bất Thường Hệ Thống IoT

Hệ thống IoT đang phải đối mặt với nhiều thách thức trong việc phát hiện bất thường. Sự đa dạng của các thiết bị và giao thức kết nối tạo ra một môi trường phức tạp, làm cho việc phát hiện các hành vi bất thường trở nên khó khăn hơn. Các vấn đề như dữ liệu không đồng nhất và thiếu hụt thông tin cũng gây khó khăn cho các mô hình phân tích.

2.1. Đặc Điểm Dữ Liệu Trong Hệ Thống IoT

Dữ liệu trong hệ thống IoT thường không đồng nhất và có thể chứa nhiều loại thông tin khác nhau. Điều này làm cho việc phân tích và phát hiện bất thường trở nên phức tạp hơn, yêu cầu các phương pháp xử lý dữ liệu tiên tiến.

2.2. Tỷ Lệ Cảnh Báo Sai Trong Phát Hiện Bất Thường

Tỷ lệ cảnh báo sai cao là một trong những thách thức lớn nhất trong phát hiện bất thường. Điều này không chỉ gây lãng phí tài nguyên mà còn làm giảm độ tin cậy của hệ thống an ninh mạng.

III. Phương Pháp Sử Dụng PCA Trong Phát Hiện Bất Thường

Phân tích thành phần chính (PCA) là một kỹ thuật hữu ích trong việc giảm chiều dữ liệu, giúp cải thiện hiệu suất của các mô hình Deep Learning. Bằng cách loại bỏ các đặc trưng không cần thiết, PCA giúp tăng tốc độ xử lý và giảm thiểu tài nguyên máy tính cần thiết cho việc phát hiện bất thường.

3.1. Nguyên Tắc Hoạt Động Của PCA

PCA hoạt động bằng cách xác định các thành phần chính trong dữ liệu, từ đó giảm số lượng biến mà vẫn giữ lại được thông tin quan trọng. Điều này giúp cải thiện hiệu suất của các mô hình học máy trong việc phát hiện bất thường.

3.2. Lợi Ích Của PCA Trong Phát Hiện Bất Thường

Việc áp dụng PCA giúp giảm thiểu độ phức tạp của dữ liệu, từ đó tăng tốc độ huấn luyện mô hình và cải thiện độ chính xác trong việc phát hiện các hành vi bất thường trong hệ thống IoT.

IV. Ứng Dụng Thực Tiễn Của Deep Learning Và PCA

Việc kết hợp Deep Learning và PCA đã cho thấy hiệu quả rõ rệt trong nhiều ứng dụng thực tiễn. Các nghiên cứu đã chỉ ra rằng sự kết hợp này không chỉ giúp phát hiện bất thường mà còn cải thiện khả năng phản ứng của hệ thống an ninh mạng.

4.1. Các Nghiên Cứu Điển Hình

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng Deep Learning kết hợp với PCA có thể cải thiện đáng kể độ chính xác trong việc phát hiện các cuộc tấn công mạng, đặc biệt là trong các hệ thống IoT.

4.2. Kết Quả Thực Tế Từ Các Dự Án

Các dự án thực tế đã chứng minh rằng việc sử dụng Deep Learning và PCA không chỉ giúp phát hiện bất thường hiệu quả mà còn giảm thiểu thời gian xử lý và tài nguyên máy tính cần thiết.

V. Kết Luận Về Tương Lai Của Phát Hiện Bất Thường Trong IoT

Tương lai của phát hiện bất thường trong hệ thống IoT sẽ tiếp tục được cải thiện nhờ vào sự phát triển của công nghệ Deep Learning và các phương pháp phân tích dữ liệu tiên tiến như PCA. Sự kết hợp này hứa hẹn sẽ mang lại những giải pháp an ninh mạng hiệu quả hơn trong bối cảnh ngày càng phức tạp của các mối đe dọa mạng.

5.1. Xu Hướng Phát Triển Công Nghệ

Công nghệ Deep Learning và PCA sẽ tiếp tục phát triển, mở ra nhiều cơ hội mới trong việc phát hiện và ngăn chặn các cuộc tấn công mạng trong hệ thống IoT.

5.2. Tầm Quan Trọng Của An Ninh Mạng Trong Tương Lai

An ninh mạng sẽ trở thành một yếu tố quan trọng trong sự phát triển của công nghệ IoT, yêu cầu các giải pháp phát hiện bất thường ngày càng hiệu quả và thông minh hơn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG DỰA TRÊN TRÍ TUỆ NHÂN TẠO 1. Giới thiệu chung Hệ thống phát hiện xâm nhập trái phép phát hiện sự truy cập và khai thác hệ thống máy tính bất hợp pháp thông qua việc giám sát các hoạt động bất thường của người sử dụng, dựa trên việc thiết lập các luật (rules) hoặc sử dụng các lệnh dự đoán trực tuyến. Tuy nhiên, các biện pháp này tỏ ra không hiệu quả, khá tốn kém, độ tin cậy không cao và không có khả năng tự cập nhật để phát hiện xâm nhập mới. Việc ứng dụng mạng nơ-ron, một kỹ thuật học máy trong các hệ thống phát hiện xâm nhập là hướng tiếp cận đã khắc phục được các hạn chế trên và đang được quan tâm nghiên cứu.

Những năm gần đây vấn đề an ninh mạng đã trở nên cấp thiết và tác động lớn tới hiệu quả hoạt động của các mạng máy tính hiện đại. Một trong những biện pháp bảo đảm an toàn cho các hệ thống mạng là Hệ thống phát hiện xâm nhập trái phép (Intrustion Detector System - IDS). Tuy nhiên, các biện pháp này tỏ ra không hiệu quả khá tốn kém, độ tin cậy không cao và không có khả năng tự cập nhật để phát hiện xâm nhập mới. Một hướng tiếp cận khác đã khắc phục được các hạn chế trên và ngày càng thể hiện tính ưu việt là ứng dụng kỹ thuật học máy (Machine Learning) và kỹ thuật học sâu (Deep Learning), với nhiều phương pháp khác nhau.

Bài báo cáo này giới thiệu về ứng dụng mạng nơ-ron, một kỹ thuật học máy trong các hệ thống phát hiện xâm nhập. Vấn đề này đã đã được nghiên cứu, đề xuất từ những năm 1990 và gần đây có nhiều kết quả nghiên cứu được công bố trên toàn thế giới. Thông qua quá trình tìm hiểu và khảo sát, trong bài báo cáo này em muốn thử nghiện việc xác định bất thường trên tập dữ liệu mới được xuất bản lần đầu tiên vào tháng 1 năm 2020 là IoT-23 và sử dụng thuật toán học sâu cụ thể là DNN được chỉ ra khả năng phát hiện xâm nhập rất hiệu quả cho một hệ thống phát hiện xâm nhập mạng dựa trên sự bất thường. Hệ thống phát hiệm xâm nhập (IDS) Khi Internet và các mạng nội bộ càng ngày càng phổ biến, thách thức của các vấn đề xâm nhập mạng trái phép đã buộc các tổ chức phải bổ sung thêm hệ thống để kiểm tra các lỗ hổng về bảo mật CNTT.

Một trong những hệ thống được những người quan tâm đến bảo mật nhắc đến nhiều nhất là hệ thống phát hiện xâm nhập (IDS). Bài viết này chúng tôi sẽ giới thiệu cho các bạn về IDS, cụ thể là vấn đề tổng quan về một số loại tấn công có thể phát hiện, triệu chứng khi bị tấn công và nhiệm vụ của IDS, các kiến trúc khác nhau và những khái niệm trong lĩnh vực này. Khái niệm Hình 1. 1: Hệ thống phát hiện xâm nhập IDS IDS (Intrusion Detection Systems - Hệ thống phát hiện xâm nhập) là thiết bị hoặc phần mềm có nhiệm vụ giám sát traffic mạng, các hành vi đáng ngờ và cảnh báo cho admin hệ thống.

Mục đích của IDS là phát hiện và ngăn ngừa các hành động phá hoại bảo mật hệ thống, hoặc những hành động trong tiến trình tấn công như dò tìm, quét các cổng. IDS cũng có thể phân biệt giữa những cuộ tấn công nội bộ (từ chính nhân viên hoặc khách hàng trong tổ chức) và tấn công bên ngoài (từ hacker). Trong một số trường hợp, IDS có thể phản ứng lại với các traffic bất thường/độc hại bằng cách chặn người dùng hoặc địa chỉ IP nguồn truy cập mạng. Hệ thống luôn lắng nghe thông tin trên đường truyền nhằm phát hiện gói tin dựa vào các dấu hiệu trong nội dung gói tin, hoặc sự bất thường trong traffic của mạng.

Khi phát hiện hệ thống sẽ cảnh báo tới người quản trị hoặc ra hiệu cho hệ thống khác xử lý tiếp. Tuỳ vào mức độ IDS có thể tự động đưa ra các hành động đối với các xâm phạm trái phép. Phân loại hệ thống phát hiện xâm nhập [1] o NIDS (Network intrusion detection system): hệ thống phát hện xâm nhập mạng là hệ thống sẽ tập hợp gói tin để phân tích sâu bên trong mà không làm thay đổi cấu trúc gói tin. NIDS có thể là phần mềm triển khai trên server hoặc dạng thiết bị tích hợp appliance.

Nó so sánh dữ liệu trên mạng của bạn với các cuộc tấn công đã biết trên toàn bộ mạng con và gắn cờ bất kỳ lưu lượng đáng ngờ nào. 2: Hệ thống phát hiện xâm nhập mạng (NIDS) o NNIDS (Network node intrusion detection system): hệ thống phát hiện xâm nhập nút mạng hoạt động tương tự như NIDS, ngoại trừ ở cấp độ vi mô. Nó kiểm tra từng nút được kết nối với mạng để tìm các mối đe dọa và hoạt động độc hại. NNIDS là nhân viên bảo vệ kiểm tra túi xách của từng người bước vào sự kiện.

3: Hình ảnh hệ thống phát hiện xâm nhập nút mạng (NNIDS) o HIDS (Host intrusion detection system): hệ thống phát hiện xâm nhập host là hệ thống theo dõi các hoạt động bất thường trên các host riêng biệt. HIDS được cài đặt trực tiếp trên các máy (host) cần theo dõi. HIDS kiểm tra tất cả các nút và máy chủ của hệ thống để thu thập một bức tranh hoàn chỉnh hơn và sau đó chạy kiểm tra bảo mật cho hoạt động độc hại dựa trên toàn bộ bức tranh đó. Một số chuyên gia bảo mật cho rằng loại IDS này là hiệu quả nhất vì nó có thể phát hiện các mối đe dọa bắt nguồn từ bên trong mạng cũng như các mối đe dọa từ bên ngoài.

4: Hệ thống phát hiện xâm nhập host o Signature-Based [2]: Là các IDS hoạt động dựa trên chữ ký, giám sát các gói tin trên mạng và so sánh chúng với cơ sở dữ liệu chữ ký, thuộc tính từ những mối đe dọa đã biết, tương tự như cách phần mềm diệt virus hoạt động. Vấn đề đối với hệ thống IDS này là có thể không phát hiện ra mối đe dọa mới, khi chữ ký để nhận biết nó chưa được IDS kịp cập nhật. 5: Phương pháp luận được sử dụng trong IDS dựa trên chữ ký Signature-based/Profile-based/Misuse-based IDS bao gồm bốn thành phần như được mô tả trong Hình a. Bước đầu tiên liên quan đến việc thực hiện phát hiện xâm nhập bằng cách thu thập các gói mạng và sau đó phân tích chúng.

Thành phần thứ hai ngay lập tức thả các gói đó xuống và kiểm tra xem chúng có đáp ứng các quy tắc của bảng khối hay không. Các gói không có trình quản lý phần tử tự trị và có bộ điều phối tự trị cho các quy tắc đó sẽ được chuyển tiếp đến mô-đun phân cụm cảnh báo và nó tạo ra cảnh báo cho các gói đáng ngờ. Phần thứ ba chặn các gói đáng ngờ và gửi cảnh báo đến các IDS khác. Bước thứ tư tập hợp các cảnh báo và đưa ra các quyết định về gói tin.

o Anomaly-Based [3]: IDS này sẽ phát hiện mối đe dọa dựa trên sự bất thường. Nó giám sát traffic mạng và so sánh với baseline đã được thiết lập. Baseline sẽ xác định đâu là mức bình thường của mạng: loại băng thông thường được dùng, giao thức thường dùng, cổng và thiết bị thường kết nối với nhau, cảnh báo cho quản trị viên mạng hoặc người dùng khi phát hiện traffic truy cập bất thường hoặc những khác biệt đáng kể so với baseline. Hành vi mạng là thông số chính mà hệ thống phát hiện bất thường dựa vào.

Nếu hành vi mạng nằm trong hành vi được xác định trước, thì giao dịch mạng được chấp nhận hoặc nếu không, nó sẽ kích hoạt cảnh báo trong hệ thống phát hiện bất thường. Hiệu suất mạng được chấp nhận có thể được xác định trước hoặc thông báo trước thông qua các thông số kỹ thuật hoặc điều kiện do quản trị viên mạng xác định. Giai đoạn quan trọng của việc xác định hành vi là khả năng của công cụ hệ thống phát hiện đối với nhiều giao thức ở mỗi cấp. Công cụ IDS phải có khả năng hiểu được quy trình của các giao thức và mục tiêu của nó.

Mặc dù thực tế là phân tích nguyên mẫu rất tốn kém về mặt tính toán, nhưng những lợi ích như tăng bộ quy tắc hỗ trợ mức độ cảnh báo dương tính giả thấp hơn. Việc xác định các bộ quy tắc là một trong những hạn chế chính của phát hiện dựa trên sự bất thường. Hiệu quả của hệ thống phụ thuộc vào việc triển khai và kiểm tra hiệu quả các bộ quy tắc trên tất cả các giao thức. Ngoài ra, nhiều giao thức được sử dụng bởi các nhà cung cấp khác nhau ảnh hưởng đến quy tắc xác định quy trình.

Ngoài các giao thức đã nói ở trên, các giao thức tùy chỉnh cũng tăng thêm độ phức tạp cho quá trình xác định quy tắc. Để phát hiện chính xác, ban quản trị nên hiểu rõ về hành vi mạng có thể chấp nhận được. Tuy nhiên, với các quy tắc và giao thức kết hợp chặt chẽ, quy trình phát hiện bất thường có thể sẽ hoạt động hiệu quả hơn. Tuy nhiên, với các quy tắc và giao thức kết hợp chặt chẽ, quy trình phát hiện bất thường có thể sẽ hoạt động hiệu quả hơn.

Lợi ích chính của hệ thống phát hiện dựa trên sự bất thường là về phạm vi phát hiện các cuộc tấn công mới. Loại phương pháp tiếp cận phát hiện xâm nhập này cũng có thể khả thi, ngay cả khi thiếu các khớp mẫu chữ ký và cũng hoạt động trong điều kiện vượt quá các mẫu lưu lượng truy cập thông thường o Passive: IDS thụ động sẽ chỉ phát hiện và cảnh báo. Khi phát hiện traffic đáng ngờ hoặc độc hại, nó sẽ tạo cảnh báo và gửi đến quản trị viên hoặc người dùng. Việc hành động như nào sau đó tùy thuộc vào người dùng và quản trị viên.

o Reactive: Loại IDS này bên cạnh nhiệm vụ như IDS Passive, nó còn thực hiện những hành động được thiết lập sẵn để ngay lập tức phản ứng lại các mối đe dọa, ví như: chặn truy cập, khóa IP. Mỗi thành phần tham gia trong kiến trúc mạng đều có chức năng, điểm mạnh, điểm yếu khác nhau. Sử dụng, khai thác đúng mục đích sẽ đem lại hiệu quả cao. IDS là một trong những thành phần quan trọng trong các giải pháp bảo vệ hệ thống.

Khi triển khai có thể giúp hệ thống:  Theo dõi các hoạt động bất thường đối với hệ thống.  Xác định ai đang tác động đến hệ thống và cách thức như thế nào.  Các hoạt động xâm nhập xảy ra tại vị trí nào trong cấu trúc mạng.