Luận án tiến sĩ kỹ thuật phát triển một số mô hình phát hiện bất thường mạng dựa trên học sâu và tổng hợp dữ liệu

Luận án tiến sĩ kỹ thuật phân tích kỹ thuật phát triển một số mô hình phát hiện bất thường mạng dựa trên học sâu và tổng hợp dữ liệu, xây dựng cơ sở lý luận, kiểm chứng thực

• Tác giả: Bùi Công Thành
• Người hướng dẫn: PGS. Hoàng Minh
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phát triển một số mô hình phát hiện bất thường mạng dựa trên học sâu và tổng hợp dữ liệu
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• TÓM TẮT
• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH VẼ
• 1. PHẦN MỞ ĐẦU
• 1.1. Tính cấp thiết của luận án
• 1.2. Phát biểu bài toán
• 1.3. Mục tiêu của luận án
• 1.4. Đối tượng và Phạm vi luận án
• 1.5. Phương pháp nghiên cứu
• 1.6. Đóng góp của luận án
• 1.7. Bố cục luận án
• 2. TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG MẠNG
• 2.1. Hệ thống phát hiện bất thường mạng
• 2.2. Mô hình phát hiện bất thường mạng
• 2.3. Đầu ra của mô hình NAD
• 2.4. Một số phương pháp đơn cho phát hiện bất thường mạng
• 2.4.1. Một số phương pháp OCC truyền thống
• 2.4.2. Phương pháp OCC học sâu
• 2.4.3. Phát hiện bất thường dựa trên tổng hợp, kết hợp
• 2.4.3.1. Tổng hợp theo lai ghép
• 2.4.3.2. Tổng hợp theo học cộng đồng
• 2.4.3.3. Tổng hợp dữ liệu
• 2.4.3.4. Tổng hợp dữ liệu dựa trên lý thuyết Dempster-Shafer
• 2.5. Đánh giá giải pháp
• 2.5.1. Bộ dữ liệu cho kiểm thử
• 2.5.2. Các chỉ số đánh giá
• 3. PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN HỌC SÂU AUTOENCODER
• 3.1. Giải pháp đề xuất
• 3.1.1. Giải pháp Clustering-Shrink AutoEncoder
• 3.1.2. Giải pháp Double-shrink AutoEncoder
• 3.2. Dữ liệu thực nghiệm
• 3.3. Phương pháp xác định số cụm tối ưu
• 3.4. Thiết lập tham số thực nghiệm
• 3.5. Kết quả và đánh giá
• 4. PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN TỔNG HỢP DỮ LIỆU
• 4.1. Giải pháp đề xuất
• 4.1.1. Các thành phần của phương pháp OFuseAD
• 4.1.2. Cơ chế hoạt động của OFuseAD
• 4.2. Dữ liệu thực nghiệm
• 4.3. Thiết lập tham số thực nghiệm
• 4.4. Kết quả và đánh giá
• 5. Một số kết quả chính của luận án
• 6. Một số giới hạn của luận án
• 7. Hướng nghiên cứu trong tương lai
• CÁC CÔNG TRÌNH LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu và tính cấp thiết của luận án

Luận án tập trung vào phát hiện bất thường mạng (Network Anomaly Detection - NAD) dựa trên học sâu (deep learning) và tổng hợp dữ liệu (data synthesis). Sự phát triển nhanh chóng của mạng máy tính và IoT đã dẫn đến sự gia tăng các cuộc tấn công mạng, đặt ra thách thức lớn cho bảo mật mạng. NAD là lĩnh vực nghiên cứu nhằm tìm ra các giải pháp hiệu quả để phân biệt giữa trạng thái bình thường và bất thường của mạng. Học máy (machine learning) và học sâu được xem là các phương pháp chính để xây dựng các thuật toán phát hiện bất thường. Các mô hình phát hiện bất thường dựa trên phân đơn lớp (One-class Classification - OCC) đã cho thấy hiệu quả cao trong việc phát hiện các bất thường mạng.

1.1. Thách thức trong phát hiện bất thường mạng

Một trong những thách thức lớn nhất trong NAD là việc thiếu dữ liệu tấn công để huấn luyện mô hình. Các tấn công mạng thường không được công bố đầy đủ do các tổ chức muốn giữ bí mật nội bộ. Hơn nữa, việc gán nhãn cho một lượng lớn dữ liệu bất thường là công việc tốn nhiều thời gian và công sức. Do đó, các phương pháp OCC được khuyến nghị sử dụng chỉ dữ liệu bình thường để huấn luyện mô hình, giúp phát hiện các tấn công mới chưa từng xuất hiện.

1.2. Vai trò của học sâu trong phát hiện bất thường

Học sâu đã mang lại nhiều thành tựu trong các lĩnh vực khác nhau, bao gồm phát hiện bất thường mạng. Các kiến trúc như AutoEncoders (AE) và Shrink AutoEncoder (SAE) được công nhận là các phương pháp tiên tiến, có khả năng giải quyết các vấn đề phức tạp trong NAD. Tuy nhiên, các phương pháp này cần được cải tiến liên tục để đáp ứng các nguy cơ an ninh mạng ngày càng tăng.

II. Phương pháp học sâu trong phát hiện bất thường mạng

Luận án đề xuất các giải pháp cải tiến dựa trên học sâu để nâng cao hiệu quả của NAD. Các phương pháp như Clustering-Shrink AutoEncoder (KSAE) và Double-shrink AutoEncoder (DSAE) được phát triển để giải quyết các hạn chế của các mô hình AE truyền thống. Các giải pháp này cho phép xây dựng các mô hình NAD hiệu quả hơn trong điều kiện dữ liệu có tính phân cụm cao và phát hiện các nhóm tấn công mà các mô hình AE truyền thống gặp khó khăn.

2.1. Giải pháp Clustering Shrink AutoEncoder KSAE

KSAE là một giải pháp kết hợp giữa phân cụm và SAE, giúp cải thiện hiệu quả phát hiện bất thường trong các tập dữ liệu có tính phân cụm cao. Phương pháp này cho phép mô hình NAD hoạt động hiệu quả hơn trong việc phân biệt các cụm dữ liệu bình thường và bất thường.

2.2. Giải pháp Double shrink AutoEncoder DSAE

DSAE là một mô hình cải tiến từ SAE, giúp phát hiện hiệu quả hơn các nhóm tấn công mà SAE truyền thống gặp khó khăn. Kết quả thử nghiệm cho thấy DSAE đạt hiệu quả cao hơn so với SAE trong việc phát hiện các nhóm tấn công như R2L và U2R.

III. Tổng hợp dữ liệu trong phát hiện bất thường mạng

Luận án đề xuất mô hình OFuseAD, một mô hình khung tổng hợp dữ liệu dựa trên lý thuyết Dempster-Shafer, giúp giải quyết các thách thức trong việc kết hợp các phương pháp OCC. OFuseAD cho phép xác định ngưỡng quyết định và trọng số cho các phương pháp OCC tham gia mô hình tổng hợp mà không cần sự can thiệp của chuyên gia. Kết quả thử nghiệm trên mười tập dữ liệu phổ biến trong lĩnh vực an ninh mạng cho thấy OFuseAD hoạt động hiệu quả và ổn định hơn so với các phương pháp OCC đơn lẻ.

3.1. Cơ chế hoạt động của OFuseAD

OFuseAD sử dụng lý thuyết Dempster-Shafer để kết hợp các phương pháp OCC, giúp xác định ngưỡng quyết định và trọng số một cách tự động. Mô hình này cho phép phát hiện bất thường hiệu quả mà không cần sự can thiệp của chuyên gia, giúp giảm thiểu thời gian và chi phí triển khai.

3.2. Kết quả thử nghiệm và đánh giá

Kết quả thử nghiệm trên mười tập dữ liệu phổ biến cho thấy OFuseAD đạt hiệu quả cao hơn so với các phương pháp OCC đơn lẻ trong việc phát hiện bất thường. Mô hình này cũng cho thấy tính ổn định cao trong các điều kiện dữ liệu khác nhau, đặc biệt là trong việc phát hiện các tấn công mới.

IV. Kết luận và hướng nghiên cứu tương lai

Luận án đã đề xuất các giải pháp cải tiến dựa trên học sâu và tổng hợp dữ liệu để nâng cao hiệu quả của phát hiện bất thường mạng. Các mô hình như KSAE, DSAE và OFuseAD đã cho thấy hiệu quả cao trong việc phát hiện các bất thường mạng, đặc biệt là các tấn công mới. Tuy nhiên, vẫn còn một số hạn chế cần được giải quyết trong tương lai, bao gồm việc cải thiện hiệu suất của các mô hình trong điều kiện dữ liệu phức tạp và mở rộng ứng dụng của các mô hình này trong các hệ thống mạng thực tế.

4.1. Hạn chế của luận án

Một số hạn chế của luận án bao gồm việc các mô hình đề xuất vẫn cần được cải thiện để hoạt động hiệu quả hơn trong các điều kiện dữ liệu phức tạp. Hơn nữa, việc triển khai các mô hình này trong các hệ thống mạng thực tế vẫn cần được nghiên cứu thêm.

4.2. Hướng nghiên cứu tương lai

Hướng nghiên cứu tương lai bao gồm việc cải thiện hiệu suất của các mô hình NAD trong điều kiện dữ liệu phức tạp, cũng như mở rộng ứng dụng của các mô hình này trong các hệ thống mạng thực tế. Ngoài ra, việc kết hợp các phương pháp học sâu với các kỹ thuật tổng hợp dữ liệu khác cũng là một hướng nghiên cứu tiềm năng.

Trích đoạn nội dung tài liệu

PHẦN MỞ ĐẦU 1. Giới thiệu Cùng với sự phát triển nhanh chóng của hạ tầng, dịch vụ mạng máy tính và IoT (sau đây gọi tắt là mạng) đó là sự tăng nhanh của các loại hình tấn công mạng. Theo báo cáo thường niên có uy tín hàng đầu về mối đe doạ an ninh mạng trên toàn Thế giới năm 2018 và 2019 (có tên Internet Security Threat Report 1 , viết tắt là ISTR). Số lượng mối đe doạ tấn công mạng tiếp tục tăng bùng nổ; khoảng 1/10 (một trong mười) các tên miền (URL) trên Internet là độc hại, số lượng tấn công Web tăng 56% trong năm 2018, số lượng thư rác (Spam) tăng khoảng 50% trong 4 năm liên tiếp từ 2015 đến 2018.

Các loại tấn công mới như Supply-Chain (một kiểu tội phạm mạng) tăng vọt 78%, mã độc PowerShell-Script tăng 1000%. Các loại tấn công này sử dụng kỹ thuật LolL (Living-off-the-land), kỹ thuật này cho phép các mã độc ẩn bên trong các gói tin nên khó bị phát hiện bởi các bộ dò tìm truyền thống. Số liệu cũng thể hiện các tấn công chủ yếu xuất phát từ một động lực rõ ràng (≈ 85%), mục tiêu tập trung vào thu thập dữ liệu tình báo (≈ 90%) [27]. Việc tìm giải pháp cho phát hiện và ngăn chặn các tấn công mạng đã thu hút sự quan tâm của rất nhiều nhà nghiên cứu trong nhiều thập kỷ qua.

Điển hình trong lĩnh vực này là nghiên cứu hệ thống phát hiện xâm nhập mạng (Network Intrusion Detection Systems -NIDS). Các hệ thống NIDS được xem là lớp bảo vệ thứ hai sau tường lửa quy ước để phát hiện ra các xâm nhập, các mã độc và các hành vi xâm hại hệ thống mạng thông qua quan sát đặc tính lưu lượng 1 https://www.com/support/security-center/publications/threat-report, đây là báo cáo phân tích dữ liệu từ hệ thống giám sát an ninh mạng toàn cầu, được biết như là tổ chức dân sự lớn nhất thế giới về lĩnh vực tình báo mạng. Hệ thống thu thập từ 123 triệu bộ thu thập tấn công mạng, hàng ngày vô hiệu hoá khoảng 142 triệu mối đe doạ mạng. Hệ thống đang giám sát các hành vi đe doạ mạng trên 157 quốc gia.

NIDS thường được triển khai trên mạng để phát hiện các tấn công mạng từ các hướng (từ ngoài, từ trong mạng nội bộ) như Hình 1. Các Hệ thống NIDS 2. Thu thập, phát hiện tấn công Attacker Internet Switch Router 1. Tạo một tấn công từ nội bộ Tường lửa Vượt tường lửa (pass) Chặn (drop) Nạn nhân(Victim) Tạo một tấn công từ ngoài vào Kẻ tấn công (Attacker) Hình 1: Vị trí triển khai NIDS NIDS được chia thành hai loại: phát hiện dựa trên dấu hiệu (misuse-based hay signature-based) và phát hiện dựa trên sự bất thường (anomaly-based) [1], [2], [57], [82].

Việc phân nhóm căn cứ vào cách tiếp cận phát hiện xâm nhập. Các NIDS dựa trên dấu hiệu cho khả năng phát hiện chính xác các tấn công đã biết trước, trong khi đó chỉ có NIDS dựa trên hành vi bất thường mới có thể phát hiện được các tấn công mạng mới [45], [65], [116], nghiên cứu các phương pháp phát hiện bất thường (Anomaly Detection - AD) trong lĩnh vực an ninh mạng được biết đến với thuật ngữ là Network Anomaly Detection (NAD). Một hệ thống phát hiện xâm nhập hiệu quả thường được tạo thành từ giải pháp phát hiện dựa trên dấu hiệu và nối tiếp sau bởi giải pháp NAD [116] như Hình 2. Bản chất nghiên cứu về NAD là nghiên cứu về bộ máy phát hiện (Detection Engine).

Mô hình hoá hoạt động của bộ máy phát hiện bất thường để tìm kiếm giải pháp hiệu quả hơn trong phân tách các mẫu dữ liệu bình thường và bất thường. Các phương pháp theo hướng cố gắng xác định độ lệch của dữ liệu đầu vào so với các mẫu dữ liệu sử dụng cho biểu diễn hoạt động thông thường của hệ 3 Lưu lượng mạng Phát hiện theo dấu hiệu Các mẫu đã biết Tiền xử lý -Bình thường (Signature-based) Các mẫu mới/chưa biết -Tấn công Phát hiện theo bất thường (Anomaly-based) Trung tâm Security Hình 2: Phương pháp signature-based nối tiếp bởi anomaly-based. thống đã được thiết lập trước, để đánh dấu các xâm nhập (các bất thường hay tấn công mạng). Do vậy, các giải pháp đề xuất cần quen với các mẫu sử dụng thông thường thông qua việc học [2].

Các phương pháp cho phép hệ thống "học" từ dữ liệu để giải quyết các bài toán cụ thể thường được biết đến với thuật ngữ học máy (machine learning). NAD là chủ đề nghiên cứu được đặc biệt quan tâm trong sự phát triển của lĩnh vực an ninh mạng [1], [20], đây là hướng đi cho tìm kiếm giải pháp phát hiện được các tấn công mới, chưa từng xuất hiện. Nhiều phương pháp học máy khác nhau đã được nghiên cứu, ứng dụng rộng rãi và đạt hiệu quả cao [45], [63]. Tuy nhiên, nghiên cứu NAD là để chuẩn bị tốt hơn cho các tấn công trong tương lai [63], đây là một chủ đề rộng và khó, với nhiều các thách thức như được trình bày trong phần tiếp theo.

Tính cấp thiết của luận án Trong xây dựng các phương pháp phát hiện bất thường mạng, nhãn của tấn công được cho là không sẵn có trong quá trình huấn luyện mô hình [13], [20], [22]. Việc thu thập các tấn công gặp rất nhiều khó khăn do chúng thường được công bố không đầy đủ vì các cá nhân và tổ chức bị tấn công mạng muốn giữ bí mật nội bộ và bảo đảm quyền riêng tư [41], [91]. Việc gán nhãn cho một số lượng khổng lồ các hành vi bất thường mạng, qua đó đại diện cho toàn bộ các 4 bất thường trên hệ thống mạng là một nhiệm vụ tốn quá nhiều công sức và thời gian. Hơn nữa, các tấn công sau khi được nhận ra bởi các hệ thống phát hiện, thường cần một thời gian khá lớn để có thể xử lý và lấy mẫu.

Trong khi các tấn công mới thường rất nguy hiểm đến hệ thống mạng. Đó là lý do NAD với mục tiêu chính là phát hiện ra các tấn công mới, cần phải thường xuyên được nghiên cứu, đổi mới. Hầu hết các nghiên cứu dựa trên tri thức đã biết đến về các tấn công thường không hiệu quả trong phát hiện các tấn công mới [5]. Do vậy quá trình huấn luyện các phương pháp NAD được khuyến nghị là hoàn toàn độc lập với dữ liệu tấn công, chỉ sử dụng dữ liệu bình thường cho xây dựng mô hình phát hiện bất thường [20].

Các kỹ thuật cho xây dựng các bộ phân lớp từ một lớp dữ liệu được gọi là phân đơn lớp (One-class classifications - OCC). Nhiều học giả đã đã chứng minh tính hiệu quả của phương pháp OCC cho NAD như có thể giải quyết được các vấn đề với không gian thuộc tính dữ liệu quá nhiều chiều (high-dimensional), có thể giúp ước lượng bộ siêu tham số (hyper-parameters) cũng như nâng cao khả năng phân lớp, giúp phát hiện ra các tấn công, mã độc mới (chưa từng biết) [20], [37], [110]. Các phương pháp OCC truyền thống có thể được chia thành các nhóm chính là: phương pháp dựa trên khoảng cách và phương pháp dựa trên mật độ [47]. Trong số đó, một số phương pháp nổi tiếng có thể giải quyết được các vấn đề của dữ liệu mạng như: Local Outlier Factor (LOF) [16] hoạt động hiệu quả trên dữ liệu không gian rất nhiều chiều; Kernel Density Estimation (KDE) [111] có thể tự học mà không cần giả định về phân bố của dữ liệu; One-Class Support Vector Machine (OCSVM) [88] hoạt động phù hợp cho nhiều lĩnh vực ứng dụng khác nhau.

Gần đây, các phương pháp phát hiện bất thường dựa trên học sâu (deep learning) được cho là tiềm năng và hiệu quả hơn so với các phương pháp học máy truyền thống, nhất là trong điều kiện kích thước, số chiều dữ liệu quan sát ngày càng tăng nhanh [21]. Học sâu là thuật ngữ liên quan đến học cách biễu diễn dữ liệu (representation learning) với nhiều tầng, nhiều mức xử lý [66], là một nhánh của học máy. Học sâu được cho có 5 khả năng biểu diễn dữ liệu tốt hơn, cho phép tự học đặc tính dữ liệu (feature engineering) [20], [21], [86]. Trong số đó, các phương pháp học sâu dựa trên kiến trúc AutoEncoder (AE) được cho là kỹ thuật tiên tiến (the state-of-the-art) cho phát hiện bất thường mạng [20], [37], [100].

Để đáp ứng yêu cầu nâng cao khả năng phát hiện các tấn công mới và khó, việc nghiên cứu cải tiến phương pháp học sâu cho NAD phải luôn được quan tâm và là yêu cầu thiết thực. Shrink AE (SAE) [20], [37] được cho là phương pháp tiêu biểu gần đây cho phát hiện bất thường mạng phát triển dựa trên học sâu AutoEncoder. Phương pháp này được huấn luyện để tìm cách biểu diễn dữ liệu bình thường ở vùng rất chụm tại gốc toạ độ của không gian xem xét. Do vậy, với các đầu vào là dữ liệu bất thường (chưa từng biết đến), các vector ẩn tương ứng sẽ bị đẩy ra xa so với gốc toạ độ.

Phương pháp dựa trên học sâu AutoEncoder này được cho là có khả năng phát hiện bất thường tốt hơn các phương pháp hiện thời trên nhiều tập dữ liệu kiểm thử phổ biến trong lĩnh vực học máy và an ninh mạng [20]. Tuy nhiên cơ chế hoạt động cũng cho thấy SAE vẫn cần được cải tiến, phát triển ở cả ở phần tiền xử lý dữ liệu trước SAE và lõi của SAE. Thứ nhất, vì mô hình học sâu này cố nén toàn bộ dữ liệu bình thường vào một cụm đơn duy nhất, do vậy thuật toán có thể không đạt hiệu quả tốt khi tập dữ liệu cho huấn luyện tồn tại ở dạng nhiều cụm (cluster). Thứ hai, mô hình SAE mặc dù cho khả năng phát hiện bất thường mạng rất tốt, tuy vậy SAE vẫn có thể gặp khó khăn với một số loại tấn công (bất thường).

Đây là các mẫu tấn công khi được phân tách (kiểm tra) bởi SAE thường tạo ra các vector được biểu diễn ở gần gốc toạ độ hơn, do vậy việc phân tách giữa bình thường và bất thường khó hơn. Theo cơ chế hoạt động của SAE, các tấn công mạng mà SAE gặp khó có thể do mẫu dữ liệu có nhiều điểm giống với mẫu dữ liệu bình thường, vì SAE cố ép để dữ liệu bình thường được biểu diễn ở vùng gần gốc toạ độ trong không gian biểu diễn mới. Do vậy với dữ liệu tấn công gần giống với dữ liệu bình thường cũng sẽ được biểu diễn gần tương tự, ở vùng rất gần nhau. Do vậy, với các mẫu 6 tấn công này, phương pháp NAD tiêu biểu dựa trên học sâu AutoEncoder này có thể không phân tách tốt giữa mẫu bình thường và bất thường.

Xác định ngưỡng ra quyết định là một bài toán khó khăn với các bộ phân đơn lớp OCC, đây là yêu cầu đối với mô hình khi triển khai trong thực tế [40].