Chương 1. TỔNG QUAN ĐỀ TÀI thu hút kẻ tan công, ghi nhận hành vi của chúng va củng cô chiến lược an ninh mạng. Tuy nhiên, việc triển khai honeypot ngày càng khó khăn và kém hiệu quả. Đối với hệ thống nhỏ, việc bồ trí honeypot tương đối đơn giản do số lượng tài nguyên cần bảo vệ và yếu tố cần cân nhắc ít hơn.
Tuy nhiên, với hệ thống mạng lớn, việc bồ trí quá ít hoặc quá nhiều honeypot, hoặc đặt honeypot ở vị trí không phù hợp sẽ làm giảm hiệu quả thu hút tan công, thu thập thông tin và lãng phí nguồn lực. Do đó, việc tối ưu hóa vị trí đặt honeypot là vấn dé quan trọng cần giải quyết. Đã có những nghiên cứu triển khai mô hình học sâu tăng cường trên các hệ thống khác nhau. Tuy nhiên có những hạn chế chang hạn như phán đoán của cần phụ thuộc vào độ tin cậy của hệ thống giám sát mạng, hoặc khả năng mở rộng của mô hình [2| vẫn cần được xem xét thêm.
Do đó, đề tài này tập trung và giải quyết vấn đề ít phụ thuộc vào độ tin cậy của hệ thống giám sát mạng cũng như khả năng mở rộng cho các mô hình học tăng cường bằng cách biểu diễn sơ đồ kiến trúc mang cùng trang thái quan sát được và tổng hợp lại dưới dạng ma trận. Với đầu vào này, khả năng phán đoán của các mô hình sẽ được tổng quát hơn với góc nhìn bao quát thay vì tập trung vào trạng thái quan sát được của từng node, qua đó có thể khắc phục được sự không chắc chắn khi phải dựa vào hệ thống NMS cũng như đảm bảo độ chính xác khi mở rộng kiến trúc mạng.2 Phương pháp nghiên cứu Tìm hiểu quy trình kiểm thử xâm nhập, từ đó xây dựng thành công công cụ kiểm thử thâm nhập hoàn toàn tự động, kết hợp ứng dụng phương pháp học tăng cường (Reinforcement Learning) với mô hình và thuật toán phù hợp để tăng tính hiệu quả của việc khai thác như giảm thời gian khai thác, tăng tỉ lệ khai thác thành công, tích lũy dữ liệu khai thác thành công cho những lần khai thác tiếp theo. Bên cạnh đó, nhóm tác giả tiến hành triển khai, đánh giá thực tế hiệu suất của công cụ và đưa ra hướng mở rộng phù hợp trong tương lai. TỔNG QUAN ĐỀ TÀI 1.3 Mục tiêu nghiên cứu Xây dựng một số mô hình học sâu tăng cường để phân bổ honeypot một cách tối ưu trong các hệ thống phòng thủ mạng và so sánh hiệu năng các mô hình được sử dụng.
Cụ thể là: ¢ Hiểu được cách triển khai honeypot trong hệ thống mạng, hiểu được cách dùng nền tảng giả lập KVM để dựng môi trường thực nghiệm. ¢ Đưa ra các mô hình học sâu tăng cường nhằm phát hiện những cuộc tan công và phân bổ honeypot trong hệ thống phòng thủ mạng. * Dựng môi trường thực nghiệm và tích hợp mô hình RL để tự động phân bổ honeypot. e Thực hiện các luồng tân công giả lập và các kịch bản có sẵn, do thời gian xử lý và các thông số thích hợp để đánh giá so sánh các mô hình đã xây dựng, cùng với đó là để xuất các mô hình học máy khác 1.4 Phạm vi và Đối tượng nghiên cứu Phạm vi nghiên cứu của dé tài tập trung vào các nội dung như sau: * Nghiên cứu các mô hình máy học tăng cường phổ biến dự kiến: DDQN, SARSA, A2C * Nghiên cứu việc biểu diễn hệ thống mang mô phỏng để mô hình máy học có thể hiểu được.
° Nghiên cứu việc biểu diễn các tan công vào hệ thống mạng. e Áp dụng hoc sâu tăng cường để xây dựng mô hình tự động phân bổ hon- eypot. Đối tượng nghiên cứu: ¢ Các phương pháp hoc máy tăng cường và học sâu. TỔNG QUAN ĐỀ TÀI Các công cụ honeypot.
Các dạng tấn công xâm nhập. Thư viện hỗ trợ học sâu tăng cường tensorflow, keras. Môi trường thực nghiệm bằng trình giả lập KVM, Openvswitch.5 Cau trúc Khóa luận tốt nghiệp Khóa luận được tổ chức trong 6 chương như sau: Chương[I| TONG QUAN ĐỀ TÀI Trình bày khái quát định hướng nghiên cứu của khóa luận mà nhóm tác giả muốn hướng tới. Chương 2| CƠ SỞ LÝ THUYET Trình bày các định nghĩa, khái niệm cũng như những kiến thức nền tảng để có thể thực hiện được nghiên cứu.
Đồng thời trình bày sơ lược một số công trình liên quan có cùng hướng nghiên cứu. Chương|3| PHƯƠNG PHÁP THỰC HIỆN Là phần trọng tâm của khoá luận, trình bày những nội dung chính về phương pháp thực hiện và mô hình được sử dụng. Chương] HIỆN THỰC, ĐÁNH GIÁ VÀ THẢO LUẬN Dé cập đến quá trình hiện thực hóa phương pháp đẻ cập ở ChươngjB| Sau đó trình bày phương pháp thực nghiệm, đánh giá kết quả và thảo luận chung. Chương B| KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Đưa ra kết luận về đề tài, đề xuất một số hướng phát triển mở rộng cho các nghiên cứu trong tương lai.
Chương 2 CƠ SỞ LÝ THUYÊT Tóm tắt chương Trong chương này, nhóm tác giả sẽ trình bày cơ sở lý thuyết cần thiết của khóa luận. Bao gồm tổng quan về việc triển khai các tài nguyên đánh lừa và phương pháp tiếp cận dựa trên học tăng cường. Bên cạnh đó là cơ sở lý thuyết về học tăng cường, các hình thức, mô hình, các kỹ thuật triển khai honeypot và ưu nhược điểm của chúng. Đồng thời, nhóm tác giả trình bày tóm tắt về những công trình nghiên cứu liên quan đến việc áp dụng các kỹ thuật học tăng cường trong phân bổ tài nguyên đánh lừa và những điểm khác của khóa luận này với những nghiên cứu trước đây.1 Phòng thu chu động 2.11 Tổng quan Phòng thủ chủ động là các biện pháp chủ động để phát hiện, ngăn chặn và đối phó với các mối đe dọa an ninh mạng.
Một số ví dụ về các phương pháp phòng thủ chủ động thường thấy chẳng hạn như các hệ thống xác thực chủ động ngăn chặn nếu phát hiện các hành vi cé gắng đăng nhập bat thường, hệ thống ngăn ngừa xâm nhập (IPS), tường lửa hoặc các phần mềm diệt mã độc chủ động phát hiện và tiêu diệt mã độc khi so khớp được các dấu hiệu của mã độc với dữ liệu mã độc đã được định nghĩa sẵn [5]. Một số nghiên cứu khác, chẳng han như [14] lại cho rằng những phương pháp chủ động truyền thống này thường mang tính chất thụ động và hiệu quả bảo mật kém khi phải ứng phó với những tác tử bảo Chương 2. COSO LY THUYẾT mật trực tiếp đến từ phía con người, chẳng han như các cuộc tân công nâng cao (APT) khi chúng được thực hiện với mục đích, chiến thuật rõ ràng và khả năng lan trốn trong hệ thống để thực hiện tấn công lâu dài [19]. Một trong những kỹ thuật đang được quan tâm gần đây để ứng phó với các mối đe dọa đến từ APT là Honeypots, hoạt động thông qua việc triển khai các hệ thống giả mạo - được thiết kế để mô phỏng chính xác các tài nguyên hệ thống thực sự.
Mục đích của chúng là để phát hiện và gây rối loạn cho các hoạt động của kẻ tan công khi di chuyển trong hệ thống.2 Phương pháp tiếp cận Honeypot là công cụ hữu hiệu để nghiên cứu và phát hiện các cuộc tấn công mạng. Thay vì trực tiếp truy lùng và ngăn chặn mã độc dựa trên các dấu hiệu đã biết, các honeypot - là những hệ thống máy chủ, dịch vụ mạng hoặc các thông tin được bố trí sắp xếp nhằm thu hút sự chú ý của kẻ tấn công để thu thập thông tin về các hành vi thực hiện tấn công cũng như các kỹ thuật và công cụ đã được sử dụng. Với những thông tin này, các hệ thống bảo mật khác chẳng hạn như IPS hoặc quản trị viên có thể phát hiện, ngăn chặn kẻ tấn công kịp thời, giải quyết được vấn dé mà các công cụ bảo mật truyền thống gặp phải [24]. Tay theo tài nguyên sẵn có của hệ thống, honeypot cũng có thể được chia thành các dang khác nhau, chủ yêu tập trung vào hai loại chính: honeypot mang tính tương tác cao (HIH) và honeypot mang tính tương tác thấp (LIH) [9].
Cac nghién cttu trong lĩnh vực honeypot thường tập trung vào việc cải thiện hiệu năng của hệ thống honeypot nhằm tăng độ tin cậy để kẻ tan công không thể phân biệt được giữa tài nguyên thật và giả, hoặc nhằm cải thiện khả năng phát hiện mã độc của các hệ thống IDPS có sẵn [20]. Một hướng nghiên cứu dang được quan tâm nhiều hơn là việc bồ trí triển khai tài nguyên honeypot sao cho hiệu quả nhất, cũng là một trong những yếu tố quan trọng đóng góp vào độ tin cậy của một mô hình honeypot. COSO LY THUYẾT 2.1 Tong quan Hoc tăng cường (Reinforcement Learning, RL) là một nhánh quan trọng của hoc máy, nơi tác tử (agent) học cách tương tác với môi trường (environment) để tối ưu hóa phần thưởng tích lũy (cumulative reward) theo thời gian. Mô hình học tăng cường bao gồm các thành phan chính như sau: Tác tử (agent), là thực thể đưa ra các quyết định; Môi trường (environment), là bối cảnh mà tác tử tương tác và nhận phản hồi; Hành động (actions), là các lựa chọn mà tác tử có thể thực hiện; Phần thưởng (reward), là giá trị mà tác tử nhận được sau mỗi hành động để phản ánh mức độ thành công; và Trạng thái (state), là thông tin hiện tại mà tác tử quan sát được từ môi trường.
Tác tử sử dụng một chính sách (policy) để chọn hành động dựa trên trạng thái hiện tại nhằm tối đa hóa phần thưởng dài hạn.2 Các thành phần chính Nằm giữa học có giám sát và học không giám sát, học tăng cường dé cập đến việc học trong các vấn đề ra quyết định tuần tự trong đó có phản hồi hạn chế. Nó là một loại thuật toán chung trong lĩnh vực học máy nhằm mục đích cho phép một tác tử học cách cư xử trong một môi trường, trong đó phản hồi duy nhất bao gồm tín hiệu phần thưởng vô hướng. Mục tiêu chính của tác tử là thực hiện các hành động nhằm tối đa hóa phần thưởng về lâu dài [23]. Dé đạt được điều này, tác tử sẽ tương tác trực tiếp với môi trường, thông qua việc lựa chọn các hành động từ một không gian hành động có sẵn theo một chính sách dựa trên thuật toán, thực hiện hành động đó lên môi trường và nhận được phần thưởng tương ứng cũng như trạng thái quan sát được tiếp theo từ môi trường.
Một ví dụ điển hình về bài toán học tăng cường có thể được mô tả như hình|2.1|đười đây, cho thấy một tác tử robot phải tránh né các đám lửa để có thể đi đến được vị trí của viên kim cương.