Chương 1: Giới thiệu tổng quan về đề tài của đồ án và những nghiên cứu liên quan. e Chương 2: Trình bày cơ sở lý thuyết và kiến thức nền tảng liên quan đến đề tài. e Chương 3: Trình bày mô hình thực nghiệm e Chương 4: Trình bày thực nghiệm và đánh giá. e Chương 5: Kết luận và hướng phát triển của đề tài.
CƠ SỞ LÝ THUYET Chương này trình bày cơ sở lý thuyết của nghiên cứu: Bao gồm hậu khai thác, mô hình học tăng cường, các thuật toán học tăng cường trong hậu khai thác( PPO, A2C) 2. Hậu khai thác (Post Exploitation) Hậu khai thác (post-exploitation) là giai đoạn trong quá trình tấn công hệ thống mạng hoặc hệ thống máy tính, sau khi kẻ tấn công đã thành công trong việc khai thác một lỗ hổng hay tìm được một cách để xâm nhập vào hệ thống. Trong giai đoạn này, mục tiêu của kẻ tấn công là duy trì và mở rộng quyền truy cập vào hệ thống đã bị xâm nhập, thu thập thông tin nhạy cảm, tiếp tục khai thác các lỗ hồng khác hoặc thực hiện các hoạt động độc hại khác trên hệ thống. & @ đò Setup © Discovery ®¿Ï Enumeration 3 Detection E7 @ SẠC: ` ° Remediation 8060 Read-Out &@ Reporting mã ° Post Exploitation Hình 2.1: Post Exploittable (hậu khai thác) diễn ra ở giai đoạn 6 Trong quá trình hậu khai thác, kẻ tấn công thường sử dụng các công cụ và phương pháp để truy cập và kiểm soát hệ thống mà không bị phát hiện.
Điều này bao gồm việc tìm kiếm các thông tin quan trọng như tên người dùng, mật khẩu, các tệp tin quan trọng, truy cập vào các máy chủ khác trong mạng nội bộ, tăng quyền hạn truy cập, cài đặt backdoor để duy trì quyền truy cập sau 12 này, hoặc thực hiện các cuộc tấn công tiếp theo như tấn công theo chuỗi (lateral movement), leo thang đặc quyền (privilege escalation), lừa đảo (phishing) nội bộ và lây lan malware. Quá trình hậu khai thác là một phần quan trọng trong kiểm thử xâm nhập (penetration testing) và nghiên cứu bảo mật mạng được diễn ra sau quá trình quá trình kiểm thử xâm nhập và trước khi viết báo cáo cuối cùng về quá trình kiểm thử. Hiểu và tìm hiểu về cách kẻ tấn công hoạt động trong giai đoạn này giúp các chuyên gia bảo mật và nhà quản lý hệ thống xác định các biện pháp phòng ngừa và bảo vệ hiệu quả để ngăn chặn và phát hiện sự xâm nhập và sử dụng lại hệ thống một cách an toàn. Ỏ đây chúng tôi sẽ 4p dụng phương pháp tự động hóa bước hậu khai thác bằng phương pháp học sâu tăng cường (Deep Reinforcement Learning) để tiến hành kiểm tra ảnh hưởng của hệ thống khi bị tin tặc tấn công.
Từ đó giúp Pentester dé dang hơn trong việc bảo mật hệ thống 2. Trí tuệ nhân tao (Artificial Intelligence - AT) 2. Tổng quan vé Artificial Intelligence Trí tuệ nhân tạo là lĩnh vực nghiên cứu va phát triển các máy tính hoặc hệ thống có khả năng thực hiện các tác vụ thông minh mà trước đây chỉ có con người mới có thể thực hiện được. Mục tiêu của trí tuệ nhân tạo là xây dựng các hệ thống hoặc chương trình máy tính có khả năng học hỏi, lý luận, phan tích, nhận biết, và tự động hóa các tác vụ.
Các phương pháp và kỹ thuật trong trí tuệ nhân tạo bao gồm học máy (machine learning), mạng nơ-ron (neural networks), xử lý ngôn ngữ tự nhiên (natural language processing), thị giác máy tính (computer vision), học sau (deep learning), học tăng cường (reinforcement learning), và nhiều lĩnh vực khác. Trí tuệ nhân tạo có ứng dụng rộng rãi trong nhiều lĩnh vực như công nghiệp, y tế, giao thông vận tải, tài chính, giải trí và nhiều lĩnh vực khác. Trong khóa 13 luận nhóm sẽ trình bày cơ bản khái niệm của học máy và đi sâu vào deep reinforcement learning (một khái niệm từ sự kết hợp giữa deep learning và deep reinforcement learning) nhằm hiểu rõ hơn mục tiêu nghiên cứu như đã nêu ở mục 1. Tổng quan vé machine learning Machine learning là một phần trong lĩnh vực trí tuệ nhân tạo, nghiên cứu về việc phát triển các thuật toán và mô hình để máy tính có khả năng học hỏi từ dữ liệu mà không cần được lập trình một cách rõ ràng.
Trong machine learning, các mô hình và thuật toán được xây dựng để phân tích và hiểu dữ liệu, từ đó tìm ra các mẫu và quy luật ẩn trong dữ liệu đó. Dữ liệu được sử dụng để huấn luyện (training) mô hình, và sau đó mô hình được ấp dung để dự đoán hoặc thực hiện các tác vụ trên dit liệu mới mà nó chưa được huấn luyện trước đó. Có 3 loại thuật toán học máy thường được xử dụng : e Supervised Learning: là thuật toán học có giám sát. Trong đó mô hình sẽ được huấn luyện trên những dữ liệu đã được gán nhãn, tức là dữ liệu đầu vào được kèm theo đầu ra mong muốn tương ứng.
Mô hình học từ các mẫu dữ liệu này và sau đó có thể dự đoán dau ra cho các dữ liệu mới mà nó chưa nhìn thấy trước đó. e Unsupervised Learninglà thuật toán học không giám sát. Hoạt động ngược với học có giám sát, trong học không giám sát, dữ liệu đầu vào không có nhãn. Mô hình phải tìm ra cấu trúc, mẫu hoặc nhóm trong dit liệu một cách độc lập.
e Reinforcement Learning là thuật toán học tăng cường. Thuật toán nay tập trung vào việc huấn luyện các tác nhân agent trong một môi trường cụ thể nhằm thực hiện các hành động sao cho tác nhân có thể nhận về được phần thưởng lớn nhất có thể và tránh bị phạt. Tổng quan vé Deep Learning Deep Learning như đã trình bay ở trên nó là một lĩnh vực của Tri tuệ nhân tạo. Trong học sâu, các máy tính sẽ được huấn luyện phương pháp học và cải thiện bản thân nó dựa trên các thuật toán.
Deep Learning tập trung vào việc xây dựng và huấn luyện các mạng nơ-ron sâu (deep neural networks) để bắt chước khả năng tư duy và suy nghĩ của bộ não con người. Mạng nơ-ron sâu (deep neural networks) là một loại mô hình máy học trong Trí tuệ nhân tạo. Nó được lấy cảm hứng từ cách hoạt động của hệ thống than kinh của não người và được xây dựng dựa trên các nơ-ron nhân tao (artificial neurons) được kết nối với nhau để hình thành một mạng lưới phức tạp. Quá trình huấn luyện mạng nơ-ron sâu thường được thực hiện thông qua quá trình gọi là lan truyền ngược (backpropagation), trong đó mô hình tìm cách điều chỉnh các trọng số để tối ưu hóa kết quả đầu ra so với kết quả mong đợi.
Sự tiến bộ trong phần cứng và khả năng tính toán song song đã cho phép huấn luyện các mang nơ-ron sâu lớn trên dữ liệu khổng lồ, giúp cải thiện đáng kể hiệu suất của Deep Learning. Deep Learning hoạt động như thé nào? Bằng cách xử dụng mạng nơ-ron, Deep Learning có thể tự học và trích xuất những đặc trưng (features) thông qua dữ liệu đầu vào của nó. Mạng nơ-ron là mô hình toán học mô phỏng hệ thống thần kinh trong não người. Nó gồm nhiều lớp (hidden layers) của các nơ-ron kết nối với nhau thông qua trọng số và số lượng layer càng nhiều thì mạng sẽ càng “sâu”.
Mạng nơ-ron có khả năng tự điều chỉnh các trọng số này trong quá trình học. Trọng số càng cao thi khả năng và hiệu suất của mạng no-ron sẽ càng lớn Mỗi một lớp mạng sẽ có một ham dùng để kích hoạt. Nó thực hiện cho việc 15 "chuẩn hóa" quá trình đầu ra của mang, Các dữ liệu khi đưa vào mạng sẽ phải thực hiện đi qua các layer rồi gửi về kết quả cho layer cuối.2 mô tả cách thức hoạt động của deep learning : Machine Learning oe23 s TRN Input Feature extraction Classification Output Deep Learning am Input S32 — 8 Ei Feature extraction + Classification Output Hình 2.2: Mô tả cách thức hoạt động cua deep learning Tóm lại, Deep Learning là một phương pháp mạnh mẽ cho việc xử lý dữ liệu phức tap và giải quyết các bài toán có tính phức tap cao, Thông qua việc huấn luyện các mô hình mạng sâu, Deep Learning có thể thay đổi các trọng số sao cho trọng số cao nhất sẽ là phán đoán tốt nhất 2. Học tăng cường(Reinforcement Learning) 2.
Tổng quan vé Reinforcement Learning Reinforcement learning là một phương pháp học máy trong đó một hệ thống học tập tương tác với môi trường và nhận phần thưởng (rewards) để tối đa hóa mục tiêu hoặc hiệu suất. Day là một hình thức hoc máy tự động, trong đó hệ thống tự động tìm hiểu cách đưa ra các hành động phù hợp dựa trên việc thử và sai và khám phá môi trường. Các thuật ngữ thông dung trong Reinforcement Learning 2. Agent Trong reinforcement learning hệ thống hay còn gọi là tác tử "agent" - là một đối tượng có thể học tập và đưa ra hành động để giải quyết những vấn đề phức tạp dựa trên mục tiêu đã được định nghĩa trước đó.
Environment Là một không gian được định nghĩa để các tác tử hoạt động va tương tac. Môi trường có thể là bất kỳ hệ thống nào, từ trò chơi điện tử đơn giản cho đến các hệ thống phức tạp hơn như xe tự lái, robot, 2. Action La các hành động của tác tử có thể thực hiện nhằm tương tác với môi trường. Dựa trên trạng thái môi trường mà tác tử sẽ thực hiện các hành động tương ứng.
Hành động này có thể là di chuyển, tương tác với môi trường, thực hiện các hành vi cụ thể, vv. State La trạng thái hiện tại của môi trường mà tác tử quan sát được. Policy La cách tác tử chọn hành động dựa trên trang thái hiện tai của môi trường. Mục tiêu của học tăng cường là tìm ra chính sách tối ưu giúp tác tử đạt được phần thưởng cao nhất trong môi trường đã cho.
Reward La phan thưởng trả về khi tác tử tương tác với môi trường. Dùng để đánh giá mức độ thành công của tác tử khi thực hiện 1 hành động. Tác tử cần tối đa hóa tổng lượng phần thưởng tích lũy trong thời gian dài để đạt được mục tiêu của nó. Tuy thuộc vào hành động của tác tử lên môi trường sẽ nhận được mức phần thưởng tương ứng hoặc hành động sai có thể sẽ bị phạt.
bpisode Là tổng hợp 1 quá trình diễn ra từ khi tác tử tương tác với môi trường đến khi kết thúc. Khai thác va khám phá: Trong học tăng cường, một trong những thách thức quan trọng là tìm cân bằng giữa khai thác và khám phá. Khai thác là khi tác tử dựa vào kinh nghiệm đã có để ưu tiên lựa chọn các hành động mang lại phần thưởng cao.