Nghiên Cứu Phương Pháp Tự Động Hóa Khai Thác Xâm Nhập Hệ Thống Mạng Dựa Trên Học Tăng Cường Phân Cấp

Khóa luận nghiên cứu phương pháp tự động hóa khai thác xâm nhập hệ thống mạng bằng học tăng cường phân cấp trong an toàn thông tin.

• Tác giả: Võ Duy Nhất
• Người hướng dẫn: ThS. Phan Thế Duy
• Trường học: Đại học Công nghệ Thông tin - Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Ngành An toàn thông tin
• Đề tài: Nghiên Cứu Phương Pháp Tự Động Hóa Khai Thác Mạng Dựa Trên Học Tăng Cường Phân Cấp
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. TÓM TẮT ĐỀ TÀI
• 2. TỔNG QUAN
• 2.1. Giới thiệu vấn đề
• 2.2. Giới thiệu những nghiên cứu liên quan
• 2.2.1. Công trình nghiên cứu Automating Privilege Escalation with Deep Reinforcement Learning
• 2.2.2. Công trình nghiên cứu Automating post-exploitation with deep reinforcement learning
• 2.2.3. Công trình nghiên cứu An Intelligent Penetration Testing Method Using Human Feedback
• 2.2.4. Công trình nghiên cứu Raiju: Reinforcement Learning-Guided Post-Exploitation for Automating Security Assessment of Network Systems
• 2.3. Nhận định về các nghiên cứu liên quan
• 2.4. Định hướng phát triển từ các nghiên cứu liên quan
• 2.5. Mục tiêu, đối tượng, và phạm vi nghiên cứu
• 2.5.1. Mục tiêu nghiên cứu
• 2.5.2. Đối tượng và phạm vi nghiên cứu
• 2.6. Cấu trúc khóa luận tốt nghiệp
• 3. CƠ SỞ LÝ THUYẾT
• 3.1. Kiểm thử xâm nhập
• 3.2. Hậu khai thác xâm nhập
• 3.3. Kiểm thử xâm nhập tự động
• 3.4. Deep Learning hoạt động như thế nào?
• 3.5. Học tăng cường (Reinforcement Learning)
• 3.5.1. Quy trình quyết định Markov (Markov Decision Process - MDP)
• 3.5.2. Tổng quan mô hình học tăng cường
• 3.5.3. Mô hình học tăng cường sâu
• 3.5.4. Các thuật toán Deep Reinforcement Learning
• 3.5.4.1. Value-based và Policy-based
• 3.5.4.2. Actor và Critic
• 3.5.4.3. Thuật toán Advantage Actor Critic (A2C)
• 3.5.4.4. Thuật toán Proximal Policy Optimization (PPO)
• 3.5.5. Mô hình học tăng cường sâu phân cấp
• 4. MÔ HÌNH HỌC TĂNG CƯỜNG SÂU PHÂN CẤP CHO QUÁ TRÌNH TỰ ĐỘNG HÓA HẬU KHAI THÁC XÂM NHẬP
• 4.1. Định nghĩa 2 lớp tác nhân Upper-level Agent và Lower-level Agent của tác nhân học tăng cường sâu phân cấp (HDRL Agent)
• 4.1.1. Upper-level Agent
• 4.1.2. Lower-level Agent
• 4.1.3. Mô hình học tăng cường sâu phân cấp trong tự động hóa hậu khai thác xâm nhập
• 5. KẾT QUẢ THỰC NGHIỆM, PHÂN TÍCH - ĐÁNH GIÁ
• 5.1. Thiết lập thí nghiệm
• 5.1.1. Tổng quan môi trường thí nghiệm
• 5.1.2. Ý tưởng cho việc tăng tốc quá trình huấn luyện
• 5.1.3. Chi tiết quá trình huấn luyện
• 5.2. Kết quả khai thác của công cụ
• 5.3. Tổng quan quá trình huấn luyện
• 5.4. Thời gian huấn luyện của hai thuật toán HA2C và HPPO
• 5.5. Kết quả thực nghiệm trên các môi trường đánh giá (testing)
• 5.6. Kết luận việc so sánh giữa hai thuật toán HA2C và HPPO từ kết quả của quá trình thực nghiệm
• 5.6.1. Kết quả đạt được
• 5.6.2. Khó khăn và thách thức
• 5.6.3. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Tự Động Hóa Khai Thác Mạng

Nghiên cứu tự động hóa khai thác mạng dựa trên học tăng cường phân cấp đang trở thành một xu hướng quan trọng trong lĩnh vực an ninh mạng. Với sự phát triển của công nghệ, việc áp dụng các phương pháp tự động hóa giúp nâng cao hiệu quả và giảm thiểu rủi ro trong quá trình kiểm thử thâm nhập. Học tăng cường phân cấp (HDRL) là một trong những phương pháp hứa hẹn, cho phép tối ưu hóa các hành động trong quá trình khai thác mạng.

1.1. Khái Niệm Về Tự Động Hóa Khai Thác Mạng

Tự động hóa khai thác mạng là quá trình sử dụng các thuật toán và công nghệ để thực hiện các cuộc tấn công mạng mà không cần sự can thiệp của con người. Điều này giúp tiết kiệm thời gian và nguồn lực trong việc phát hiện và khắc phục các lỗ hổng bảo mật.

1.2. Lợi Ích Của Học Tăng Cường Phân Cấp

Học tăng cường phân cấp cho phép phân chia các tác vụ phức tạp thành các nhiệm vụ nhỏ hơn, giúp cải thiện hiệu suất và khả năng ra quyết định của hệ thống. Điều này đặc biệt hữu ích trong các kịch bản kiểm thử thâm nhập, nơi mà không gian hành động rất lớn.

II. Vấn Đề Và Thách Thức Trong Tự Động Hóa Khai Thác Mạng

Mặc dù có nhiều lợi ích, việc tự động hóa khai thác mạng cũng đối mặt với nhiều thách thức. Độ phức tạp của các kịch bản tấn công và không gian hành động rộng lớn có thể làm giảm hiệu suất của các hệ thống tự động. Cần có các giải pháp hiệu quả để khắc phục những vấn đề này.

2.1. Độ Phức Tạp Của Kịch Bản Tấn Công

Các kịch bản tấn công ngày càng trở nên phức tạp, đòi hỏi các hệ thống tự động phải có khả năng xử lý nhiều tình huống khác nhau. Điều này tạo ra áp lực lớn cho các thuật toán học máy trong việc đưa ra quyết định chính xác.

2.2. Không Gian Hành Động Rộng Lớn

Không gian hành động rộng lớn có thể dẫn đến việc các thuật toán gặp khó khăn trong việc tìm kiếm các hành động tối ưu. Việc phân tách các hành động thành các nhóm nhỏ hơn có thể giúp cải thiện hiệu suất của hệ thống.

III. Phương Pháp Tự Động Hóa Khai Thác Mạng Hiệu Quả

Để giải quyết các thách thức trong tự động hóa khai thác mạng, nhiều phương pháp đã được đề xuất. Trong đó, mô hình học tăng cường sâu phân cấp (HDRL) nổi bật với khả năng tối ưu hóa các hành động trong quá trình kiểm thử thâm nhập.

3.1. Mô Hình Học Tăng Cường Sâu Phân Cấp

Mô hình HDRL sử dụng hai lớp tác nhân để xử lý các hành động khác nhau trong quá trình hậu khai thác. Điều này giúp tăng cường khả năng ra quyết định và cải thiện hiệu suất của hệ thống.

3.2. Ứng Dụng Các Thuật Toán Học Tăng Cường

Các thuật toán như A2C và PPO được áp dụng trong mô hình HDRL để tối ưu hóa quá trình khai thác. Những thuật toán này cho phép hệ thống học hỏi từ các trải nghiệm trước đó và cải thiện khả năng ra quyết định.

IV. Ứng Dụng Thực Tiễn Của Nghiên Cứu

Nghiên cứu về tự động hóa khai thác mạng đã cho thấy nhiều ứng dụng thực tiễn trong lĩnh vực an ninh mạng. Các công cụ tự động hóa giúp nâng cao hiệu quả kiểm thử thâm nhập và giảm thiểu rủi ro cho các tổ chức.

4.1. Công Cụ Kiểm Thử Thâm Nhập Tự Động

Các công cụ như Metasploit và PowerShell Empire đã được cải tiến để hỗ trợ quá trình tự động hóa khai thác. Những công cụ này giúp các chuyên gia an ninh mạng thực hiện kiểm thử một cách hiệu quả hơn.

4.2. Kết Quả Nghiên Cứu Thực Tế

Kết quả từ các nghiên cứu cho thấy mô hình HDRL có khả năng đạt được mục tiêu kiểm thử với số lượng thao tác tối thiểu, cho thấy tính hiệu quả của phương pháp này trong thực tế.

V. Kết Luận Và Tương Lai Của Nghiên Cứu

Nghiên cứu về tự động hóa khai thác mạng dựa trên học tăng cường phân cấp mở ra nhiều triển vọng cho tương lai. Việc cải tiến các thuật toán và mô hình sẽ giúp nâng cao hiệu quả và độ chính xác trong quá trình kiểm thử thâm nhập.

5.1. Triển Vọng Phát Triển

Với sự phát triển không ngừng của công nghệ, các mô hình học máy sẽ ngày càng được cải tiến, giúp nâng cao khả năng tự động hóa trong lĩnh vực an ninh mạng.

5.2. Hướng Nghiên Cứu Tương Lai

Các nghiên cứu trong tương lai có thể tập trung vào việc kết hợp nhiều phương pháp khác nhau để tối ưu hóa quá trình tự động hóa khai thác mạng, từ đó nâng cao tính hiệu quả và độ chính xác.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Kiểm thử xâm nhập (Penetration Testing – PT) là phương pháp thực tế nhằm đánh giá mức độ an toàn của hệ thống mạng thông qua việc mô phỏng các cuộc tấn công từ lỗ hổng kỹ thuật. Trong quy trình kiểm thử xâm nhập gồm nhiều giai đoạn, hậu khai thác (Post-Exploitation) là bước then chốt giúp đánh giá rủi ro an ninh khi kẻ tấn công đã kiểm soát được một phần máy chủ nội bộ. Hoạt động này hiện nay chủ yếu được thực hiện thủ công bởi các chuyên gia giàu kinh nghiệm, dẫn đến tình trạng thiếu hụt nhân lực và cản trở việc kiểm thử quy mô lớn.

Các công cụ hỗ trợ hậu khai thác hiện hành như Metasploit, PowerShell Empire hay PowerSploit đòi hỏi sự điều khiển trực tiếp từ con người, thiếu khả năng ra quyết định tự động. Khi ứng dụng học tăng cường sâu (Deep Reinforcement Learning – DRL) vào quá trình này, các nghiên cứu trước đây gặp phải rào cản lớn về độ phức tạp của kịch bản và sự bùng nổ của không gian trạng thái – hành động, khiến mô hình khó hội tụ và giảm hiệu suất khai thác.

Khóa luận xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

1. Nghiên cứu và xây dựng mô hình học tăng cường sâu phân cấp (Hierarchical Deep Reinforcement Learning – HDRL) để tự động hóa quy trình hậu khai thác xâm nhập hệ thống mạng.
2. Thiết kế mô hình có khả năng liên kết và tự động thực hiện chuỗi ba tác vụ hậu khai thác: leo thang đặc quyền (privilege escalation), thu thập thông tin (gather information), và tấn công lan rộng (lateral movement).
3. Triển khai và so sánh hiệu nghiệm giữa hai thuật toán phân cấp gồm HA2C (Hierarchical Advantage Actor Critic) và HPPO (Hierarchical Proximal Policy Optimization) trên môi trường mạng đa nền tảng (Windows và Linux) tích hợp công cụ Metasploit.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Quy trình hậu khai thác xâm nhập mạng, mô hình học tăng cường sâu phân cấp, các thuật toán HA2C, HPPO, và khung kiểm thử Metasploit.
• Phạm vi nghiên cứu: Mô phỏng tấn công hậu khai thác trên cả hai nền tảng hệ điều hành Windows và Linux; sử dụng các module tấn công tích hợp từ Metasploit Framework trong môi trường thử nghiệm mạng nội bộ.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên các trụ cột chính:

1. Khái niệm kiểm thử xâm nhập: Phân chia thành 3 hình thức: Hộp trắng (White box), Hộp xám (Gray box), và Hộp đen (Black box). Quá trình hậu khai thác được xác định nằm ở giai đoạn thứ 6 trong chu trình kiểm thử chuẩn (sau giai đoạn khai thác ban đầu và trước giai đoạn báo cáo).
2. Quy trình quyết định Markov (Markov Decision Process – MDP): Được định nghĩa qua bộ bốn thành phần $M = \langle S, A, P, R \rangle$, trong đó $S$ là không gian trạng thái, $A$ là tập hành động, $P$ là xác suất chuyển trạng thái, và $R$ là hàm phần thưởng. Mục tiêu là tìm kiếm chính sách $\pi$ tối đa hóa kỳ vọng phần thưởng tích lũy $V^\pi(s_t) = \mathbb{E}_{a_t}[Q^\pi(s_t, a_t)|s_t]$ với hệ số chiết khấu $\gamma \in [0, 1]$.
3. Mô hình Actor-Critic và thuật toán A2C:
   • Actor: Đóng vai trò hàm chính sách (Policy-based), dự đoán xác suất hành động và cập nhật trọng số theo công thức: $$\Delta\theta = \alpha \nabla_\theta(\log\pi_\theta(s_t, a))\hat{q}_w(s_t, a)$$
   • Critic: Đóng vai trò hàm giá trị (Value-based), đánh giá chất lượng trạng thái và cập nhật thông số mạng dựa trên sai số Temporal Difference (TD error): $$\Delta w = \beta (R(s_t, a_t) + \gamma \hat{q}w(s{t+1}, a_{t+1}) - \hat{q}_w(s_t, a_t))\nabla_w \hat{q}_w(s_t, a_t)$$
   • Hàm lợi thế (Advantage): Trong A2C, hàm lợi thế được xác định qua $TD_{Error} = TD_{Target} - V(S)$, với $TD_{Target} = R + \gamma V(S')$.
4. Thuật toán Proximal Policy Optimization (PPO): Khắc phục nhược điểm tính toán phức tạp của Natural Policy Gradient và Trust Region Policy Optimization (TRPO). PPO sử dụng hàm mục tiêu giới hạn (Clipped Surrogate Objective): $$L^{CLIP}(\theta) = \hat{\mathbb{E}}t \left[ \min\left(r_t(\theta)\hat{A}t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}t\right) \right]$$ Trong đó $r_t(\theta) = \frac{\pi\theta(a_t|s_t)}{\pi{\theta{old}}(a_t|s_t)}$ và $\epsilon$ là siêu tham số (ví dụ $\epsilon = 0.2$). Ngoài ra, PPO còn kết hợp phương pháp hệ số phạt thích ứng Adaptive KL Penalty Coefficient ($L^{KLPEN}$) để kiểm soát độ lệch phân kỳ Kullback-Leibler.
5. Mô hình học tăng cường sâu phân cấp (HDRL): Cấu trúc phân tách nhiệm vụ phức tạp thành kiến trúc hai tầng gồm bộ điều khiển meta (Meta-controller) phụ trách lựa chọn mục tiêu trừu tượng cấp cao (sub-goal $g$) và bộ điều khiển (Controller) phụ trách sinh các hành động cụ thể ($a$) tương ứng với trạng thái và mục tiêu hiện tại.

Phương pháp nghiên cứu thực tế bao gồm việc phân tích – tổng hợp các công trình DRL trong an toàn thông tin, thiết kế kiến trúc HDRL 2 lớp tác nhân tích hợp qua API của Metasploit, và tiến hành kiểm nghiệm thực nghiệm mô phỏng trên các tập kịch bản mạng.

---

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc phân cấp nhằm cô lập và thu hẹp không gian hành động lớn của quá trình hậu khai thác:

• Tác nhân cấp cao (Upper-level Agent): Tiếp nhận trạng thái tổng thể của hệ thống mạng mục tiêu, đưa ra quyết định lựa chọn nhóm chiến thuật tương ứng ở từng thời điểm: leo thang đặc quyền (Privilege Escalation), thu thập thông tin (Gather Information), hoặc tấn công lan rộng (Lateral Movement).
• Tác nhân cấp thấp (Lower-level Agent): Nhận mục tiêu chỉ định từ Upper-level Agent và các thông số trạng thái máy chủ cụ thể, thực thi việc ánh xạ và lựa chọn module khai thác phù hợp từ tập module của Metasploit Framework.
• Tích hợp công cụ Metasploit: Metasploit được lựa chọn thay thế cho PowerShell Empire (công cụ đã dừng duy trì từ năm 2021). Nền tảng này hỗ trợ đa dạng module khai thác trên cả hai môi trường Windows và Linux, cho phép quản lý session và tương tác trực tiếp với các tiến trình hệ thống mục tiêu.
• Thiết lập cơ chế phần thưởng: Huấn luyện mô hình dưới hai cấu hình phần thưởng khác nhau để khảo sát tính hội tụ:
  • Cấu hình phần thưởng chênh lệch lớn: $+30$ cho hành động thành công, $-1$ cho hành động thất bại/tiêu tốn bước.
  • Cấu hình phần thưởng chuẩn hóa: $+1$ cho hành động thành công, $-1$ cho hành động thất bại/tiêu tốn bước.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương này phân tích bối cảnh an ninh mạng, sự cần thiết của kiểm thử xâm nhập tự động và tổng quan 4 công trình nghiên cứu tiêu biểu:

1. Nghiên cứu của tác giả [5]: Sử dụng A2C và PowerShell Empire để leo thang đặc quyền trên Windows 7.
2. Nghiên cứu của tác giả [10]: Kết hợp A2C, Q-Learning, SARSA với PowerShell Empire để tấn công lan rộng trên miền Windows; đạt mục tiêu sau 15 bước (11 phút 35 giây) so với phương pháp Random (91 thao tác) và Brute Force (80 thao tác) không hoàn thành trong 1 giờ.
3. Nghiên cứu của Qianyu Li và cộng sự [9]: Dùng HDRL kết hợp phản hồi chuyên gia để tấn công mạng từ bên ngoài Internet; đạt mục tiêu trong 277 episode tại kịch bản Network1 (so với Random Agent là 5733 và DQN là 4948 episode), tỷ lệ thành công đạt 1.0 trên 10000 episode.
4. Nghiên cứu Raiju [13]: Kết hợp A2C, PPO và Metasploit cho cả 3 tác vụ trên 4 môi trường Windows và Linux.

Chương 1 tổng hợp bảng so sánh định hướng nghiên cứu đề tài so với các công trình trước:

Tiêu chí	Nghiên cứu [5]	Nghiên cứu [10]	Nghiên cứu [9]	Nghiên cứu [13]	Đề tài khóa luận
Loại tấn công	Hậu khai thác	Hậu khai thác	Tấn công mạng	Hậu khai thác	Hậu khai thác
Privilege Escalation	Có	Không	Không	Có	Có
Gather Information	Không	Không	Không	Có	Có
Lateral Movement	Không	Có	Không	Có	Có
Attack Target Host	Không	Không	Có	Không	Không
Mô hình DRL	A2C	A2C, Q-Learning, SARSA	HDRL, HDQN	A2C, PPO	HA2C, HPPO
Công cụ	PowerShell Empire	PowerShell Empire	Tùy chỉnh	Metasploit	Metasploit
Nền tảng hỗ trợ	Windows	Windows	Mạng nội bộ	Windows, Linux	Windows, Linux

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày chi tiết toán học và lý thuyết nền tảng:

• Các giai đoạn trong kiểm thử xâm nhập và vai trò của tự động hóa.
• Phân loại học máy (Supervised, Unsupervised, Semi-Supervised, Reinforcement Learning) và cấu trúc mạng nơ-ron sâu (Deep Neural Networks), cơ chế lan truyền ngược (Backpropagation).
• Mô hình MDP, giải thuật Q-Learning với bảng giá trị $Q(s, a)$, cấu trúc mạng DQN gồm Replay Buffer và Target Network $Q(s, a; \theta^-)$.
• Phân biệt Value-based và Policy-based; cơ chế Actor-Critic, công thức tính TD error và hàm Advantage.
• Nguyên lý toán học của thuật toán PPO: hàm mất mát $L^{CLIP}(\theta)$, cơ chế điều chỉnh Adaptive KL Penalty ($L^{KLPEN}$), và hàm mất mát tổng hợp gồm entropy bonus $S\pi_\theta$ và squared error loss $L_t^{VF}(\theta)$.
• Cấu trúc phân cấp HDRL với Meta-controller và Controller.

Chương 3: Mô hình học tăng cường sâu phân cấp cho quá trình tự động hóa hậu khai thác xâm nhập

Chương 3 chi tiết hóa giải pháp đề xuất:

• Định nghĩa không gian trạng thái toàn cục và cục bộ cho bài toán hậu khai thác.
• Kiến trúc chi tiết của hai lớp tác nhân Upper-level Agent và Lower-level Agent.
• Cơ chế ánh xạ các mục tiêu con sang danh mục các module chức năng của Metasploit.
• Quy trình phối hợp khép kín giữa thu thập dữ liệu máy chủ, phân loại mục tiêu, lựa chọn module tấn công và nhận phản hồi phần thưởng từ môi trường mạng.

Chương 4: Kết quả thực nghiệm, phân tích – đánh giá

Chương 4 cung cấp dữ liệu thực nghiệm chi tiết:

• Thiết lập môi trường huấn luyện (training) và môi trường đánh giá (testing) đa nền tảng.
• Phương pháp tăng tốc quá trình huấn luyện mô hình.
• Đánh giá khả năng tạo session khai thác thành công và leo thang đặc quyền thông qua Metasploit.
• So sánh hiệu năng giữa hai thuật toán HA2C và HPPO trên các mốc huấn luyện 2000, 4000, và 8000 episode dưới hai chế độ reward $(+30, -1)$ và $(+1, -1)$.
• Đánh giá tính ổn định và số lượng bước thực thi trên tập kiểm thử gồm 4000 thao tác và 200 thao tác.

Chương 5: Kết luận và hướng phát triển

• Đánh giá mức độ hoàn thành các mục tiêu nghiên cứu đặt ra.
• Trình bày những khó khăn, thách thức gặp phải trong quá trình huấn luyện và tối ưu không gian hành động.
• Nêu các hướng mở rộng tiềm năng cho đề tài.

---

Kết quả và đóng góp

Khóa luận đạt được các kết quả và đóng góp cụ thể:

1. Xây dựng thành công mô hình HDRL hợp nhất: Khác với các nghiên cứu [5] và [10] vốn tách rời từng tác vụ đơn lẻ, mô hình đề xuất liên kết thành công cả 3 giai đoạn: leo thang đặc quyền, thu thập thông tin và tấn công lan rộng trong một cấu trúc điều khiển phân cấp duy nhất.
2. Khắc phục hạn chế nền tảng: Chuyển đổi hoàn toàn môi trường thực thi sang Metasploit Framework, cho phép mở rộng không gian kiểm thử sang cả hệ điều hành Linux lẫn Windows, khắc phục sự phụ thuộc vào công cụ PowerShell Empire đã dừng phát triển.
3. Thực nghiệm so sánh chuyên sâu giữa HA2C và HPPO:
   • Cung cấp dữ liệu định lượng về thời gian huấn luyện, tốc độ hội tụ và tỷ lệ thực hiện thành công các thao tác hậu khai thác.
   • Kiểm chứng sự ảnh hưởng của cấu trúc hàm thưởng $(+30, -1)$ so với $(+1, -1)$ trên các quy mô 2000, 4000, và 8000 episode.
   • Đánh giá khả năng khái quát hóa chính sách của tác nhân trên các kịch bản kiểm thử cố định (200 thao tác và 4000 thao tác).

---

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế được ghi nhận: Số lượng lỗ hổng bảo mật (CVE) và kỹ thuật tấn công mới liên tục xuất hiện khiến không gian hành động của Metasploit gia tăng nhanh chóng. Mô hình vẫn đối mặt với thách thức trong việc tối ưu hóa không gian hành động lớn khi mở rộng sang các cấu hình dịch vụ phức tạp hơn.
• Hướng phát triển: Tích hợp thêm các module khai thác mới cập nhật từ Metasploit; cải tiến cơ chế phân tách tác nhân và hàm thưởng nội tại; mở rộng thử nghiệm trên các topo mạng doanh nghiệp quy mô lớn với nhiều lớp phòng thủ chuyên sâu.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo cho:

• Sinh viên, học viên chuyên ngành An toàn thông tin, Mạng máy tính và Khoa học dữ liệu đang nghiên cứu ứng dụng Trí tuệ nhân tạo (AI/DRL) trong an ninh mạng.
• Các kỹ sư an toàn thông tin, chuyên gia kiểm thử xâm nhập (Pentester) quan tâm đến giải pháp tự động hóa các kịch bản hậu khai thác và leo thang đặc quyền.
• Các nhà nghiên cứu phát triển thuật toán phân cấp (Hierarchical Reinforcement Learning) có thể tham khảo phương pháp luận thiết kế phân tầng Actor-Critic và PPO cho bài toán ra quyết định tuần tự phức tạp.

---

Câu hỏi thường gặp

1. Tại sao khóa luận chọn công cụ Metasploit thay vì PowerShell Empire như các công trình nghiên cứu trước?
PowerShell Empire đã ngừng được duy trì và hỗ trợ từ năm 2021, đồng thời chỉ tập trung vào nền tảng Windows. Metasploit được cộng đồng an ninh mạng phát triển liên tục, cung cấp kho module phong phú áp dụng được cho cả hai nền tảng phổ biến là Windows và Linux.

2. Tác nhân phân cấp (HDRL) giải quyết bài toán không gian hành động lớn như thế nào?
Mô hình chia quy trình thành 2 lớp tác nhân: Upper-level Agent chỉ tập trung phân loại và chọn mục tiêu chiến thuật cấp cao (Privilege Escalation, Gather Information, Lateral Movement), trong khi Lower-level Agent chỉ xử lý tập hành động cụ thể tương ứng với mục tiêu đó. Việc này chia nhỏ không gian trạng thái – hành động, giúp mô hình học tăng cường hội tụ nhanh hơn.

3. Khóa luận triển khai những thuật toán học tăng cường sâu phân cấp nào?
Nghiên cứu tập trung triển khai và so sánh hai thuật toán phân cấp chính: HA2C (Hierarchical Advantage Actor Critic) và HPPO (Hierarchical Proximal Policy Optimization).

4. Nghiên cứu Raiju [13] có điểm gì tương đồng và khác biệt so với đề tài này?
Cả hai đều sử dụng Metasploit trên cả Windows và Linux để thực hiện 3 tác vụ hậu khai thác. Tuy nhiên, Raiju sử dụng A2C và PPO phẳng truyền thống, gặp khó khăn khi số lượng CVE và hành động tăng cao; trong khi khóa luận giải quyết bài toán này bằng cấu trúc phân cấp (HDRL) với hai biến thể HA2C và HPPO.

5. Các mức thử nghiệm nào được áp dụng để đánh giá hai thuật toán HA2C và HPPO trong Chương 4?
Các thuật toán được đánh giá thông qua quá trình huấn luyện ở các mốc 2000, 4000, 8000 episode dưới hai hàm phần thưởng $(+30, -1)$ và $(+1, -1)$, đồng thời kiểm thử trên các tập đánh giá với 200 thao tác và 4000 thao tác.

---

Kết luận

Khóa luận của tác giả Võ Duy Nhất đã nghiên cứu và ứng dụng thành công mô hình học tăng cường sâu phân cấp (HDRL) để tự động hóa quy trình hậu khai thác mạng đa nền tảng. Bằng việc phân tách tác vụ thành hai lớp điều khiển kết hợp với khung khai thác Metasploit, nghiên cứu giải quyết hiệu quả sự bùng nổ không gian hành động trong các kịch bản leo thang đặc quyền, thu thập thông tin và tấn công lan rộng. Các kết quả thực nghiệm định lượng giữa hai thuật toán HA2C và HPPO cung cấp cơ sở kỹ thuật giá trị cho việc phát triển các hệ thống kiểm thử an ninh mạng tự trị.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về đề tài và những nghiên cứu liên quan. e Chương 2: Trinh bay cơ sở lý thuyết và kiến thức nền tang liên quan đến đề tài. e Chương 3: Trình bày mô hình học tăng cường phân cấp cho tự động hóa hậu khai thác xâm nhập. e Chương 4: Trình bày kết quả thực nghiệm, phân tích - đánh giá.

e Chương 5: Kết luận và hướng phát triển của đề tài. CƠ SỞ LY THUYET Chương này trình bày cơ sở lý thuyết của nghiên cứu: Bao gồm kiểm thử xâm nhập, mô hình học máy, và mô hình học tăng cường, các thuật toán học tăng cường trong hậu khai thác (PPO, A2C, HDRL). Kiểm thử xâm nhập 2. Khéi niém Kiểm thử xâm nhập (Penetration Testing - Pentest - PT) là hình thức đánh giá mức độ an toàn của một hệ thống mạng bằng các cuộc tấn công mô phỏng thực tế.

Hiểu đơn giản, PT cố gắng xâm nhập vào hệ thống để phát hiện ra những điểm yếu tiềm tàng của hệ thống mà tin tặc có thể khai thác và gây thiệt hại. Mục tiêu của PT là giúp tổ chức phát hiện càng nhiều lỗ hổng càng tốt, từ đó khắc phục chúng để loại trừ khả năng bị tấn công trong tương lai. Có 3 hình thức PT thường gặp: e Kiểm thử hộp trắng (White box Testing): Trong hình thức pentest white box, các chuyên gia kiểm thử được cung cấp đầy đủ thông tin về đối tượng mục tiêu trước khi họ tiến hành kiểm thử. Những thông tin này bao gồm: địa chỉ IP, sơ đồ hạ tầng mạng, các giao thức sử dụng, hoặc source code.

e Kiểm thử hộp xám (Gray box Testing): Pentest gray box là hình thức kiểm thử mà pentester nhận được một phần thông tin của đối tượng kiểm thử, ví dụ URL, IP address,. nhưng không có hiểu biết đầy đủ hay quyền truy cập vào đối tượng. 15 e Kiểm thử hộp den (Black box Testing): Là hình thức pentest dưới góc độ của một hacker trong thực tế. Với hình thức này, các chuyên gia kiểm thử không nhận được bất kỳ thông tin nào về đối tượng trước khi tấn công.

Các chuyên gia kiểm thử phải tự tìm kiếm và thu thập thông tin về đối tượng để tiến hành kiểm thử. Loại hình pentest này yêu cầu một lượng lớn thời gian tìm hiểu và nỗ lực tấn công, nên chi phí không hề rẻ. Hậu khai thác xâm nhập Hậu khai thác xâm nhập (Post-exploitation) là giai đoạn diễn ra sau khi tin tặc hoặc kẻ tấn công đã xâm nhập thành công vào hệ thống mạng hoặc máy chủ mục tiêu bằng việc khai thác các lỗ hổng hay tìm được cách để xâm nhập vào hệ thống. Ở giai đoạn này, mục tiêu của kẻ tấn công là duy trì và mở rộng quyền truy cập vào hệ thống đã bị xâm nhập, thu thập thông tin nhạy cảm, mở rộng tấn công sang các máy chủ lân cận trong mạng, tiếp tục khai thác các lỗ hồng khác hoặc thực hiện các hoạt động độc hại khác trên hệ thống đã bị xâm chiếm.

© @ © M Setup Discovery Enumeration Detection = © © ie Final Testing Oo Exploitation À6 Re Có © © © © Remediation Read-Out Reporting Post Exploitation Hình 2.1: Hậu khai thác ram nhập (Post-exploitation) nằm ở giai đoạn 6 của quá trành PT Trong quá trình hậu khai thác xâm nhập, kẻ tấn công thường dùng những công cụ và phương pháp khác nhau để truy cập và kiểm soát hệ thống mà không bị phát hiện. Các hoạt động hậu khai thác xâm nhập có thể bao gồm việc tìm kiếm các thông tin quan trọng như tên người dùng, mật khẩu, các tệp tin quan 16 trọng, cài đặt backdoor để duy trì quyền truy cập, mở rộng truy cập vào các máy chủ khác trong mạng nội bộ, tăng quyền hạn truy cập, hoặc thực hiện các cuộc tan công tiếp theo như tấn công theo chuỗi (lateral movement), leo thang đặc quyền (privilege escalation), lừa đảo (phishing) và lây lan malware. Quá trình hậu khai thác là một phần quan trọng trong quá trình PT và nghiên cứu bảo mật mạng, được diễn ra sau quá trình PT và trước khi viết báo cáo cuối cùng về quá trình PT. Việc hiểu và tìm hiểu về cách kẻ tấn công hoạt động trong giai đoạn hậu khai thác giúp các chuyên gia bảo mật xác định các biện pháp phòng ngừa và bảo vệ hiệu quả, ngăn chặn và phát hiện sự xâm nhập và sử dụng lại hệ thống một cách an toàn.

lộ day tôi sẽ áp dụng phương pháp tự động hóa bước hậu khai thác xâm nhập bằng phương pháp học tăng cường sâu phân cấp (Hierarchical Deep Reinforce- ment Learning) để kiểm tra mức độ ảnh hưởng của hệ thống khi bị tin tặc tấn công vào hệ thống mạng, từ đó giúp Pentester dễ dàng hơn trong việc bảo mật hệ thống. Kiểm thử xâm nhập tự động Kiểm thử xâm nhập tự động (Automated Penetration Testing) là quá trình xác định các lỗ hồng trong hệ thống bảo mật bằng cách sử dung các công cụ PT hoặc hệ thống một cách tự động để khai thác và phát hiện mức độ đe dọa do các 16 hồng hiện tại gây ra va để hiểu tác động của chúng. Một số mới lợi ích mà kiểm thử xâm nhập tự động mang lại: e Tốc độ và hiệu qua: Một trong những ưu điểm chính của kiểm thử xâm nhập tự động là khả năng xác định nhanh chóng các lỗ hồng bảo mật trên nhiều hệ thống. Với việc sử dụng các công cụ tự động, các tổ chức có thể quét mạng và ứng dụng của họ trong một khoảng thời gian ngắn mà con người cần để thực hiện các nhiệm vụ tương tự.

e Khả năng mở rộng: Khi các tổ chức phát triển, mạng lưới và hệ thống 17 của họ cũng phát triển, khiến các chuyên gia bảo mật ngày càng gặp khó khăn trong việc theo kịp tốc độ mở rộng. Thử nghiệm xâm nhập tự động cung cấp giải pháp có thể mở rộng, có thể dễ dàng triển khai trên cơ sở hạ tầng đang mở rộng của tổ chức, đảm bảo kiểm tra bảo mật liên tục đối với các mẫu lỗ hổng đã biết. e Chi phí: Việc thuê một công ty an ninh mạng chuyên biệt hoặc người kiểm thử xâm nhập toàn thời gian có thể tốn kém, đặc biệt đối với các tổ chức nhỏ hơn với ngân sách hạn chế. Kiểm thử xâm nhập tự động có thể là một lựa chọn tiết kiệm chi phí hơn, cho phép doanh nghiệp tiến hành đánh giá bảo mật thường xuyên ma không tốn nhiều chi phí.

e Kiểm tra bảo mật liên tục: Với khả năng quét suốt ngày đêm, kiểm thử xâm nhập tự động có thể cung cấp khả năng giám sát liên tục các hệ thống của tổ chức, xác định các lỗ hồng đã biết khi chúng phát sinh và cảnh báo cho các nhóm bảo mật trong thời gian thực. Cách tiếp cận chủ động này có thể giúp các tổ chức đón đầu các mối đe dọa tiềm an và phan ứng nhanh chóng. Học máy (Machine Learning) Học máy hay máy học (Machine Learning) là một loại Trí tuệ nhân tạo (Artificial Intelligence - AI) cho phép các ứng dung phần mềm trở nên chính xác hơn trong việc dự đoán kết quả mà không cần được lập trình rõ ràng để làm như vậy. Các thuật toán học máy sử dụng dữ liệu lịch sử làm đầu vào để dự đoán các giá trị đầu ra mới.

Một số ứng dụng phổ biến của học máy bao gồm hệ thống đề xuất (recommend system), hệ thống phát hiện bất thường (anomaly detection), phát hiện xâm nhập (ids), phần mềm độc hại (malwares), lọc thư rác (spam email). Học máy cổ điển thường được phân loại theo cách một thuật toán học để trở nên chính xác hơn trong các dự đoán của nó. Có bốn cách tiếp cận cơ bản: học có giám sát, học không giám sát, học bán giám sát va hoc tăng 18 cường. Loại thuật toán mà các nhà khoa học sử dụng tùy thuộc vào loại dữ liệu họ muốn dự đoán.

e Học có giám sát (Supervised Machine Learning): Trong loại hoc máy này, các nhà nghiên cứu cung cấp các thuật toán với dữ liệu huấn luyện được gắn nhãn và xác định các biến mà họ muốn thuật toán đánh giá để tìm mối tương quan. Cả đầu vào và đầu ra của thuật toán đều được chỉ định. e Học không giám sát (Unsupervised Machine Learning): Loại học máy này liên quan đến các thuật toán đào tạo trên dit liệu không được gắn nhãn. Thuật toán quét qua các tập dit liệu để tìm kiếm bất kỳ kết nối có ý nghĩa nào.

Dữ liệu mà các thuật toán đào tạo cũng như các dự đoán hoặc khuyến nghị mà chúng xuất ra được xác định trước. e Học bán giám sát (Semi-Supervised Learning): Cách tiếp cận này đối với học máy liên quan đến sự kết hợp của hai loại trước đó. Các nhà khoa học dữ liệu có thể cung cấp một thuật toán chủ yếu là dữ liệu đào tạo được gắn nhãn, nhưng mô hình có thể tự do khám phá dữ liệu và phát triển sự hiểu biết của riêng mình về tập dữ liệu. e Hoc tăng cường (Reinforcement Learning): những người nghiên cứu thường sử dụng học tăng cường để dạy máy hoàn thành một quy trình gồm nhiều bước trong đó có các quy tắc được xác định rõ ràng.

Các nhà khoa học lập trình một thuật toán để hoàn thành một nhiệm vụ và cung cấp cho nó những dấu hiệu tích cực hoặc tiêu cực khi nó tìm ra cách hoàn thành một nhiệm vụ. Nhưng phần lớn, thuật toán tự quyết định những bước cần thực hiện trong quá trình thực hiện. Khai niệm, Học sâu (Deep Learning) là một phương pháp trong lĩnh vực Trí tuệ nhân tạo (Artificial Intelligence - AT) mà tập trung vào việc xây dựng và huấn luyện các mạng neural (neural networks) có cấu trúc mạng neural sâu (deep neural networks) để tự động học và suy nghĩ giống như bộ não của con người. Deep Learning được gọi là "sâu" vì nó bao gồm nhiều tầng (lớp) của các đơn vị tính toán gọi là neurons.

Các tầng này kết nối với nhau và truyền dữ liệu qua từ tầng này sang tầng khác, qua đó tạo thành một mạng neural có khả năng học tập phức tạp. Quá trình huấn luyện mạng neural sâu thường được thực hiện thông qua quá trình gọi là lan truyền ngược (backpropagation), trong đó mô hình tìm cách điều chỉnh các trọng số để tối ưu hóa kết quả đầu ra so với kết quả mong đợi. Deep Learning đã gây ra cuộc cách mạng trong nhiều lĩnh vực như thị giác máy tính, xử lý ngôn ngữ tự nhiên và nhận dạng giọng nói. Ví dụ, trong thị giác máy tính, các mạng neural sâu đã đạt được kết quả ấn tượng trong việc phân loại ảnh, nhận dạng khuôn mặt và phát hiện vật thể.