Bối cảnh và vấn đề nghiên cứu

Trong an toàn thông tin, kiểm thử xâm nhập (penetration testing - pentest) là phương thức chủ đạo nhằm chủ động rà quét, phát hiện lỗ hổng và mô phỏng các hành vi tấn công mạng. Tuy nhiên, trước sự gia tăng quy mô và độ phức tạp của hạ tầng mạng hiện đại, quy trình pentest thủ công bộc lộ nhiều điểm nghẽn về nhân lực và thời gian, không bắt kịp tốc độ thay đổi của các kịch bản tấn công tinh vi. Đồng thời, sự phát triển của Trí tuệ nhân tạo (AI) đặt ra thách thức hai chiều: kẻ tấn công có thể áp dụng AI để tự động hóa hoạt động khai thác, đòi hỏi hệ thống phòng thủ và đánh giá an toàn mạng cũng phải xây dựng các cơ chế kiểm thử tự động tương ứng.

Trong toàn bộ chu trình pentest, hậu khai thác (post-exploitation) là giai đoạn trọng yếu diễn ra ngay sau khi một điểm xâm nhập ban đầu bị chiếm quyền. Giai đoạn này cho phép đánh giá toàn diện mức độ an toàn của hệ thống mạng nội bộ trước các nguy cơ xâm nhập từ bên ngoài hoặc rủi ro nội gián thông qua hai kỹ thuật cốt lõi: leo thang đặc quyền (privilege escalation) và tấn công lan rộng (lateral movement). Dù các công cụ hỗ trợ tấn công hiện nay như Metasploit, PowerShell Empire, PowerSploit hay Cobalt Strike đã hỗ trợ tự động hóa một số thao tác đơn lẻ, chúng vẫn đòi hỏi chuyên gia bảo mật phải trực tiếp can thiệp, lập chiến lược và kích hoạt từng bước.

Nhằm giải quyết bài toán trên, khóa luận tốt nghiệp kỹ sư ngành An toàn Thông tin của hai tác giả Phan Thành Trung và Văn Đình Quốc (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh, thực hiện năm 2023 dưới sự hướng dẫn của ThS. Đỗ Thị Thu Hiền) tập trung vào đề tài: "Tự động hóa quá trình hậu khai thác sử dụng học tăng cường trong đánh giá bảo mật hệ thống mạng".

Mục tiêu nghiên cứu của đề tài được xác định cụ thể như sau:

  1. Ứng dụng học sâu tăng cường (Deep Reinforcement Learning - DRL) để tự động hóa giai đoạn hậu khai thác trong đánh giá bảo mật mạng.
  2. Huấn luyện tác tử có khả năng thực hiện đồng thời hai nhiệm vụ: leo thang đặc quyền trên máy đã chiếm quyền kiểm soát và tấn công lan rộng sang các máy lân cận trong cùng hệ thống mạng.
  3. Mở rộng không gian thực thi trên môi trường hỗn hợp bao gồm cả hai hệ điều hành phổ biến là Windows và Linux, thay thế công cụ PowerShell Empire đã dừng phát triển bằng framework Metasploit.
  4. Triển khai, đối chuẩn và so sánh hiệu năng thực nghiệm giữa hai thuật toán học tăng cường hiện đại: Advantage Actor-Critic (A2C) và Proximal Policy Optimization (PPO).

Đối tượng nghiên cứu của khóa luận bao gồm:

  • Quy trình và kỹ thuật hậu khai thác mạng máy tính.
  • Các mô hình học tăng cường sâu và lý thuyết quy trình quyết định Markov.
  • Bộ công cụ khai thác và kiểm thử an ninh mạng Metasploit.
  • Hai thuật toán học sâu tăng cường A2C và PPO.

Phạm vi nghiên cứu tập trung vào mô hình mạng nội bộ thử nghiệm bao gồm các máy ảo Windows và Linux, giới hạn không gian hành động trong các module hậu khai thác của Metasploit cho hai mục tiêu leo thang đặc quyền và di chuyển ngang.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình toán học

Khóa luận xây dựng trên nền tảng lý thuyết kiểm thử xâm nhập, xác định hậu khai thác là giai đoạn thứ sáu trong chu trình bảo mật (sau các bước Thiết lập, Khám phá, Liệt kê, Phát hiện, Tấn công và trước bước Báo cáo/Khắc phục).

Bài toán ra quyết định của tác tử tấn công tự động được toán học hóa thông qua Quy trình quyết định Markov (Markov Decision Process - MDP), định nghĩa bởi bộ tham số: $$M = \langle S, A, P, R, \gamma, H \rangle$$ Trong đó:

  • $S$: Không gian các trạng thái môi trường mà tác tử quan sát được.
  • $A$: Tập hợp các hành động khả dĩ của tác tử (tương ứng với các module tấn công).
  • $P$: Hàm chuyển đổi trạng thái mang tính ngẫu nhiên (stochastic process).
  • $R$: Hàm phần thưởng lượng hóa thành công hoặc thất bại của hành vi.
  • $\gamma$: Hệ số chiết khấu phần thưởng tương lai ($0 \le \gamma \le 1$).
  • $H$: Giới hạn thời gian hoặc số bước tối đa trong một tập (horizon/episode).

Mô hình Deep Reinforcement Learning giải quyết hạn chế về tài nguyên bảng của thuật toán Q-Learning truyền thống khi đối mặt với không gian trạng thái lớn bằng cách xấp xỉ hàm giá trị trạng thái - hành động $Q(s, a; \theta)$ thông qua mạng nơ-ron sâu.

Khóa luận phân tích hai thuật toán thuộc họ Actor-Critic:

  • Advantage Actor-Critic (A2C): Mạng Actor biểu diễn hàm chính sách $\pi_\theta(a|s)$ chịu trách nhiệm chọn hành động, được cập nhật theo công thức: $$\Delta \theta = \alpha \nabla_\theta (\log \pi_\theta(s, a)) \hat{A}(s, a)$$ Mạng Critic ước lượng hàm giá trị trạng thái $V(s)$ với trọng số $w$, cập nhật dựa trên sai số Temporal Difference (TD Error): $$TD_{error} = R + \gamma V(s') - V(s)$$ Hàm lợi thế (Advantage) được định lượng tương đương với $TD_{error}$ để đánh giá hành động tốt hơn hay kém hơn kỳ vọng.
  • Proximal Policy Optimization (PPO): Khắc phục nhược điểm mất ổn định của Policy Gradient và độ phức tạp tính toán đạo hàm bậc hai của Trust Region Policy Optimization (TRPO). PPO sử dụng hàm mục tiêu xén (Clipped Surrogate Objective): $$L^{CLIP}(\theta) = \hat{\mathbb{E}}t \left[ \min\left(r_t(\theta)\hat{A}t, , \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}t\right) \right]$$ Trong đó $r_t(\theta) = \frac{\pi\theta(a_t|s_t)}{\pi{\theta{old}}(a_t|s_t)}$ là tỉ lệ xác suất chính sách mới so với chính sách cũ, và $\epsilon$ là siêu tham số kiểm soát biên độ cập nhật (thường chọn $\epsilon = 0.2$). Ngoài ra, PPO còn kết hợp cơ chế phạt phân kỳ Kullback-Leibler thích ứng (Adaptive KL Penalty Coefficient) và tối ưu hóa hàm mất mát tổng hợp gồm thành phần chính sách, bình phương sai số giá trị và phần thưởng entropy để duy trì cân bằng giữa khám phá (exploration) và khai thác (exploitation).

Phương pháp nghiên cứu và nguồn dữ liệu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp mô phỏng hóa hệ thống. Tác tử học máy tương tác trực tiếp với môi trường mạng mô phỏng thông qua giao diện lập trình của Metasploit Framework.

Dữ liệu đầu vào của tác tử là các vector trạng thái trích xuất từ thông tin phiên làm việc (session), mức quyền hạn người dùng (user privilege, root, system), và danh sách dịch vụ mạng mở. Dữ liệu huấn luyện được sinh tự động theo cơ chế thử - sai (trial-and-error) qua hàng nghìn tập (episodes) thực thi trên các máy ảo mục tiêu.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 khái quát tình hình nghiên cứu an toàn mạng và phân tích chuyên sâu hai công trình liên quan trực tiếp:

  1. Công trình "Automating post-exploitation with deep reinforcement learning": Sử dụng A2C, Q-Learning và SARSA kết hợp PowerShell Empire để di chuyển ngang đến Domain Controller trong mạng Windows. Kết quả công trình này cho thấy mô hình A2C đạt mục tiêu sau 15 thao tác (bước) trong 11 phút 35 giây, vượt trội so với phương pháp ngẫu nhiên (Random - 91 bước) và duyệt toàn bộ (Brute Force - 80 bước) vốn đều thất bại sau giới hạn 1 giờ.
  2. Công trình "Automating Privilege Escalation with Deep Reinforcement Learning": Ứng dụng A2C và PowerShell Empire để leo thang đặc quyền trên hệ điều hành Windows 7. Công trình so sánh 5 tác tử: Oracle agent (biết toàn bộ thông tin), Expert agent (chính sách tối ưu chuyên gia), Deterministic RL, Stochastic RL (DRL huấn luyện) và Random agent; qua đó chứng minh tác tử học tăng cường tiệm cận hiệu năng của chuyên gia.

Từ các phân tích trên, chương chỉ ra ba hạn chế lớn của các nghiên cứu trước: chỉ chạy trên môi trường Windows, công cụ PowerShell Empire đã ngừng bảo trì từ năm 2021, và các tác vụ bị chia cắt thành từng bài toán đơn lẻ. Nhóm tác giả xác định hướng đi mới: tích hợp Metasploit, hỗ trợ cả Windows và Linux, liên kết leo thang đặc quyền và tấn công lan rộng thành một chuỗi duy nhất dưới sự điều khiển của một mô hình học sâu tăng cường.

+------------------------+-------------------+-------------------+--------------------+
| Tiêu chí               | Nghiên cứu trước  | Nghiên cứu trước  | Khóa luận hiện tại |
|                        | [9]               | [8]               |                    |
+------------------------+-------------------+-------------------+--------------------+
| Privilege escalation   | Không             | Có                | Có                 |
| Lateral movement       | Có                | Không             | Có                 |
| Thuật toán sử dụng     | A2C, Q-Learning,  | A2C               | A2C, PPO           |
|                        | SARSA             |                   |                    |
| Công cụ khai thác      | PowerShell Empire | PowerShell Empire | Metasploit         |
| Nền tảng đích          | Windows           | Windows           | Windows & Linux    |
+------------------------+-------------------+-------------------+--------------------+

Chương 2. Cơ sở lý thuyết

Chương 2 cung cấp nền tảng toán học và kỹ thuật của hệ thống. Tác giả trình bày chi tiết khái niệm giai đoạn hậu khai thác, cấu trúc mạng nơ-ron sâu, giải thuật lan truyền ngược (backpropagation) và các thành phần cốt lõi của học tăng cường (Agent, Environment, Action, State, Policy, Reward, Episode).

Chương đi sâu phân tích lý thuyết MDP với tính chất Markov (không lưu vết quá khứ - memoryless), so sánh chi tiết phương pháp tiếp cận dựa trên giá trị (Value-based) và dựa trên chính sách (Policy-based). Trọng tâm của chương là cấu trúc mạng Actor-Critic, cơ chế tính toán sai số TD Target, TD Error trong A2C, và phân tích các cải tiến của PPO thông qua hàm mục tiêu giới hạn (Clipped Surrogate Objective) nhằm triệt tiêu hiện tượng sụp đổ chính sách khi cập nhật bước đi quá lớn.

Chương 3. Mô hình thực nghiệm

Chương 3 trình bày kiến trúc mô hình hóa bài toán hậu khai thác vào môi trường học tăng cường:

  • Thuộc tính trạng thái (State): Xác định các thuộc tính phản ánh tình trạng hiện tại của mục tiêu như định danh host, cổng dịch vụ, hệ điều hành (Windows/Linux), phiên làm việc khả dụng, và mức đặc quyền kiểm soát. Nhóm thiết lập vector hóa các thuộc tính này để đưa vào đầu vào mạng nơ-ron.
  • Không gian hành động (Action): Xây dựng tập hợp các hành động tương ứng với danh sách module kiểm thử của Metasploit, bao gồm các module khai thác cục bộ để leo thang đặc quyền và các module quét/tấn công dịch vụ mạng nhằm lan rộng sang host kế cận.
  • Hàm phần thưởng (Reward): Thiết kế cấu trúc điểm thưởng/phạt định hướng tác tử: cộng điểm thưởng lớn khi nâng quyền thành công (đạt quyền Administrator/SYSTEM trên Windows hoặc root trên Linux) hoặc mở thành công session mới trên máy lân cận; áp dụng điểm phạt nhẹ cho mỗi bước đi không tạo ra tiến triển nhằm tối ưu hóa độ dài chuỗi hành động và phạt nặng khi gặp lỗi thực thi nghiêm trọng.

Chương 4. Thí nghiệm và đánh giá

Chương 4 mô tả chi tiết quá trình triển khai thực nghiệm và kiểm thử hiệu năng:

  • Thiết lập thí nghiệm: Cấu hình môi trường mạng huấn luyện và môi trường mạng kiểm tra riêng biệt nhằm kiểm tra tính tổng quát hóa của mô hình; đề xuất các giải pháp kỹ thuật nhằm tăng tốc thời gian phản hồi giữa agent và framework Metasploit.
  • Huấn luyện tác tử: Triển khai huấn luyện thuật toán A2C và PPO qua ba mốc quy mô tập: 2000 episodes, 4000 episodes và 8000 episodes.
  • Đánh giá và so sánh: Phân tích thời gian huấn luyện thực tế, độ dốc hội tụ của hàm phần thưởng, và tỷ lệ thực thi thành công chuỗi tấn công trên môi trường kiểm tra. Tiến hành đối chuẩn giữa A2C, PPO và tác tử ngẫu nhiên (Random Agent) qua mốc chuẩn 4000 thao tác.

Chương 5. Kết luận

Chương cuối đúc kết các kết quả đạt được, thẳng thắn chỉ ra các khó khăn về mặt tài nguyên tính toán và độ trễ phản hồi của dịch vụ mạng, đồng thời nêu rõ các điểm còn hạn chế của mô hình thực nghiệm và đề xuất hướng mở rộng cho các nghiên cứu tiếp theo.

Kết quả và đóng góp

Kết quả thực nghiệm

Khóa luận đã thu thập và so sánh chi tiết các tham số vận hành giữa hai thuật toán A2C và PPO trên môi trường kiểm thử:

  • Thời gian huấn luyện: Thuật toán A2C có thời gian thực thi mỗi tập ngắn hơn PPO do kiến trúc tính toán trực tiếp từ sai số TD Error, không phải xử lý hàm mục tiêu xén qua nhiều mini-batch như PPO.
  • Độ ổn định và khả năng hội tụ: Ở quy mô 2000 episodes, cả hai thuật toán bắt đầu học được các chuỗi hành động cơ bản nhưng xác suất chọn hành động tối ưu chưa ổn định. Khi nâng số lượng tập lên 4000 và 8000 episodes, thuật toán PPO thể hiện độ ổn định vượt trội so với A2C, đường biểu diễn phần thưởng tích lũy hội tụ mượt mà và duy trì chính sách khai thác hiệu quả, trong khi A2C xuất hiện các dao động cục bộ.
  • Hiệu quả tấn công đối chuẩn: Trong thử nghiệm 4000 thao tác, cả hai mô hình DRL đều hoàn thành mục tiêu leo thang đặc quyền và di chuyển ngang với số bước thực hiện ít hơn đáng kể so với Random Agent (tác tử ngẫu nhiên liên tục thử các module không phù hợp với ngữ cảnh trạng thái và không hoàn thành mục tiêu trong giới hạn bước cho phép).

Giải pháp và kiến nghị

  1. Tích hợp framework Metasploit vào hệ thống điều khiển học máy thông qua API tự động, giúp giải phóng pentester khỏi các tác vụ dò quét lặp đi lặp lại.
  2. Áp dụng kiến trúc liên kết chuỗi hành động: gom cụm tác vụ leo thang đặc quyền và tấn công lan rộng vào một agent thống nhất, giúp hệ thống tự động tìm kiếm đường dẫn tấn công xuyên suốt từ nút mạng biên đến các máy chủ nội bộ.

Đóng góp so với các nghiên cứu trước

  • Mở rộng đa nền tảng: Vượt qua giới hạn chỉ hỗ trợ Windows của các nghiên cứu [8] và [9], mô hình của khóa luận vận hành đồng thời trên cả hai môi trường Windows và Linux.
  • Hợp nhất chuỗi tấn công: Kết hợp thành công hai bài toán phân mảnh (leo thang đặc quyền đơn lẻ và lan rộng mạng đơn lẻ) thành một quy trình xuyên suốt được xử lý bởi một mô hình tác tử duy nhất.
  • Hiện đại hóa công cụ: Thay thế công cụ PowerShell Empire đã lỗi thời bằng Metasploit, đảm bảo khả năng tương thích và mở rộng với các module bảo mật được cập nhật liên tục từ cộng đồng an toàn thông tin.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Không gian hành động của tác tử vẫn bị giới hạn trong danh mục các module Metasploit được lựa chọn trước, chưa bao quát toàn bộ các kỹ thuật tấn công thực tế phức tạp.
  • Môi trường thử nghiệm là mạng mô phỏng gồm các máy ảo nội bộ, chưa tích hợp đầy đủ các giải pháp giám sát an ninh chủ động như hệ thống phát hiện/ngăn ngừa xâm nhập (IDS/IPS), tường lửa thế hệ mới (NGFW) hay phần mềm phát hiện và ứng phó điểm cuối (EDR) vốn có thể chặn các hành vi của tác tử.
  • Quá trình tương tác trực tiếp với các module khai thác thực tế qua mạng đòi hỏi thời gian phản hồi dịch vụ, dẫn đến tốc độ huấn luyện mô hình còn chậm khi quy mô mạng mở rộng.

Hướng nghiên cứu tiếp

  • Bổ sung và cập nhật liên tục danh sách các module khai thác mới từ kho dữ liệu Metasploit để mở rộng không gian hành động.
  • Nâng cao tính thực tế của môi trường bằng cách tích hợp các kịch bản phòng thủ chủ động (Evasion techniques), huấn luyện tác tử né tránh sự phát hiện của EDR/IDS.
  • Thử nghiệm các kiến trúc học tăng cường mới hơn hoặc kết hợp học tăng cường phân tán nhằm rút ngắn thời gian huấn luyện trên không gian mạng quy mô lớn.

Giá trị tham khảo

Khóa luận là tài liệu học thuật hữu ích cho sinh viên, giảng viên và kỹ sư thuộc các chuyên ngành An toàn Thông tin, Mạng máy tính và Truyền thông, cũng như Khoa học Dữ liệu định hướng an ninh mạng (AI in Cybersecurity).

Các phần nội dung có giá trị tham khảo ứng dụng cao:

  • Phương pháp chuyển đổi bài toán an ninh mạng sang mô hình toán học MDP (Chương 2 và Chương 3): Cung cấp cách thức chuẩn hóa vector trạng thái (State), không gian hành động (Action) từ module pentest và thiết kế hàm phần thưởng (Reward) để lượng hóa hành vi tấn công.
  • So sánh lý thuyết và thực nghiệm giữa A2C và PPO (Chương 2 và Chương 4): Là tài liệu tham khảo chi tiết về cơ chế toán học của hai thuật toán học tăng cường hiện đại khi áp dụng vào một bài toán thực tế có không gian rời rạc.
  • Quy trình kết nối học máy với công cụ kiểm thử Metasploit: Cung cấp hướng tiếp cận thực tiễn cho các đề tài phát triển giải pháp tự động hóa đánh giá bảo mật (Automated Penetration Testing).

Câu hỏi thường gặp

1. Tại sao nghiên cứu lại chọn công cụ Metasploit thay vì PowerShell Empire như các công trình tiền nhiệm?

Nghiên cứu tiền nhiệm [9] và [8] sử dụng PowerShell Empire, tuy nhiên công cụ này đã chính thức ngừng phát triển và hỗ trợ từ năm 2021, đồng thời phạm vi khai thác chủ yếu tập trung vào hệ điều hành Windows. Nhóm tác giả chuyển sang Metasploit vì framework này sở hữu cộng đồng phát triển lớn, liên tục cập nhật các lỗ hổng mới, và cung cấp hệ thống module đa dạng hỗ trợ cả hai hệ điều hành phổ biến là Windows và Linux.

2. Hai mục tiêu kỹ thuật cốt lõi mà mô hình học sâu tăng cường trong khóa luận cần thực hiện là gì?

Tác tử DRL được huấn luyện để thực hiện hai nhiệm vụ liên hoàn trong giai đoạn hậu khai thác:

  • Leo thang đặc quyền (Privilege Escalation): Chiếm quyền điều khiển cao nhất (Administrator/SYSTEM trên Windows hoặc root trên Linux) từ một tài khoản người dùng thông thường trên máy đã xâm nhập.
  • Tấn công lan rộng (Lateral Movement): Sử dụng máy đã chiếm quyền làm bàn đạp để khai thác, mở phiên làm việc mới trên các host lân cận trong cùng phân vùng mạng.

3. Thuật toán PPO thể hiện ưu điểm gì nổi bật hơn so với A2C trong kết quả thực nghiệm?

Mặc dù A2C có thời gian tính toán mỗi lượt nhanh hơn, PPO thể hiện độ ổn định vượt trội khi tăng số lượng tập huấn luyện lên 4000 và 8000 episodes. Nhờ hàm mục tiêu xén (Clipped Surrogate Objective) khống chế bước nhảy của chính sách trong phạm vi $[1-\epsilon, 1+\epsilon]$, PPO tránh được hiện tượng phân kỳ và suy giảm hiệu năng đột ngột, giúp đường hội tụ phần thưởng mượt mà và tìm ra chuỗi hành động tối ưu ổn định hơn.

4. Thuộc tính của trạng thái (State) và hành động (Action) trong mô hình thực nghiệm được trích xuất từ đâu?

Trạng thái được lượng hóa từ các thông tin thu thập được trên hệ thống đích bao gồm định danh thiết bị, cổng mở, dịch vụ mạng đang chạy, hệ điều hành và quyền hạn của phiên kết nối hiện tại. Không gian hành động được xây dựng trực tiếp từ danh mục các module khai thác cục bộ và quét mạng sẵn có trong framework Metasploit tương ứng với ngữ cảnh mục tiêu.

Kết luận

Khóa luận của hai tác giả Phan Thành Trung và Văn Đình Quốc đã giải quyết thành công bài toán tự động hóa giai đoạn hậu khai thác mạng nội bộ bằng phương pháp học sâu tăng cường, khắc phục các điểm nghẽn về nhân lực của quy trình pentest thủ công truyền thống. Nghiên cứu đã xây dựng mô hình kết nối đồng thời hai kỹ thuật leo thang đặc quyền và di chuyển ngang trên cả hai nền tảng Windows và Linux thông qua framework Metasploit. Các kết quả thực nghiệm với thuật toán A2C và PPO qua 2000, 4000 và 8000 tập đã minh chứng tính khả thi của việc ứng dụng AI trong an toàn thông tin, mở ra hướng phát triển cho các hệ thống kiểm thử xâm nhập tự động thế hệ mới.