Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp kỹ sư ngành An toàn thông tin của sinh viên Nguyễn Xuân Trường và Đỗ Minh Khôi (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh, 2024) tập trung vào bài toán tối ưu hóa vị trí triển khai bẫy mạng (Honeypot) trong chiến lược phòng thủ đánh lừa (Deception-based Cyber Defense - DCD).

Trong bối cảnh các cuộc tấn công mạng gia tăng về quy mô và độ tinh vi, đặc biệt là các mối đe dọa tấn công nâng cao (Advanced Persistent Threat - APT) với đặc tính thầm lặng, thăm dò kéo dài nhiều tháng, các giải pháp bảo mật truyền thống mang tính bị động như tường lửa (Firewall), hệ thống phát hiện và ngăn chặn xâm nhập (IDPS), hay các bộ phân tích gói tin bộc lộ nhiều điểm hạn chế do chỉ xử lý khi sự cố đã phát sinh. Để chủ động đối phó, giải pháp sử dụng Honeypot được triển khai nhằm thu hút kẻ tấn công, ghi nhận hành vi và ngăn chặn sự thâm nhập sâu vào hệ sinh thái mạng. Tuy nhiên, việc triển khai Honeypot trong các hệ thống mạng quy mô lớn gặp nhiều thách thức: việc bố trí quá ít, quá nhiều hoặc đặt ở vị trí không phù hợp sẽ làm giảm hiệu quả thu hút tấn công và lãng phí tài nguyên máy chủ.

Các nghiên cứu trước đây về việc ứng dụng học tăng cường (Reinforcement Learning - RL) vào phân bổ Honeypot còn bộc lộ hai hạn chế lớn:

  1. Quyết định phân bổ phụ thuộc nhiều vào độ tin cậy của hệ thống giám sát mạng (Network Monitoring System - NMS), trong khi các NMS thực tế luôn tồn tại tỷ lệ cảnh báo sai (dương tính giả và âm tính giả).
  2. Khả năng mở rộng không gian trạng thái bị hạn chế do hầu hết các mô hình chỉ quan sát trạng thái cục bộ của từng nút mạng riêng lẻ thay vì bao quát toàn bộ cấu trúc topo mạng.

Để giải quyết các vấn đề trên, đề tài xác định 4 nhiệm vụ và mục tiêu nghiên cứu cụ thể:

  1. Nghiên cứu phương thức triển khai Honeypot trên nền tảng ảo hóa KVM (Kernel-based Virtual Machine) và chuyển mạch ảo Open vSwitch (OVS).
  2. Xây dựng các mô hình học sâu tăng cường (Deep Reinforcement Learning - DRL) nhằm phát hiện luồng tấn công và tự động phân bổ tài nguyên Honeypot.
  3. Tích hợp sơ đồ mô hình hóa xâm nhập theo cấu trúc mạng (Network Threat Penetration Graph - NTPG) và dữ liệu xác suất khai thác lỗ hổng thực tế (Exploit Prediction Scoring System - EPSS) dưới dạng ma trận để mở rộng không gian quan sát.
  4. Thiết lập môi trường thực nghiệm, mô phỏng các kịch bản tấn công có sai số cảnh báo từ NMS, đo đạc thời gian xử lý và so sánh hiệu năng giữa các thuật toán học tăng cường (DDQN, SARSA, A2C).

Đối tượng nghiên cứu của khóa luận bao gồm các thuật toán học máy tăng cường (Q-Learning, DDQN, SARSA, A2C), công cụ Honeypot, các kỹ thuật xâm nhập mạng, các thư viện học sâu (TensorFlow, Keras), cùng nền tảng mô phỏng mạng ảo hóa KVM và Open vSwitch. Phạm vi nghiên cứu giới hạn ở việc mô phỏng mạng nội bộ với các nút tài nguyên thông thường, tài nguyên quan trọng cần bảo vệ, tài nguyên bẫy và các luồng tấn công dựa trên đồ thị khai thác lỗ hổng bảo mật.

Cơ sở lý thuyết và phương pháp tiếp cận

Khung lý thuyết và mô hình toán học

Khóa luận xây dựng bài toán ra quyết định phân bổ Honeypot dựa trên khung lý thuyết của Quy trình quyết định Markov (Markov Decision Process - MDP) bao gồm bộ 5 thành phần: tập trạng thái $S$, tập hành động $A$, hàm chuyển trạng thái $P(s'|s, a)$, hàm phần thưởng $R(s, a)$, và hệ số chiết khấu $\gamma \in [0, 1)$. Mục tiêu của tác tử (Agent) là tìm chính sách hành động tối ưu $\pi(a|s)$ nhằm cực đại hóa tổng phần thưởng tích lũy kỳ vọng $G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$.

Các phương pháp và thuật toán học tăng cường được tác giả phân tích và ứng dụng bao gồm:

  • Q-Learning: Thuật toán học off-policy cập nhật bảng giá trị hành động $Q(s, a)$ thông qua phương trình Bellman: $$Q(s,a) \leftarrow Q(s,a) + \alpha \left[ r + \gamma \max_{a'} Q(s',a') - Q(s,a) \right]$$
  • Double Deep Q-Network (DDQN): Biến thể nâng cấp sử dụng mạng nơ-ron sâu xấp xỉ giá trị $Q$, giải quyết hiện tượng ước lượng giá trị quá cao (overestimation bias) của DQN truyền thống bằng cách tách biệt hai mạng: mạng chính (Main Network với trọng số $\theta$) để chọn hành động và mạng mục tiêu (Target Network với trọng số $\theta^-$) để đánh giá giá trị mục tiêu TD-target. Trọng số $\theta^-$ được đồng bộ từ $\theta$ sau mỗi chu kỳ cố định $C$.
  • State-Action-Reward-State-Action (SARSA): Thuật toán on-policy cập nhật giá trị $Q$ dựa trên hành động thực tế tiếp theo được chọn từ chính sách $\epsilon$-greedy hiện tại.
  • Advantage Actor-Critic (A2C): Kiến trúc kết hợp giữa mạng Actor (cập nhật chính sách $\pi$) và mạng Critic (ước lượng hàm giá trị trạng thái $V(s)$), sử dụng hàm lợi thế $A(s_t, a_t) = Q(s_t, a_t) - V(s_t)$ nhằm giảm phương sai và tăng tính ổn định khi không gian trạng thái lớn.
Thuật toán Cơ chế học Phương thức biểu diễn giá trị Ưu điểm chính trong bài toán
Q-Learning Off-policy Bảng tra cứu Q-table Cấu trúc đơn giản, dễ hội tụ ở không gian mạng nhỏ
SARSA On-policy Bảng tra cứu Q-table Bám sát chính sách thực thi hiện tại
DDQN Off-policy Hai mạng nơ-ron (Main/Target) Xử lý không gian trạng thái lớn, triệt tiêu thiên vị ước lượng
A2C On-policy Phân tách mạng Actor & Critic Giảm phương sai, thích nghi tốt với topo mạng phức tạp

Dữ liệu lỗ hổng và mô hình hóa đường dẫn tấn công

Để phản ánh sát thực tế an ninh mạng, nghiên cứu tích hợp hai hệ thống dữ liệu:

  • Exploit Prediction Scoring System (EPSS): Sử dụng điểm số xác suất từ 0 đến 1 (0% đến 100%) do nhóm EPSS SIG cung cấp (độ chính xác đạt ROC AUC = 0.838) để lượng hóa khả năng một lỗ hổng CVE bị khai thác trong môi trường thực tế.
  • Network Threat Penetration Graph (NTPG): Biểu diễn mạng dưới dạng đồ thị có hướng $G_{NTPG} = (N_{NTPG}, E_{NTPG})$. Các nút đại diện cho máy chủ với địa chỉ IP, và các cạnh biểu thị khả năng chuyển dịch của kẻ tấn công kèm theo cặp giá trị $(UP, RP)$, trong đó $UP$ (User Privilege) là xác suất chiếm quyền người dùng và $RP$ (Root Privilege) là xác suất chiếm quyền quản trị tối cao trên nút đích.

Thiết kế và triển khai hệ thống

Kiến trúc tổng thể hệ thống

Hệ thống phòng thủ đánh lừa thông minh gồm 3 thành phần chính liên kết thành vòng lặp khép kín:

  1. Hệ thống giám sát mạng (NMS): Ghi nhận các sự kiện xâm nhập (sử dụng Snort), trích xuất trạng thái cảnh báo của các nút mạng và gửi dữ liệu ma trận đến mô hình học máy.
  2. Mô hình học máy tăng cường (RL Agent): Tiếp nhận dữ liệu trạng thái cảnh báo, kết hợp cùng ma trận topo NTPG và ma trận xác suất EPSS; sử dụng mạng tích chập 1 chiều (CNN 1D) để phân tích, thu hẹp không gian tìm kiếm và dự đoán cấu hình đặt Honeypot tối ưu.
  3. Mô-đun phân bổ Honeypot: Nhận ma trận vị trí dự đoán từ mô hình học máy và thực hiện tái cấu hình, chuyển dịch vị trí các máy chủ ảo bẫy trên hệ thống mạng.

Mô hình hóa môi trường và không gian trạng thái

Môi trường mạng được phân loại thành 3 nhóm tài nguyên: tài nguyên thông thường ($k$ nút), tài nguyên quan trọng duy nhất cần bảo vệ, và tài nguyên đánh lừa ($m$ nút Honeypot).

Không gian quan sát đầu vào của tác tử được mở rộng thành bộ 3 ma trận:

  • Trạng thái cảnh báo mạng ($S_{alert}$): Mảng nhị phân một chiều $[o_1^t, o_2^t, \dots, o_k^t]$, với $o_i^t = 1$ nếu NMS ghi nhận cảnh báo xâm nhập tại nút $n_i$, và $o_i^t = 0$ nếu không có cảnh báo.
  • Ma trận topo mạng ($S_{ntpg}$): Ma trận kích thước $k \times k$, với phần tử $x_{ij} = 1$ nếu tồn tại liên kết mạng từ nút $n_i$ sang nút $n_j$, ngược lại $x_{ij} = 0$.
  • Ma trận nguy cơ khai thác ($S_{epss}$): Ma trận kích thước $k \times k$, với phần tử $G_{ij} \in [0, 1]$ là trung bình điểm EPSS của các lỗ hổng trên liên kết giữa nút $n_i$ và $n_j$.

Để huấn luyện mô hình thích ứng với sự thiếu chính xác của NMS, tác giả xây dựng hàm mô phỏng sai số dựa trên tỷ lệ dương tính giả (FPR) và âm tính giả (FNR): $$\begin{aligned} fn_rate &= FNR \times attack_rate \ fp_rate &= FPR \times non_attack_rate \ tp_rate &= (1 - FNR) \times attack_rate \ tn_rate &= (1 - FPR) \times non_attack_rate \end{aligned}$$ Trong đó $non_attack_rate = 1 - attack_rate$. Trạng thái môi trường được tách thành trạng thái thực ($S_{true}$) để điều khiển bước di chuyển của kẻ tấn công và trạng thái cảnh báo ($S_{alert}$) làm đầu vào cho tác tử RL.

Hàm phần thưởng và không gian hành động

  • Hàm phần thưởng ($R_t$): $$R_t = \begin{cases} +1 & \text{nếu } S_{t+1} = S_{fail} \text{ (kẻ tấn công xâm nhập vào Honeypot)} \ -1 & \text{nếu } S_{t+1} = S_{success} \text{ (kẻ tấn công chiếm được tài nguyên quan trọng)} \ -0.1 & \text{cho các trạng thái trung gian khác nhằm tối ưu thời gian ra quyết định} \end{cases}$$
  • Không gian hành động ($A_d$): Là tập hợp các tổ hợp chọn $m$ vị trí đặt Honeypot từ $k$ tài nguyên thông thường, có kích thước được xác định bởi công thức tổ hợp: $$C_k^m = \frac{k!}{m!(k-m)!}$$

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài

Chương mở đầu phân tích bối cảnh an ninh mạng trước các cuộc tấn công APT kéo dài và sự thụ động của các hệ thống IDPS, Firewall truyền thống. Tác giả nêu rõ bài toán tối ưu hóa vị trí đặt Honeypot trong mạng quy mô lớn nhằm tránh lãng phí tài nguyên và tăng xác suất bắt bẫy kẻ tấn công. Chương 1 xác định mục tiêu xây dựng mô hình DRL kết hợp ma trận NTPG và EPSS, xác lập phạm vi thử nghiệm trên nền tảng ảo hóa KVM/Open vSwitch, và trình bày cấu trúc 5 chương của khóa luận.

Chương 2: Cơ sở lý thuyết

Chương này cung cấp hệ thống lý thuyết toàn diện phục vụ đề tài:

  • Khái niệm phòng thủ chủ động và phân loại Honeypot: Honeypot tương tác cao (HIH) và Honeypot tương tác thấp (LIH).
  • Nền tảng học tăng cường: Khung toán học MDP, hàm giá trị trạng thái $V(s)$, hàm giá trị hành động $Q(s, a)$, và phương trình Bellman tối ưu.
  • Chi tiết các thuật toán Q-Learning, DDQN, SARSA, A2C cùng chiến lược cân bằng khám phá - khai thác $\epsilon$-greedy.
  • Hệ thống EPSS với khả năng dự đoán xác suất khai thác lỗ hổng thực tế dựa trên dữ liệu CVE (dẫn chứng bảng 48 lỗ hổng CVE được xếp hạng cao trong 90 ngày tính đến tháng 6/2024 như CVE-2024-4577, CVE-2024-28995, CVE-2024-23692 với điểm số 96.2%).
  • Sơ đồ mô hình hóa xâm nhập NTPG với cặp trọng số đặc quyền $(UP, RP)$.
  • Tổng quan các nghiên cứu liên quan theo 3 nhóm: Triển khai tĩnh (dựa trên Core Attack Graph, lý thuyết trò chơi), Triển khai động (Moving Target Defense - MTD), và Triển khai dựa trên học tăng cường (Multi-Armed Bandit, POMDP kết hợp Game Theory và MCTS/POMCP).

Chương 3: Phương pháp thực hiện

Chương 3 trình bày chi tiết phương pháp xây dựng hệ thống phòng thủ đánh lừa thông minh:

  • Thiết kế kiến trúc 3 thành phần (NMS, Mô hình học máy, Mô-đun phân bổ).
  • Cấu trúc môi trường học tăng cường gồm 3 loại tài nguyên: thông thường, quan trọng, và đánh lừa.
  • Phương pháp biểu diễn trạng thái quan sát nhiều chiều: vector trạng thái cảnh báo $S_{alert}$ ($o_i^t \in {0, 1}$), ma trận liên kết $S_{ntpg}$, và ma trận xác suất khai thác $S_{epss}$.
  • Thuật toán mô phỏng hành vi tấn công tích hợp sai số NMS ($FPR$, $FNR$) để phân tách $S_{true}$ và $S_{alert}$.
  • Xây dựng hàm phần thưởng phân cấp ($+1$, $-1$, $-0.1$) và không gian hành động tổ hợp $C_k^m$.

Chương 4: Hiện thực, đánh giá và thảo luận

Chương 4 tập trung vào quá trình hiện thực hóa giải pháp và kiểm thử thực nghiệm:

  • Dựng kịch bản mạng giả lập trên nền tảng KVM và chuyển mạch Open vSwitch, sử dụng Snort để thu thập cảnh báo NMS.
  • Tích hợp mô hình học máy xây dựng trên thư viện TensorFlow/Keras vào luồng điều khiển thực thi mạng.
  • Thực nghiệm kịch bản tấn công giả lập để đo đạc thời gian xử lý, độ hội tụ của hàm mất mát, và tỷ lệ phòng thủ thành công.
  • So sánh hiệu năng giữa DDQN, SARSA và A2C; kết quả thực nghiệm chỉ ra rằng SARSA có tốc độ học chậm và độ ổn định kém hơn, trong khi DDQN và A2C thích ứng tốt hơn với không gian trạng thái lớn khi tích hợp ma trận NTPG và EPSS.

Chương 5: Kết luận và hướng phát triển

Chương cuối đúc kết các kết quả đạt được: chứng minh tính khả thi của việc ứng dụng DRL kết hợp ma trận cấu trúc mạng và dữ liệu lỗ hổng EPSS trong việc tự động phân bổ Honeypot. Đồng thời, tác giả chỉ ra các hạn chế hiện tại và định hướng hoàn thiện mô hình trong tương lai.

Kết quả và đóng góp

Kết quả nghiên cứu chính

  • Xây dựng hoàn chỉnh môi trường mô phỏng học tăng cường tích hợp sai số thực tế của hệ thống giám sát mạng ($FPR$, $FNR$), tách biệt giữa trạng thái di chuyển thực của kẻ tấn công ($S_{true}$) và trạng thái cảnh báo ($S_{alert}$).
  • Đề xuất và hiện thực hóa thành công phương pháp biểu diễn đầu vào đa chiều cho mạng nơ-ron, kết hợp vector trạng thái cảnh báo mạng cùng hai ma trận $S_{ntpg}$ (cấu trúc mạng) và $S_{epss}$ (xác suất khai thác lỗ hổng).
  • Ứng dụng mạng tích chập 1D (CNN 1D) giúp thu hẹp không gian tìm kiếm trạng thái, cho phép mô hình học sâu tăng cường (đặc biệt là DDQN) tăng tốc độ huấn luyện và đưa ra quyết định phân bổ Honeypot chính xác hơn so với việc chỉ quan sát trạng thái đơn lẻ từng nút.
  • Thiết lập quy trình thử nghiệm tích hợp trên nền tảng ảo hóa KVM và Open vSwitch, kết nối luồng xử lý từ NMS qua mô hình DRL đến mô-đun tái phân bổ Honeypot.

Đóng góp so với các nghiên cứu trước

  1. Giảm sự phụ thuộc vào độ chính xác tuyệt đối của NMS: Bằng cách mô phỏng các tỷ lệ $tp_rate$, $fp_rate$, $fn_rate$, $tn_rate$ trong quá trình huấn luyện, mô hình duy trì khả năng ra quyết định chính xác ngay cả khi NMS phát cảnh báo giả hoặc bỏ sót xâm nhập.
  2. Khắc phục hạn chế mở rộng không gian trạng thái: Thay vì chỉ quan sát trạng thái cục bộ của từng node đơn lẻ như các mô hình POMDP/Q-learning truyền thống, việc biểu diễn ma trận toàn cục $S_{ntpg}$ và $S_{epss}$ giúp tác tử có cái nhìn tổng thể về topo mạng và các tuyến đường tấn công tiềm năng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Thuật toán tấn công trong môi trường huấn luyện vẫn dựa trên quy tắc di chuyển theo xác suất của các nút lân cận, chưa phản ánh toàn diện sự biến hóa đa dạng trong chiến thuật của các nhóm tấn công APT thực tế.
  • Thuật toán SARSA khi thử nghiệm trên bài toán phân bổ tài nguyên Honeypot cho thấy tốc độ huấn luyện chậm và độ ổn định thấp hơn so với DDQN và A2C.
  • Không gian hành động tổ hợp $C_k^m$ vẫn sẽ tăng theo cấp số nhân nếu số lượng nút mạng thông thường $k$ và số lượng Honeypot $m$ mở rộng lên quy mô rất lớn.

Hướng phát triển tiếp theo

  • Nâng cấp thuật toán của tác tử tấn công trong môi trường mô phỏng để mô phỏng các chiến thuật né tránh phức tạp hơn của kẻ tấn công.
  • Nghiên cứu áp dụng các biến thể học sâu tăng cường tiên tiến hơn như Asynchronous Advantage Actor-Critic (A3C) hoặc kết hợp kỹ thuật phân rã không gian hành động để nâng cao hiệu năng trên các hệ thống mạng quy mô lớn.
  • Tối ưu hóa độ trễ phản hồi của mô-đun phân bổ Honeypot khi thực thi chuyển dịch tài nguyên trên môi trường ảo hóa thực tế.

Giá trị tham khảo

Tài liệu khóa luận là nguồn tham khảo chuyên môn giá trị cho:

  • Sinh viên và học viên chuyên ngành An toàn thông tin, Mạng máy tính & Truyền thông: Cung cấp tài liệu tổng hợp có hệ thống về các kỹ thuật phòng thủ chủ động, phân loại Honeypot (HIH/LIH), và cơ sở toán học của học tăng cường (MDP, Bellman, Q-Learning, DDQN, SARSA, A2C).
  • Người nghiên cứu về ứng dụng AI trong an ninh mạng: Cung cấp phương pháp luận chi tiết trong việc ma trận hóa đồ thị mạng (NTPG), tích hợp điểm số dự báo khai thác (EPSS), và mô hình hóa sai số cảnh báo NMS vào hàm phần thưởng và không gian trạng thái.
  • Kỹ sư vận hành hệ thống phòng thủ mạng: Tham khảo kiến trúc kết nối giữa NMS (Snort), bộ điều khiển phân bổ Honeypot và hạ tầng mạng ảo hóa (KVM, Open vSwitch) để nghiên cứu giải pháp phòng thủ chuyển dịch mục tiêu (MTD).

Câu hỏi thường gặp

1. Tại sao khóa luận lại bổ sung hai ma trận NTPG và EPSS vào không gian quan sát của tác tử?

Trong các mô hình RL truyền thống, tác tử chỉ quan sát trạng thái cảnh báo đơn lẻ của từng nút từ NMS, dẫn đến thiếu bao quát về cấu trúc mạng và dễ bị sai lệch nếu NMS báo động giả. Ma trận $S_{ntpg}$ cung cấp cấu trúc liên kết topo giữa các máy chủ, trong khi ma trận $S_{epss}$ cung cấp xác suất thực tế các lỗ hổng trên liên kết đó bị khai thác (dựa trên dữ liệu EPSS với ROC AUC = 0.838). Sự kết hợp này giúp tác tử nắm được tổng thể mạng và các tuyến đường tấn công nguy cơ cao để tập trung phân bổ Honeypot đón đầu.

2. Hàm phần thưởng trong mô hình học tăng cường của khóa luận được thiết lập như thế nào?

Hàm phần thưởng $R_t$ được xây dựng dựa trên kết quả trạng thái tiếp theo $S_{t+1}$ của mạng:

  • $R_t = +1$ khi kẻ tấn công bị dẫn dụ thành công vào tài nguyên đánh lừa ($S_{fail}$).
  • $R_t = -1$ khi kẻ tấn công tiếp cận và chiếm đoạt thành công tài nguyên quan trọng ($S_{success}$).
  • $R_t = -0.1$ cho các trạng thái trung gian nhằm khuyến khích tác tử tìm ra chính sách phân bổ tối ưu trong thời gian ngắn nhất.

3. Tỷ lệ sai số của hệ thống giám sát mạng NMS được mô phỏng trong quá trình huấn luyện ra sao?

Tác giả chia trạng thái thành trạng thái thực ($S_{true}$) và trạng thái cảnh báo ($S_{alert}$). Dựa trên hai tham số $FPR$ (tỷ lệ dương tính giả) và $FNR$ (tỷ lệ âm tính giả) cùng tỷ lệ tấn công $attack_rate$, môi trường tính toán 4 tỷ lệ thành phần: $fn_rate$, $fp_rate$, $tp_rate$, và $tn_rate$. Từ đó, trạng thái cảnh báo $S_{alert}$ gửi đến tác tử có thể xuất hiện cảnh báo giả ($FP$) hoặc mất cảnh báo ($FN$), giúp mô hình huấn luyện thích ứng tốt với thực tế.

4. Không gian hành động của hệ thống phân bổ Honeypot được định nghĩa như thế nào?

Hành động $A_d(t)$ của tác tử là việc lựa chọn một cấu hình triển khai $m$ tài nguyên Honeypot vào tập hợp $k$ tài nguyên thông thường trong mạng. Không gian hành động này được mô hình hóa dưới dạng tập hợp các tổ hợp khả dĩ với kích thước $C_k^m = \frac{k!}{m!(k-m)!}$, được ánh xạ thành một từ điển các cặp (chỉ mục, tổ hợp vị trí nút).

5. Thuật toán DDQN khắc phục nhược điểm gì của Q-Learning truyền thống trong nghiên cứu này?

Q-Learning truyền thống sử dụng bảng Q-table nên không thể xử lý không gian trạng thái lớn hoặc liên tục, đồng thời dễ gặp hiện tượng ước lượng giá trị quá cao do sử dụng cùng một hàm để chọn và đánh giá hành động. DDQN tích hợp mạng nơ-ron sâu và sử dụng hai mạng tách biệt (mạng chính $\theta$ để chọn hành động và mạng mục tiêu $\theta^-$ để tính TD-target), giúp quá trình huấn luyện ổn định, giảm thiểu thiên vị và xử lý hiệu quả không gian mạng mở rộng.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Xuân Trường và Đỗ Minh Khôi đã đề xuất một phương pháp tiếp cận khả thi trong việc tối ưu hóa phân bổ Honeypot thông minh sử dụng học sâu tăng cường (DRL). Bằng cách kết hợp sơ đồ mô hình hóa xâm nhập mạng (NTPG), điểm số dự báo khai thác thực tế (EPSS) và mô phỏng sai số NMS, mô hình giúp nâng cao tính chủ động và độ chính xác trong phòng thủ mạng. Nghiên cứu đã hoàn thành việc xây dựng khung lý thuyết, thiết kế kiến trúc hệ thống 3 thành phần và thực nghiệm so sánh các thuật toán trên môi trường ảo hóa KVM/Open vSwitch, tạo tiền đề cho các hướng phát triển phòng thủ đánh lừa tự động tiếp theo.