Bối cảnh và vấn đề nghiên cứu

Theo Báo cáo Rủi ro Toàn cầu năm 2023 của Diễn đàn Kinh tế Thế giới (World Economic Forum), tội phạm mạng và mất an toàn an ninh mạng diện rộng nằm trong nhóm rủi ro hàng đầu đối với xã hội trong cả ngắn hạn lẫn dài hạn. Quá trình chuyển đổi số và ứng dụng công nghệ sau đại dịch COVID-19 diễn ra nhanh chóng, kéo theo các mối đe dọa trực tiếp nhằm vào cơ sở hạ tầng thông tin trọng yếu quốc gia, bao gồm an ninh, tài chính, năng lượng, viễn thông và giao thông vận tải. Bên cạnh đó, việc khai thác trái phép dữ liệu quy mô lớn làm gia tăng nguy cơ xâm phạm quyền riêng tư và chủ quyền số cá nhân.

Để giảm thiểu và ngăn chặn các nguy cơ này, kiểm thử thâm nhập (penetration testing) được áp dụng như một phương thức bảo mật chủ động ở chế độ mũ trắng, cho phép giả lập các cuộc tấn công nhằm rà soát và xác định các lỗ hổng bảo mật trên hệ thống hoặc ứng dụng trước khi bị đối tượng xấu khai thác. Tuy nhiên, quy trình kiểm thử thâm nhập truyền thống đòi hỏi nguồn nhân lực có chuyên môn cao và tiêu tốn nhiều thời gian. Xu hướng tự động hóa quy trình kiểm thử thông qua việc tích hợp trí tuệ nhân tạo, cụ thể là học máy (Machine Learning), trở thành yêu cầu cấp thiết.

Khóa luận giải quyết vấn đề tự động hóa quá trình tích lũy kinh nghiệm kiểm thử thâm nhập. Khi ứng dụng học tăng cường (Reinforcement Learning), tác tử cần được huấn luyện trong môi trường đủ lớn với nhiều hệ thống mục tiêu để đạt được độ chính xác và hiệu quả mong muốn. Tuy nhiên, việc tập trung dữ liệu chứa thông tin lỗ hổng từ nhiều tổ chức về một máy chủ duy nhất làm nảy sinh nguy cơ vi phạm quyền riêng tư và lộ lọt dữ liệu nhạy cảm. Do đó, bài toán đặt ra là kết hợp học tăng cường và học liên kết (Federated Learning) nhằm xây dựng một mô hình kiểm thử thâm nhập tự động có khả năng tích lũy kinh nghiệm phân tán nhưng vẫn bảo vệ được quyền riêng tư dữ liệu của các bên tham gia.

Mục tiêu nghiên cứu của đề tài gồm 4 nhiệm vụ chính:

  1. Nghiên cứu và áp dụng các mô hình học tăng cường sâu.
  2. Xây dựng mô hình học phân tán dựa trên Federated Learning.
  3. Ứng dụng các mô hình khác nhau để xây dựng công cụ kiểm thử tự động trên môi trường phân tán.
  4. Thực nghiệm và đánh giá kết quả.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Cơ chế tích lũy kinh nghiệm khai thác lỗ hổng bằng các thuật toán học tăng cường sâu kết hợp với thuật toán tổng hợp học liên kết.
  • Phạm vi nghiên cứu: Đề tài nghiên cứu và phát triển framework thử nghiệm mang tên FedRL-Exploit, kế thừa và mở rộng kiến trúc từ hai công cụ mã nguồn mở là DeepExploit (công bố năm 2018 bởi Isao Takaesu) và Shennina (phát triển năm 2019 bởi Mazin Ahmed và Khalid Farah). Thuật toán tổng hợp trung tâm được sử dụng là Federated Averaging (FedAvg). Môi trường mục tiêu phục vụ huấn luyện và kiểm thử được thiết lập dựa trên hệ thống các container ảo hóa chứa các lỗ hổng bảo mật dịch vụ mạng.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình toán học

Nghiên cứu tích hợp các khung lý thuyết từ lĩnh vực an toàn thông tin, học tăng cường và học liên kết:

  • Quy trình kiểm thử thâm nhập: Tham chiếu danh mục rủi ro OWASP Top 10 (các phiên bản 2017 và 2021) và quy chuẩn kiểm thử bảo mật nguồn mở ISECOM. Quy trình gồm các giai đoạn tuần tự: thu thập thông tin, quét và phân tích lỗ hổng, khai thác mục tiêu và báo cáo kết quả.
  • Quy trình quyết định Markov (Markov Decision Process - MDP): Đóng vai trò là nền tảng toán học mô hình hóa bài toán học tăng cường cho tác tử kiểm thử, được biểu diễn qua bộ bốn thành phần $M = \langle S, A, P, R \rangle$:
    • $S$: Không gian trạng thái (State space), bao gồm các thông tin quan sát được từ hệ thống đích (cổng mở, phiên bản dịch vụ, cấu hình hệ điều hành).
    • $A$: Không gian hành động (Action space), tập hợp các mô-đun khai thác lỗ hổng (exploit modules) mà tác tử có thể khởi chạy.
    • $P$: Hàm xác suất chuyển trạng thái $P_a(s, s')$, biểu thị xác suất môi trường chuyển từ trạng thái $s$ sang $s'$ dưới hành động $a$.
    • $R$: Hàm phần thưởng $R(s, a)$, xác định giá trị thưởng khi hành động khai thác thành công hoặc thất bại.
  • Học tăng cường sâu (Deep Reinforcement Learning): Khắc phục hạn chế bùng nổ không gian trạng thái của Q-Network truyền thống thông qua Deep Q-Network (DQN) kết hợp kỹ thuật Experience Replay và Fixed Target Network. Trên cơ sở đó, đề tài phân tích và ứng dụng hai thuật toán nâng cao:
    • Asynchronous Advantage Actor-Critic (A3C): Mô hình Actor-Critic dựa trên Policy Gradient không đồng bộ, sử dụng hàm lợi thế $A(s, a) = Q(s, a) - V(s)$ để định hướng cập nhật tham số cho mạng nơ-ron chính sách và mạng giá trị thông qua mạng toàn cục (Global Network).
    • Distributed Proximal Policy Optimization (DPPO): Thuật toán học tăng cường phân tán với cơ chế tối ưu hóa chính sách có ràng buộc (proximal), giới hạn phạm vi cập nhật giữa chính sách mới và chính sách cũ nhằm đảm bảo tính ổn định và chống suy giảm hiệu năng đột ngột.
  • Học liên kết (Federated Learning - FL): Giải quyết vấn đề bảo mật dữ liệu thông qua việc phân tán quá trình huấn luyện mô hình $M_{FED}$ về các client mà không cần tập hợp các tập dữ liệu cục bộ $D_i$. Quá trình tối ưu hàm mất mát toàn cục $F(w) = \sum_{i=1}^N \frac{n_i}{n} F_i(w)$ được thực hiện thông qua thuật toán trung bình trọng số FedAvg: $$w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n_t} w_{t+1}^k$$

Phương pháp nghiên cứu

  • Phương pháp phân tích - tổng hợp tài liệu: Khảo cứu các công trình nghiên cứu đi trước về tự động hóa khai thác bằng AI (DeepExploit, Shennina, các nghiên cứu của Zhenguo et al., Huang et al., Hoang et al.).
  • Phương pháp thiết kế hệ thống: Xây dựng kiến trúc phân tán kết hợp client-server, tích hợp công cụ rà quét cổng/dịch vụ mạng Nmap và bộ công cụ khai thác Metasploit Framework vào vòng lặp tương tác của tác tử học tăng cường.
  • Phương pháp thực nghiệm đối sánh: Thiết lập môi trường mô phỏng trên nền tảng container, tiến hành đo lường và so sánh hiệu quả giữa mô hình học phân tán (Federated Learning) và mô hình học tập trung (Centralized Learning) qua các mốc 500 episode và 1000 episode; đồng thời so sánh hiệu năng khai thác giữa hai thuật toán A3C và DPPO.

Thiết kế và triển khai

Khóa luận phát triển framework FedRL-Exploit với kiến trúc tích hợp giữa công cụ kiểm thử bảo mật và hệ thống học máy phân tán:

[Target Containers] <---> [Nmap / Metasploit Framework]
                                    |
                            [RL Worker Agent]
                        (Local Policy: A3C / DPPO)
                                    |
                           (Weights Upload/Download)
                                    |
                        [Coordinator / Central Server]
                           (Aggregation: FedAvg)

Kiến trúc công cụ

Hệ thống được thiết kế theo cấu trúc phân tầng:

  1. Tầng tương tác và thu thập thông tin:
    • Sử dụng Nmap để quét các dải mạng mục tiêu, trích xuất danh sách các cổng mở (open ports), trạng thái dịch vụ (services) và định danh hệ điều hành (CPE, OS version).
    • Dữ liệu quét từ Nmap được tiền xử lý thành vectơ quan sát để làm đầu vào cho không gian trạng thái $S$.
  2. Tầng quyết định và khai thác:
    • Sử dụng Metasploit Framework (Msfconsole/API) để thiết lập không gian hành động $A$, kết nối trực tiếp với cơ sở dữ liệu các mô-đun khai thác (exploit modules) và tải trọng (payloads/Meterpreter).
    • Tác tử RL (Agent) dựa trên chính sách $\pi(a|s)$ để lựa chọn mô-đun tấn công tương ứng với dịch vụ đích. Nếu mã khai thác thực thi thành công và thiết lập được kết nối điều khiển hai chiều, tác tử nhận phần thưởng dương và ghi nhận trạng thái mới.
  3. Tầng học máy phân tán:
    • Áp dụng kiến trúc Federated Learning mô hình Client-Server. Máy chủ điều phối (Coordinator) khởi tạo trọng số mô hình ban đầu $w_0$.
    • Mỗi nút thực thi (Worker/Client) sở hữu môi trường kiểm thử riêng biệt, tiến hành tương tác với các máy mục tiêu cục bộ để tính toán cập nhật độ dốc hoặc trọng số mô hình cục bộ $w_i$.
    • Điều phối viên thu thập tham số từ các nút, áp dụng thuật toán FedAvg để tổng hợp và hoàn trả trọng số toàn cục cập nhật $w_{t+1}$ về các nút mà không cần truy cập trực tiếp vào thông tin cấu hình hay dữ liệu máy mục tiêu của từng nút.

Luồng hoạt động

  • Chế độ huấn luyện (Training mode): Tại mỗi vòng lặp (round), điều phối viên gửi mô hình chính sách hiện tại cho các worker. Các worker tiến hành chạy các episode tương tác với máy mục tiêu, tính toán hàm tổn thất, cập nhật trọng số cục bộ thông qua thuật toán A3C hoặc DPPO, sau đó gửi các tham số cập nhật về máy chủ trung tâm để tổng hợp bằng FedAvg.
  • Chế độ khai thác (Exploitation mode): Worker tải trọng số mô hình tối ưu đã hội tụ từ máy chủ. Khi tiếp nhận một mục tiêu kiểm thử mới, công cụ tự động kích hoạt Nmap để trích xuất trạng thái, đưa vào mạng chính sách để chọn ra chuỗi các mô-đun khai thác từ Metasploit với xác suất thành công cao nhất, sau đó xuất báo cáo chi tiết về lỗ hổng đã thâm nhập thành công.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 thiết lập tính cấp thiết của đề tài dựa trên các dữ liệu về rủi ro toàn cầu từ Diễn đàn Kinh tế Thế giới năm 2023. Tác giả chỉ ra các thách thức của an ninh mạng hiện đại đối với hạ tầng dữ liệu và quyền riêng tư cá nhân. Nội dung chương trình bày định nghĩa kiểm thử thâm nhập mũ trắng, phân tích sự cần thiết của tính tự động hóa trong rà quét và khai thác lỗ hổng. Từ đó, chương xác định mục tiêu tổng thể: kết hợp học tăng cường (RL) và học liên kết (FL) để tạo ra framework FedRL-Exploit, cho phép các đơn vị cùng tham gia huấn luyện hệ thống kiểm thử thâm nhập tự động mà không phải chia sẻ dữ liệu mục tiêu nội bộ.

Chương 2. Cơ sở lý thuyết

Chương này trình bày toàn bộ hệ thống lý thuyết và phương pháp nền tảng cấu thành nghiên cứu:

  • Kiểm thử thâm nhập: Phân tích quy trình tấn công nhiều giai đoạn, danh mục lỗ hổng web phổ biến OWASP Top 10 (2017 so với 2021) và nguyên lý hoạt động của Nmap cùng Metasploit Framework.
  • Học tăng cường: Trình bày chi tiết cấu trúc MDP, bài toán tối ưu hàm giá trị $Q(s, a)$, thuật toán Q-Network và cải tiến của DQN (Experience Replay, Fixed Target). Phân tích chuyên sâu hai mô hình Policy Gradient phân tán là A3C (với kiến trúc Actor-Critic bất đồng bộ, hàm lợi thế Advantage) và DPPO (cơ chế ràng buộc gradient PPO nhằm duy trì tính ổn định).
  • Học liên kết và thuật toán tổng hợp: Phân biệt kiến trúc Client-Server và Peer-to-Peer; phân tích công thức toán học của FedAvg và đối sánh các thuật toán tổng hợp học liên kết trong học máy:
Thuật toán Cơ chế hoạt động Ưu điểm Nhược điểm
FedAvg Lấy trung bình cộng trọng số các mô hình cục bộ Dễ triển khai, đơn giản, đạt hiệu suất cao Quá trình huấn luyện có thể chậm, khó đạt tối ưu khi dữ liệu phân tán không đồng đều
FedMA Kết hợp kiến thức các mô hình cục bộ qua mô hình trung gian và tinh chỉnh (fine-tuning) Hiệu quả trong việc tận dụng thông tin từ nhiều mô hình; hiệu suất cao trong nhận dạng hành vi Đòi hỏi truyền lượng dữ liệu lớn giữa các mô hình cục bộ và mô hình trung gian
FedPer Chọn lọc mô hình cục bộ dựa trên hiệu suất đánh giá Tăng khả năng cá nhân hóa, giảm ảnh hưởng từ các mô hình chất lượng kém Phải truyền thông tin quy mô lớn, tiềm ẩn nguy cơ mất cân đối thông tin
FSVRG Kết hợp gradient toàn cục và gradient cục bộ để cập nhật Giảm phương sai của gradient, cải thiện tốc độ hội tụ Đòi hỏi chi phí tính toán và truyền thông tin phức tạp
  • Công trình liên quan: Đánh giá nghiên cứu của Zhenguo et al. (dùng Shodan, MulVAL và DQN tìm đường tấn công), DeepExploit của Isao Takaesu (dùng A3C kết hợp Metasploit) và Shennina của Mazin Ahmed và Khalid Farah (cải tiến DeepExploit). Nhóm tác giả xác định hạn chế của DeepExploit và Shennina là hoạt động đơn lẻ, chưa giải quyết được bài toán tích lũy kinh nghiệm đa nguồn trong môi trường phân tán bảo vệ quyền riêng tư.

Chương 3. Phương pháp thực hiện

Chương 3 trình bày giải pháp kỹ thuật của framework FedRL-Exploit:

  • Thiết lập cơ chế ánh xạ giữa kiểm thử thâm nhập và các thành phần học tăng cường: trạng thái mạng thu thập bởi Nmap được chuẩn hóa thành state; danh sách module khai thác trong Metasploit cấu thành action space; phản hồi phiên điều khiển (Meterpreter session) đóng vai trò tín hiệu reward.
  • Tích hợp kiến trúc Client-Server của Federated Learning: thiết lập cơ chế đồng bộ hóa giữa các worker kiểm thử cục bộ và máy chủ điều phối thông qua thuật toán FedAvg.
  • Xây dựng hai luồng xử lý độc lập: luồng huấn luyện phân tán (training workflow) để cập nhật và tổng hợp mô hình chính sách; luồng khai thác tự động (testing/exploitation workflow) nhằm kiểm tra tính hiệu quả của mô hình trên các máy chủ mục tiêu mới và xuất báo cáo khai thác.

Chương 4. Hiện thực và đánh giá, thảo luận

Nội dung chương trình bày chi tiết về quá trình triển khai thực nghiệm:

  • Cấu hình hệ thống: Bảng thông số phần cứng và phần mềm máy trạm thực nghiệm, môi trường ảo hóa phục vụ cài đặt công cụ FedRL-Exploit và máy chủ điều phối.
  • Môi trường thực nghiệm: Danh sách các máy mục tiêu được xây dựng dưới dạng container chứa các lỗ hổng dịch vụ mạng cụ thể (tương tự môi trường kiểm thử Metasploitable2, OWASP BWA).
  • Kịch bản thực nghiệm: Thiết lập kịch bản đánh giá hiệu năng khai thác giữa phương pháp học liên kết phân tán (Federated Learning) và phương pháp học tập trung (Centralized Learning) trên cùng các mức 500 episode và 1000 episode; đồng thời đo lường các chỉ số về thời gian khai thác, số lượt thử nghiệm và tỷ lệ tấn công thành công giữa hai thuật toán A3C và DPPO.

Chương 5. Kết luận và hướng phát triển

Chương cuối tổng kết toàn bộ kết quả nghiên cứu của khóa luận, khẳng định tính khả thi của việc tích lũy kinh nghiệm kiểm thử thâm nhập tự động bằng học tăng cường trong môi trường phân tán; đồng thời nêu rõ các điểm hạn chế hiện tại về độ phức tạp môi trường và đề xuất các hướng mở rộng cho các nghiên cứu tiếp theo.

Kết quả và đóng góp

Kết quả đạt được

  • Hiện thực hóa thành công framework FedRL-Exploit: Tích hợp hoàn chỉnh quy trình tự động từ giai đoạn quét cổng/dịch vụ bằng Nmap, chuyển đổi trạng thái mạng cho tác tử RL, lựa chọn mã khai thác qua Metasploit Framework, đến giai đoạn tổng hợp mô hình cục bộ lên máy chủ bằng thuật toán FedAvg.
  • Thực nghiệm kiểm chứng trên môi trường phân tán: Báo cáo số liệu so sánh hiệu quả giữa mô hình phân tán và mô hình tập trung qua 500 và 1000 episode thực nghiệm trên các container lỗ hổng. Kết quả cho thấy phương pháp học liên kết bảo toàn được khả năng khai thác mục tiêu tự động tương đương mô hình học tập trung mà không làm rò rỉ dữ liệu cấu hình cục bộ của các bên tham gia.
  • Đánh giá thuật toán học tăng cường: So sánh hành vi và hiệu quả tích lũy kinh nghiệm giữa hai thuật toán A3C và DPPO, chứng minh tính phù hợp của cơ chế cập nhật chính sách tối ưu hóa trong bài toán thâm nhập tự động.

Đóng góp của đề tài

  • Giải quyết mâu thuẫn giữa nhu cầu mở rộng dữ liệu huấn luyện học tăng cường và yêu cầu bảo vệ quyền riêng tư an ninh mạng: cho phép nhiều tổ chức có thể phối hợp nâng cao năng lực công cụ kiểm thử mà không cần chia sẻ thông tin nhạy cảm về hệ thống nội bộ.
  • Khắc phục các hạn chế kỹ thuật của các công cụ đi trước (DeepExploit, Shennina), chuyển đổi mô hình huấn luyện từ cục bộ đơn lẻ sang kiến trúc phân tán đa nút.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Môi trường thử nghiệm thực tế dựa trên hệ thống các container được cấu hình sẵn lỗ hổng, chưa bao quát toàn bộ sự phức tạp, đa dạng và các cơ chế phòng thủ chuyên sâu (như WAF, IDS/IPS, tường lửa nâng cao) của các mạng doanh nghiệp thực tế.
  • Quá trình huấn luyện với thuật toán FedAvg trong một số điều kiện dữ liệu phân tán không đồng nhất (non-IID) có thể gặp hiện tượng hội tụ chậm hoặc dao động tham số.
  • Phạm vi hành động phụ thuộc vào các mô-đun có sẵn trong Metasploit Framework, chưa có khả năng tự động tạo mã khai thác mới đối với các lỗ hổng chưa được công bố (Zero-day).

Hướng nghiên cứu tiếp

  • Mở rộng thử nghiệm trên các topo mạng phức tạp, nhiều phân vùng mạng (multi-subnet) và tích hợp các biện pháp phòng vệ chủ động.
  • Thử nghiệm và đánh giá thêm các thuật toán tổng hợp học liên kết nâng cao (như FedMA, FedPer hoặc các biến thể kết hợp mã hóa bảo mật) để tối ưu tốc độ hội tụ khi dữ liệu giữa các bên có sự sai lệch lớn.
  • Phát triển cơ chế tự động tùy biến tải trọng (payload mutation) nhằm tăng cường khả năng vượt qua các hệ thống giám sát an ninh.

Giá trị tham khảo

  • Đối tượng tham khảo:
    • Sinh viên, học viên cao học và nghiên cứu sinh thuộc các chuyên ngành An toàn thông tin, Mạng máy tính và Truyền thông, Khoa học dữ liệu và Trí tuệ nhân tạo.
    • Các kỹ sư kiểm thử bảo mật (Pentester), chuyên gia an ninh mạng quan tâm đến hướng tiếp cận tự động hóa quá trình đánh giá lỗ hổng hệ thống.
  • Nội dung giá trị:
    • Cơ sở toán học chi tiết về việc chuyển đổi bài toán kiểm thử thâm nhập sang không gian trạng thái - hành động của Quy trình quyết định Markov (MDP).
    • Phương pháp kỹ thuật tích hợp các công cụ an ninh mạng nguồn mở (Nmap, Metasploit) với các thư viện học máy sâu.
    • Thiết kế kiến trúc triển khai thuật toán học liên kết FedAvg kết hợp thuật toán học tăng cường sâu (A3C, DPPO) trên môi trường phân tán.

Câu hỏi thường gặp

1. Framework FedRL-Exploit được xây dựng dựa trên những công cụ nền tảng nào?

FedRL-Exploit được kế thừa và mở rộng từ kiến trúc của hai công cụ mã nguồn mở: DeepExploit (do Isao Takaesu giới thiệu tại Black Hat USA 2018 Arsenal) và Shennina (do Mazin Ahmed và Khalid Farah phát triển tại cuộc thi HITB CyberWeek 2019 AI Challenge). Công cụ tích hợp trực tiếp Nmap để rà quét thông tin và Metasploit Framework để thực thi các tác vụ khai thác.

2. Vai trò của thuật toán FedAvg trong hệ thống FedRL-Exploit là gì?

FedAvg (Federated Averaging) đóng vai trò là thuật toán tổng hợp trọng số mô hình tại máy chủ điều phối (Coordinator). Thuật toán nhận các thông số trọng số mạng nơ-ron đã được cập nhật từ các worker độc lập, tính trung bình có trọng số theo tỷ lệ số mẫu huấn luyện, sau đó gửi trả mô hình toàn cục đã cập nhật về lại các worker mà không yêu cầu các worker phải tải dữ liệu máy mục tiêu lên máy chủ.

3. Tại sao tác giả lựa chọn nghiên cứu thuật toán DPPO bên cạnh A3C?

Mặc dù A3C là thuật toán Actor-Critic không đồng bộ phổ biến, DPPO (Distributed Proximal Policy Optimization) được đưa vào nghiên cứu đối sánh do DPPO sở hữu cơ chế tối ưu hóa chính sách có ràng buộc (proximal), giúp kiểm soát việc cập nhật tham số không đi quá xa khỏi chính sách hiện tại, đồng thời có cơ chế đồng bộ hóa mạnh mẽ tránh xung đột phiên bản khi huấn luyện phân tán trên nhiều môi trường song song.

4. Hệ thống mô hình hóa bài toán kiểm thử thâm nhập thành bài toán học tăng cường như thế nào?

Bài toán được chuẩn hóa thành Quy trình quyết định Markov (MDP):

  • Trạng thái (State): Là thông tin về các cổng mở, định danh dịch vụ và phiên bản hệ điều hành do Nmap quét được từ máy mục tiêu.
  • Hành động (Action): Là việc lựa chọn và thực thi một mô-đun khai thác (exploit module) cụ thể từ kho vũ khí của Metasploit Framework.
  • Phần thưởng (Reward): Là tín hiệu phản hồi xác định mức độ thành công khi thiết lập được phiên kết nối trái phép (như mở phiên Meterpreter) về máy kiểm thử.

5. Khóa luận sử dụng môi trường thực nghiệm nào để đánh giá công cụ?

Khóa luận thiết lập hệ thống thực nghiệm trên môi trường máy ảo và các container chứa sẵn các cấu hình dịch vụ mang lỗ hổng bảo mật (tham chiếu từ các nền tảng kiểm thử tiêu chuẩn như Metasploitable2 và OWASP Broken Web Applications), phục vụ cho các kịch bản đo lường ở mốc 500 và 1000 episode.

Kết luận

Khóa luận tốt nghiệp của hai tác giả Nguyễn Ngọc Hoài và Lê Đức Thắng đã nghiên cứu và phát triển thành công framework FedRL-Exploit, ứng dụng kỹ thuật học tăng cường sâu trong môi trường phân tán cho bài toán kiểm thử thâm nhập tự động. Bằng việc kết hợp các thuật toán học tăng cường A3C, DPPO với thuật toán học liên kết FedAvg, hệ thống đã giải quyết bài toán tích lũy kinh nghiệm khai thác mục tiêu từ nhiều nguồn mà vẫn đảm bảo tính bảo mật và quyền riêng tư dữ liệu của từng bên tham gia. Toàn bộ thiết kế hệ thống, các phương thức tích hợp công cụ bảo mật thực tế và kết quả đánh giá thực nghiệm đã mở ra hướng nghiên cứu ứng dụng AI vào an ninh mạng an toàn, đáp ứng nhu cầu tự động hóa phòng thủ chủ động trong bối cảnh các mối đe dọa kỹ thuật số ngày càng gia tăng.