Khóa luận tốt nghiệp: Phát triển hệ thống Pentest AI Agent tại Trường ĐH Sư phạm Kỹ thuật TP.HCM

Hướng dẫn chi tiết quy trình phát triển pentest AI agent chuyên sâu. Khám phá kiến trúc mô hình, phương pháp tự động hóa kiểm thử xâm nhập.

• Tác giả: Nguyễn Duy Mạnh
• Người hướng dẫn: TS. Nguyễn Đăng Quang
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin - Kỹ thuật phần mềm
• Đề tài: Nghiên cứu phát triển Pentest AI Agent tại Trường ĐH Sư phạm Kỹ thuật TP.HCM
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan đề tài Pentest AI Agent tại ĐH Sư phạm Kỹ thuật TP

Đề tài tốt nghiệp ngành Công nghệ Thông tin tại Trường Đại học Sư phạm Kỹ thuật TP.HCM tập trung nghiên cứu mô hình Pentest AI Agent. Đề tài do sinh viên Nguyễn Duy Mạnh thực hiện dưới sự hướng dẫn của Tiến sĩ Nguyễn Đăng Quang. Mục tiêu cốt lõi của công trình là xây dựng hệ thống kiểm thử xâm nhập tự động hóa. Hệ thống vận hành trên nền tảng trí tuệ nhân tạo kết hợp các công cụ an ninh mạng truyền thống. Sự phối hợp đa tác tử giúp tối ưu hóa toàn diện quy trình kiểm thử đạo đức. Hệ thống loại bỏ các hạn chế về thời gian thao tác thủ công của chuyên gia bảo mật. Mô hình kiến trúc phân tán đảm bảo tính mô-đun cao và khả năng mở rộng linh hoạt. Các tác tử trí tuệ nhân tạo phối hợp đồng bộ để hoàn thành nhiệm vụ theo quy trình nghiêm ngặt. Hệ thống áp dụng các nguyên lý tác tử hướng mục tiêu và tác tử dựa trên độ hữu dụng. Nhờ đó, quá trình phân tích bề mặt tấn công diễn ra nhanh chóng và chính xác. Đề tài khẳng định năng lực nghiên cứu ứng dụng công nghệ mới tại môi trường giáo dục đại học. Kết quả nghiên cứu mở ra hướng tiếp cận đột phá cho lĩnh vực an toàn thông tin hiện đại.

1.1. Bối cảnh nghiên cứu bảo mật và thông tin đề tài

Đề tài tốt nghiệp thực hiện tại Khoa Đào tạo Quốc tế thuộc Trường Đại học Sư phạm Kỹ thuật TP.HCM. Dự án kéo dài mười hai tuần nhằm tự động hóa các khâu then chốt trong an toàn thông tin. Làn sóng tấn công mạng gia tăng gây rủi ro lớn cho các tổ chức và doanh nghiệp. Nguồn nhân lực chuyên gia an ninh mạng chất lượng cao luôn trong tình trạng khan hiếm. Phương pháp kiểm thử thủ công truyền thống đòi hỏi chi phí lớn và tốn nhiều thời gian. Nghiên cứu giải quyết triệt để sự thiếu hụt nhân sự qua ứng dụng trí tuệ nhân tạo. Công trình đặt nền móng kỹ thuật vững chắc cho việc xây dựng trợ lý an ninh mạng thông minh trong thực tiễn.

1.2. Mục tiêu tích hợp AI vào quy trình Pentest

Dự án tập trung nâng cao hiệu suất kiểm thử bảo mật bằng trí tuệ nhân tạo. Tác tử thông minh có thể thay thế chuyên gia trong việc thu thập thông tin và phát hiện mục tiêu. Hệ thống tự động phân tích dữ liệu trinh sát và lập kế hoạch khai thác cụ thể. Sự kết hợp giữa AI và công cụ truyền thống giảm bớt các thao tác lặp lại vô nghĩa. Độ chính xác của các đợt kiểm thử tăng lên đáng kể. Khả năng phát hiện sai lệch và cảnh báo giả giảm thiểu tối đa. Hệ thống bảo đảm tính an toàn khi thực thi kiểm thử trên môi trường thực tế. Nhờ vậy, chu kỳ kiểm thử an ninh phần mềm được rút ngắn rõ rệt. Đề tài mở đường cho việc áp dụng AI toàn diện vào quy trình phát triển phần mềm an toàn.

II. Thách thức kiểm thử của Pentest AI Agent tại ĐH Sư phạm Kỹ thuật

Kiểm thử thâm nhập truyền thống đối mặt với rất nhiều rào cản kỹ thuật phức tạp. Quy trình thủ công phụ thuộc nặng nề vào trình độ chuyên môn của kiểm thử viên. Sai sót cá nhân dễ dẫn đến việc bỏ sót các lỗ hổng nghiêm trọng trên hệ thống. Hơn nữa, việc phối hợp các công cụ an ninh đơn lẻ thường thiếu tính liên kết chặt chẽ. Mỗi công cụ tạo ra định dạng dữ liệu đầu ra riêng biệt và rời rạc. Kiểm thử viên mất nhiều giờ đồng hồ để tổng hợp và đánh giá kết quả kiểm thử. Khi đối mặt với hệ thống lớn, tốc độ quét thủ công không đáp ứng kịp thời gian yêu cầu. Bên cạnh đó, các công cụ quét tự động truyền thống thường tạo ra quá nhiều cảnh báo giả. Tỷ lệ cảnh báo giả cao làm phân tán nguồn lực của đội ngũ an ninh mạng. Việc tạo lệnh khai thác tự động từ mô hình ngôn ngữ lớn cũng tiềm ẩn nguy cơ phá hoại hệ thống. Các lệnh bash sai cú pháp hoặc chứa lệnh xóa dữ liệu có thể đánh sập máy chủ thử nghiệm. Đề tài tại Trường ĐH Sư phạm Kỹ thuật TP.HCM nhận diện sâu sắc những rủi ro này để tìm kiếm giải pháp tối ưu.

2.1. Giới hạn của phương pháp kiểm thử thủ công

Quy trình kiểm thử thủ công tiêu tốn rất nhiều thời gian và công sức của kỹ sư. Chuyên gia an ninh phải tự chạy từng công cụ trinh sát mạng. Sau đó, họ phải phân tích từng dòng log để tìm kiếm bất thường. Khối lượng công việc khổng lồ dễ dẫn đến trạng thái quá tải và mệt mỏi. Khi chuyên gia mệt mỏi, khả năng bỏ sót lỗ hổng bảo mật tăng cao. Tốc độ kiểm tra thủ công cũng không theo kịp tốc độ triển khai phần mềm liên tục. Doanh nghiệp không thể kiểm thử toàn diện mọi phiên bản phát hành mới. Điều này tạo ra những khoảng trống bảo mật nguy hiểm cho toàn bộ hệ thống công nghệ thông tin.

2.2. Nguy cơ mất an toàn khi AI tự sinh lệnh tấn công

Mô hình ngôn ngữ lớn có khả năng sinh mã lệnh dòng lệnh tự động rất mạnh mẽ. Tuy nhiên, AI đôi khi sinh ra các câu lệnh bash không chính xác về mặt cú pháp. Nguy hiểm hơn, mô hình có thể tự ý tạo ra các lệnh gây hại hệ thống. Những câu lệnh phá hủy như xóa dữ liệu hoặc khởi động lại máy chủ cực kỳ nguy hiểm. Nếu hệ thống tự động chạy trực tiếp các lệnh này, thảm họa gián đoạn dịch vụ sẽ xảy ra. Hệ thống kiểm thử cần cơ chế kiểm duyệt nghiêm ngặt trước khi gửi lệnh cho máy thực thi. Việc loại trừ rủi ro mã độc hại là ưu tiên hàng đầu trong thiết kế Pentest AI Agent.

III. Phương pháp xây dựng Pentest AI Agent tại ĐH Sư phạm Kỹ thuật

Đề tài phát triển hệ thống đa tác tử cộng tác nhằm tự động hóa quy trình thâm nhập. Kiến trúc hệ thống bao gồm nhiều tác tử chuyên biệt đảm nhận từng nhiệm vụ cụ thể. Tác tử trinh sát thu thập thông tin mục tiêu và phân tích các tham số đầu vào. Tác tử Param-URL-Extractor kết hợp Playwright để tự động điền form và bắt đường dẫn có tham số. Sau đó, tác tử Nuclei-Scanner lựa chọn mẫu quét phù hợp để dò quét các lỗ hổng như XSS, SQLi và LFI. Tác tử Exploit-Agent hoạt động theo mô hình hướng mục tiêu để xác lập phương thức tấn công chuẩn xác. Tác tử Post-Exploit-Agent vận hành theo nguyên lý tối ưu hóa độ hữu dụng. Tác tử này tính toán giá trị hành động để chọn lựa giữa trích xuất cơ sở dữ liệu hay đọc tệp cấu hình. Một tác tử kiểm duyệt câu lệnh đóng vai trò chốt chặn an toàn cho toàn bộ hệ thống. Tác tử này làm sạch lệnh độc hại và chuẩn hóa cú pháp trước khi chuyển tới Code-Executor. Cơ chế này bảo vệ hệ thống thử nghiệm tránh khỏi các nguy cơ hư hại không mong muốn.

3.1. Kiến trúc đa tác tử Goal based và Utility based

Kiến trúc phối hợp đa tác tử mang lại khả năng phân tích đa chiều và linh hoạt. Exploit-Agent vận hành như một tác tử hướng mục tiêu điển hình. Mục tiêu định sẵn là khai thác thành công lỗ hổng đã được phát hiện trước đó. Tác tử tự suy luận để lựa chọn công cụ, tham số và payload phù hợp nhất. Ngược lại, Post-Exploit-Agent được thiết kế theo dạng tác tử hữu dụng. Tác tử đánh giá nhiều kịch bản hành động khác nhau sau khi đã xâm nhập thành công. Mỗi hành động như đọc tệp cấu hình hay trích xuất mật khẩu đều có điểm hữu dụng riêng. Tác tử sẽ thực hiện phương án mang lại giá trị cao nhất dựa theo bối cảnh cụ thể.

3.2. Cơ chế tiền kiểm định và thực thi lệnh an toàn

Đề tài xây dựng một tác tử chuyên trách việc tiền thẩm định và chuẩn hóa mã lệnh. Tác tử này nhận lệnh gợi ý từ AI hoặc yêu cầu bằng ngôn ngữ tự nhiên. Nhiệm vụ chính là phân tích cú pháp, cờ tham số và hướng xuất dữ liệu. Nếu phát hiện lệnh nguy hiểm có chứa từ khóa phá hủy như rm, tác tử lập tức chặn đứng. Tác tử cũng tự động viết lại yêu cầu tự nhiên thành câu lệnh bash hoàn chỉnh. Sau khi kiểm định thành công, lệnh được gửi sang tác tử Code-Executor. Code-Executor kích hoạt LocalCommandLineCodeExecutor để chạy lệnh trong môi trường cách ly có giới hạn thời gian. Quy trình khép kín này đảm bảo an toàn tuyệt đối cho hạ tầng thử nghiệm.

IV. Đánh giá ứng dụng Pentest AI Agent tại ĐH Sư phạm Kỹ thuật TP

Dự án Pentest AI Agent hoàn thành xuất sắc các mục tiêu nghiên cứu đề ra ban đầu. Sự kết hợp giữa trí tuệ nhân tạo và công cụ an ninh mạng chứng minh hiệu quả thực tế vượt trội. Hệ thống chứng minh khả năng tự động hóa chu trình quét và khai thác lỗi với độ chính xác cao. Tính mô-đun trong kiến trúc đa tác tử cho phép mở rộng thêm các tính năng kiểm thử mới trong tương lai. Tác tử kiểm duyệt lệnh giúp loại trừ hoàn toàn nguy cơ gây hỏng hóc hệ thống mục tiêu. Đề tài khẳng định chất lượng đào tạo và nghiên cứu học thuật của Trường ĐH Sư phạm Kỹ thuật TP.HCM. Giải pháp không chỉ phục vụ công tác nghiên cứu khoa học mà còn có tiềm năng ứng dụng thương mại rộng rãi. Các tổ chức phát triển phần mềm có thể tích hợp mô hình này vào quy trình DevSecOps để quét mã liên tục. Việc phát hiện lỗ hổng sớm giúp doanh nghiệp giảm thiểu chi phí khắc phục sự cố an ninh mạng. Đây là bước tiến quan trọng thúc đẩy sự tự động hóa thông minh trong ngành an toàn thông tin.

4.1. Khả năng ứng dụng mô hình vào quy trình DevSecOps

Hệ thống Pentest AI Agent có khả năng tích hợp trực tiếp vào đường ống CI/CD của doanh nghiệp. Quá trình kiểm thử bảo mật diễn ra tự động ngay sau khi lập trình viên cập nhật mã nguồn mới. Tác tử Nuclei-Scanner và Param-URL-Extractor nhanh chóng quét qua các điểm cuối ứng dụng. Việc phát hiện lỗi ngay trong giai đoạn kiểm thử giúp ngăn chặn nguy cơ rò rỉ dữ liệu lên môi trường vận hành. Đội ngũ phát triển nhận được báo cáo chi tiết kèm theo khuyến nghị khắc phục cụ thể. Mô hình kiểm thử tự động này giúp tổ chức tiết kiệm nguồn lực kiểm tra thủ công tốn kém. Nhờ đó, chu kỳ phát hành sản phẩm được đẩy nhanh nhưng vẫn duy trì tính bảo mật tối đa.

4.2. Hướng phát triển hoàn thiện hệ thống trong tương lai

Đề tài mở ra nhiều triển vọng phát triển mở rộng trong tương lai gần. Mô hình có thể nâng cấp thêm các tác tử học tăng cường để tối ưu hóa quá trình ra quyết định. Khả năng ghi nhớ kinh nghiệm tấn công trước đó sẽ giúp hệ thống tinh chỉnh hành vi kiểm thử hiệu quả hơn. Nhóm nghiên cứu có thể bổ sung các kịch bản kiểm thử bảo mật chuyên sâu cho hạ tầng đám mây và giao diện lập trình ứng dụng API. Ngoài ra, việc tinh chỉnh mô hình ngôn ngữ lớn chuyên biệt cho an ninh mạng sẽ giúp tăng độ chuẩn xác. Công trình nghiên cứu này đặt tiền đề vững chắc cho việc thương mại hóa giải pháp an ninh mạng ứng dụng AI.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh các mối đe dọa an ninh mạng ngày càng gia tăng về quy mô và mức độ phức tạp, thiệt hại do tội phạm mạng toàn cầu được dự báo có thể đạt mức 10,5 nghìn tỷ USD mỗi năm vào năm 2025 theo báo cáo từ Cybersecurity Ventures. Thực tế này đặt ra yêu cầu cấp thiết về các giải pháp bảo mật chủ động, trong đó kiểm thử xâm nhập (penetration testing/ethical hacking) đóng vai trò then chốt trong việc chủ động phát hiện và khắc phục các lỗ hổng hệ thống trước khi bị khai thác trái phép. Tuy nhiên, phương pháp kiểm thử xâm nhập truyền thống đòi hỏi nguồn nhân lực trình độ cao, tiêu tốn nhiều thời gian và chi phí vận hành. Do đó, việc ứng dụng trí tuệ nhân tạo (AI) nhằm tự động hóa các công đoạn trong quy trình kiểm thử—từ thu thập thông tin, dò quét lỗ hổng, thực thi kiểm thử tấn công đến lập báo cáo—được xác định là giải pháp nâng cao hiệu suất, tính chính xác và tính nhất quán của quy trình đánh giá an ninh mạng.

Mục tiêu nghiên cứu và nhiệm vụ của đề tài được xác định cụ thể như sau:

1. Nghiên cứu sâu về quy trình kiểm thử xâm nhập và khảo sát tiềm năng hỗ trợ của trí tuệ nhân tạo trong việc tự động hóa các công đoạn kiểm thử.
2. Xây dựng một mô hình hệ thống AI Agent có khả năng quản lý và tự động hóa các tác vụ kiểm thử điển hình gồm: thu thập thông tin (reconnaissance), quét lỗ hổng (vulnerability scanning), khai thác thử nghiệm (exploitation) và tổng hợp báo cáo (reporting).
3. Tích hợp các kỹ thuật trí tuệ nhân tạo với các công cụ kiểm thử xâm nhập truyền thống nhằm tối ưu hóa tính mô-đun và khả năng mở rộng.
4. Triển khai một hệ thống đa tác tử cộng tác (cooperative multi-agent framework) dựa trên nền tảng AutoGen để điều phối các giai đoạn kiểm thử chuyên biệt.
5. Đánh giá tính khả thi và phân tích ưu, nhược điểm của việc ứng dụng các phương pháp kiểm thử an ninh dựa trên AI so với các phương thức thao tác thủ công.

Đối tượng và phạm vi nghiên cứu của đồ án:

• Đối tượng nghiên cứu: Thiết kế và xây dựng hệ thống tác tử trí tuệ nhân tạo (AI Agent) chuyên biệt phục vụ quy trình kiểm thử xâm nhập ứng dụng web. Đồ án không bao gồm các lĩnh vực an ninh mạng khác như phân tích mã độc (malware analysis) hay điều tra số (digital forensics).
• Phạm vi công cụ: Tích hợp trực tiếp các công cụ kiểm thử mã nguồn mở phổ biến gồm Nmap, Gobuster, SQLMap, WhatWeb và Nuclei.
• Phạm vi lỗ hổng: Tập trung vào các dạng lỗ hổng web phổ biến và nghiêm trọng gồm SQL Injection (SQLi), Cross-site Scripting (XSS) và Local File Inclusion (LFI).
• Môi trường và thời gian thực hiện: Đề tài được triển khai trong môi trường thử nghiệm kiểm soát nghiêm ngặt nhằm đáp ứng các tiêu chuẩn đạo đức và khuôn khổ pháp lý về an toàn thông tin, với thời gian thực hiện đồ án là 12 tuần tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh.

---

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng lý thuyết dựa trên sự giao thoa giữa các nguyên lý trí tuệ nhân tạo hiện đại và các tiêu chuẩn kiểm thử an ninh mạng quốc tế.

Về mặt trí tuệ nhân tạo, tác giả phân tích ba kiến trúc cốt lõi của Trí tuệ nhân tạo tạo sinh (Generative AI):

• Generative Adversarial Networks (GANs): Hoạt động theo cơ chế đối kháng giữa bộ sinh và bộ phân định; trong an ninh mạng có tiềm năng sinh lưu lượng mạng giả lập cho hệ thống IDS/IPS hoặc huấn luyện phát hiện bất thường.
• Variational Autoencoders (VAEs): Nén và tái tạo dữ liệu dựa trên không gian tiềm ẩn, phù hợp cho việc sinh các biến thể tấn công nhằm kiểm tra độ bền của tường lửa ứng dụng web (WAF).
• Large Language Models (LLMs): Dựa trên kiến trúc Transformer, có khả năng xử lý ngữ cảnh dài, sinh mã lệnh shell/API, phân tích phản hồi HTTP và suy luận logic để quyết định hành động tiếp theo.

Văn bản xác định rõ: trong ba kiến trúc trên, chỉ có mô hình ngôn ngữ lớn (cụ thể là mô hình GPT-4) được ứng dụng trực tiếp vào hệ thống để làm lõi tư duy và ra quyết định cho các agent. GANs và VAEs chỉ được khảo sát dưới góc độ lý thuyết nền tảng.

Tiêu chí	Kịch bản tĩnh (Static Scripting)	Trí tuệ nhân tạo tạo sinh (Generative AI)
Định dạng đầu vào	Cố định (Hardcoded)	Động, dựa trên ngữ cảnh thực tế
Khả năng thích ứng	Không có khả năng thích ứng	Thích ứng theo thời gian thực
Phân tích phản hồi	Xử lý thủ công	Suy luận tự động bằng mô hình AI
Độ đa dạng đầu ra	Bị giới hạn	Đa dạng và linh hoạt cao

Bên cạnh GenAI, đề tài ứng dụng lý thuyết Tác tử AI (Agentic AI) và Hệ thống đa tác tử (Multi-Agent Systems - MAS). Khác với GenAI đóng vai trò "suy nghĩ và tạo văn bản" một cách thụ động, Agentic AI đóng vai trò "quyết định và hành động", có khả năng tự chủ theo đuổi mục tiêu và tương tác với môi trường. Các tác tử trong hệ thống được phân loại theo các nhóm lý thuyết tác tử:

• Simple reflex agent: Hoạt động dựa trên quy tắc điều kiện - hành động đơn thuần, không duy trì trạng thái lịch sử (ví dụ: Code-Executor, Nmap-Agent, WhatWeb-Agent, Gobuster-Agent).
• Model-based reflex agent: Duy trì mô hình thế giới nội tại và lưu trữ trạng thái lịch sử tương tác (ví dụ: Code-Checker dùng các quy tắc an toàn nội tại để duyệt lệnh, Param-Extractor theo dõi tham số biểu mẫu).
• Goal-based agent: Hành động định hướng theo mục tiêu xác định (ví dụ: Exploit-Agent tập trung xác nhận tính khả thi của việc khai thác lỗ hổng).
• Utility-based agent: Sử dụng hàm hữu dụng để lựa chọn giải pháp tối ưu nhất giữa nhiều phương án (định hướng áp dụng cho Post-Exploit-Agent).

Về tiêu chuẩn an ninh mạng, đồ án áp dụng kết hợp hai chuẩn:

1. OWASP Top 10 (2021): Định danh 10 nguy cơ an ninh nghiêm trọng nhất cho ứng dụng web (từ A01 đến A10, gồm Broken Access Control, Cryptographic Failures, Injection, Insecure Design, Security Misconfiguration, Vulnerable and Outdated Components, Identification and Authentication Failures, Software and Data Integrity Failures, Security Logging and Monitoring Failures, Server-Side Request Forgery).
2. Penetration Testing Execution Standard (PTES): Khung quy trình 7 giai đoạn tiêu chuẩn (Pre-engagement Interactions, Intelligence Gathering, Threat Modeling, Vulnerability Analysis, Exploitation, Post-Exploitation, Reporting).

Mối quan hệ ánh xạ giữa các giai đoạn PTES và các rủi ro OWASP Top 10 được tác giả tổng hợp trong bảng đối chiếu:

Giai đoạn PTES	Rủi ro OWASP Top 10 liên quan
Intelligence Gathering	A05 (Security Misconfiguration), A06 (Vulnerable and Outdated Components)
Threat Modeling	A01 (Broken Access Control), A04 (Insecure Design)
Vulnerability Analysis	A03 (Injection), A05, A07 (Auth Failures), A10 (SSRF)
Exploitation	A01, A03, A07
Post-Exploitation	A01, A08 (Software/Data Integrity Failures), A09 (Logging/Monitoring Failures)

---

Thiết kế và triển khai

Hệ thống được thiết kế và hiện thực hóa dựa trên framework AutoGen của AG2, sử dụng kiến trúc điều phối tập trung (Centralized Orchestration) thông qua thành phần GroupChatManager. Framework AutoGen được lựa chọn nhờ khả năng hỗ trợ giao tiếp bất đồng bộ, tích hợp môi trường thực thi lệnh cục bộ và cho phép kết hợp linh hoạt khả năng suy luận của LLM với các công cụ bảo mật thực tế.

Kiến trúc hệ thống bao gồm hai nhóm tác tử chính dựa trên lớp đối tượng của AutoGen:

• ConversableAgent: Tác tử yêu cầu năng lực suy luận ngôn ngữ tự nhiên từ LLM, tự hoạch định kế hoạch và điều phối công cụ.
• AssistantAgent: Tác tử tập trung vào chức năng thực thi cụ thể, có thể hoạt động không cần LLM reasoning khi chỉ tiếp nhận cấu hình thực thi lệnh.

Tiêu chí phân biệt	ConversableAgent	AssistantAgent
Mục đích chính	Giao tiếp, suy luận logic, lập kế hoạch tác vụ	Hỗ trợ, thực thi một nhiệm vụ kỹ thuật cụ thể
Yêu cầu LLM Reasoning	Bắt buộc (luôn cần LLM để suy luận)	Không bắt buộc (có thể dùng hoặc không)
Hiểu lệnh ngôn ngữ tự nhiên	Có khả năng hiểu và xử lý trực tiếp	Có nếu gán llm_config, không nếu chỉ chạy công cụ
Khả năng tự gọi công cụ	Tự kích hoạt qua ánh xạ hàm và suy luận	Cần có llm_config đính kèm để gọi công cụ
Vai trò phù hợp trong hệ thống	Quản lý, quét, phân tích, chọn payload, lập báo cáo	Đọc file, thực thi lệnh hệ điều hành, lưu báo cáo
Thực thể cụ thể trong đồ án	Nmap-Agent, Nuclei-Agent, Exploit-Agent, Manager	Code-Executor, File-Reader, Report-Saver

Toàn bộ các tác tử trong hệ thống được phân định vai trò và công cụ cụ thể theo bảng chức năng:

Giai đoạn kiểm thử	Tên AI Agent	Công cụ / Phương thức	Chức năng chi tiết
Reconnaissance	Nmap-Agent	Nmap	Quét cổng mở và nhận diện dịch vụ đang chạy
	WhatWeb-Agent	WhatWeb	Nhận diện hệ quản trị nội dung (CMS), công nghệ và máy chủ web
	Gobuster-Agent	Gobuster	Dò quét brute-force thư mục ẩn, trang quản trị và endpoint không liên kết
Vulnerability Scanning	Param-Extractor-Agent	Playwright	Tương tác biểu mẫu web, trích xuất danh sách URL có tham số nghi ngờ
	Nuclei-Scanner-Agent	Nuclei	Lựa chọn template quét phù hợp để dò quét lỗ hổng (SQLi, XSS, LFI)
Exploitation	Exploit-Agent	SQLMap, curl	Xác nhận khả năng khai thác lỗ hổng thông qua payload thực tế
Validation Layer	Code-Checker-Agent	LLM Rules	Rà soát cú pháp, tham số, loại bỏ lệnh phá hoại (như rm, fork bomb)
Execution Layer	Command-Executor	LocalCommandLineCodeExecutor	Thực thi các lệnh CLI đã được kiểm duyệt và trả dữ liệu đầu ra
Support / I/O	File-Reader-Agent	File I/O Parser	Đọc và trích xuất dữ liệu hữu ích từ đầu ra của các tác tử trước
Reporting	Report-Writer-Agent	Report Formatter	Tổng hợp kết quả các pha thành văn bản báo cáo hoàn chỉnh
Orchestration	GroupChatManager	AutoGen Workflow	Điều phối luồng làm việc giữa các tác tử theo logic kiểm thử tuần tự

Trước khi vận hành kiểm thử, hệ thống khởi tạo cấu trúc thư mục chuẩn hóa nhằm lưu trữ dữ liệu bền vững qua từng giai đoạn:

• pentest_results/recon: Lưu trữ kết quả quét cổng, dịch vụ và cấu trúc thư mục.
• pentest_results/vulnscan: Lưu trữ đầu ra của Nuclei và danh sách tham số.
• pentest_results/exploit: Lưu trữ bằng chứng khai thác thành công.
• pentest_results/reports: Lưu trữ các file báo cáo tổng hợp.

Một thành phần then chốt trong tầng kiểm thử an toàn là tác tử Code-Checker. Mọi câu lệnh sinh ra từ các tác tử (như Nmap-Agent hay Exploit-Agent) đều không được chạy trực tiếp mà bắt buộc phải chuyển tiếp đến Code-Checker. Tác tử này chịu trách nhiệm chuẩn hóa cú pháp, kiểm tra chuyển hướng đầu ra (output redirection) và loại bỏ hoàn toàn các chỉ thị nguy hiểm gây tổn hại môi trường (chẳng hạn như lệnh xóa file rm hay đoạn mã gây tràn tài nguyên :(){ :|:& };:). Sau khi vượt qua kiểm duyệt, lệnh mới được bàn giao cho Code-Executor (được cấu hình qua LocalCommandLineCodeExecutor với timeout=3600 giây) để chạy trong môi trường dòng lệnh thực tế.

---

Nội dung chính theo từng chương

Chapter 1: Introduction

Chương mở đầu trình bày tính cấp thiết của an toàn thông tin trước thực trạng thiệt hại do tội phạm mạng gia tăng (dẫn chứng số liệu 10,5 nghìn tỷ USD vào năm 2025). Tác giả làm rõ các hạn chế cố hữu của kiểm thử xâm nhập truyền thống (tốn kém thời gian, chi phí, đòi hỏi chuyên gia) và đề xuất hướng tiếp cận ứng dụng AI tự động hóa. Chương này xác định rõ mục tiêu nghiên cứu, phạm vi ứng dụng (tập trung vào web pentest với các công cụ Nmap, Gobuster, SQLMap, WhatWeb, Nuclei; các dạng tấn công SQLi, XSS, LFI) và nêu bật kỳ vọng hiện thực hóa một hệ sinh thái đa tác tử có khả năng mở rộng.

Chapter 2: Theoretical Basis of Artificial Intelligence Applied in AI Agent Pentest System

Chương 2 cung cấp cơ sở lý thuyết toàn diện về AI ứng dụng trong an ninh mạng. Tác giả phân tích tiến trình từ Machine Learning truyền thống (phân loại lưu lượng, dự đoán bất thường từ log) đến Generative AI và Agentic AI. Trình bày chi tiết ba kiến trúc GenAI nền tảng (GANs, VAEs, LLMs) và giải thích lý do lựa chọn LLM (mô hình GPT-4) làm lõi xử lý duy nhất trong đồ án. Nội dung tiếp tục phân loại các mô hình tác tử (Simple reflex, Model-based, Goal-based, Utility-based, Learning agents), phân tích ưu thế của Hệ thống đa tác tử (MAS) so với tác tử đơn lẻ và khảo sát các mô hình điều phối (Centralized, Decentralized, Hierarchical, Federated). Cuối chương, tác giả so sánh hai framework hàng đầu là AutoGen và CrewAI, qua đó luận chứng việc lựa chọn AutoGen cho hệ thống.

Chapter 3: Web Pentest Process

Chương 3 chuẩn hóa quy trình kiểm thử xâm nhập ứng dụng web bằng việc tích hợp hai khung tham chiếu quốc tế: OWASP Top 10 (phiên bản 2021) và Tiêu chuẩn Thực thi Kiểm thử Xâm nhập (PTES). Tác giả trình bày chi tiết định nghĩa và cơ chế kỹ thuật của 10 rủi ro bảo mật hàng đầu theo OWASP, đồng thời giải thích tuần tự 7 giai đoạn kiểm thử theo PTES (từ tương tác tiền kiểm thử, thu thập thông tin, mô hình hóa mối đe dọa, phân tích lỗ hổng, khai thác, hậu khai thác cho đến báo cáo). Chương này thiết lập bảng quan hệ đối sánh (Bảng 3.2), làm cơ sở cho việc phân công chức năng của từng tác tử AI trong hệ thống.

Chapter 4: Implement AI Agent System for Pentest

Chương 4 tập trung vào thiết kế kiến trúc hệ thống và quy trình nghiệp vụ. Hệ thống được cụ thể hóa thành quy trình kiểm thử 4 bước: Thu thập thông tin (Reconnaissance), Quét lỗ hổng (Vulnerability Scanning), Khai thác thử nghiệm (Exploitation) và Báo cáo (Reporting). Tác giả định nghĩa chi tiết bảng chức năng, công cụ liên kết và vai trò của từng AI Agent trong hệ thống. Sơ đồ luồng công việc (Workflow) mô tả cách thức UserProxyAgent đóng vai trò giám sát, GroupChatManager đóng vai trò điều phối trung tâm, và cách thức dữ liệu được luân chuyển tuần tự giữa các tác tử trinh sát, quét tham số, khai thác và lập báo cáo thông qua tầng kiểm duyệt an toàn mã lệnh.

Chapter 5: Code Implementation

Chương 5 trình bày chi tiết việc triển khai mã nguồn thực tế của hệ thống. Tác giả làm rõ sự khác biệt giữa hai lớp ConversableAgent và AssistantAgent thông qua bảng so sánh tiêu chí kỹ thuật. Chương này công bố cấu trúc thư mục lưu trữ kết quả và hiện thực hóa mã nguồn của các thành phần nòng cốt: thiết lập prompt hệ thống cho Nmap-Agent, cơ chế kiểm duyệt và loại bỏ lệnh nguy hại của Code-Checker, bộ thực thi dòng lệnh an toàn Code-Executor bằng LocalCommandLineCodeExecutor, và phương pháp trích xuất URL qua Playwright của Param-URL-Extractor kết hợp quét tự động bằng Nuclei-Scanner. Cuối chương tổng kết các thành tựu kỹ thuật đã đạt được, phân tích ưu điểm, các giới hạn tồn tại và kế hoạch phát triển mở rộng trong tương lai.

---

Kết quả và đóng góp

Về kết quả kỹ thuật, đồ án đã triển khai thành công một hệ thống kiểm thử xâm nhập tự động hóa dựa trên kiến trúc đa tác tử của AutoGen và LLM (GPT-4). Các kết quả cụ thể bao gồm:

• Tự động hóa thành công chuỗi thao tác kiểm thử web qua 4 giai đoạn logic chuẩn hóa: Reconnaissance, Vulnerability Scanning, Exploitation và Reporting.
• Tích hợp điều khiển thành công các công cụ an ninh mạng thực tế (Nmap, WhatWeb, Gobuster, Playwright, Nuclei, SQLMap) thông qua cơ chế sinh lệnh từ mô hình ngôn ngữ lớn kết hợp bộ thực thi dòng lệnh LocalCommandLineCodeExecutor.
• Thiết lập cơ chế kiểm duyệt an toàn mã lệnh đa tầng (Code-Checker) có khả năng nhận diện lỗi cú pháp, chuẩn hóa cờ lệnh và ngăn chặn các hành vi phá hoại hệ thống (lệnh xóa file hoặc mã độc hại).
• Tự động lưu trữ và phân loại dữ liệu đầu ra vào 4 thư mục tiêu chuẩn (pentest_results/recon, pentest_results/vulnscan, pentest_results/exploit, pentest_results/reports) và tạo báo cáo tổng hợp.

Về đóng góp của nghiên cứu, tác giả tự nêu các điểm chính sau:

• Chứng minh tính khả thi của việc ứng dụng Trí tuệ nhân tạo tác tử (Agentic AI) vào việc tự động hóa các tác vụ kiểm thử xâm nhập thực tế, thay thế các kịch bản thực thi tĩnh truyền thống bằng mô hình suy luận ngữ cảnh động.
• Cung cấp một phương pháp luận kết hợp chuẩn hóa giữa các tiêu chuẩn công nghiệp (PTES, OWASP Top 10) với mô hình điều phối đa tác tử tập trung (GroupChatManager).
• Thiết lập tiền đề cho việc nghiên cứu phát triển các giải pháp bảo mật chủ động thông minh, thu hẹp khoảng cách giữa lý thuyết an ninh mạng và ứng dụng thực tiễn của các mô hình ngôn ngữ lớn.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung được tác giả công bố trong văn bản, hệ thống còn tồn tại một số hạn chế:

• Cơ chế điều phối còn mang tính tuần tự: Mặc dù sử dụng hệ thống đa tác tử, quy trình vận hành dưới sự điều khiển của GroupChatManager hiện chủ yếu diễn ra theo cơ chế ủy quyền tác vụ tuần tự (sequential task delegation) thay vì thực thi song song hoàn toàn (parallel execution), điều này có thể kéo dài thời gian kiểm thử trên các mục tiêu lớn.
• Phạm vi lỗ hổng và công cụ còn giới hạn: Hệ thống mới chỉ tập trung xử lý một số lỗ hổng web điển hình (SQLi, XSS, LFI) với các công cụ được chỉ định sẵn; chưa mở rộng sang các vector tấn công phức tạp khác hoặc các mảng an toàn thông tin chuyên sâu như phân tích mã độc hay điều tra số.
• Chưa có cơ chế tự học dài hạn: Hệ thống chưa tích hợp thuật toán học tăng cường (reinforcement learning) hoặc bộ nhớ lưu vết dài hạn để tự động tối ưu hóa chiến lược khai thác dựa trên kinh nghiệm từ các lần kiểm thử trước đó.
• Phụ thuộc vào mô hình LLM bên ngoài: Hiệu quả suy luận và sinh lệnh phụ thuộc vào năng lực của GPT-4, tiềm ẩn chi phí tính toán và rủi ro sinh sai ngữ cảnh nếu prompt không được kiểm soát chặt chẽ.

Các hướng phát triển tiếp theo được đề xuất trong tài liệu gồm:

• Bổ sung thêm các tác tử chuyên biệt mới như Interact-Web-Agent, CVE-Check-Agent và tác tử chuyên biệt phát hiện SSRF (SSRF Detector Agent).
• Hoàn thiện việc triển khai các tác tử dạng utility-based (như Post-Exploit-Agent mở rộng) và learning agents nhằm nâng cao khả năng tự thích ứng và tối ưu hóa quyết định khai thác.
• Nghiên cứu chuyển đổi hoặc kết hợp mô hình điều phối phân cấp (Hierarchical orchestration), trong đó các tác tử hoạch định cấp cao sẽ giám sát và phân bổ tác vụ cho các nhóm tác tử thực thi cấp thấp.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo có giá trị chuyên môn đối với sinh viên và học viên chuyên ngành Công nghệ thông tin, Kỹ thuật phần mềm và An toàn thông tin đang nghiên cứu hướng ứng dụng AI trong an ninh mạng. Tài liệu đặc biệt hữu ích cho những người làm đề tài nghiên cứu về Hệ thống đa tác tử (Multi-Agent Systems) và phát triển ứng dụng trên nền tảng AutoGen.

Các phần có giá trị tham khảo cao nhất trong đồ án gồm:

• Mô hình kiến trúc phân vai tác tử (Chương 4): Cung cấp phương pháp chi tiết để phân rã quy trình kiểm thử phức tạp thành các vai trò tác tử độc lập, có thể tái sử dụng cho các dự án tự động hóa an ninh khác.
• Tầng kiểm duyệt an toàn mã lệnh Code-Checker (Chương 5): Giải pháp kỹ thuật hữu ích về việc thiết lập lớp đệm an toàn (safety guardrail) nhằm ngăn chặn mã độc hại hoặc lỗi cú pháp khi cho phép tác tử AI tương tác trực tiếp với giao diện dòng lệnh hệ điều hành.
• Bảng đối chiếu chuẩn an ninh PTES - OWASP Top 10 (Chương 3): Khung tham chiếu chuẩn hóa hữu ích cho các nghiên cứu lý thuyết và thực hành kiểm thử ứng dụng web.

---

Câu hỏi thường gặp

1. Hệ thống AI Agent trong đồ án được xây dựng dựa trên framework nào và vì sao framework đó được lựa chọn?
Hệ thống được phát triển dựa trên framework AutoGen của AG2. Framework này được lựa chọn vì hỗ trợ giao tiếp bất đồng bộ giữa các tác tử, tích hợp sẵn cơ chế điều phối tập trung GroupChatManager tương thích với quy trình PTES, và cung cấp sẵn bộ thực thi dòng lệnh an toàn LocalCommandLineCodeExecutor, giúp cân bằng tốt giữa tính tự chủ, khả năng suy luận của LLM và khả năng chạy công cụ thực tế.

2. Đồ án xử lý vấn đề an toàn như thế nào khi cho phép AI Agent sinh và chạy lệnh trên hệ thống?
Hệ thống triển khai tác tử kiểm duyệt Code-Checker-Agent nằm giữa các tác tử sinh lệnh và tác tử thực thi (Code-Executor). Code-Checker có nhiệm vụ kiểm tra cú pháp, đảm bảo có lệnh chuyển hướng ghi file kết quả, và tự động loại bỏ các câu lệnh có nguy cơ phá hoại hệ thống (như lệnh rm hoặc mã fork bomb). Ngoài ra, hệ thống tích hợp UserProxyAgent đóng vai trò giám sát của con người (human-in-the-loop) để xác nhận các thao tác rủi ro cao.

3. Trong các kiến trúc Trí tuệ nhân tạo tạo sinh được khảo sát, kiến trúc nào được sử dụng trực tiếp trong hệ thống?
Trong ba kiến trúc được phân tích là GANs, VAEs và LLMs, chỉ có LLMs (cụ thể là mô hình GPT-4) được ứng dụng trực tiếp vào hệ thống. GPT-4 đóng vai trò là "bộ não" tư duy cho các tác tử để phân tích ngữ cảnh, sinh câu lệnh cho công cụ pentest, lựa chọn payload và soạn thảo báo cáo. GANs và VAEs chỉ được đề cập trong phần cơ sở lý thuyết tổng quan.

4. Sự khác biệt cốt lõi giữa hai lớp tác tử ConversableAgent và AssistantAgent trong mã nguồn là gì?
ConversableAgent là các tác tử bậc cao bắt buộc phải có suy luận từ LLM để lập kế hoạch, giao tiếp và tự kích hoạt công cụ (ví dụ: Nmap-Agent, Nuclei-Agent, Exploit-Agent). Ngược lại, AssistantAgent được dùng cho các tác vụ hỗ trợ hoặc thực thi kỹ thuật cố định, không bắt buộc phải có LLM reasoning khi chỉ làm nhiệm vụ chạy lệnh hoặc đọc/ghi file (ví dụ: Code-Executor, File-Reader).

5. Hệ thống AI Agent tập trung kiểm thử những loại lỗ hổng bảo mật nào và sử dụng các công cụ truyền thống nào?
Hệ thống tập trung kiểm thử ba nhóm lỗ hổng web phổ biến gồm SQL Injection (SQLi), Cross-site Scripting (XSS) và Local File Inclusion (LFI). Các công cụ truyền thống được tích hợp bao gồm Nmap (quét cổng/dịch vụ), WhatWeb (nhận diện công nghệ), Gobuster (dò quét thư mục), Playwright (tương tác biểu mẫu web), Nuclei (quét template lỗ hổng) và SQLMap/curl (khai thác kiểm chứng).

---

Kết luận

Đồ án tốt nghiệp "Developing Pentest AI Agent" của tác giả Nguyễn Duy Mạnh đã thiết kế và triển khai thành công một hệ sinh thái đa tác tử dựa trên framework AutoGen và mô hình ngôn ngữ lớn GPT-4 nhằm tự động hóa quy trình kiểm thử xâm nhập ứng dụng web. Nghiên cứu hiện thực hóa quy trình kiểm thử 4 giai đoạn chuẩn mực theo các tiêu chuẩn PTES và OWASP Top 10, tích hợp an toàn các công cụ bảo mật thực tế thông qua cơ chế kiểm duyệt lệnh chặt chẽ. Kết quả của đồ án đóng góp cơ sở thực nghiệm rõ ràng về tính khả thi của việc ứng dụng Agentic AI trong an ninh mạng chủ động, đồng thời vạch ra lộ trình phát triển triển vọng về các cơ chế điều phối phân cấp và tự học thông minh trong tương lai.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS MAJOR: INFORMATION TECHNOLOGY - SOFTWARE ENGINEERING DEVELOPING PENTEST AI AGENT INSTRUCTOR: NGUYEN DANG QUANG STUDENT: NGUYEN DUY MANH Ho Chi Minh city, Dec 2025 HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION ------------------------------ PROJECT DEVELOPING PENTEST AI AGENT Instructor: Ph.d Nguyễn Đăng Quang Students: 21110780 - Nguyễn Duy Mạnh Ho Chi Minh City, Dec 2025 HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION ------------------------------ PROJECT DEVELOPING PENTEST AI AGENT Instructor: Ph.d Nguyễn Đăng Quang Students: 21110780 - Nguyễn Duy Mạnh Ho Chi Minh City, Dec 2025 HCMC University of Technology and Education SOCIALIST REPUBLIC OF VIETNAM, FACULTY OF INTERNATIONAL EDUCATION Independence – Freedom – Happiness _________ __________ OBJECTIVES FOR PROJECT Student: Nguyen Duy Manh Student ID: 21110780 Major: Information Technology - Software Engineering Project: Developing pentest ai agent Instructor: Ph.d Nguyễn Đăng Quang 1. Objectives: This project aims to develop an AI-driven penetration testing agent capable of automating key aspects of ethical hacking. By integrating artificial intelligence with traditional security testing tools, the system enhances both efficiency and effectiveness. A cooperative multi-agent framework is implemented to handle various testing phases, ensuring modularity and scalability.

Time of execution: 12 weeks Signature of student: TP. HEAD OF IT DEPARTMENT INSTRUCTOR (Sign with full name) (Sign with full name) INSTRUCTOR’S EVALUATION SHEET Student Name: Nguyễn Duy Mạnh Student ID: 21110780 Major: Software Engineering Project title: Develop pentest ai agent Instructor: EVALUATION 1. Content of the project:. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, May 2025 INSTRUCTOR (Sign with full name) REVIEWER’S EVALUATION SHEET Student Name: Nguyễn Duy Mạnh Student ID: 21110780 Major: Software Engineering Project title: Develop pentest ai agent Instructor: EVALUATION 1.

Content of the project:. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, May 2025 REVIEWER (Sign with full name) ACKNOWLEDGEMENT First and foremost, I would like to sincerely thank Mr. Nguyen Dang Quang for his steadfast support and guidance throughout the research and implementation of this project. His dedication and assistance in selecting the topic, refining methods, and addressing issues during the process have been invaluable.

I also wish to extend our heartfelt appreciation to the professors at Ho Chi Minh City University of Technology and Education, especially the Faculty Lecturers, for their enthusiastic teaching and for sharing their extensive knowledge and experience during my studies. Their contributions have been crucial to my successful completion of this project. While I have strived for accuracy in our work, there may still be errors in the implementation. I am eager to receive constructive feedback from our instructors, as it will enable me to further enhance our skills and knowledge for future academic and professional endeavors.

Thank you sincerely! Ho Chi Minh City, May 2025 Nguyễn Duy Mạnh TABLE OF CONTENT CHAPTER 1: INTRODUCTION .1 Reasons for choosing the topic. 4 CHAPTER 2: THEORETICAL BASIS OF ARTIFICIAL INTELLIGENCE APPLIED IN AI AGENT PENTEST SYSTEM .1 Artificial Intelligence in Security and Penetration Testing .2 From Machine Learning to Generative AI and AI Agents .1 Concept and technology platform .2 Applications of Generative AI in Security Testing .3 Limitations and Development Directions .2 How it works .3 Benefit of Agentic AI .4 Agentic AI and Generative AI.2 How AI agents work.3 Types of AI agents .4 Single-Agent vs. Multi-Agent Systems .5 Advantages of Multi-Agent Systems (MAS) .6 AI agent orchestration .7 Popular Frameworks for Building AI Agents. 23 CHAPTER 3: WEB PENTEST PROCESS .1 Overview of OWASP Top 10 .2 Penetration Testing Execution Standard .3 Pre-engagement Interactions.

29 CHAPTER 4: IMPLEMENT AI AGENT SYSTEM FOR PENTEST .1 Architectural Design and Framework Justification .2 Pentest operations and processes .3 Functions and roles of AI Agents.4 Workflow of ai agent system. 35 CHAPTER 5: CODE IMPLEMENTATION .1 System Architecture Overview .2 Initialization and Directory Structure .2 Command Validation & Execution .3 Vulnerability Scanning Agents .5 Reporting and File I/O Agents .4 Orchestration Using GroupChatManager .1 Summary of Achievements .2 Strengths and Limitations .3 Future Development Plan. 48 LIST OF TABLES Table 2.1 Comparison between GenAI and regular script .3: Popular Framework for building AI agents .1 Overciew of Top 10 OWASP .2: The relationship between the PTES phases and the OWASP Top 10 risks.1: Functions and roles of AI Agents .1: Comparison of ConversableAgent vs AssistantAgent. 38 LIST OF FIGURES Figure 2.1: How Agentic works .2: The definition of AI agent.3: Simple reflex agents .4: Model-based reflex agents .5: Goal-based agents .6: Utility-based agents .8: Single-Agent vs.

Multi-Agent Systems .9: The definition of AutoGen .1: Workflow of AI agent system .2: Vulnerability scan report.1 Reasons for choosing the topic Cybersecurity threats are becoming more complex and common these days, and they're posing serious risks to organizations everywhere. A report from Cybersecurity Ventures says cybercrime could cost the world around $10.5 trillion each year by 2025[1]. Numbers like that are pretty alarming, and they clearly show we need better cybersecurity tools—especially automated penetration testing (pentesting)—to spot and fix vulnerabilities before hackers can take advantage of them. Ethical hacking, which is another name for penetration testing, involves pretending to be a hacker in order to check how safe a system is.

Conventional pentesting methods need for a lot of knowledge, time, and money, so they present problems. As a means of automating some of the pentesting process—including data collecting, vulnerability scanning, running attacks, and report generation— artificial intelligence (AI) is thus drawing increasing interest. Using artificial intelligence in pentesting can address these issues by accelerating, more accurate, consistent process completion. Moreover, I personally get quite excited about the combination of cybersecurity and artificial intelligence.

It provides me with a chance to put everything I have learnt in a practical, real-world setting to use perfectly in line with my academic interests. Working on this project will help me to develop useful technological abilities, especially in advanced artificial intelligence and cybersecurity techniques—both of which are much sought for right now. The practical knowledge will be priceless for my professional portfolio and will equip me sufficiently for next job possibilities. Since cybersecurity is continually changing, automated security systems are growingly important for protecting businesses from online threats.

Not only is it interesting conceptually, but creating an artificial intelligence agent able to regularly find weaknesses directly advances a major and growing area in cybersecurity. Finally, this initiative presents a great way to link classroom theory into useful commercial applications. Using technologies and creative ideas like AutoGen in line with industry standards will enable me personally to see feasible situations. This kind of relevant information will help immensely in my future education and career 2 development.2 Research objectives The main goal of this study is to learn more about penetration testing and look into how artificial intelligence (AI) could help.

The project aims to show how to create a basic AI model able to manage typical penetration testing tasks, including reconnaissance, vulnerability scanning, and exploitation. Practical experience gained by applying machine learning methods to relevant security environments will help reduce the gap between theoretical knowledge and actual cybersecurity problems. Analyze how well artificial intelligence methods mix with traditional penetration testing tools to find their benefits and disadvantages. Establish the groundwork for further research and employment opportunities in the fast-growing field of artificial intelligence-powered cybersecurity.3 Research scope The study is about creating a specialized AI agent system for penetration testing.

Other cybersecurity fields, like malware analysis or digital forensics, do not fall within the scope of this study. Specifically, the scope includes: The development of an AI agent system capable of performing basic tasks in the penetration testing process: reconnaissance, vulnerability scanning, exploitation, and reporting. Applying well-known and efficient pentesting tools like Nmap, Gobuster, Sqlmap, Whatweb, and Nuclei to automate the testing steps and improve the ability to find vulnerabilities. Concentrating on typical and important attack types like SQL injection (SQLi), Cross-site scripting(XSS), Local File Inclusion(LFI).

Using a closely managed testing environment for making sure ethical standards are followed and following the rules about cybersecurity's legal requirements. That means specialized agents will take care of different parts of the testing process, making the whole system flexible and easy to expand.4 Project objectives The project aims to: Develop an AI-driven penetration testing agent that can automate certain aspects of ethical hacking. 3 Integrate AI with traditional penetration testing tools to enhance efficiency and effectiveness. Implement a cooperative multi-agent system to handle different testing phases, ensuring modularity and scalability.

Evaluate the performance of AI-based penetration testing techniques compared to traditional manual methods.5 Expected result This implies that particular agents will manage various aspects of the test cycle, thus making the system very modular and easy to enlarge. From building and experimenting with the AI pentest agent, this project shall: - Gain a perspective on how AI can improve penetration testing methodologies. - Prove that it is possible to do cybersecurity testing with AI-driven automation. - Show the perks and issues of applying AI in ethical hacking.

This study will add rich knowledge to both the academic and practical fields of cybersecurity, which shall be used as a stepping stone for further research in AI- powered security testing solutions. 4 CHAPTER 2 : THEORETICAL BASIS OF ARTIFICIAL INTELLIGENCE APPLIED IN AI AGENT PENTEST SYSTEM 2.1 Artificial Intelligence in Security and Penetration Testing Artificial Intelligence (AI) has become the core foundation in modernizing security testing systems. In the scope of this project, AI is not deployed in a general way but focuses on a specific application: automating the penetration testing process through an intelligent multi-agent system (AI Agents). Instead of running tools such as Nmap, Gobuster, SQLMap, or Nuclei manually, AI Agent can: - Automatically plan attacks.

- Generate commands and payloads suitable for each target. - Analyze responses and make further decisions. The AI model applied in the project belongs to the scope of Narrow AI, but is capable of simulating expert processes through logical reasoning of large language models (LLM), notably GPT-4.2 From Machine Learning to Generative AI and AI Agents In security testing systems, machine learning is used to: - Classify abnormal traffic. - Predict behavior based on system logs.

- Support pattern-based attack detection. For example: Sentinel endpoint detection and response solution (Endpoint protection solution) has also been applied to detect files suspected of being malicious code. As well as in the specific privileged access management solution that Fudo Pam has applied to be able to identify mouse speed, typing speed and frequency of using commands to identify someone. However, this project does not directly apply traditional ML models, but focuses on LLM – the result of deep learning – specifically GPT used in AutoGen.1 Concept and technology platform Generative AI is a type of artificial intelligence that can analyze large datasets based on criteria extracted from prompts to generate new content – including text, images, video, audio, and code – with the same patterns and structures.

GenAI models continue 5 to train or learn from the available data, providing new and continuously evolving responses to end-content consumers. Modern Generative AI is shaped by three foundational architectures: Generative Adversarial Networks (GANs): This model consists of two components: a generator and a discriminator, which operate in an adversarial setup to gradually improve the quality of generated data. GANs are often used for generating realistic image data. Applications in cybersecurity: - Generating fake network traffic for IDS/IPS system testing.

- Generating fake attack patterns for training attack detection systems. - Generating fake user profiles for testing user behavior analysis (UEBA) systems. Variational Autoencoders (VAEs): VAEs learn latent representations of input data to reconstruct or modify them in a controlled manner. This architecture is well-suited for generating synthetic network traffic or diverse attack variants for training and testing threat detection systems.

Application in security testing: - Generate payload variants for SQLi, XSS to test the durability of the WAF system.