Phương Pháp Tạo Mẫu Tấn Công Web Dựa Trên Học Tăng Cường

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp an toàn thông tin phương pháp tạo mẫu tấn công web dựa trên học tăng cường trong kiểm, vận dụng lý thuyết vào thực tế, đề xuất giải pháp

• Tác giả: Tran Anh Hao
• Người hướng dẫn: ThS. Do Hoang Hien
• Trường học: Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phương Pháp Tạo Mẫu Tấn Công Web Dựa Trên Học Tăng Cường
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TONG QUAN VE DE TÀI
• 1.1. Giới thiệu đề tài. Tính thực tiễn và ý nghĩa của đề tài. Nội dung yêu cầu và nhiệm vụ đề tài. Phạm vi nghiên cứu
• 1.2. Phương pháp thực hiện
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Cấu trúc payload XSS và các chiến lược biến đổi
• 2.2. Tấn công XSS
• 2.3. Học tăng cường và các thuật toán học tăng cường
• 2.4. Các biện pháp phòng thủ tấn công XSS
• 2.5. Bộ phát hiện tấn công dựa trên học máy
• 2.6. Các nghiên cứu liên quan và đề xuất phương pháp mới
• 3. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Mô hình kiến trúc hệ thống
• 3.2. Tổng quan mô hình
• 3.3. Bộ sinh mẫu tấn công
• 3.4. Thiết lập phần thưởng và policy
• 3.5. Tiền xử lý dữ liệu và mô hình phát hiện dựa trên Deep Learning
• 3.6. Đánh giá mô hình, kết nối với bộ sinh mẫu tấn công
• 4. CHƯƠNG 4: THỰC HIỆN, THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Cấu hình môi trường
• 4.2. Thông số của các mô hình và công nghệ sử dụng
• 4.3. Các kịch bản thực nghiệm và các thông số đánh giá
• 4.4. Kết quả thực nghiệm và nhận xét
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT

Tóm tắt

I. Tổng quan về phương pháp tạo mẫu tấn công web

Phương pháp tạo mẫu tấn công web dựa trên học tăng cường đang trở thành một xu hướng quan trọng trong lĩnh vực an ninh mạng. Với sự phát triển của công nghệ, các cuộc tấn công ngày càng tinh vi và khó phát hiện hơn. Việc áp dụng học tăng cường giúp tạo ra các mẫu tấn công XSS (Cross-Site Scripting) hiệu quả hơn, từ đó nâng cao khả năng phát hiện và phòng ngừa các cuộc tấn công này.

1.1. Ứng dụng của học tăng cường trong an ninh mạng

Học tăng cường cho phép các mô hình tự động học hỏi từ môi trường và cải thiện khả năng phát hiện tấn công. Điều này giúp nâng cao hiệu quả của các hệ thống bảo mật hiện tại.

1.2. Tầm quan trọng của việc tạo mẫu tấn công

Việc tạo mẫu tấn công không chỉ giúp kiểm thử các hệ thống bảo mật mà còn giúp phát hiện các lỗ hổng tiềm ẩn trong ứng dụng web, từ đó bảo vệ thông tin người dùng.

II. Vấn đề và thách thức trong việc tạo mẫu tấn công web

Mặc dù có nhiều tiến bộ trong việc phát triển các phương pháp tạo mẫu tấn công, nhưng vẫn tồn tại nhiều thách thức lớn. Các kẻ tấn công ngày càng sử dụng các kỹ thuật phức tạp để vượt qua các biện pháp bảo vệ hiện có. Điều này đặt ra yêu cầu cấp thiết về việc cải tiến và đổi mới các phương pháp kiểm thử xâm nhập.

2.1. Các hình thức tấn công XSS phổ biến

Tấn công XSS có nhiều hình thức khác nhau, bao gồm Stored XSS, Reflected XSS và DOM-based XSS. Mỗi hình thức đều có những đặc điểm và cách thức tấn công riêng.

2.2. Thách thức từ các biện pháp phòng thủ

Các biện pháp phòng thủ như WAF (Web Application Firewall) thường dựa vào quy tắc chữ ký, nhưng kẻ tấn công có thể dễ dàng biến đổi payload để đánh lừa hệ thống.

III. Phương pháp tạo mẫu tấn công web hiệu quả

Để tạo ra các mẫu tấn công web hiệu quả, cần áp dụng các phương pháp học tăng cường. Các thuật toán như Proximal Policy Optimization (PPO) có thể giúp tối ưu hóa quá trình tạo mẫu tấn công, từ đó nâng cao khả năng vượt qua các biện pháp phòng thủ.

3.1. Thuật toán Proximal Policy Optimization PPO

PPO là một trong những thuật toán học tăng cường hiệu quả, cho phép mô hình học hỏi từ các trải nghiệm và tối ưu hóa chính sách hành động của mình.

3.2. Chiến lược biến đổi mẫu tấn công

Cần xây dựng các chiến lược biến đổi mẫu tấn công để đảm bảo tính hợp lệ của payload, đồng thời không làm mất đi chức năng tấn công ban đầu.

IV. Ứng dụng thực tiễn của phương pháp tạo mẫu tấn công

Phương pháp tạo mẫu tấn công dựa trên học tăng cường đã được áp dụng trong nhiều nghiên cứu và thực tiễn. Kết quả cho thấy khả năng tạo ra các payload XSS mới và phức tạp, giúp nâng cao hiệu quả của các hệ thống phát hiện tấn công.

4.1. Kết quả nghiên cứu từ các mô hình học sâu

Nghiên cứu cho thấy các mô hình học sâu như MLP, LSTM và CNN có khả năng phát hiện các mẫu tấn công XSS với độ chính xác cao khi được kết hợp với phương pháp tạo mẫu tấn công.

4.2. Thực nghiệm và đánh giá hiệu quả

Các thử nghiệm thực tế cho thấy tỷ lệ mẫu tấn công được sinh ra có thể đánh lừa các biện pháp phòng thủ lên đến 85%, chứng minh tính khả thi của phương pháp.

V. Kết luận và hướng phát triển tương lai

Nghiên cứu về phương pháp tạo mẫu tấn công web dựa trên học tăng cường mở ra nhiều hướng đi mới trong lĩnh vực an ninh mạng. Việc cải thiện khả năng phát hiện và phòng ngừa các cuộc tấn công XSS là một trong những mục tiêu quan trọng trong tương lai.

5.1. Tương lai của nghiên cứu an ninh mạng

Cần tiếp tục nghiên cứu và phát triển các phương pháp mới để đối phó với các cuộc tấn công ngày càng tinh vi, đồng thời nâng cao khả năng bảo mật cho các ứng dụng web.

5.2. Đề xuất các hướng nghiên cứu tiếp theo

Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện các thuật toán học tăng cường, từ đó tạo ra các mẫu tấn công phức tạp hơn và hiệu quả hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Với sự phát triển liên tục của Internet, các ứng dụng web ngày càng được sử dụng rộng rãi trong nhiều hoạt động đời sống như đọc báo, nhắn tin, mua sắm trực tuyến và thanh toán hóa đơn. Cùng với đó, các mối đe dọa bảo mật ngày càng trở nên tinh vi và phức tạp hơn. Trong số các hình thức tấn công phổ biến trên web — bao gồm Cross-Site Scripting (XSS), XML External Entity (XXE) và SQL Injection (SQLi) — tấn công XSS được xếp vào top 10 mối đe dọa bảo mật web hàng đầu theo OWASP vào năm 2021. XSS cho phép kẻ tấn công chèn mã độc vào trang web, từ đó đánh cắp cookie, session tokens và các thông tin nhạy cảm khác của người dùng.

Mặc dù các phương pháp kiểm thử xâm nhập truyền thống vẫn được sử dụng rộng rãi, chúng không đủ mạnh để phát hiện các mối đe dọa tiềm tàng và các hình thức tấn công ngày càng tinh vi. Bên cạnh đó, các Web Application Firewall (WAF) truyền thống dựa trên quy tắc chữ ký có thể bị vượt qua khi kẻ tấn công liên tục biến đổi và che giấu payload. Các mô hình học sâu hiện tại cũng đối mặt với thách thức từ các tấn công đối kháng (adversarial examples), khiến mô hình đưa ra dự đoán sai và giảm hiệu quả phát hiện XSS.

Mục tiêu nghiên cứu:

1. Nghiên cứu và phát triển phương pháp mới để sinh mẫu tấn công XSS đối kháng bằng cách áp dụng các kỹ thuật học tăng cường, cho phép mô hình tự động sinh ra các mẫu tấn công có khả năng vượt qua các biện pháp phòng thủ hiện tại.
2. Đánh giá hiệu quả của các mô hình phát hiện XSS hiện có bằng cách thử nghiệm và so sánh các mô hình học sâu như MLP, LSTM và CNN trước và sau khi mẫu tấn công được biến đổi.
3. Xây dựng kịch bản thực nghiệm để thống kê tỉ lệ mẫu tấn công sinh ra có thể đánh lừa các biện pháp phòng thủ và đánh giá kết quả so với các nghiên cứu khác.

Đối tượng nghiên cứu: Tấn công Cross-Site Scripting (XSS) và mô hình học tăng cường (Reinforcement Learning).

Phạm vi nghiên cứu: Các chiến lược biến đổi mẫu tấn công XSS; phương pháp sinh mẫu tấn công XSS dựa trên học tăng cường; thực nghiệm kiểm tra mẫu tấn công được sinh ra trên các biện pháp phòng thủ (Detection) và ứng dụng web thực tế. Đề tài hoàn thành vào tháng 6 năm 2024.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình sử dụng

Đề tài xây dựng hệ thống trên nền tảng lý thuyết học tăng cường (Reinforcement Learning — RL), trong đó môi trường được mô hình hóa theo cơ chế Markov Decision Process (MDP). Ba thuật toán học tăng cường được khảo sát và so sánh:

• Actor-Critic: Kết hợp thành phần Actor (đại diện chính sách hành động) và Critic (đánh giá hiệu suất chính sách thông qua hàm giá trị).
• Soft Actor-Critic (SAC): Kết hợp yếu tố từ Advantage Actor-Critic (A2C) và Maximum Entropy Reinforcement Learning (MERL), sử dụng entropy regularization để tối ưu hóa khám phá không gian hành động. Được ứng dụng trong nghiên cứu tham chiếu [1] của Li Chen, đạt tỉ lệ đánh lừa phòng thủ 92%.
• Proximal Policy Optimization (PPO): Thuật toán do OpenAI phát triển, thuộc nhóm policy gradient, sử dụng objective function với cơ chế clipping để giới hạn sự thay đổi tỷ lệ xác suất hành động giữa chính sách mới và cũ, đảm bảo ổn định huấn luyện. Đây là thuật toán được nhóm lựa chọn triển khai.

Về phía bộ phát hiện tấn công, đề tài sử dụng ba kiến trúc học sâu: MLP (Multi-Layer Perceptron), LSTM (Long Short-Term Memory) và CNN (Convolutional Neural Network). Biểu diễn đặc trưng văn bản được thực hiện qua mô hình Word2Vec (phương pháp CBOW — Continuous Bag of Words) để chuyển đổi các token trong payload XSS thành vector số học.

Ngoài ra, đề tài tham chiếu lý thuyết về cấu trúc payload XSS (thẻ HTML, mã JavaScript, URL, thuộc tính sự kiện), ba loại XSS (Stored XSS, Reflected XSS, DOM-based XSS), cơ chế hoạt động của WAF và các biện pháp phòng thủ ở mức ứng dụng.

Phương pháp nghiên cứu

Đề tài áp dụng phương pháp thiết kế và xây dựng hệ thống kết hợp thực nghiệm kiểm thử:

• Tổng hợp và phân tích tài liệu khoa học về sinh mẫu tấn công XSS đối kháng.
• Thiết kế kiến trúc hệ thống gồm hai module: bộ sinh mẫu tấn công (dựa trên PPO) và bộ phát hiện tấn công (MLP, LSTM, CNN).
• Xây dựng 27 chiến lược biến đổi payload XSS được phân loại theo từng module cấu trúc của vector tấn công.
• Thực nghiệm trên hai kịch bản độc lập và đánh giá kết quả theo các chỉ số Detection Rate (DR) và Escape Rate (ER).

Nguồn dữ liệu

Mẫu tấn công ban đầu được trích từ bộ dataset XSS_Portswigger. Dữ liệu được phân loại thành hai nhóm: dữ liệu sạch (non-XSS) và dữ liệu chứa tấn công XSS.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan về đề tài

Chương này trình bày bối cảnh phát triển của Internet và sự gia tăng các nguy cơ tấn công XSS. Nhóm tác giả phân tích hạn chế của kiểm thử xâm nhập truyền thống và WAF dựa trên chữ ký, từ đó đặt ra yêu cầu phát triển phương pháp sinh mẫu tấn công mới. Nội dung tổng quan khẳng định học tăng cường là lựa chọn phù hợp nhờ khả năng học từ kinh nghiệm, tương tác với môi trường và tự động cải thiện hiệu suất theo thời gian.

Chương xác định bốn nhiệm vụ cụ thể: (1) nghiên cứu cấu trúc payload XSS và chiến lược biến đổi; (2) nghiên cứu lý thuyết học tăng cường và các thư viện liên quan; (3) xây dựng mô hình sinh mẫu tấn công đối kháng dựa trên học tăng cường; (4) xây dựng kịch bản thực nghiệm và đánh giá kết quả. Phạm vi đề tài giới hạn ở tấn công XSS và không mở rộng sang các loại tấn công web khác.

Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan

Chương tập trung vào ba khối kiến thức chính. Thứ nhất, cấu trúc payload XSS được phân tích theo bốn thành phần: thẻ HTML/thuộc tính HTML, mã JavaScript, URL, và thuộc tính sự kiện (event attributes). Phân loại XSS gồm Stored XSS (mã độc lưu trữ vĩnh viễn trên server), Reflected XSS (phản hồi tức thì không lưu trữ), và DOM-based XSS (thực thi hoàn toàn phía client). Tám nguyên tắc biến đổi payload được trình bày, bao gồm mã hóa Unicode, mã hóa HTML Entities, thay đổi phương thức gọi hàm, chèn chuỗi nhiễu, thêm comment vào thẻ, thay đổi ngữ cảnh thực thi, thay thế "javascript:" bằng "vbscript:", và chèn byte trống.

Thứ hai, lý thuyết học tăng cường được trình bày với các thuật toán Actor-Critic, SAC và PPO. Thứ ba, chương khảo sát ba nghiên cứu liên quan: nghiên cứu [3] của Xueqin Zhang dùng thuật toán MCTS đạt tỉ lệ thoát 10%; nghiên cứu [2] của Qiuhua Wang dùng Soft Q-Learning đạt tỉ lệ thoát 85%; nghiên cứu [1] của Li Chen dùng SAC đạt tỉ lệ thoát 92% nhưng không có phân tách cấu trúc mẫu rõ ràng dẫn đến mất chức năng gốc sau nhiều lượt biến đổi. Từ đó, nhóm xác định khoảng trống cần giải quyết: cần phân tách module cấu trúc payload và mở rộng số lượng chiến lược biến đổi.

Chương 3: Phương pháp đề xuất

Chương trình bày kiến trúc hệ thống hai tầng. Bộ sinh mẫu tấn công sử dụng thuật toán PPO với policy MlpPolicy (Multi-Layer Perceptron Policy), bao gồm Policy Network (tạo phân phối xác suất cho các action) và Value Network (dự đoán giá trị của từng state). Agent hoạt động theo vòng lặp: chọn chiến lược biến đổi → biến đổi payload → đưa vào bộ phát hiện → nhận phần thưởng → cập nhật tham số.

Hàm phần thưởng được thiết kế đơn giản: nếu payload bị phát hiện là XSS thì reward = -1; nếu không bị phát hiện thì reward = 10. Không áp dụng reward shaping.

Không gian hành động (action space) bao gồm 27 chiến lược biến đổi được thiết kế riêng biệt cho từng module của vector tấn công XSS, đảm bảo tính hợp lệ của payload sau mỗi lần biến đổi. Các chiến lược bao gồm: thêm "&#14" trước "javascript", kết hợp in hoa/thường trong tên thuộc tính HTML, thay thế dấu cách bằng "/", thêm " " vào "javascript", HTML entity encoding (hexadecimal và decimal), mã hóa Unicode cho mã JavaScript, chèn empty byte "%00", thay thế "alert" bằng các biểu thức tương đương, encode data protocol với Base64, và nhiều chiến lược khác.

Không gian trạng thái (state space) được biểu diễn bằng vector ghi lại lịch sử các hành động đã áp dụng. Ví dụ: từ S0=[0,0,0,...,0] sau khi áp dụng chiến lược 4 và 6 chuyển thành S2=[4,6,0,...,0].

Bộ phát hiện tấn công thực hiện tiền xử lý payload qua tokenization, biến đổi thành vector Word2Vec, rồi đưa qua ba mô hình phân loại song song: MLP, LSTM và CNN. Phần thưởng và kết quả phân loại được phản hồi về bộ sinh mẫu để tiếp tục vòng lặp huấn luyện.

Chương 4: Thực hiện, thực nghiệm và đánh giá

Chương trình bày cấu hình môi trường thực nghiệm (Bảng 4.1) và thông số cấu hình của từng mô hình: Word2Vec (Bảng 4.2), MLP (Bảng 4.3), LSTM (Bảng 4.4), CNN (Bảng 4.5), PPO (Bảng 4.6). Hai chỉ số đánh giá được sử dụng là Detection Rate (DR) và Escape Rate (ER).

Hai kịch bản thực nghiệm được thiết kế: kịch bản 1 và kịch bản 2, với số liệu kết quả so sánh hiệu suất các mô hình phát hiện tấn công (Bảng 4.7) và thống kê kết quả phát hiện tấn công (Bảng 4.8). Kết quả cho thấy mô hình đề xuất tạo ra số lượng lớn payload XSS mới trong khi vẫn giữ nguyên chức năng tấn công ban đầu, và có khả năng đánh lừa các hệ thống phát hiện XSS hiện tại.

Chương 5: Kết luận và hướng phát triển

Chương tổng kết các kết quả đạt được và đề xuất hướng phát triển tiếp theo của đề tài.

---

Thiết kế và triển khai

Kiến trúc hệ thống

Hệ thống gồm hai module chính tương tác qua vòng lặp học tăng cường:

Module	Chức năng	Thành phần kỹ thuật
Bộ sinh mẫu tấn công	Biến đổi payload XSS để vượt qua phát hiện	PPO + MlpPolicy (Policy Network + Value Network)
Bộ phát hiện tấn công	Phân loại payload là XSS hay bình thường	Word2Vec + MLP / LSTM / CNN

Policy MlpPolicy gồm input layer (kích thước xác định bởi observation space — vector trạng thái payload và lịch sử biến đổi), 2 hidden layers mặc định (fully connected), và output layer. Agent chọn hành động từ không gian 27 chiến lược biến đổi dựa trên phân phối xác suất từ Policy Network.

Công nghệ và thư viện

Đề tài sử dụng các nhóm công nghệ sau:

• Học máy và học sâu: Các framework hỗ trợ xây dựng mô hình MLP, LSTM, CNN.
• Xử lý ngôn ngữ tự nhiên (NLP): Thư viện Word2Vec (phương pháp CBOW) để biểu diễn token payload dưới dạng vector.
• Xử lý và phân tích dữ liệu: Thư viện hỗ trợ tiền xử lý và phân tích dữ liệu payload XSS.
• Học tăng cường: Thư viện hỗ trợ triển khai thuật toán PPO và môi trường tương tác.

Quy trình biến đổi payload

Payload gốc từ dataset XSS_Portswigger được phân tách thành các module cấu trúc (HTML tag, thuộc tính đặc biệt, giao thức mã giả, event, mã tấn công, ký tự đặc biệt). Agent áp dụng chiến lược biến đổi tương ứng cho từng module để đảm bảo payload sau biến đổi vẫn hợp lệ về mặt cú pháp và giữ nguyên chức năng tấn công ban đầu.

Kiểm thử

Kiểm thử được thực hiện thông qua hai kịch bản thực nghiệm cụ thể, đánh giá khả năng payload đối kháng vượt qua từng mô hình phát hiện (MLP, LSTM, CNN) riêng lẻ. Kết quả được đo bằng Escape Rate (ER) — tỉ lệ mẫu tấn công sinh ra không bị phát hiện — và so sánh với kết quả của các nghiên cứu [1], [2], [3].

---

Kết quả và đóng góp

Kết quả chính

Hệ thống sử dụng PPO với 27 chiến lược biến đổi đã tạo ra số lượng lớn payload XSS mới, trong đó các payload đối kháng giữ nguyên chức năng tấn công ban đầu và có khả năng đánh lừa các hệ thống phát hiện tấn công XSS hiện tại. Kết quả thực nghiệm được tổng hợp trong Bảng 4.7 (so sánh hiệu suất các mô hình phát hiện) và Bảng 4.8 (thống kê kết quả phát hiện tấn công) theo hai kịch bản.

So sánh với các nghiên cứu tham chiếu:

Nghiên cứu	Thuật toán	Tỉ lệ thoát (Escape Rate)
Xueqin Zhang [3]	MCTS	10%
Qiuhua Wang [2]	Soft Q-Learning	85%
Li Chen [1]	SAC	92%
Đề tài này	PPO + 27 chiến lược	Kết quả thực nghiệm trong Bảng 4.7–4.8

Giải pháp và đóng góp kỹ thuật

Nhóm đề xuất hai cải tiến so với các nghiên cứu trước:

1. Phân tách module cấu trúc payload XSS: Thiết kế 27 quy tắc biến đổi riêng biệt cho từng module của vector tấn công, khắc phục hạn chế của nghiên cứu [1] (không có phân tách rõ ràng dẫn đến mất chức năng gốc sau nhiều lượt biến đổi).
2. Mở rộng và đa dạng hóa chiến lược biến đổi: Cung cấp 27 chiến lược thay vì chỉ một vài chiến lược đơn giản như trong [2] và [3], từ đó nâng cao tỉ lệ thoát khỏi phát hiện.
3. Cơ chế loại bỏ chiến lược tạm thời: Khi nhận phản hồi phát hiện XSS, agent tạm thời loại bỏ chiến lược hiện tại và thử nghiệm chiến lược khác, cải thiện hiệu quả khám phá không gian hành động.

---

Hạn chế và hướng nghiên cứu tiếp

Theo nội dung đề tài, phạm vi nghiên cứu giới hạn ở tấn công XSS, chưa mở rộng sang các loại tấn công web khác như SQL Injection hay XXE. Mẫu tấn công ban đầu chỉ được trích từ một bộ dataset duy nhất (XSS_Portswigger), có thể ảnh hưởng đến tính tổng quát của kết quả.

Hướng phát triển tiếp theo được đề tài nêu ra bao gồm: mở rộng phương pháp sang các loại tấn công web khác; cải tiến thêm các chiến lược biến đổi mới; tích hợp kiểm thử trực tiếp với các WAF thực tế thay vì chỉ với các mô hình học máy; và tiếp tục cải thiện tỉ lệ thoát khỏi phát hiện bằng cách nghiên cứu thêm các thuật toán học tăng cường tiên tiến hơn.

---

Giá trị tham khảo

Đề tài có giá trị tham khảo chủ yếu cho các nhóm đối tượng sau:

• Sinh viên ngành An toàn thông tin nghiên cứu về kiểm thử xâm nhập (penetration testing) web, đặc biệt là mảng tấn công đối kháng và kỹ thuật bypass WAF.
• Sinh viên ngành Khoa học máy tính quan tâm đến ứng dụng học tăng cường trong bài toán bảo mật, có thể tham khảo cách thiết kế môi trường RL, không gian hành động và hàm phần thưởng cho bài toán cụ thể.
• Nhà nghiên cứu và kỹ sư bảo mật muốn xây dựng bộ sinh mẫu tấn công đối kháng để kiểm thử độ bền vững của các mô hình phát hiện XSS hoặc WAF.

Các phần đáng tham khảo đặc biệt: Chương 2 về phân loại XSS và 27 chiến lược biến đổi payload (Bảng 3.1); Chương 3 về thiết kế state space, action space và hàm phần thưởng trong bài toán RL cho bảo mật; so sánh ba thuật toán học tăng cường (Actor-Critic, SAC, PPO) ở Chương 2.

---

Câu hỏi thường gặp

1. Tại sao nhóm chọn thuật toán PPO thay vì SAC — vốn đạt tỉ lệ thoát 92% trong nghiên cứu [1]? PPO được đánh giá cao nhờ tính đơn giản, dễ triển khai, ít cần tinh chỉnh siêu tham số và duy trì ổn định huấn luyện thông qua cơ chế clipping. Nghiên cứu [1] dùng SAC nhưng không có phân tách module cấu trúc payload rõ ràng, dẫn đến payload có thể mất chức năng gốc sau nhiều lượt biến đổi — đây là hạn chế mà đề tài giải quyết bằng kiến trúc 27 chiến lược biến đổi gắn với từng module.

2. Hàm phần thưởng trong hệ thống được thiết lập như thế nào và tại sao không áp dụng reward shaping? Hàm phần thưởng được thiết kế đơn giản: reward = -1 nếu bộ phát hiện xác định payload là XSS, và reward = 10 nếu payload không bị phát hiện. Nhóm lựa chọn cách thiết kế đơn giản nhất và hiệu quả nhất sau một loạt so sánh thực nghiệm, vì phần thưởng chỉ nên truyền đạt mục tiêu cần đạt được, không phải cách đạt mục tiêu đó.

3. Làm thế nào để đảm bảo payload XSS sau khi biến đổi vẫn giữ nguyên chức năng tấn công ban đầu? Nhóm thiết kế 27 quy tắc biến đổi riêng biệt cho từng module cụ thể của vector tấn công XSS (HTML tag, thuộc tính đặc biệt, giao thức mã giả, event, mã tấn công, ký tự đặc biệt). Nếu không có module nào trong payload hiện tại phù hợp với chiến lược được chọn, agent sẽ chọn lại hành động khác. Cơ chế này ngăn việc áp dụng chiến lược sai module làm hỏng cấu trúc payload.

4. Bộ phát hiện tấn công xử lý payload XSS dưới dạng nào trước khi đưa vào các mô hình MLP, LSTM, CNN? Payload được tiền xử lý qua tokenization, sau đó các token được biểu diễn thành vector bằng mô hình Word2Vec (phương pháp CBOW). Kết quả là mỗi payload được chuyển thành một chuỗi vector số học phản ánh ngữ nghĩa của các từ trong payload. Ba mô hình phân loại (MLP, LSTM, CNN) nhận cùng đầu vào này và thực hiện phân loại độc lập.

5. Điểm khác biệt cụ thể giữa kịch bản thực nghiệm 1 và kịch bản thực nghiệm 2 là gì? Đề tài tổ chức hai kịch bản thực nghiệm riêng biệt với kết quả được thống kê trong Bảng 4.7 và Bảng 4.8. Các chỉ số đánh giá áp dụng là Detection Rate (DR) và Escape Rate (ER) — tỉ lệ mẫu tấn công sinh ra có thể đánh lừa các mô hình phát hiện, đồng thời có phần nhận xét và đánh giá so sánh với kết quả của các nghiên cứu [1], [2], [3] được trình bày trong Chương 4.

---

Kết luận

Đề tài đề xuất và xây dựng phương pháp sinh mẫu tấn công XSS đối kháng dựa trên thuật toán Proximal Policy Optimization (PPO), kết hợp với bộ phát hiện tấn công gồm ba mô hình học sâu MLP, LSTM và CNN. Điểm cải tiến cốt lõi so với các nghiên cứu trước là thiết kế 27 chiến lược biến đổi được gắn với từng module cấu trúc của vector tấn công XSS, đảm bảo tính hợp lệ và khả năng tấn công của payload trong suốt quá trình biến đổi. Kết quả thực nghiệm cho thấy hệ thống có khả năng tạo ra số lượng lớn payload đối kháng có thể vượt qua các hệ thống phát hiện XSS hiện tại, đồng thời đặt nền tảng cho các nghiên cứu tiếp theo về cải thiện hiệu quả phát hiện và phòng ngừa tấn công XSS trong bối cảnh ứng dụng web ngày càng phức tạp.

Trích đoạn nội dung tài liệu

Chương 1. TONG QUAN VE DE TÀI .-2- 2-52 22S£+E£2EE+E2EEZE2EEErErrerree 3 1. Giới thiệu để tài. Tính thực tiễn và ý nghĩa của đề tài.

Nội dung yêu cầu và nhiệm vụ dé tài. Pham vi nghién nh ae. Phuong phap thurc hién oo. CƠ SỞ LÝ THUYET VÀ CÁC NGHIÊN CỨU LIEN QUAN.

Cấu trúc payload XSS và các chiến lược biến đổi. Tan cong XSS 8E. Cấu trúc payload XSS. Phan loại XSS.

SSt SH HH HH He 11 2. Ston@GPX SS). sewer ah EE Neca Lesessecscessnsceeceoesceecessseceescosees 11 2. LH ng HH HH net 12 2.

DOM-based XSS. SH HH nhiệt 12 2. Chiến lược biến đổi XSS. Học tăng cường và các thuật toán hoc tăng cường.

Học tăng cường (Reinforcement Learning). Actor Critic AlgOrIthma. <6 S5 1x vn ng như 18 2. Soft Actor Critic (SÁC).- HH HH ni, 20 2.

Proximal Policy Optimization (PPO). Các biện pháp phòng thủ tan công XSS. Web Application Firewall (WAIF). - cv HH HH grế 23 2.

Cơ chế hoạt động của WAIE. HH HH ng nh Hy24 2. Lợi ích của WAIE. Ăn HH HH TH ni 24 2.

Thách thức của WAIE. LH HH HH HH HH net 25 2. Bộ phát hiện tan công dựa trên học MAY. Giới thiệu về bộ phát hiện tan công.

Các bước xây dựng bộ phát hiện tan công. Mô hình sinh mẫu tan công XSS đối kháng dựa trên học tăng cường và các NPHEN CUU LSM 8300720000. Bộ phát hiện tấn công. Bộ sinh mau tấn công XSS đối kháng.-----2- 2 2+cz+cz+cz+sz 29 2.

Các nghiên cứu liên quan và đề xuất phương pháp mới. PHƯƠNG PHAP DE XUẤTT.-2- 2-22 ++cx++cxe+rxeerxrsrxerrxee 33 3. Mô hình kiến trúc hệ thống .---- 2-2 2£ ©++EE+E£+EE+E+E++EezEzrzrerree 33 3. Tổng quan mô hình.--¿--¿-+¿+++++++2+++tx++rx+zrxesrxesree 33 3.

Bộ sinh mẫu tấn công. Mô hình tổng quan.--- 2-2 k+SE+EE+EE+EE+EE+EEEEErErrerreree 34 3. Thiết lập phần thưởng. _ Thiết lập policy.

Các thành phần của MIpPolicy. Nguyên lý hoạt động. Bộ phát hiện tấn côÔng. Mô hình tổng quan .- --:- + + E+Ek+EE+EE+EEEEEEEEEEEeErrrrrrrerei 42 3.

_ Tiền xử lý dữ liệu. Mô hình phát hiện dựa trên Deep Learning. Đánh giá mô hình, kết nối với bộ sinh mẫu tấn công. THỰC HIỆN, THUC NGHIEM VÀ ĐÁNH GIA.

Hiện thực phương pháp. - - c St x2 vn HH HH rệp 55 4. Cấu hình môi trường.--- 2 + ++E++E++EE+EE+EEEEEErErrerrerei 55 4. Thông số của các mô hình:.

Các công nghệ, framework, thư viện được sử dụng. Học máy và học sÂu. _ Xử lý ngôn ngữ tự nhiên (NLP). Xử lý và phân tích dữ liệu.

Học tăng CƯỜng.-- Ăn TH TH ngưng 63 4. Các kịch bản thực nghiệm và các thông số đánh ¬ 0. Các thông số đánh giá. Kịch bản thực nghiỆm.

Kết quả của kịch bản l. Kết quả của kịch bản 2 v. Nhan xét, nh. KETLUAN VÀ HƯỚNG PHAT TRIÊN.

ch tt E111 1111151111111 1111111111111 1151111 EcE. Hướng phát triỂn.---:-++©+++2E+++EE++2EE+tEEEvSEExrEEEverkkrrrkrrrrrrres Z2 DANH MỤC HÌNH VE Hinh 2.1 Thuat toan ActOr-Critic 1.2: Mô hình thuật toán học tang Cường.1: Mô hình tổng quan .2: Tổng quan mô hình sinh mẫu tấn công đối kháng.3: Trạng thái của Agent trong quá trình biến đổi mẫu tấn công.4: Mô hình tông quan bôj phát hiện tấn công .5: Biểu diễn các từ chứa trong payload XSS bằng word2vec.6: Cấu trúc mô hình MLP ba lớp.7: Cấu trúc mô hình LSTTM.8: Cấu trúc mô hình CNN .ccccc-ccccvvvveeercrrrvveeertrrrtrrrerrrrrrrrrreerree 52 Hình 4.1: Sơ đồ mô tả mô hình MLP.----ccc-ccccccveveeererrvvveerrerrrrreerrrrrre 57 Hình 4.2: Sơ đồ mô tả mô hình LSTM.3: Sơ đồ mô tả mô hình CÌNN.---- ¿+ec++++£EE+EE£EEEEketrkerrxerrerrreerkeereeee 60 DANH MỤC BANG Bảng 3.1: Hành động biến đổi mẫu tấn công.2: Quy tac Phan tach tt 1 .1 : Môi trường thực Nghi6. ee eeeescsssseecsssseeeeessteceessseeceesseeseesneeeessneeeesnsteessens 55 Bảng 4.2: Cấu hình mô hình Word2Vec.3: Cấu hình mô hình MILP.---cccc---cccvvvveercrervveeerterrtrrrerrrrrrrrrrerrree 56 Bảng 4.4: Cấu hình mô hình LSTM.-2-+e2+zc22tez2tzzEttrzrtrrrrrrrrrrrr 57 Bảng 4.5: Cấu hình mô hình CNN.6: Cấu hình mô hình PPO.7: Bảng so sánh hiệu suất của các mô hình phát hiện tấn công.8: Thống kê kết quả phát hiện tấn công .---c----cccccccccceeee 67 DANH MỤC TU VIET TAT XSS Cross-Site Scripting WAF Web Application Firewall MLP Multi-Layer Perceptron LSTM Long Short-Term Memory CNN Convolutional Neural Network MTCS Monte Carlo Tree Search RL Reinforcement Learning A2C Advantage Actor-Critic PPO Proximal Policy Optimization URL Uniform Resource Locator HTML HyperText Markup Language JS JavaScript GAN Generative Adversarial Networks CBOW Continuous Bag of Words NLP Natural Language Processing DR Detection Rate ER Escape Rate TÓM TẮT KHÓA LUẬN Trong lĩnh vực ứng dụng web, tan công Cross-site scripting (XSS) là một trong những loại tấn công bảo mật phô biến và nghiêm trọng nhất, cho phép kẻ tan công chèn mã độc hại vào các trang web đáng tin cậy. Điều này có thé dẫn đến đánh cắp thông tin cá nhân và hệ thống bị chiếm đoạt.

Với sự phát triển của công nghệ thông tin, việc bảo vệ các ứng dụng web khỏi các cuộc tấn công XSS trở nên cấp thiết hơn bao giờ hết. Phương pháp học máy, đặc biệt là học sâu, đã mang lại những tiến bộ đáng ké trong việc phát hiện va ngăn chặn XSS. Tuy vậy, các mô hình học sâu hiện nay van đối mặt với thách thức từ các tấn công đối kháng (adversarial examples), khiến mô hình đưa ra dự đoán sai lầm và giảm hiệu quả phát hiện XSS. Vì thế, can nghiên cứu và phát triển các phương pháp mới để cải thiện khả năng phát hiện và ngăn chặn tấn công XSS, đảm bảo độ tin cậy và an toàn của các hệ thống bảo mật web.

Đây là lý đo quan trọng đề bắt tay tiến hành nghiên cứu lĩnh vực này. Mục tiêu để tài là xây dựng một phương pháp mới để sinh mẫu tấn công Cross-Site Scripting (XSS) đối kháng bằng cách áp dụng các kỹ thuật học tăng cường. Phương pháp này cho phép mô hình học hỏi và cải thiện theo thời gian, tự động sinh ra các mẫu tấn công XSS đối kháng có khả năng vượt qua các biện pháp phòng thủ XSS hiện tại. Song, đề tài cũng đặt mục tiêu đánh giá hiệu quả của các mô hình phát hiện XSS hiện có bằng cách thử nghiệm va so sánh các mô hình học sâu như MLP, LSTM va CNN đề xác định khả năng phát hiện các mẫu tan công XSS trước và sau khi biến đôi.

Phương pháp của dé tài sử dụng thuật toán học tăng cường Gradient Policy Optimization (PPO) để sinh ra các mẫu tấn công Cross-Site Scripting (XSS) đối kháng. Trong thuật toán này, môi trường huấn luyện là bộ phát hiện tấn công XSS, gồm các mô hình học sâu như MLP, LSTM và CNN. Nhóm đã thiết kế các chiến lược biến đổi cho mẫu tấn công XSS, đảm bảo tính hợp lệ của các payload được tạo ra. Thuật toán PPO giúp tối ưu hóa chính sách học của agent bằng cách cân bằng giữa khám phá và khai thác, cho phép agent cải thiện hiệu quả trong việc tạo ra các mẫu tấn công đối kháng.

Kết quả nghiên cứu chỉ ra răng phương pháp này không chỉ tạo ra số lượng lớn các payload XSS mới mà còn giữ nguyên chức năng tan công ban đầu, đánh lừa được các hệ thống phát hiện tan công XSS hiện tại. Điều này không chỉ chứng minh tính khả thi của phương pháp ma còn nhắn mạnh tam quan trọng của việc cải thiện hiệu quả của các hệ thống phát hiện XSS. Nghiên cứu này không chỉ góp phần vào việc nâng cao khả năng phòng ngừa tấn công XSS mà còn mở ra hướng tiếp cận mới trong việc nghiên cứu và phát triển các biện pháp bảo mật web. Với những kết quả đạt được, nhóm hi vọng rằng nghiên cứu sẽ là tiền đề cho các nghiên cứu tiếp theo, hướng tới xây dựng các hệ thống phát hiện và phòng ngừa tấn công XSS ngày càng hiệu quả và an toàn hơn.

TONG QUAN VE DE TÀI 1. Giới thiệu đề tài Với sự phát triển liên tục của Internet, các ứng dụng web ngày càng trở nên mạnh mẽ, mang lại lợi ích lớn cho cuộc sống con người. Ngày càng có nhiều người dùng sử dụng Internet vào những công việc đời sống hằng ngày như: đọc báo, nhắn tin, gọi điện, trao đôi thông tin với khách hang, mua sắm trực tuyến, thanh toán hóa đơn. Tuy nhiên, đi kèm với đó là nhiều rủi ro liên quan đến bảo mật.

Các cuộc tấn công phô biến trên web bao gồm tấn công Cross-Site Scripting (XSS), XML External Entity (XXE) và SQL Injection (SQLi). Trong s6 do, tan công XSS là một trong những lỗ hồng bảo mật phổ biến và nguy hiểm nhất. XSS cho phép tin tặc chèn mã độc vào trang web, và khi người dùng truy cập vảo trang đó, mã độc sẽ chạy trên trình duyệt của họ, từ đó đánh cắp thông tin người ding như cookies, session tokens và các thông tin nhạy cảm khác. Vào năm 2021, cuộc tan công XSS vẫn được xếp vào top 10 mối đe doa bảo mật web hàng đầu theo OWASP.

Điều này cho thấy tam quan trọng của việc nghiên cứu và phát trién các phương pháp đôi phó mới và hiệu quả dé ngăn chặn cuộc tân công XSS và bảo vệ an toàn cho các ứng dung web. Các báo cáo gần đây đã chi ra rằng các cuộc tan công mạng đang ngày càng trở nên phô biến và phức tạp hơn. Từ việc tận dụng các lỗ hồng zero-day đến việc phát triển các biến thé mã độc, kẻ tan công liên tục tìm cách xâm nhập vào các trang web phô biến và vượt qua các biện pháp bảo mật hiện có. Điều này đặt ra yêu cầu về việc cải tiến và đổi mới liên tục trong các chiến lược kiểm thử xâm nhập và phòng thủ.

Mặc dù phương kiểm thử xâm nhập truyền thống vẫn được sử dụng rộng rãi trong việc phát hiện lỗ hồng web, nhưng chúng không đủ mạnh mẽ đề phát hiện các mối đe dọa tiềm tàng và các hình thức tan công ngày càng tinh vi. Cần đề xuất phương pháp kiểm thử xâm nhập mới có thé bao quát các khả năng có thể xảy ra. Các WAF truyền thống thường sử dụng quy tắc dựa trên chữ ký dé phát hiện tan công. Tuy nhiên, kẻ tan công có thể thử nhiều trường hợp khác nhau, liên tục biến đổi và che giấu đề đánh lừa các quy tắc của WAF.

Điều này làm giảm hiệu quả và đáng tin cậy của WAF truyền thống trong việc ngăn chặn các cuộc tân công. Một số nghiên cứu cho thay tan công đối kháng vẫn là van đề lớn đối với các WAF và các mô hình áp dụng học máy để phát hiện tấn công XSS. Nghiên cứu [2] của nhóm tác giá Qiuhua Wang đề xuất một phương pháp tiếp cận dựa trên công nghệ fuzzing và thuật toán học tăng cường Soft Q-Learning. Việc thêm các chuỗi fuzzing vào các vị trí cụ thé lên mẫu tấn công XSS có thể làm tăng hệ số tin cậy (xác suất mô hình phát hiện xác định payload là độc hại hay không).

Nghiên cứu này cũng áp dụng các chiến lược biến đồi payload XSS khác như mã hoá, chèn junk code, .