Tiểu luận về phương pháp phát sinh mã độc độc đối kháng với trình phát hiện mã độc tổng hợp

Trong bối cảnh an ninh mạng ngày càng trở nên phức tạp, việc phát sinh mã độc chống phát hiện hiệu quả là… 92 trang · Đại học Quốc gia TP. Hồ Chí Minh · 2022.

• Tác giả: Tô Trọng Nghĩa
• Người hướng dẫn: TS. Nguyễn Tấn Cầm
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành An toàn thông tin
• Đề tài: Nghiên cứu phương pháp phát sinh mã độc chống phát hiện hiệu quả
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT KHÓA LUẬN
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC TỪ TẠM DỊCH
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tóm tắt bài toán
• 1.2. Tính ứng dụng
• 1.3. Những thách thức
• 1.4. Mục tiêu, đối tượng và phạm vi nghiên cứu
• 1.4.1. Mục tiêu
• 1.4.2. Đối tượng nghiên cứu
• 1.4.3. Phạm vi nghiên cứu
• 1.5. Cấu trúc Khóa luận tốt nghiệp
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT
• 2.1. Các công trình liên quan
• 2.2. Cấu trúc của tệp PE và tệp PE độc hại
• 2.2.1. Cấu trúc của tệp PE
• 2.2.2. Phát hiện phần mềm PE độc hại
• 2.2.2.1. Thu thập dữ liệu
• 2.2.2.2. Trích xuất đặc trưng
• 2.2.2.3. Huấn luyện mô hình và dự đoán
• 2.3. Học tổng hợp
• 2.3.2. Phương pháp Stacking
• 2.4. Mạng sinh đối kháng
• 2.4.1. Giới thiệu tổng quan
• 2.4.2. Mạng Tạo sinh
• 2.4.3. Mạng Phân biệt
• 2.5. Học tăng cường
• 2.5.1. Giới thiệu tổng quan
• 2.5.2. Các thành phần của học tăng cường
• 2.5.2.2. Môi trường
• 2.5.2.5. Phần thưởng
• 2.5.2.6. Chính sách
• 2.5.3. Quá trình quyết định Markov
• 2.5.5. Học sâu tăng cường mạng Q
• 3. CHƯƠNG 3: PHƯƠNG PHÁP PHÁT SINH MẪU MÃ ĐỘC ĐỐI KHÁNG CHỐNG LẠI TRÌNH PHÁT HIỆN MÃ ĐỘC TỔNG HỢP
• 3.1. Mô hình hóa mối đe dọa
• 3.2. Tổng quan phương pháp tạo mã độc đối kháng
• 3.3. Chi tiết phương pháp tạo mã độc đối kháng
• 3.3.1. Mô hình FeaGAN
• 3.3.1.1. Trình Tạo sinh
• 3.3.1.2. Trình Phát hiện thay thế
• 3.3.1.3. Trình Phát hiện mã độc
• 3.3.1.4. Quá trình huấn luyện
• 3.3.2. Mô hình học tăng cường
• 3.3.2.1. Môi trường
• 3.3.2.2. Không gian hành động
• 3.3.2.3. Phần thưởng
• 3.3.2.5. Quá trình huấn luyện
• 3.4. Bộ phân tích động
• 4. CHƯƠNG 4: THÍ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường thí nghiệm
• 4.1.2. Cài đặt các module và thư viện
• 4.1.3. Xây dựng hệ thống phân tích động
• 4.2. Kịch bản thực nghiệm
• 4.3. Tập dữ liệu
• 4.4. Phân chia dữ liệu
• 4.4.1. Mô hình FeaGAN
• 4.4.2. Mô hình mục tiêu
• 4.5. Tiền xử lý dữ liệu
• 4.5.1. Mô hình FeaGAN
• 4.5.2. Mô hình mục tiêu
• 4.6. Tiêu chí đánh giá
• 4.7. Triển khai và đánh giá hiệu năng thuật toán tổng hợp
• 4.7.1. Trình Phát hiện mã độc trong FeaGAN
• 4.7.2. Mô hình mục tiêu
• 4.8. Kết quả thực nghiệm
• 4.8.1. Mô hình FeaGAN
• 4.8.1.1. Mạng Tạo sinh
• 4.8.1.2. Mạng Phân biệt
• 4.8.1.3. Đánh giá kết quả mô hình FeaGAN
• 4.8.2. Hiệu quả mẫu đột biến
• 4.8.2.2. Trước khi đột biến
• 4.8.2.3. Sau khi đột biến
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan

Trong bối cảnh an ninh mạng ngày càng trở nên phức tạp, việc phát sinh mã độc chống phát hiện hiệu quả là một thách thức lớn. Nghiên cứu này tập trung vào việc phát sinh mã độc thông qua các phương pháp học máy, đặc biệt là mô hình GANs và học tăng cường. Mục tiêu chính là tạo ra các mẫu mã độc có khả năng lẩn tránh các hệ thống phát hiện mã độc hiện tại. Việc này không chỉ giúp nâng cao khả năng bảo mật mà còn mở ra hướng đi mới cho các nghiên cứu trong lĩnh vực an ninh mạng.

1.1 Tóm tắt bài toán

Phần mềm độc hại (Malware) đã trở thành một trong những mối đe dọa lớn nhất đối với an ninh mạng. Các cuộc tấn công từ mã độc không chỉ gây thiệt hại về tài chính mà còn ảnh hưởng đến uy tín của các tổ chức. Nghiên cứu này nhằm phát sinh mã độc có khả năng lẩn tránh các hệ thống phát hiện, từ đó nâng cao hiệu quả của các phương pháp bảo mật hiện tại. Việc sử dụng mô hình GANs trong việc phát sinh mã độc đã cho thấy tiềm năng lớn trong việc tạo ra các mẫu mã độc tinh vi, khó phát hiện.

1.2 Tính ứng dụng

Nghiên cứu này có thể được ứng dụng trong việc phát triển các công cụ bảo mật mạnh mẽ hơn. Việc phát sinh mã độc chống phát hiện sẽ giúp các nhà nghiên cứu và chuyên gia an ninh mạng hiểu rõ hơn về cách thức hoạt động của mã độc và từ đó phát triển các biện pháp phòng ngừa hiệu quả hơn. Hệ thống được đề xuất không chỉ giúp cải thiện khả năng lẩn tránh mà còn đảm bảo tính độc hại của mã độc trong các tình huống thực tế.

II. Các nghiên cứu liên quan

Nghiên cứu về mã độc và các phương pháp phát hiện đã được thực hiện rộng rãi trong những năm qua. Các công trình nghiên cứu đã chỉ ra rằng việc sử dụng các mô hình học máy, đặc biệt là GANs, có thể tạo ra các mẫu mã độc có khả năng lẩn tránh cao. Tuy nhiên, vẫn còn nhiều thách thức trong việc duy trì tính độc hại và khả năng thực thi của mã độc. Các nghiên cứu trước đây đã chỉ ra rằng việc phát sinh mã độc cần phải đảm bảo ba yếu tố: định dạng, khả năng thực thi và tính độc hại.

2.1 Các công trình liên quan

Nhiều nghiên cứu đã chỉ ra rằng các mô hình như MalGAN và Improved-MalGAN có thể tạo ra các mẫu mã độc có khả năng lẩn tránh tốt. Tuy nhiên, những mô hình này vẫn gặp khó khăn trong việc duy trì tính độc hại của mã độc. GAPGAN là một trong những mô hình mới nhất, cho thấy khả năng tấn công thành công cao nhưng vẫn cần cải thiện để đảm bảo tính độc hại của mã độc. Nghiên cứu này sẽ xây dựng trên nền tảng của các mô hình này để phát triển một hệ thống mới.

2.2 Cơ sở lý thuyết

Cơ sở lý thuyết của nghiên cứu này dựa trên các khái niệm về học máy và học sâu. Việc sử dụng GANs trong phát sinh mã độc đã cho thấy tiềm năng lớn trong việc tạo ra các mẫu mã độc tinh vi. Hệ thống học tăng cường cũng được áp dụng để cải thiện khả năng lẩn tránh của mã độc. Các nghiên cứu trước đây đã chỉ ra rằng việc kết hợp nhiều phương pháp học có thể nâng cao hiệu quả của các mẫu mã độc.

III. Phương pháp phát sinh mã độc

Phương pháp phát sinh mã độc trong nghiên cứu này bao gồm việc sử dụng mô hình FeaGAN kết hợp với học tăng cường. Mô hình FeaGAN được phát triển dựa trên các nghiên cứu trước đó và được tối ưu hóa để tạo ra các mẫu mã độc có khả năng lẩn tránh cao. Học tăng cường sẽ giúp cải thiện khả năng thực thi và tính độc hại của mã độc. Quá trình huấn luyện sẽ được thực hiện trong môi trường an toàn để đảm bảo tính hiệu quả của các mẫu được phát sinh.

3.1 Mô hình hóa mối đe dọa

Mô hình hóa mối đe dọa là bước quan trọng trong việc phát sinh mã độc. Nghiên cứu này sẽ xác định các yếu tố cần thiết để đảm bảo rằng mã độc được phát sinh không chỉ có khả năng lẩn tránh mà còn đảm bảo tính độc hại. Việc này sẽ giúp các nhà nghiên cứu hiểu rõ hơn về cách thức hoạt động của mã độc và từ đó phát triển các biện pháp phòng ngừa hiệu quả hơn.

3.2 Chi tiết phương pháp tạo mã độc

Chi tiết phương pháp tạo mã độc sẽ được trình bày rõ ràng trong nghiên cứu này. Mô hình FeaGAN sẽ được sử dụng để phát sinh các mẫu mã độc có khả năng lẩn tránh cao. Học tăng cường sẽ được áp dụng để tối ưu hóa quá trình phát sinh, đảm bảo rằng các mẫu mã độc không chỉ lẩn tránh mà còn duy trì tính độc hại. Quá trình này sẽ được thực hiện trong môi trường an toàn để đảm bảo tính hiệu quả của các mẫu được phát sinh.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ thông tin phát triển nhanh chóng, hệ thống máy tính đóng vai trò thiết yếu nhưng cũng đối mặt với nhiều nguy cơ an ninh mạng. Phần mềm độc hại (malware) là một trong những công cụ tấn công nguy hiểm nhất nhằm đánh cắp thông tin bí mật, phá hoại hệ thống hoặc tống tiền. Trong các định dạng thực thi trên nhiều hệ điều hành khác nhau, phần mềm độc hại định dạng Portable Executable (PE) trên hệ điều hành Windows chiếm tỷ lệ áp đảo. Thống kê của Symantec năm 2018 ghi nhận 246.762 biến thể mã độc mới; số liệu từ Kaspersky Lab cuối năm 2020 cho thấy trung bình mỗi ngày phát hiện 360.000 phần mềm độc hại, trong đó hơn 90% là phần mềm độc hại Windows PE.

Để đối phó, các giải pháp phòng thủ đã tích hợp học máy (Machine Learning) và học sâu (Deep Learning) nhằm nâng cao năng lực trích xuất đặc trưng và phân loại tự động. Tuy nhiên, các mô hình học máy lại bộc lộ điểm yếu lớn trước các cuộc tấn công đối kháng (adversarial attacks), trong đó kẻ tấn công thêm vào các nhiễu loạn nhỏ để đánh lừa bộ phân loại. Việc phát sinh mẫu đối kháng bằng Mạng sinh đối kháng (GANs) thường chỉ dừng lại ở không gian đặc trưng (feature space) mà không tạo ra được tệp nhị phân hoàn chỉnh trong không gian vấn đề (problem space). Điều này dẫn đến việc không đảm bảo ba thách thức cốt lõi trong duy trì ngữ nghĩa mã độc: bảo toàn định dạng tệp, bảo toàn khả năng thực thi và bảo toàn tính độc hại. Đồng thời, bên phòng thủ ngày càng sử dụng các phương pháp học tổng hợp (ensemble learning) để tăng độ chính xác, đặt ra yêu cầu phải có phương pháp phát sinh mẫu đối kháng có khả năng vượt qua các mô hình tổng hợp này.

Mục tiêu nghiên cứu của khóa luận gồm 2 nhiệm vụ chính:

1. Nghiên cứu hiệu quả của việc ứng dụng các thuật toán học tổng hợp trong mô hình GANs để phát sinh các mẫu đối kháng chống lại các trình phát hiện mã độc tổng hợp.
2. Khắc phục nhược điểm của các mô hình trước đó (như MalGAN và FeaGAN đơn lẻ) vốn chỉ tạo ra đặc trưng đối kháng, bằng cách kết hợp mô hình học tăng cường (Reinforcement Learning) nhằm tăng xác suất tạo ra các tệp mã độc hoàn chỉnh, đảm bảo ba thách thức duy trì ngữ nghĩa của tệp PE.

Đối tượng nghiên cứu:

• Tệp phần mềm PE độc hại trên hệ điều hành Windows.
• Học tăng cường (Reinforcement Learning).
• Mạng sinh đối kháng (Generative Adversarial Networks - GANs).
• Học tổng hợp (Ensemble Learning).

Phạm vi nghiên cứu:

• Môi trường và công cụ triển khai: Ngôn ngữ Python, các thư viện PyTorch, scikit-learn, LIEF và môi trường phân tích động Cuckoo Sandbox.
• Dữ liệu nghiên cứu: Các mẫu mã độc thực thi 32-bit trên Windows (Windows PE32) thu thập từ VirusTotal, thuộc 6 họ mã độc chính: Adware (Download-Helper, StartPage...), Backdoor (Androm, Nanobot...), Ransomware (Gandcrab, Locker...), Trojan (Emotet, Coinminer...), Virus (Virut, Lamer...) và Worm (Allape, Sobig...).

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết về cấu trúc tệp thực thi Windows, các phương pháp phân tích mã độc, học tổng hợp, mạng sinh đối kháng và học tăng cường.

Cấu trúc tệp PE và trích xuất đặc trưng

Tệp PE chứa hai phần chính: Tiêu đề (DOS Header, DOS Stub, PE Header, PE Optional Header, Section Table) và Phân đoạn (.text chứa mã thực thi, .data chứa dữ liệu khởi tạo, .edata chứa bảng xuất/nhập hàm API). Các phương pháp phân tích mã độc truyền thống gồm dựa trên chữ ký (Signature-based) và dựa trên kinh nghiệm (Heuristic-based) đều có hạn chế về tỷ lệ dương tính giả hoặc không nhận diện được biến thể mới, dẫn đến việc ứng dụng học máy với ba nhóm đặc trưng:

Loại đặc trưng	Các đặc trưng cụ thể	Phương thức thu thập
Đặc trưng tĩnh	Chuỗi byte, chuỗi đọc được (Readable strings), thông tin tiêu đề (Header information), bảng hàm nhập (Import table)	Trích xuất trực tiếp từ tệp nhị phân qua thư viện LIEF mà không cần thực thi
Đặc trưng động	Tài nguyên hệ thống (CPU, bộ nhớ, I/O), tương tác tệp, thao tác registry, lưu lượng mạng	Ghi nhận hành vi trong môi trường máy ảo, hộp cát (Sandbox)
Đặc trưng hỗn hợp	Mã Opcode, lệnh gọi hệ thống/API (System Calls/API), đồ thị luồng điều khiển (CFG), đồ thị gọi hàm (FCG)	Kết hợp kỹ thuật dịch ngược tĩnh và trích xuất bộ nhớ khi thực thi động

Học tổng hợp (Ensemble Learning)

Kỹ thuật học tổng hợp kết hợp nhiều mô hình cơ sở để tạo mô hình dự đoán tối ưu, giải quyết ba hạn chế của mô hình đơn lẻ: thống kê, tính toán và biểu diễn. Học tổng hợp được chia thành:

• Tổng hợp đồng nhất (Homogeneous): Sử dụng cùng một thuật toán học cơ sở (ví dụ: Bagging, Random Forest, AdaBoost, Gradient Boosting).
• Tổng hợp không đồng nhất (Heterogeneous): Kết hợp các thuật toán khác nhau thông qua cơ chế biểu quyết (Voting) hoặc siêu học (Meta-learning) như phương pháp Stacking của Wolpert (1992).

Tên phương thức	Phương pháp kết hợp đầu ra	Sự phụ thuộc	Cách huấn luyện
Stacking	Siêu học (Meta-learning)	Độc lập	Thao tác thuật toán học
AdaBoost	Dùng trọng số	Phụ thuộc	Thao tác đầu vào
Gradient Boosting	Dùng trọng số	Phụ thuộc	Thao tác đầu ra
Random Forest	Dùng trọng số	Độc lập	Lai ghép nhóm
Bagging	Dùng trọng số	Độc lập	Thao tác đầu vào

Mạng sinh đối kháng và Học tăng cường

• Mạng sinh đối kháng (GANs): Mô hình gồm mạng Tạo sinh (Generator - $G$) sinh dữ liệu giả và mạng Phân biệt (Discriminator - $D$) phân loại dữ liệu thật/giả qua trò chơi minimax. Khóa luận kế thừa ý tưởng từ mô hình MalGAN (Hu và Tan) và Improved-MalGAN (Kawai et al.) để phát triển mô hình FeaGAN.
• Học tăng cường (RL) và Học sâu tăng cường mạng Q (DQN): Mô hình hóa dưới dạng Quá trình quyết định Markov (MDP) gồm Tác nhân (Agent), Môi trường (Environment), Trạng thái (State), Hành động (Action) và Phần thưởng (Reward). Thuật toán DQN kết hợp mạng nơ-ron xấp xỉ hàm giá trị $Q(s,a)$ cùng kỹ thuật phát lại kinh nghiệm (Experience Replay) để loại bỏ hiện tượng quá khớp do tương quan chuỗi trạng thái.

---

Thiết kế và triển khai hệ thống

Hệ thống đề xuất được thiết kế nhằm thực hiện cuộc tấn công đối kháng lẩn tránh (evasion attack) trong không gian vấn đề theo kịch bản hộp đen và hộp xám, nhắm vào tính toàn vẹn của mô hình phân loại mã độc tổng hợp.

Kiến trúc tổng thể

Hệ thống là sự kết hợp chặt chẽ giữa hai khối mô hình chính:

1. Mô hình FeaGAN: Hoạt động trên không gian đặc trưng. Đầu vào của mạng Tạo sinh là vectơ đặc trưng nhị phân $M$ chiều $m$ (trích xuất từ các hàm nhập và phân đoạn của tệp mã độc gốc) kết hợp cùng vectơ nhiễu ngẫu nhiên $Z$ chiều $z \in [0, 1)$. Mạng Tạo sinh tạo ra các vectơ đặc trưng đối kháng. Trình Phát hiện thay thế (đóng vai trò mạng Phân biệt) được huấn luyện song song với sự hỗ trợ gán nhãn từ Trình Phát hiện mã độc tổng hợp (sử dụng Stacking/Voting/Boosting) nhằm học ranh giới phân loại của mô hình mục tiêu.
2. Mô hình học sâu tăng cường (DQEAF): Hoạt động trên không gian vấn đề. Tác nhân DQN nhận trạng thái tệp nhị phân hiện tại và lựa chọn các hành động biến đổi tệp mà không làm hỏng cấu trúc PE (sử dụng LIEF). Khi tác nhân chọn các hành động như thêm phân đoạn (section), thêm hàm nhập (import) hoặc đổi tên phân đoạn, các vectơ đột biến sinh ra từ FeaGAN sẽ được ánh xạ ngược lại thành các thành phần cụ thể để ghép trực tiếp vào tệp PE gốc.
3. Bộ phân tích động Cuckoo Sandbox: Hệ thống tích hợp máy ảo phân tích hành vi động để tự động kiểm thử tệp sau khi đột biến, nhằm xác minh tính thực thi và bảo đảm mã độc vẫn giữ nguyên hành vi phá hoại ban đầu.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan

Trình bày bối cảnh thực tiễn về sự bùng nổ của mã độc Windows PE, các nguy cơ tấn công mạng và tính dễ bị tổn thương của các mô hình học máy/học sâu trước mẫu đối kháng. Chương này chỉ ra ba thách thức duy trì ngữ nghĩa khi tạo mẫu đối kháng PE, xác định mục tiêu nghiên cứu, 4 đối tượng nghiên cứu, phạm vi dữ liệu PE32 từ VirusTotal và bố cục 5 chương của khóa luận.

Chương 2: Các nghiên cứu liên quan và cơ sở lý thuyết

Tổng hợp và đánh giá các công trình đi trước:

• Mô hình MalGAN (Hu và Tan) dựa trên danh sách gọi API nhưng chỉ sinh đặc trưng tĩnh.
• Mô hình Improved-MalGAN (Kawai et al.) và GAPGAN (Yuan et al. - thêm phần đệm byte ở cuối tệp chống MalConv).
• Phân tích chi tiết cấu trúc tệp PE, các nhóm đặc trưng (tĩnh, động, hỗn hợp), lý thuyết các thuật toán học tổng hợp (Bagging, Boosting, Stacking), kiến trúc mạng GANs và cơ chế học sâu tăng cường DQN dựa trên Quá trình quyết định Markov.

Chương 3: Phương pháp phát sinh mẫu mã độc đối kháng chống lại trình phát hiện mã độc tổng hợp

Xây dựng mô hình hóa mối đe dọa (tấn công hộp đen/hộp xám trong không gian vấn đề). Chi tiết hóa kiến trúc phối hợp giữa FeaGAN và DQEAF:

• Thiết lập toán học cho Trình Tạo sinh và Trình Phát hiện thay thế trong FeaGAN.
• Trình bày quy trình huấn luyện Trình Phát hiện mã độc tổng hợp.
• Định nghĩa không gian trạng thái, không gian hành động biến đổi tệp PE và hàm phần thưởng trong mô hình học tăng cường.
• Thiết lập quy trình phân tích động qua Cuckoo Sandbox.

Chương 4: Thí nghiệm và đánh giá

Mô tả môi trường thực nghiệm, phân chia tập dữ liệu huấn luyện và kiểm thử cho FeaGAN cùng mô hình mục tiêu. Đánh giá hiệu năng của các thuật toán phân loại đơn lẻ và thuật toán tổng hợp (đồng nhất, không đồng nhất). Đánh giá định lượng kết quả lẩn tránh của các mẫu đặc trưng đối kháng từ FeaGAN và các tệp mã độc đối kháng hoàn chỉnh từ DQEAF trước các mô hình mục tiêu và hệ thống VirusTotal.

Chương 5: Kết luận và hướng phát triển

Tổng kết các kết quả đạt được về mặt phương pháp luận và thực nghiệm; chỉ rõ các hạn chế còn tồn tại và đề xuất các định hướng nghiên cứu tiếp theo.

---

Kết quả và đóng góp

Kết quả thực nghiệm chính

Khóa luận đã triển khai thực nghiệm chi tiết và ghi nhận các kết quả cụ thể:

• Hiệu năng mô hình học tổng hợp: Các mô hình tổng hợp (đặc biệt là Stacking và Gradient Boosting) đạt diện tích dưới đường cong (AUC) và độ chính xác phân loại vượt trội so với các thuật toán học máy đơn lẻ khi làm trình phát hiện mã độc mục tiêu.
• Khả năng lẩn tránh của FeaGAN trên không gian đặc trưng: Trình Tạo sinh của FeaGAN làm suy giảm mạnh chỉ số Recall (độ nhạy) của các trình phát hiện mã độc tổng hợp khi kiểm thử trên các vectơ đặc trưng đối kháng.
• Khả năng lẩn tránh của tệp đột biến hoàn chỉnh (FeaGAN kết hợp DQEAF):
  • Trước khi đột biến, tập 2000 mẫu mã độc gốc bị các mô hình mục tiêu và các công cụ trên VirusTotal nhận diện với tỷ lệ cao.
  • Sau khi trải qua quá trình đột biến bằng học tăng cường kết hợp đặc trưng FeaGAN, tỷ lệ lẩn tránh (evasion rate) tăng lên rõ rệt đối với các mô hình học máy mục tiêu và giảm đáng kể số lượng cờ báo động trên VirusTotal.
  • Kết quả kiểm thử chuyển giao (transferability) cho thấy các mẫu đột biến sinh ra có khả năng đánh lừa được cả các mô hình phân loại không tham gia vào quá trình huấn luyện đối kháng.
• Bảo toàn ngữ nghĩa: Thử nghiệm kiểm tra trên 100 mẫu đột biến của mỗi nhóm thuật toán trong môi trường Cuckoo Sandbox chứng minh các tệp PE sau đột biến giữ vững định dạng tệp chuẩn, thực thi bình thường và giữ nguyên các hành vi độc hại ban đầu.

Đóng góp của đề tài

1. Đề xuất hệ thống lai ghép hoàn chỉnh kết hợp giữa FeaGAN và mô hình học tăng cường DQEAF, giải quyết triệt để bài toán chuyển dịch từ không gian đặc trưng sang không gian vấn đề để sinh ra tệp mã độc thực thi thực tế.
2. Ứng dụng thành công kỹ thuật học tổng hợp (Ensemble Learning) vào bài toán huấn luyện đối kháng, giúp tạo ra các mẫu đối kháng mạnh có tính chuyển giao cao trước các hệ thống phòng thủ phức tạp.
3. Thiết lập quy trình tự động hóa kiểm định 3 thách thức duy trì ngữ nghĩa (định dạng, khả năng thực thi, tính độc hại) thông qua phân tích tĩnh LIEF và phân tích động Cuckoo Sandbox.

---

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế:
  • Thời gian huấn luyện mô hình học tăng cường và sinh mẫu đối kháng kéo dài do không gian hành động lớn và độ phức tạp tính toán cao khi tương tác lặp lại với môi trường tệp nhị phân.
  • Quá trình huấn luyện đôi khi gặp các trạng thái không hội tụ hoặc phát sinh lỗi ngoài mong đợi khi xử lý các cấu trúc PE phức tạp.
• Hướng nghiên cứu tiếp:
  • Mở rộng và tối ưu hóa không gian hành động của tác nhân học tăng cường để giảm thời gian huấn luyện.
  • Nghiên cứu thêm các kỹ thuật biến đổi nhị phân nâng cao và kiểm thử trên các kiến trúc tệp thực thi khác (như Windows 64-bit hoặc định dạng ELF trên Linux).
  • Tích hợp thêm các thuật toán học tổng hợp nâng cao vào trình phát hiện thay thế để nâng cao hơn nữa khả năng chuyển giao của mẫu đối kháng.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên sâu cho:

• Sinh viên và học viên chuyên ngành An toàn thông tin, Công nghệ thông tin: Cung cấp tài liệu hệ thống hóa về kỹ thuật tấn công/phòng thủ đối kháng (Adversarial Machine Learning) áp dụng trong an ninh phần mềm.
• Nghiên cứu viên và kỹ sư phân tích mã độc: Cung cấp quy trình chi tiết về trích xuất đặc trưng PE tĩnh/động bằng LIEF, cách ứng dụng GANs kết hợp Deep Q-Network trong biến đổi tệp nhị phân, cùng phương pháp thiết lập hệ thống kiểm thử tự động với Cuckoo Sandbox.

---

Câu hỏi thường gặp

1. Tại sao mô hình FeaGAN không thể đứng độc lập để tạo ra mã độc đối kháng hoàn chỉnh?
FeaGAN phát triển dựa trên cơ chế của MalGAN, chỉ hoạt động trên không gian đặc trưng để tạo ra các chuỗi bit nhị phân 0 và 1 tương ứng với sự hiện diện của các hàm nhập và phân đoạn. FeaGAN không thể trực tiếp chỉnh sửa cấu trúc nhị phân của tệp PE, không thể sửa đổi tiêu đề tổng kiểm tra (checksum) hay chữ ký số, do đó không tự tạo ra được tệp thực thi thực tế trong không gian vấn đề.

2. Ba thách thức trong việc duy trì ngữ nghĩa của tệp PE độc hại đối kháng là gì?
Ba thách thức gồm: (1) Bảo toàn định dạng (Format preservation) - tệp sau biến đổi phải tuân thủ nghiêm ngặt chuẩn cấu trúc PE; (2) Bảo toàn khả năng thực thi (Executability preservation) - tệp phải được hệ điều hành nạp vào bộ nhớ và chạy bình thường; (3) Bảo toàn tính độc hại (Maliciousness preservation) - tệp sau khi lẩn tránh trình phát hiện vẫn phải thực thi đầy đủ hành vi phá hoại gốc.

3. Mô hình DQEAF đóng vai trò gì trong kiến trúc phối hợp với FeaGAN?
DQEAF (Deep Q-network anti-malware Engines Attacking Framework) là mô hình học sâu tăng cường đóng vai trò tác nhân ra quyết định chuỗi hành động biến đổi tệp. DQEAF lấy các đặc trưng đối kháng đã được FeaGAN sinh ra (hàm nhập, tên phân đoạn, phân đoạn mới) để chèn vào tệp PE gốc theo thứ tự tối ưu mà không làm hỏng cấu trúc tệp.

4. Tập dữ liệu thực nghiệm trong khóa luận gồm những loại mã độc nào và nguồn thu thập từ đâu?
Tập dữ liệu gồm các tệp thực thi Windows 32-bit (PE32) được thu thập từ VirusTotal, bao gồm 6 họ mã độc chính: Adware (Download-Helper, StartPage...), Backdoor (Androm, Nanobot...), Ransomware (Gandcrab, Locker...), Trojan (Emotet, Coinminer...), Virus (Virut, Lamer...) và Worm (Allape, Sobig...).

5. Vì sao khóa luận lựa chọn phương pháp học tổng hợp cho trình phát hiện mã độc thay vì mô hình đơn?
Học tổng hợp (như Stacking, Voting, Boosting) kết hợp nhiều bộ phân loại để khắc phục các hạn chế về mặt thống kê, tính toán và biểu diễn của mô hình đơn. Việc cho mẫu đối kháng tương tác với trình phát hiện tổng hợp trong quá trình huấn luyện GAN giúp tăng cường tính khái quát hóa và cải thiện độ lẩn tránh của mẫu mã độc trước nhiều hệ thống phòng thủ khác nhau.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Tô Trọng Nghĩa và Lê Kim Danh đã nghiên cứu và triển khai thành công hệ thống kết hợp giữa mạng sinh đối kháng FeaGAN và học sâu tăng cường DQEAF nhằm tạo mẫu mã độc đối kháng Windows PE chống lại trình phát hiện học tổng hợp. Phương pháp đề xuất đã giải quyết hạn chế của việc sinh mẫu thuần túy trên không gian đặc trưng, cho phép tạo ra tệp nhị phân thực tế có tỷ lệ lẩn tránh cao trước các mô hình máy học và VirusTotal. Toàn bộ các mẫu sau đột biến đều được thẩm định tự động qua Cuckoo Sandbox, bảo đảm nguyên vẹn định dạng, tính thực thi và hành vi độc hại ban đầu. Nghiên cứu đóng góp cơ sở khoa học và thực nghiệm quan trọng cho việc đánh giá độ bền vững của các hệ thống phát hiện mã độc thông minh hiện nay.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về khóa luận. • Chương 2: Trình bày cơ sở lý thuyết, kiến thức nền tảng và các nghiên cứu liên quan tới đề tài. • Chương 3: Mô hình hóa mối đe dọa và trình bày tổng quan, chi tiết về hệ thống đề xuất. • Chương 4: Trình bày môi trường thực nghiệm, tập dữ liệu, phương pháp đánh giá và kết quả thực nghiệm.

• Chương 5: Kết luận và hướng phát triển của khóa luận. 6 Chương 2 CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT Tóm tắt chương Trong chương này, nhóm chúng tôi sẽ trình bày các công trình liên quan và một số kiến thức nền tảng, cơ sở có liên quan đến đề tài nghiên cứu.1 Các công trình liên quan Có ba thách thức trong việc duy trì ngữ nghĩa của phần mềm PE độc hại đối kháng đối với các cuộc tấn công đối kháng trong thực tế chống lại sự phát hiện các phần mềm PE độc hại mà những kẻ tấn công phải lưu ý: bảo toàn định dạng, bảo toàn khả năng thực thi và bảo toàn độc hại [2]. CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT HÌNH 2.1: Ba thách thức trong việc duy trì ngữ nghĩa của phần mềm PE độc hại đối kháng Không giống như hình ảnh, âm thanh hoặc thậm chí văn bản, phần mềm PE độc hại phải tuân theo các quy tắc định dạng nghiêm ngặt của tệp PE. Do đó, đối với các tệp PE, các phép biến đổi trong không gian vấn đề của chúng nên được xác định theo định dạng yêu cầu.

Tuy nhiên, ngay cả khi chúng ta đảm bảo định dạng của tệp , chúng ta cũng không thể đảm bảo rằng chúng ta có thể giữ khả năng thực thi cho tệp PE và tính độc hại ban đầu đối với phần mềm PE độc hại. Hu và Tan [9] đã giới thiệu mô hình MalGAN để tạo các mẫu phần mềm độc hại PE có khả năng vượt qua trình Phát hiện dựa trên danh sách gọi API. MalGAN giả định rằng kẻ tấn công biết không gian tính năng hoàn chỉnh của trình Phát hiện phần mềm độc hại mục tiêu. MalGAN cố gắng xây dựng một trình Phát hiện thay thế sao cho giống với trình Phát hiện phần mềm độc hại hộp đen mục tiêu nhất có thể và sau đó đào tạo một trình Tạo sinh để giảm thiểu xác suất độc hại của phần mềm độc hại đối nghịch được tạo ra được dự đoán từ trình Phát hiện thay thế bằng cách thêm một số lệnh gọi API không liên quan vào mẫu phần mềm độc hại ban đầu.

Trong một nghiên cứu khác, Kawai và cộng sự [10] đã tìm thấy một số vấn đề từ quan điểm thực tế và đề xuất một mô hình cải tiến từ MalGAN có tên là Improved-MalGAN. Ví dụ, Improved-MalGAN sử dụng các danh sách gọi API khác nhau trong quá trình đào tạo MalGAN và trình Phát hiện mã độc, trong khi MalGAN ban đầu đào tạo với cùng một danh sách gọi API. Họ cũng cho rằng việc tạo ra các mẫu đối kháng chỉ nên được thực hiện trên một phần mềm độc hại, điều này sẽ hiệu quả hơn việc đào tạo về nhiều phần mềm độc hại. CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT Vào năm 2020, Yuan và cộng sự giới thiệu GAPGAN [11], một bộ khung mới tấn công đối kháng hộp đen dựa trên GAN được thực hiện ở cấp độ byte để chống lại phát hiện phần mềm độc hại dựa trên học sâu, cụ thể là MalConv.

GAPGAN đầu tiên đào tạo đồng thời trình Tạo sinh và trình Phân biệt, trong đó trình Tạo sinh dự định tạo các trọng tải đối kháng được thêm vào cuối các mẫu phần mềm độc hại ban đầu và trình Phân biệt cố gắng bắt chước trình Phát hiện phần mềm độc hại PE hộp đen để nhận ra cả phần mềm PE tốt ban đầu và phần mềm PE độc hại đối kháng đã tạo. Sau đó, GAPGAN sử dụng trình Tạo sinh được đào tạo để tạo ra các trọng tải đối kháng cho mỗi phần mềm PE độc hại đầu vào và sau đó nối phần trọng tải đối kháng vào phần mềm PE độc hại đầu vào tương ứng, điều này sẽ tạo ra phần mềm PE độc hại đối kháng trong khi vẫn bảo toàn các chức năng ban đầu của nó. Các thử nghiệm cho thấy GAPGAN có thể đạt được tỷ lệ tấn công thành công 100% chống lại MalConv chỉ với các trọng tải phụ thêm là 2,5% tổng độ dài của các mẫu phần mềm độc hại đầu vào. Những cách tiếp cận tấn công dựa trên GAN này hầu hết đã đạt được một số thành công trong việc bảo toàn định dạng cũng như bảo toàn khả năng thực thi, nhưng những cách tiếp cận này không đảm bảo bảo toàn được tính độc hại.

Một phần mềm PE độc hại cho dù có thực thi được và có khả năng lẩn tránh sự phát hiện của các trình Phát hiện mã độc nhưng lại không thực thi được tính độc hại ban đầu của nó thì cũng không có ý nghĩa gì. Trong bài báo này, chúng tôi đề xuất một hệ thống kết hợp FeaGAN và DQEAF. Trong đó, FeaGAN được chúng tôi phát triển dựa trên mô hình MalGAN, còn DQEAF là một bộ khung sử dụng học tăng cường để lẩn tránh các công cụ chống phần mềm độc hại. Bộ khung DQEAF là một trong những phương pháp được đánh giá cao trong việc đảm bảo cả ba thách thức trong việc duy trì ngữ nghĩa của phần mềm PE độc hại đột biến đối với các cuộc tấn công đối kháng trong thực tế chống lại sự phát hiện các phần mềm PE độc hại [2, 12].

Phương pháp được đã được nhóm tác giả chứng minh tính hiệu quả Ngoài ra, chúng tôi cũng cải thiện khả năng lẩn tránh bằng cách sử dụng phương pháp tổng hợp cho trình Phát hiện mã độc, để các mẫu phần mềm độc hại đối kháng tương tác nhiều nhất có thể, với hy vọng tăng khả năng lẩn tránh của các mẫu đối với trình Phát hiện mã độc sử dụng phương pháp tổng hợp. Để chắc chắn, chúng tôi cũng cài đặt thêm hộp cát Cuckoo để kiểm tra khả năng thực thi và tính độc hại của chúng. CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT 2.2 Cấu trúc của tệp PE và tệp PE độc hại 2.1 Cấu trúc của tệp PE PE là một định dạng tệp thực thi trong hệ điều hành Windows. Mỗi tệp PE chứa các nhóm thông tin bao gồm hai phần chính: Tiêu đề và phân đoạn.

Trong tiêu đề, hệ điều hành sử dụng những thông tin trong phần này để ánh xạ tệp tin vào bộ nhớ để thực thi. Mỗi tệp PE bắt đầu bằng DOS Header, theo sau là DOS Stub, cả hai đều không quan trọng đối với chức năng của tệp PE trên hệ thống Windows hiện đại nhưng nó tồn tại để tương thích ngược với MS-DOS. Tiếp theo là PE Header chứa thông tin mô tả toàn bộ tệp PE, bao gồm số phân đoạn, thời gian nó được tạo và các thuộc tính khác. PE Optional Header là phần mô tả bổ sung cho tệp PE chi tiết hơn.

Phần cuối cùng thường là Section table, chứa thông tin về tất cả các phần trong tệp PE, bao gồm tên, kích thước, hiệu số và các thông tin khác. Mỗi tệp PE cần ít nhất một phần để có thể thực thi [13]. Trong phần phân đoạn, nó chứa danh sách các phần phân đoạn có trong tệp PE, mỗi phần sẽ chứa mã thực thi và thông tin cần thiết cho chương trình [13]. Số phần phân đoạn thường không cố định.

Các phần phổ biến được tìm thấy trong tệp PE: – .text: mã thực thi của chương trình.data: dữ liệu khởi tạo của ứng dụng, chẳng hạn như chuỗi, số.edata: các bảng đã nhập và xuất (Lệnh gọi API Windows). CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT HÌNH 2.2: Cấu trúc tệp PE 2.2 Phát hiện phần mềm PE độc hại Trong phân tích phần mềm độc hại, việc phát hiện sớm trước khi phần mềm độc hại được thực thi sẽ ngăn chặn sự phá hủy và lây nhiễm của chúng, hai phương pháp chính được sử dụng trong phân tích phần mềm độc hại là dựa trên chữ ký và dựa trên kinh nghiệm [14].3 biểu thị hai phương pháp phân tích chính của mã độc: – Phương pháp dựa trên chữ ký: phương pháp truyền thống được hầu hết các trình Phát hiện phần mềm độc hại hiện nay sử dụng. Phương pháp này sử dụng các đặc điểm tệp duy nhất (chuỗi byte hoặc giá trị băm) để so sánh với cơ sở dữ liệu lớn có sẵn về phần mềm độc hại đã biết [15]. Do đó, phương pháp này có tỷ lệ dương tính giả (FPR) nhỏ.

Tuy nhiên, phương pháp này có một hạn chế nghiêm trọng, kẻ tấn công có thể dễ dàng sửa đổi chữ ký, đặc trưng của phần mềm độc hại để qua mặt phần mềm chống vi-rút (thay 11 Chương 2. CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT HÌNH 2.3: Các phương pháp phát hiện mã độc đổi thông tin không quan trọng hoặc sử dụng kỹ thuật làm nhiễu loạn [16]). Phương pháp dựa trên chữ ký được chứng minh là nhanh và hiệu quả trong việc phát hiện phần mềm độc hại đã biết nhưng không có khả năng phát hiện phần mềm độc hại không nhìn thấy [17]. Hình <number> cho thấy luồng hoạt động dựa trên đặc chữ ký.

– Phương pháp dựa trên kinh nghiệm: phân tích các mẫu đáng ngờ dựa trên các hành vi hoặc hoạt động của chúng. Các hành động và truy cập bất thường vào thông tin cấu hình của môi trường giả lập sẽ là độc hại hoặc đáng ngờ. Chúng có thể cài đặt các chương trình lạ, bật tự động khởi động, tắt tính năng bảo vệ và cố gắng phát hiện hộp cát hoặc trình gỡ lỗi, đây là những hành vi phổ biến đối với phần mềm độc hại [18]. Tất cả các hoạt động của nó sẽ được ghi lại , sau đó phân tích và kết luận.

Phương pháp dựa trên kinh nghiệm có thể phát hiện cả phần mềm độc hại không biết và phần mềm độc hại bị làm xáo trộn [16]. Tuy nhiên, có một số hạn chế khi sử dụng phương pháp này. Nếu phần mềm độc hại biết nó đang chạy trong hộp cát hoặc môi trường ảo, nó sẽ ẩn hoạt động thực tế và thay thế nó bằng một hành động vô hại [18]. Ngoài ra, phần mềm độc hại có thể cần thời gian để kích hoạt tất cả các hoạt động độc hại của nó trong môi trường ảo do thời gian phân tích và tài nguyên có hạn.

Do đó, hệ thống phát hiện dựa 12 Chương 2. CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT trên kinh nghiệm sẽ có tỷ lệ dương tính giả (FPR) [19] đáng kể, dẫn đến kết quả sai.