Khóa Luận Tốt Nghiệp: Tạo Ví Dụ Malware Đối Kháng Bằng GAN Cho Tấn Công Black-Box

Luận văn tốt nghiệp nghiên cứu tốt nghiệp an toàn thông tin sinh mã độc trong tấn công hộp đen dựa trên gan và thử nghiệm tấn công, điều tra thực trạng, phân tích số liệu, đề xuất

• Tác giả: Trần Huỳnh Quốc Đạt
• Người hướng dẫn: TS. Nguyễn Tấn Cam
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành an toàn thông tin
• Đề tài: Tạo Ví Dụ Malware Đối Kháng Bằng GAN Cho Tấn Công Black-Box
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: ABSTRACT
• 3. CHƯƠNG 3: FEATURE EXTRACTION
• 4. CHƯƠNG 4: HUẤN LUYỆN MÔ HÌNH CTGAN ĐỂ TẠO SYNTHETIC DATA
• 5. CHƯƠNG 5
• 6. CHƯƠNG 6: THỰC HIỆN TẤN CÔNG BLACK-BOX GAN
• 7. CHƯƠNG 7: KẾT QUẢ TẤN CÔNG BLACK-BOX GAN VÀ KẾT LUẬN
• 8. CHƯƠNG 8: HƯỚNG PHÁT TRIỂN TIẾP THEO
• 9. CHƯƠNG 9: TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tạo Ví Dụ Malware Đối Kháng Bằng GAN

Trong bối cảnh an ninh mạng ngày càng phức tạp, việc phát hiện và ngăn chặn malware trở thành một thách thức lớn. Các phương pháp truyền thống không còn đủ hiệu quả để đối phó với các mã độc mới. Việc sử dụng Generative Adversarial Networks (GAN) để tạo ra các ví dụ malware đối kháng đã mở ra một hướng đi mới trong nghiên cứu và phát triển các hệ thống bảo mật. Bài viết này sẽ trình bày chi tiết về quy trình và ứng dụng của GAN trong việc tạo ra các ví dụ malware nhằm tấn công black-box.

1.1. Khái Niệm Về Malware Và Tấn Công Black Box

Malware là phần mềm độc hại có khả năng gây hại cho hệ thống máy tính. Tấn công black-box là hình thức tấn công mà kẻ tấn công không có quyền truy cập vào kiến trúc của mô hình. Điều này tạo ra thách thức lớn cho các hệ thống bảo mật hiện tại.

1.2. Vai Trò Của GAN Trong An Ninh Mạng

GAN có khả năng tạo ra dữ liệu mới dựa trên dữ liệu đã có. Trong lĩnh vực an ninh mạng, GAN có thể được sử dụng để tạo ra các ví dụ malware đối kháng, giúp kiểm tra và cải thiện độ bền vững của các mô hình phát hiện mã độc.

II. Thách Thức Trong Việc Phát Hiện Malware Hiện Nay

Sự phát triển nhanh chóng của malware đã đặt ra nhiều thách thức cho các hệ thống phát hiện. Các phương pháp truyền thống như phân tích chữ ký không còn hiệu quả với các mã độc mới. Hơn nữa, các cuộc tấn công AI ngày càng tinh vi, khiến cho việc phát hiện trở nên khó khăn hơn. Các nhà nghiên cứu cần tìm ra các phương pháp mới để cải thiện khả năng phát hiện và ngăn chặn malware.

2.1. Sự Xuất Hiện Của Các Mã Độc Mới

Các mã độc mới thường sử dụng các kỹ thuật mã hóa và ẩn danh để tránh bị phát hiện. Điều này làm cho việc phát hiện trở nên khó khăn hơn, đặc biệt là với các hệ thống dựa trên machine learning.

2.2. Tác Động Của Tấn Công AI Đến An Ninh Mạng

Tấn công AI có thể làm giảm hiệu quả của các mô hình phát hiện malware. Các kẻ tấn công có thể tạo ra các ví dụ đối kháng để đánh lừa các mô hình, dẫn đến việc phát hiện sai và không chính xác.

III. Phương Pháp Tạo Ví Dụ Malware Đối Kháng Bằng GAN

Phương pháp sử dụng GAN để tạo ra các ví dụ malware đối kháng bao gồm việc huấn luyện mô hình ctgan để sinh ra dữ liệu tổng hợp. Quá trình này bao gồm việc chuẩn bị dữ liệu, huấn luyện mô hình và kiểm tra độ chính xác của các ví dụ được tạo ra. Việc sử dụng ctgan giúp tạo ra các mẫu dữ liệu phong phú và đa dạng, từ đó cải thiện khả năng phát hiện của các mô hình machine learning.

3.1. Huấn Luyện Mô Hình CTGAN Để Tạo Dữ Liệu Tổng Hợp

Mô hình ctgan được huấn luyện để tạo ra dữ liệu tổng hợp cho các mẫu malware và benign. Quá trình này giúp tạo ra một tập dữ liệu lớn và đa dạng, phục vụ cho việc huấn luyện các mô hình phát hiện.

3.2. Quy Trình Tạo Ví Dụ Đối Kháng

Quy trình tạo ví dụ đối kháng bao gồm việc sử dụng mô hình ctgan để sinh ra các mẫu dữ liệu mới, sau đó kiểm tra tính hiệu quả của các mẫu này trong việc đánh lừa các mô hình phát hiện malware.

IV. Ứng Dụng Thực Tiễn Của Tạo Ví Dụ Malware Đối Kháng

Việc tạo ra các ví dụ malware đối kháng bằng GAN không chỉ giúp cải thiện khả năng phát hiện mà còn có thể được ứng dụng trong việc kiểm tra và đánh giá độ bền vững của các hệ thống bảo mật. Các kết quả nghiên cứu cho thấy rằng việc sử dụng GAN có thể giúp phát hiện các mã độc mới một cách hiệu quả hơn.

4.1. Kiểm Tra Độ Bền Vững Của Các Mô Hình Phát Hiện

Việc sử dụng các ví dụ đối kháng giúp kiểm tra độ bền vững của các mô hình phát hiện malware. Các mô hình có thể được cải thiện để đối phó với các cuộc tấn công tinh vi hơn.

4.2. Nâng Cao Hiệu Quả Phát Hiện Malware

Các ví dụ đối kháng giúp cải thiện độ chính xác của các mô hình phát hiện malware. Điều này giúp giảm thiểu rủi ro và tăng cường an ninh mạng.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Việc sử dụng GAN để tạo ra các ví dụ malware đối kháng là một bước tiến quan trọng trong lĩnh vực an ninh mạng. Các nghiên cứu hiện tại đã chỉ ra rằng phương pháp này có thể cải thiện đáng kể khả năng phát hiện và ngăn chặn malware. Trong tương lai, cần tiếp tục nghiên cứu và phát triển các phương pháp mới để đối phó với các thách thức trong lĩnh vực này.

5.1. Tương Lai Của Nghiên Cứu Về Malware

Nghiên cứu về malware sẽ tiếp tục phát triển, đặc biệt là trong việc ứng dụng các công nghệ mới như AI và machine learning để cải thiện khả năng phát hiện.

5.2. Đề Xuất Các Phương Pháp Mới

Cần nghiên cứu và phát triển các phương pháp mới để cải thiện độ bền vững của các mô hình phát hiện, từ đó nâng cao hiệu quả trong việc ngăn chặn malware.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực an toàn thông tin, các giải pháp truyền thống nhằm phát hiện phần mềm độc hại (malware) như nhận dạng chữ ký kỹ thuật số, chấm điểm hành vi hoặc so sánh mã băm (hash) đang bộc lộ những giới hạn rõ rệt. Sự gia tăng nhanh chóng về số lượng và mức độ tinh vi của các biến thể mã độc mới khiến phương pháp truyền thống không còn khả năng đối phó hiệu quả với các mối đe dọa chưa từng biết đến (mã độc 0-day). Nhằm giải quyết thách thức này, các kỹ thuật học máy (Machine Learning - ML) đã được nghiên cứu và ứng dụng rộng rãi nhờ ưu thế phân loại tự động, nhanh chóng và đạt độ chính xác cao.

Tuy nhiên, các hệ thống phát hiện mã độc dựa trên học máy lại đứng trước một nguy cơ bảo mật nghiêm trọng: các cuộc tấn công sinh mẫu đối kháng (Adversarial Examples - AE) sử dụng mạng nơ-ron sinh đối nghịch (Generative Adversarial Networks - GAN). Kẻ tấn công có thể chèn các nhiễu loạn nhỏ vào mẫu mã độc để đánh lừa mô hình phân loại mà vẫn bảo toàn hành vi gây hại ban đầu. Phần lớn các công trình nghiên cứu hiện nay chủ yếu tập trung tối ưu hóa các chỉ số hiệu năng phân loại thông thường (như True Positive Rate, Accuracy, AUC) trên các tập dữ liệu tĩnh mà bỏ quên yếu tố độ bền vững (robustness). Một mô hình học máy đạt độ chính xác lý thuyết cao nhưng độ bền vững thấp sẽ dễ dàng bị vô hiệu hóa khi triển khai trong môi trường thực tế.

Khóa luận tốt nghiệp của tác giả Trần Huỳnh Quốc Đạt tập trung giải quyết bài toán kiểm tra và nâng cao độ bền vững của mô hình học máy phát hiện mã độc trước tấn công đối kháng dạng hộp đen. Các mục tiêu và nhiệm vụ nghiên cứu cụ thể được xác định bao gồm:

1. Xây dựng môi trường hộp cát (sandbox) để thực thi động và trích xuất chuỗi gọi hàm giao diện lập trình ứng dụng (API calls) từ các tệp thực thi PE (Portable Executable) nhằm tạo lập tập dữ liệu thực nghiệm.
2. Huấn luyện các mô hình sinh dữ liệu dạng bảng có điều kiện (CTGAN) để tạo tập dữ liệu tổng hợp (synthetic data) quy mô lớn phục vụ kiểm thử độ chính xác và làm giàu dữ liệu huấn luyện.
3. Thiết kế và triển khai mô hình tấn công đối kháng hộp đen (black-box GAN attack) nhắm vào các mô hình học máy phân loại mã độc để đo lường mức độ suy giảm hiệu năng khi bị tấn công.
4. Đề xuất chiến lược làm giàu dữ liệu huấn luyện dựa trên phân tích phân phối đặc trưng nhị phân của mã độc nhằm nâng cao độ bền vững của mô hình mà không cần can thiệp vào kiến trúc thuật toán học máy.
5. Thực nghiệm, so sánh và đánh giá hiệu năng của 5 thuật toán học máy phân loại trên 3 cấu hình tập dữ liệu huấn luyện khác nhau dưới tác động của cuộc tấn công hộp đen GAN.

Đối tượng nghiên cứu của đề tài là các tệp thực thi định dạng PE trên hệ điều hành Windows, bao gồm cả tệp lành tính (benign) và các họ mã độc phổ biến (trojan, downloader, RAT, ransomware, Wannacry, coin miner).

Phạm vi nghiên cứu được xác định cụ thể:

• Về nguồn dữ liệu: Các mẫu mã độc được thu thập từ các kho lưu trữ công khai uy tín gồm GitHub, vxunderground và VirusShare.
• Về phương pháp trích xuất: Thu thập dữ liệu hành vi động thông qua công cụ Cuckoo Sandbox, biểu diễn dữ liệu dưới dạng vector nhị phân 160 chiều tương ứng với 160 hàm API đặc trưng. Tập dữ liệu cơ sở thu được sau quá trình tiền xử lý và lọc nhiễu bao gồm 1.441 mẫu (733 mẫu lành tính và 708 mẫu độc hại).
• Về thời gian và địa điểm: Đề tài được hoàn thành vào năm 2023 tại Khoa Mạng máy tính và Truyền thông, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp nền tảng lý thuyết về an toàn mã độc, học máy phân loại và các mô hình học sâu đối kháng. Cơ sở lý luận và phương pháp nghiên cứu được xây dựng dựa trên các cấu phần sau:

Khung lý thuyết và mô hình sử dụng:

• Mạng nơ-ron sinh đối nghịch (Generative Adversarial Networks - GAN): Khái niệm do Ian Goodfellow đề xuất năm 2014, gồm hai thành phần cạnh tranh: bộ tạo (Generator) học cách sinh dữ liệu nhân tạo mô phỏng phân phối thực tế và bộ phân biệt (Discriminator) học cách phân biệt dữ liệu thật với dữ liệu giả mạo. Cả hai được tối ưu hóa đồng thời bằng thuật toán Adam thông qua cơ chế lan truyền ngược (Backpropagation).
• Mô hình CTGAN (Conditional Tabular Generative Adversarial Network): Kiến trúc GAN dành cho dữ liệu bảng và dữ liệu có điều kiện, được giới thiệu năm 2019 bởi các nhà nghiên cứu tại hội nghị AAAI. CTGAN tích hợp kỹ thuật chuẩn hóa, kiểm soát độ sâu mạng và áp dụng lớp dropout nhằm hạn chế hiện tượng quá khớp (overfitting) khi sinh dữ liệu nhị phân.
• 5 thuật toán học máy phân loại:
  • Random Forest (RF): Thuật toán kết hợp tập hợp cây quyết định bằng kỹ thuật đóng bao (bagging) và chọn ngẫu nhiên thuộc tính, phù hợp với dữ liệu nhị phân nhờ khả năng kháng nhiễu và hạn chế quá khớp.
  • Support Vector Machine (SVM): Thuật toán tối ưu hóa siêu phẳng phân chia (hyperplane) với khoảng cách lề (margin) lớn nhất giữa các lớp dữ liệu.
  • Linear Regression (LR): Mô hình tuyến tính đánh giá mối liên hệ giữa các biến đầu vào và đầu ra dựa trên phương pháp bình phương tối thiểu.
  • Decision Tree (DT): Mô hình phân nhánh dựa trên các điều kiện của biến đầu vào để xây dựng các quy tắc phân loại nhị phân trực quan.
  • Multi-layer Perceptron (MLP): Mạng nơ-ron truyền thẳng đa tầng có khả năng học các biểu diễn phi tuyến phức tạp thông qua các tầng ẩn (hidden layers).
• Kiến trúc tấn công hộp đen Black-box GAN: Lấy cảm hứng từ các mô hình MalGAN và IDSGAN, mô hình này không yêu cầu quyền truy cập vào cấu trúc hoặc trọng số của mô hình mục tiêu (black-box). Kẻ tấn công sử dụng một bộ phân loại thay thế (Substitute Detector) để học nhãn dự đoán từ hộp đen, qua đó dẫn dắt bộ tạo (Generator) tạo ra các mẫu đối kháng có khả năng đánh lừa đồng thời cả bộ phân loại thay thế và mô hình hộp đen.

Phương pháp nghiên cứu thực nghiệm:

• Trích xuất đặc trưng động: Tác giả phân tích và loại bỏ các phương pháp trích xuất tĩnh (như phân tích cú pháp mã nguồn, kiểm tra bảng import DLL) và phương pháp xử lý ngôn ngữ tự nhiên (N-gram bytecode, word embedding) vì chúng dễ bị vô hiệu hóa bởi kỹ thuật mã hóa (encryption), làm rối mã (obfuscation) hoặc chèn lệnh rác. Nghiên cứu triển khai hệ thống Cuckoo Sandbox cô lập để chạy thực thi các tệp PE. Báo cáo thực thi JSON được phân tích để trích xuất danh sách các lời gọi hàm hệ điều hành Windows API calls.
• Biểu diễn và xử lý dữ liệu: Chuỗi API calls của mỗi tệp được chuyển đổi thành một vector nhị phân độ dài 160. Giá trị tại phần tử thứ $i$ bằng 1 nếu tệp có gọi $\text{API}_i$, và bằng 0 nếu không gọi. Các mẫu bị lỗi thực thi (gọi quá ít API) hoặc các API xuất hiện quá thưa thớt (không mang tính đại diện thống kê) được loại bỏ, hình thành tập dữ liệu gốc 1.441 mẫu.
• Ba chiến lược xây dựng tập dữ liệu huấn luyện:
  • Cấu hình Type I: Huấn luyện 5 thuật toán học máy hoàn toàn trên tập dữ liệu thực nghiệm ban đầu (1.441 mẫu).
  • Cấu hình Type II: Huấn luyện trên tập dữ liệu thực nghiệm kết hợp với dữ liệu tổng hợp sinh bởi 2 mô hình CTGAN (gồm 10.000 mẫu lành tính tổng hợp và 10.000 mẫu mã độc tổng hợp, nâng tổng số mẫu lên 21.441).
  • Cấu hình Type III: Huấn luyện trên tập dữ liệu thực nghiệm kết hợp với tập dữ liệu gồm hơn 140.000 biến thể vector đặc trưng mã độc do tác giả tự tạo lập bằng phương pháp can thiệp định hướng trên các API hiếm gặp.

Nội dung chính theo từng chương

Chương 1. Abstract và Tổng quan nghiên cứu

Chương mở đầu phân tích sự dịch chuyển của các giải pháp phòng chống mã độc từ nhận dạng mẫu tĩnh sang các thuật toán học máy. Tác giả chỉ ra rằng dù các thuật toán học máy mang lại độ chính xác cao trong môi trường thử nghiệm, chúng lại rất dễ tổn thương trước các cuộc tấn công sinh mẫu đối kháng dựa trên GAN. Nhiều giải pháp phòng thủ hiện có như Stacking Model chỉ can thiệp vào mô hình phân loại, trong khi việc can thiệp vào tập dữ liệu huấn luyện để tăng cường độ bền vững vẫn chưa được khai thác triệt để. Chương này xác định mục tiêu cốt lõi của khóa luận là khảo sát mức độ suy giảm hiệu năng của 5 mô hình học máy (RF, SVM, LR, DT, MLP) dưới cuộc tấn công hộp đen GAN và đề xuất phương pháp biến đổi tập dữ liệu huấn luyện để cải thiện độ bền vững.

Chương 3. Feature extraction

Chương 3 trình bày chi tiết quy trình xây dựng tập dữ liệu từ các mẫu phần mềm thu thập trong thực tế. Tác giả tiến hành so sánh ba phương pháp trích xuất đặc trưng:

• Phân tích cú pháp tĩnh: Chi phí thấp nhưng không nhận diện được các API thực sự được gọi trong thời gian chạy và dễ bị đánh lừa bởi mã rác.
• Xử lý ngôn ngữ tự nhiên (N-gram bytecode): Thất bại khi mã độc bị mã hóa hoặc làm rối cấu trúc.
• Phân tích động bằng Cuckoo Sandbox: Chấp nhận tốn kém tài nguyên máy ảo và thời gian thực thi nhưng thu thập chính xác hành vi thực tế của chương trình mà không phụ thuộc vào lớp vỏ mã hóa.

Tác giả đã triển khai hệ thống Cuckoo Sandbox, gửi các tệp PE lành tính và mã độc vào môi trường ảo, sau đó trích xuất chuỗi gọi hàm hệ thống từ báo cáo thực thi. Sau khi lược bỏ các mẫu lỗi và các API ít phổ biến, nghiên cứu thu được một ma trận dữ liệu gồm 1.441 hàng (733 mẫu lành tính, 708 mẫu mã độc) và 160 cột đặc trưng nhị phân. Các hàm API tiêu biểu được trích xuất gồm NtQueryValueKey, NtOpenKey, GetSystemTimeAsFileTime, LdrUnloadDll...

Chương 4. Huấn luyện mô hình ctgan để tạo synthetic data

Chương 4 tập trung vào việc áp dụng kiến trúc CTGAN để giải quyết bài toán thiếu hụt dữ liệu và sinh dữ liệu bảng nhân tạo. Tác giả giải thích nguyên lý toán học của mạng sinh GAN tổng quát, cơ chế cập nhật trọng số bằng thuật toán Adam và phương pháp tính đạo hàm theo quy tắc dây chuyền (chain rule) trong lan truyền ngược. Để kiểm soát hiện tượng quá khớp trên dữ liệu bảng nhị phân, CTGAN sử dụng cơ chế dropout ngẫu nhiên các nơ-ron trong quá trình huấn luyện với xác suất $p$.

Nghiên cứu tiến hành huấn luyện hai mô hình CTGAN riêng biệt:

• Mô hình benign_ctgan: Huấn luyện trong 700 epochs để sinh mẫu lành tính. Đồ thị hàm mất mát cho thấy giá trị mất mát của bộ tạo (Generator) đạt giá trị âm trong khoảng từ -6 đến -8, trong khi giá trị mất mát của bộ phân biệt (Discriminator) dao động quanh ngưỡng 0.
• Mô hình malware_ctgan: Huấn luyện trong 1000 epochs để sinh mẫu mã độc. Hàm mất mát của bộ tạo duy trì giá trị âm ổn định và bộ phân biệt duy trì quanh ngưỡng 0.

Từ hai mô hình này, tác giả đã tạo ra hai tập dữ liệu độc lập: tập kiểm thử quy mô lớn gồm 200.000 mẫu (100.000 mẫu lành tính và 100.000 mẫu mã độc) dùng để đánh giá độ chính xác của các mô hình học máy; và tập bổ sung gồm 20.000 mẫu (10.000 lành tính, 10.000 mã độc) dùng để huấn luyện các mô hình thuộc cấu hình Type II.

Chương 5. Huấn luyện model ML để phát hiện malware

Chương 5 phân tích lý thuyết và triển khai thực nghiệm 5 thuật toán học máy: Random Forest, SVM (với không gian siêu phẳng và khoảng cách lề cực đại), Linear Regression (tối ưu hóa sai số bằng phương pháp bình phương tối thiểu), Decision Tree và MLP. Tác giả dự đoán các thuật toán LR, DT và MLP sẽ nhạy cảm hơn trước dữ liệu nhiễu và dễ bị thao túng dưới tấn công đối kháng.

Nội dung trọng tâm của chương là đề xuất cơ chế tạo tập dữ liệu huấn luyện Type III dựa trên hai nhận định nghiệp vụ an toàn thông tin:

1. Tính bảo toàn độc tính: Khi kẻ tấn công chỉnh sửa vector đặc trưng của mã độc, chúng chỉ có thể bổ sung các lời gọi hàm API mới (chuyển giá trị từ 0 thành 1) thông qua phép toán logic OR. Kẻ tấn công không thể xóa bỏ các API đang có (chuyển từ 1 thành 0), vì việc loại bỏ API có thể phá vỡ chuỗi thực thi và làm tệp mã độc bị lỗi (crash), mất đi tính độc hại.
2. Mục tiêu khai thác: Để đảo ngược nhãn phân loại từ mã độc sang lành tính, kẻ tấn công phải nhắm vào các đặc trưng quan trọng mà mẫu lành tính hay dùng nhưng mẫu mã độc lại hiếm khi sử dụng.

Qua phân tích biểu đồ phân phối tỷ lệ gọi API của tập mẫu mã độc, tác giả phát hiện một nhóm các API có tần suất xuất hiện cực kỳ thấp ở mã độc nhưng lại phổ biến ở phần mềm lành tính. Nếu mô hình học máy dựa vào các API này để phân loại, chúng sẽ trở thành lỗ hổng chí mạng. Tác giả tiến hành tạo lập hơn 140.000 biến thể vector đặc trưng mã độc bằng cách gán ngẫu nhiên giá trị 1 cho các API hiếm gặp này. Tập biến thể này được gộp với dữ liệu gốc để huấn luyện các mô hình Type III. Kết quả kiểm tra độ chính xác ban đầu trên tập kiểm thử 200.000 mẫu cho thấy: mô hình Type I đạt độ chính xác tương đối tốt; mô hình Type II có độ chính xác cao hơn Type I; mô hình Type III bị giảm nhẹ độ chính xác do phải hy sinh một phần hiệu năng để đánh đổi lấy khả năng phòng thủ.

Chương 6. Thực hiện tấn công black — box GAN

Chương 6 trình bày thiết kế kiến trúc tấn công đối kháng dạng hộp đen. Tác giả phân loại các hình thức tấn công GAN thành: tấn công tái cấu trúc (Reconstruction attack), tấn công giả mạo (Forgery attack) và tấn công mảng đối kháng (Adversarial patch). Trong bài toán phát hiện mã độc, nghiên cứu tập trung vào hình thức tấn công hộp đen, nơi kẻ tấn công không thể xem được kiến trúc mạng hay trọng số của mô hình phân loại.

Kiến trúc tấn công hộp đen bao gồm:

• Bộ tạo (Generator - $G_{\theta_g}$): Nhận đầu vào là vector đặc trưng ban đầu của mã độc $m$ ghép nối với một vector nhiễu ngẫu nhiên $z$ lấy từ phân phối đều $P_{\text{uniform}}[0, 1)$. Mạng nơ-ron sinh ra vector đầu ra liên tục $o$, sau đó so sánh với ngưỡng 0.5 để thu được vector nhị phân $o'$. Vector đối kháng cuối cùng được tạo bởi phép toán: $$m' = m \text{ OR } o'$$ Để truyền được gradient qua phép biến đổi nhị phân, hàm kích hoạt được định nghĩa là $G_{\theta_g}(m, z) = \max(m, o)$. Hàm mất mát của bộ tạo là: $$L_G = \mathbb{E}{m \in \text{Malware}, z \sim P{\text{uniform}}[0, 1)} \left[ \log D_{\theta_d}(G_{\theta_g}(m, z)) \right]$$ Việc cực tiểu hóa $L_G$ sẽ thúc đẩy bộ tạo sinh ra các mẫu mà bộ phân loại thay thế nhận định là lành tính.
• Bộ phân biệt thay thế (Substitute Detector - $D_{\theta_d}$): Đóng vai trò mô phỏng nhãn dự đoán của mô hình hộp đen (Black-box). Hàm mất mát của bộ phân loại thay thế được xác định qua công thức: $$L_D = - \mathbb{E}{x \in \text{BB}{\text{Benign}}} \left[ \log(1 - D_{\theta_d}(x)) \right] - \mathbb{E}{x \in \text{BB}{\text{Malware}}} \left[ \log(D_{\theta_d}(x)) \right]$$

Tác giả so sánh mô hình này với các thuật toán sinh mẫu đối kháng dựa trên gradient tĩnh (Gradient-based Algorithm - GBA, ma trận Jacobian) và chỉ ra rằng mô hình GAN hộp đen thích ứng linh hoạt hơn nhờ khả năng cập nhật trọng số liên tục theo phản hồi của mô hình mục tiêu.

Chương 7. Kết quả tấn công black — box GAN và đánh giá độ bền vững

Chương 7 trình bày toàn bộ kết quả thực nghiệm khi cho mô hình tấn công hộp đen GAN nhắm vào các mô hình học máy mục tiêu trong 100 epochs. Dữ liệu thực nghiệm 1.441 mẫu được chia theo tỷ lệ 8:2 (huấn luyện và kiểm tra). Tiêu chí đánh giá là tỷ lệ phát hiện thực (True Positive Rate - TPR) đối với các mẫu đối kháng.

Quá trình tấn công ghi nhận:

• Đối với Random Forest: Mô hình Type I suy giảm TPR nhanh chóng trong 10-15 epoch đầu và ổn định ở mức xấp xỉ 0.55 sau 100 epoch. Mô hình Type II (bổ sung dữ liệu CTGAN) không cải thiện được độ bền vững, TPR tụt dốc trong 10-20 epoch đầu và chỉ duy trì quanh mức 0.50 - 0.55. Ngược lại, mô hình Type III duy trì TPR rất cao và ổn định, dao động trong khoảng từ 0.90 đến 1.0 (90% - 100%) xuyên suốt quá trình tấn công.
• Đối với Support Vector Machine: Mô hình Type I bị sụt giảm TPR mạnh trong 5-10 epoch đầu, sau đó dao động quanh mức 0.60. Mô hình Type II suy giảm nhanh chóng và hội tụ ở mức TPR dưới 0.50 sau 100 epoch. Trong khi đó, mô hình Type III tuy bị giảm xuống 0.70 ở 10 epoch đầu nhưng sau đó phục hồi và duy trì ở mức cao và ổn định.

Kết quả và đóng góp

Khóa luận đã cung cấp các số liệu thực nghiệm định lượng rõ ràng về sự tương quan giữa độ chính xác thông thường và độ bền vững trước tấn công đối kháng.

Cấu hình mô hình	Thành phần dữ liệu huấn luyện	Số lượng mẫu huấn luyện	Độ bền vững trước tấn công GAN (TPR của RF sau 100 epochs)	Độ bền vững trước tấn công GAN (TPR của SVM sau 100 epochs)
Type I	Dữ liệu thực nghiệm gốc (Cuckoo Sandbox)	1.441 mẫu (733 benign, 708 malware)	~ 0.55	~ 0.60
Type II	Dữ liệu gốc + Dữ liệu nhân tạo từ CTGAN	21.441 mẫu (10.733 benign, 10.708 malware)	~ 0.50 - 0.55	< 0.50
Type III	Dữ liệu gốc + Biến thể vector đặc trưng có định hướng	> 141.441 mẫu (> 140.000 biến thể malware)	0.90 - 1.00	> 0.75 - 0.85 (phục hồi từ 0.70)

Các phát hiện và kết quả chính:

• Thất bại của dữ liệu tổng hợp CTGAN trong bài toán phòng thủ đối kháng: Dù mô hình CTGAN được tối ưu hóa hàm mất mát rất tốt (Generator đạt giá trị âm từ -6 đến -8) và giúp mô hình Type II đạt độ chính xác phân loại thông thường cao hơn Type I, nhưng dữ liệu này hoàn toàn không giúp cải thiện độ bền vững. TPR của mô hình Type II vẫn sụt giảm sâu ngang bằng hoặc thậm chí kém hơn Type I khi đối mặt với mẫu đối kháng (TPR của RF chỉ đạt 0.50 - 0.55; SVM dưới 0.50). Nguyên nhân là dữ liệu CTGAN sinh ra chỉ học lại phân phối tự nhiên của dữ liệu hiện có mà không tạo ra các điểm dị thường mang tính đối kháng.
• Hiệu quả của giải pháp can thiệp vector đặc trưng định hướng (Type III): Bằng cách mô phỏng hành vi của kẻ tấn công là chèn thêm các API hiếm gặp của mã độc vào tập huấn luyện, mô hình Type III đã buộc các thuật toán học máy cập nhật lại ranh giới phân loại, không còn dựa dẫm vào các API "lỗ hổng". Nhờ đó, thuật toán Random Forest Type III duy trì được tỷ lệ phát hiện thực từ 0.90 đến 1.0 (90% - 100%), bảo vệ hệ thống phân loại hiệu quả trước tấn công hộp đen GAN.

Các đóng góp của đề tài:

• Chứng minh bằng thực nghiệm rằng việc gia tăng kích thước dữ liệu huấn luyện bằng dữ liệu tổng hợp thông thường (CTGAN) không tương đồng với việc nâng cao độ bền vững của mô hình học máy trước tấn công đối kháng.
• Đề xuất quy trình làm giàu dữ liệu phòng thủ mang tính thực tiễn cao: phân tích phân phối thống kê để tìm các đặc trưng bất đối xứng giữa hai lớp, sau đó tạo các biến thể đối kháng nhân tạo bằng phép toán logic OR nhằm bảo toàn tính độc hại của chương trình.
• Cung cấp một phương pháp luận thực nghiệm hoàn chỉnh để kiểm thử độ bền vững của hệ thống phát hiện mã độc bằng kiến trúc hộp đen GAN sử dụng bộ phân loại thay thế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Chi phí tính toán và tài nguyên lớn trong khâu trích xuất động: Việc chạy từng tệp PE trong Cuckoo Sandbox đòi hỏi thời gian thực thi đáng kể và hạ tầng ảo hóa, dẫn đến quy mô tập dữ liệu thực nghiệm ban đầu còn hạn chế (1.441 mẫu).
• Sự đánh đổi về độ chính xác nền tảng: Mô hình Type III tuy mang lại độ bền vững vượt trội nhưng độ chính xác tổng quát trên tập kiểm thử thông thường bị suy giảm nhẹ so với các mô hình Type I và Type II.
• Phạm vi biểu diễn đặc trưng: Nghiên cứu mới dừng lại ở việc thao tác trên không gian vector nhị phân của các API calls, chưa tiến hành bước biên dịch và đóng gói ngược lại thành các tệp thực thi PE nhị phân hoàn chỉnh để kiểm tra tính khả thi thực thi trên hệ điều hành thực tế.

Hướng nghiên cứu tiếp theo:

• Mở rộng quy mô tập dữ liệu ban đầu bằng cách thu thập thêm nhiều mẫu mã độc và phần mềm lành tính từ các nguồn thực tế khác nhau.
• Nghiên cứu cơ chế cân bằng tối ưu giữa độ chính xác phân loại thông thường (Accuracy) và độ bền vững đối kháng (Robustness) nhằm hạn chế tối đa sự sụt giảm hiệu năng nền tảng.
• Khảo sát các kỹ thuật phòng thủ đối kháng kết hợp, chẳng hạn như tích hợp phương pháp làm giàu dữ liệu Type III với các kiến trúc mô hình tập hợp (Model Stacking) hoặc huấn luyện đối kháng đa tầng.
• Mở rộng đánh giá chi tiết trên các thuật toán còn lại (Linear Regression, Decision Tree, Multi-layer Perceptron) và thử nghiệm đóng gói các mẫu đối kháng thành tệp thực thi nhị phân thực thụ.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho sinh viên, học viên cao học và các nghiên cứu viên thuộc chuyên ngành An toàn thông tin, Kỹ thuật mạng, Khoa học máy tính và Trí tuệ nhân tạo định hướng an toàn học máy (Adversarial Machine Learning).

Các nội dung cụ thể có giá trị ứng dụng cao gồm:

• Quy trình triển khai phân tích động với Cuckoo Sandbox: Cách thức cấu hình máy ảo, cô lập môi trường thực thi tệp PE nguy hiểm, thu thập tệp báo cáo JSON và trích xuất ma trận vector đặc trưng nhị phân.
• Kiến trúc triển khai tấn công hộp đen GAN: Toàn bộ thiết kế toán học, cấu trúc các tầng nơ-ron của bộ tạo (Generator) và bộ phân biệt thay thế (Substitute Detector), cùng các hàm mất mát tương ứng giúp người làm đề tài tương tự có thể tái lập môi trường kiểm thử xâm nhập tự động vào các hệ thống học máy.
• Phương pháp luận tạo dữ liệu đối kháng bảo toàn độc tính: Cách tiếp cận logic dựa trên tính bất đối xứng của API calls và phép toán logic OR, giúp các nhà phát triển giải pháp phòng thủ mã độc có thêm hướng tư duy làm giàu dữ liệu để bịt các lỗ hổng nhận dạng đặc trưng.

Câu hỏi thường gặp

1. Tại sao nghiên cứu lại chọn phương pháp trích xuất đặc trưng động bằng Cuckoo Sandbox thay vì phân tích tĩnh hoặc xử lý ngôn ngữ tự nhiên?

Phân tích tĩnh (quét cú pháp, kiểm tra bảng import DLL) và xử lý ngôn ngữ tự nhiên (N-gram bytecode) có ưu điểm là thực hiện nhanh chóng nhưng dễ bị vô hiệu hóa hoàn toàn bởi các kỹ thuật làm rối mã (obfuscation), mã hóa tệp (encryption) hoặc chèn thêm mã rác. Phương pháp phân tích động trong Cuckoo Sandbox cho phép thực thi trực tiếp tệp PE trong môi trường ảo độc lập để ghi nhận các hàm API thực sự được gọi trong thời gian chạy. Điều này giúp phản ánh chính xác hành vi của chương trình mà không bị đánh lừa bởi hình thức bên ngoài của tệp.

2. Tại sao việc bổ sung dữ liệu nhân tạo từ mô hình CTGAN (mô hình Type II) không giúp cải thiện độ bền vững của mô hình học máy trước tấn công GAN?

Mô hình CTGAN được thiết kế để học và tái tạo lại phân phối xác suất thống kê của tập dữ liệu huấn luyện sẵn có. Các mẫu do CTGAN sinh ra dù rất chân thực và giúp mô hình tăng nhẹ độ chính xác trên dữ liệu thông thường, nhưng bản chất chúng vẫn thuộc về phân phối dữ liệu chuẩn và không chứa đựng các biến dị đối kháng dị thường. Khi kẻ tấn công sử dụng GAN để tạo ra các mẫu đối kháng có chủ đích, các biến dạng này nằm ngoài phân phối chuẩn của dữ liệu CTGAN, do đó mô hình Type II vẫn bị đánh lừa tương tự như mô hình Type I.

3. Nguyên tắc bất đối xứng khi can thiệp vector đặc trưng mã độc để tạo mẫu Type III là gì?

Nguyên tắc cốt lõi là bảo toàn độc tính của chương trình. Kẻ tấn công khi thay đổi đặc trưng của tệp mã độc chỉ có thể bổ sung thêm các hàm API mới (chuyển giá trị từ 0 thành 1 thông qua phép toán logic OR). Kẻ tấn công không thể loại bỏ bất kỳ API nào đang tồn tại (không thể chuyển từ 1 thành 0), vì việc xóa bỏ hàm API có thể làm hỏng logic thực thi, khiến chương trình bị lỗi hoặc mất đi hành vi phá hoại ban đầu.

4. Cơ chế hoạt động của mô hình tấn công hộp đen Black-box GAN trong khóa luận được thiết lập như thế nào?

Do kẻ tấn công không thể can thiệp hay nhìn thấy cấu trúc bên trong của mô hình học máy mục tiêu (hộp đen), kiến trúc tấn công sử dụng một bộ phân biệt thay thế (Substitute Detector) để học cách mô phỏng các nhãn dự đoán xuất ra từ hộp đen. Bộ tạo (Generator) nhận vector mã độc gốc kết hợp với vector nhiễu ngẫu nhiên để sinh ra các mẫu biến thể đối kháng. Thông qua gradient phản hồi từ bộ phân biệt thay thế, bộ tạo được tối ưu hóa để đánh lừa bộ phân biệt thay thế, từ đó gián tiếp đánh lừa thành công mô hình hộp đen mục tiêu.

5. Kết quả kiểm thử tỷ lệ phát hiện thực (TPR) của thuật toán Random Forest (RF) khác biệt như thế nào giữa 3 cấu hình Type I, Type II và Type III?

Sau 100 epochs tấn công hộp đen GAN, mô hình Random Forest Type I bị giảm tỷ lệ phát hiện xuống mức trung bình khoảng 0.55. Mô hình Type II (bổ sung dữ liệu CTGAN) cũng sụt giảm nghiêm trọng và chỉ duy trì trong khoảng 0.50 đến 0.55. Trái lại, mô hình Random Forest Type III (huấn luyện bổ sung các biến thể API định hướng) thể hiện độ bền vững vượt trội khi giữ vững tỷ lệ TPR ổn định ở mức cao, dao động trong khoảng từ 0.90 đến 1.0 (90% - 100%).

Kết luận

Khóa luận tốt nghiệp của tác giả Trần Huỳnh Quốc Đạt đã giải quyết thành công bài toán đánh giá và nâng cao độ bền vững cho các mô hình học máy phát hiện mã độc trước nguy cơ tấn công hộp đen dựa trên GAN. Thông qua thực nghiệm nghiêm ngặt trên môi trường Cuckoo Sandbox và 5 thuật toán học máy, công trình đã chứng minh rằng việc bổ sung dữ liệu nhân tạo thông thường bằng CTGAN không thể giúp mô hình chống lại các cuộc tấn công đối kháng. Ngược lại, giải pháp làm giàu dữ liệu có định hướng (Type III) dựa trên nguyên tắc bảo toàn độc tính và khai thác đặc trưng bất đối xứng đã giúp nâng tỷ lệ phát hiện thực của mô hình Random Forest lên mức 90% - 100%, đóng góp một giải pháp phòng thủ dữ liệu thiết thực cho lĩnh vực an toàn học máy.

Trích đoạn nội dung tài liệu

Chương 1. Abstract Trong nhiều năm qua, cộng đồng bao mật thông tin đã áp dụng nhiều phương pháp truyền thống để ngăn chặn và phát hiện Malware, bao gồm cả chữ ký kỹ thuật sé, chấm điểm phần mềm độc hại, so sánh hash,. Tuy nhiên, với sự thay đổi nhanh chóng của sản phẩm phần mềm độc hại, những phương pháp này trở nên lỗi thời và không phát hiện được các mã độc “0-day”. Sử dụng ML dé phát hiện malware là phương pháp được cộng đồng bảo mật thông tin quan tâm và nghiên cứu bởi một trong các ưu điểm của nó là có thể phát hiện mã độc nhanh chóng và chính xác.

Tuy nhiên, trong lĩnh vực ML nói chung và bài toán sử dung ML dé phát hiện malware nói riêng, các cuộc tan công GAN đã và dang de doa các hệ thông ML bởi tác hại mà nó đề lại là vô cùng lớn. Điều này đặt ra thách thức cho các nhà nghiên cứu và chuyên gia bao mật dé tăng cường tính an toàn của các mô hình ML và ứng dụng của chúng. Có rất nhiều nghiên cứu đã được trình bày để cho thấy tác hại của cuộc tấn công GAN. Trong bài viết này, chúng tôi dựng một mô hình tấn công GAN nhắm vào các models ML phát hiện malware của chúng tôi để cho thấy tác động của cuộc tấn công GAN, từ đó chúng tôi cố gắng tìm cách xây dựng models ML hoàn thiện và đem nó ra thử nghiệm trước cuộc tấn công GAN.

Để xây dựng models ML hoàn thiện, phải trải qua những giai đoạn khó khăn: chuẩn bị dataset, chọn model phù hợp, kiểm tra accuracy của model, kiểm tra robustness của model. Trong bài viết này, chúng tôi cố gắng tim cách xây dựng models ML có accuracy phải từ mức cao trở lên và có robustness cũng phải cao. Ở từng giai đoạn, từ chuẩn bị dataset cho đến huấn luyện models hoàn chỉnh và kiểm tra accuracy cũng như kiểm tra robustness, chúng tôi đã tìm hiểu các nghiên cứu khác nhau và có những giải pháp dé khắc phục khó khăn. Chúng tôi đã dựng cuckoo sandbox và thu thập các file PE benign và malware để chuẩn bị dataset.

Chúng tôi sử dụng 5 thuật toán ML khác nhau dé chon models phù hợp. Để kiểm tra accuracy, chúng tôi huấn luyện 2 models CTGAN để sinh synthetic data. Sau đó, chúng tôi huấn luyện các models ML và thực hiện tan công GAN để kiểm tra robustness của các models. Sau đó chúng tôi ghi lại kết quả thực nghiệm và đưa ra kết luận của mình.

Tổng quan: Với sự phát triển mạnh mẽ của data science và big data, ML đã đang được ứng dụng Tộng rãi trong rất nhiều các lĩnh vực, trong đó có việc sử dụng các thuật toán ML trong việc phát hiện malware. Rất nhiều thuật toán dựa trên ML đã được đề xuất để trích xuất thuộc tính và phát hiện mã độc. Ví dụ, thuật toán [1] đề xuất sử đụng api calls và permission làm thuộc tính dé phân loại, trong khi đó, thuật toán [2] đã sử dụng N-Gram byte làm thuộc tính, mô hình trích xuất thuộc tính [3] đề xuất sử dung 1 máy ảo và thực thi malware trực tiếp dé lay các api calls trong quá trình thực thi làm features dé phát hiện mã độc. Ở bài viết này, chúng tôi dựng cuckoo sandbox đề thực thi file PE và trích xuất api calls để tạo dataset dùng huấn luyện model.

Chúng tôi cần nguồn data lớn cho mục đích kiểm tra accuracy của models và làm giàu dataset. Để có được điều này, chúng tôi có huấn luyện 2 mô hình ctgan — mô hình thứ nhất dé tạo synthetic data cho các mẫu benign và mô hình thứ hai tạo synthetic data cho các mẫu malware. Chúng tôi sử dung 2 models ctgan dé tạo 1 tập testing dataset có kích thước lớn.