Bối cảnh và vấn đề nghiên cứu

  • Lý do chọn đề tài và bối cảnh thực tiễn: Trong bối cảnh mã độc ngày càng phát triển phức tạp về tính năng và kỹ thuật lẩn tránh, các giải pháp bảo mật hiện đại đã tích hợp học máy vào phân tích tĩnh để phân loại và phát hiện mã độc với tỷ lệ chính xác đạt tới 97% trên các bộ dữ liệu quy mô lớn (như EMBER). Tuy nhiên, các mô hình học máy này bộc lộ điểm yếu trước các mẫu đối kháng (adversarial malware) – tức các biến thể mã độc được thay đổi một số đặc tính tĩnh mà không làm mất đi hành vi tấn công gốc. Một số nghiên cứu tiên phong đã ứng dụng mạng sinh đối kháng (MalwareGAN của Hu và Tan) hoặc học tăng cường (gym-malware của Anderson, DQEAF của Fang, AIMED-RL của Labaca-Castro) để tự động sinh mẫu né tránh với tỷ lệ vượt qua trình quét từ 16% đến 44%. Mặc dù vậy, hạn chế cốt lõi của các nghiên cứu trước là chỉ tập trung sửa đổi vector đặc trưng hoặc nhị phân nhằm tối ưu tỷ lệ né tránh mà chưa tích hợp bước kiểm tra thực tế xem mẫu sau biến đổi có còn khả năng khởi chạy và giữ nguyên chức năng hay không. Khóa luận được thực hiện nhằm xây dựng một hệ thống tạo đột biến mã độc dựa trên học tăng cường có tích hợp cơ chế xác thực khả năng thực thi trong môi trường thực tế.
  • Mục tiêu nghiên cứu: Ứng dụng học tăng cường để tạo ra các mẫu tệp thực thi mã độc nhằm vượt qua các trình phát hiện phân tích tĩnh dựa trên học máy, đồng thời đảm bảo mẫu đột biến sinh ra vẫn có khả năng khởi chạy được trên môi trường hệ điều hành thực tế.
  • Đối tượng nghiên cứu:
    1. Tệp thực thi mã độc (định dạng Windows Portable Executable - PE).
    2. Các mô hình và trình phát hiện mã độc dựa trên học máy (LightGBM, MalConv, Random Forest).
    3. Các thuật toán và mô hình học tăng cường (Distributional DQN, gym-malware).
    4. Các phương pháp và môi trường đánh giá khả năng thực thi của tệp nhị phân.
  • Phạm vi nghiên cứu:
    • Không gian và định dạng tệp: Trích xuất đặc trưng và thao tác trên tệp thực thi chuẩn PE 32-bit (PE32) của hệ điều hành Windows.
    • Phương pháp tiếp cận: Tấn công hộp đen (black-box) trong giai đoạn suy luận nhắm vào các trình phát hiện phân tích tĩnh.
    • Xác thực thực thi: Đánh giá khả năng nạp và khởi chạy tệp mã độc trên máy ảo Windows 7 (chưa đi sâu vào phân tích toàn diện từng hành vi kết nối mạng chuyên sâu).

Cơ sở lý thuyết và phương pháp

  • Khung lý thuyết và mô hình sử dụng:
    • Cấu trúc tệp Portable Executable (PE): Phân tích các thành phần DOS Header (e_magic, e_lfanew), PE Header (Signature 50h, 45h, 00h, 00h, File Header chứa NumberOfSections, Optional Header), Section Table (IMAGE_SECTION_HEADER với các trường VirtualSize, VirtualAddress, SizeOfRawSection, PointerOfRawSection), và các phân đoạn dữ liệu/mã thực thi (.text, .rdata, .rsrc, .edata, .idata).
    • Kỹ thuật biến đổi hợp ngữ (Assembly Mutation): Cơ chế chèn mã chết (Dead-code insertion), tái khai báo thanh ghi (Register Reassignment), tái sắp xếp chương trình con (Subroutine Reordering), thay thế lệnh (Instruction Substitution), chuyển vị mã (Code Transposition), và tích hợp mã (Code Integration).
    • Mô hình phát hiện mã độc: Lý thuyết phân tích tĩnh (quét chữ ký, Static Heuristic, kiểm tra toàn vẹn băm MD5/SHA/CRC), phân tích động (giám sát hành vi Behavior Monitors, giả lập Emulation gồm Dynamic Heuristic và Generic Decryption), và các thuật toán học máy phân loại (GBDT - Gradient Boosting Decision Tree, Mạng nơ-ron sâu).
    • Mô hình học tăng cường (Reinforcement Learning - RL): Quy trình quyết định Markov (MDP) xác định bởi bộ $\langle S, A, P, R \rangle$; kỹ thuật xấp xỉ hàm giá trị trạng thái - hành động $Q(s, a)$; Deep Reinforcement Learning; biến thể Distributional DQN (DiDQN) kết hợp thuật toán CategoricalDQN và mạng nhiễu (Noisy Nets).
    • Mô hình mối đe dọa (Threat Model): Khung đánh giá an ninh của Rosenberg gồm 5 khía cạnh (mục đích tấn công: tính toàn vẹn; kiến thức: hộp đen; quyền truy cập dữ liệu huấn luyện: không thể truy cập; giai đoạn: suy luận; kỳ vọng: quy trình đầu cuối - end-to-end).
  • Phương pháp nghiên cứu thực nghiệm:
    • Thiết kế và triển khai kiến trúc học tăng cường tương tác vòng lặp giữa tác tử (Agent) và môi trường nhị phân (Environment).
    • Trích xuất đặc trưng tĩnh tự động bằng thư viện LIEF thành không gian vector 2351 chiều.
    • Thiết lập môi trường kiểm thử hộp cát/máy ảo VirtualBox chạy Windows 7 để xác thực tự động khả năng thực thi của mẫu sau đột biến.
    • Đo lường và đối sánh tỷ lệ né tránh (Evasion Rate) trên 3 trình phát hiện mục tiêu trước và sau khi có module kiểm tra thực thi.
  • Nguồn dữ liệu nghiên cứu:
    • Tập dữ liệu chuẩn EMBER: Gồm 1,1 triệu tệp nhị phân (400.000 mẫu mã độc, 400.000 mẫu lành tính và 300.000 mẫu chưa dán nhãn) trích xuất sẵn các đặc trưng tĩnh dùng để huấn luyện các trình phát hiện.
    • Tập dữ liệu thực nghiệm VirusTotal: Lọc lấy 16.068 tệp thực thi PE32 (từ tập gốc hơn 200.000 mẫu PE32/PE32+). Trong đó các mẫu lành tính trích xuất từ hệ điều hành Windows 7, 8, 10 và phần mềm thông dụng; các mẫu mã độc được thu thập từ VirusTotal với tiêu chí bị phát hiện bởi ít nhất $\ge 50%$ số lượng engine diệt virus, bao gồm các họ: Adware (DownloadHelper, StartPage), Backdoor (Androm, Nanobot), Ransomware (Gandcrab, Locker), Trojan (Emotet, Coinminer), Virus (Virut, Lamer), Worm (Allape, Sobig).

Nội dung chính theo từng chương

CHƯƠNG 1. TỔNG QUAN

  • Phân tích bối cảnh an toàn thông tin khi các bộ phát hiện mã độc học máy đạt tỷ lệ nhận diện 97% trên tập dữ liệu EMBER nhưng lại dễ tổn thương trước các kỹ thuật sinh mẫu đối kháng.
  • Điểm lại các công trình liên quan: MalwareGAN sử dụng mạng GAN, gym-malware của Anderson dùng thuật toán ACER trên framework OpenAI Gym, hệ thống DQEAF của Fang rút gọn 4 hành động với 80 lượt lặp, và AIMED-RL của Labaca-Castro bổ sung phần thưởng dựa trên độ tương đồng.
  • Nêu rõ vấn đề tồn tại của các nghiên cứu đi trước: chỉ sinh mẫu né tránh trên lý thuyết vector mà chưa kiểm chứng khả năng khởi chạy thực tế của tệp nhị phân sau khi sửa đổi.
  • Xác định mục tiêu, đối tượng, phạm vi nghiên cứu và cấu trúc 5 chương của khóa luận.

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

  • Trình bày chi tiết cấu trúc định dạng tệp thực thi Windows Portable Executable (PE), cấu trúc các header, bảng phân đoạn và các thư mục dữ liệu (bảng nhập .idata, bảng xuất .edata, bảng tài nguyên .rsrc).
  • Phân tích ngôn ngữ hợp ngữ và các kỹ thuật đột biến mã mức chỉ dẫn máy (chèn mã rác, hoán đổi thanh ghi, chuyển vị mã) nhằm biến đổi chữ ký nhị phân.
  • Tổng hợp các phương pháp phát hiện mã độc: phân tích tĩnh, phân tích động (giám sát hành vi, giải mã Generic Decryption, giả lập Emulation) và mô hình học máy (GBDT, Mạng nơ-ron).
  • Trình bày toán học quy trình quyết định Markov (MDP), cơ chế cập nhật hàm giá trị $Q(s, a)$, kỹ thuật Deep RL và cấu trúc khung làm việc gym-malware (môi trường vector 2350 chiều, tác tử ACER, không gian 10 hành động sửa đổi tệp PE).

CHƯƠNG 3. MÔ HÌNH ĐỘT BIẾN MÃ ĐỘC

  • Xây dựng mô hình mối đe dọa dựa trên khung Rosenberg: xác lập giả định tấn công hộp đen (black-box), mục tiêu can thiệp tính toàn vẹn (integrity) trong giai đoạn suy luận nhằm đạt kết quả đầu cuối (end-to-end evasion).
  • Thiết kế không gian trạng thái môi trường gồm 2351 chiều đặc trưng tĩnh trích xuất bằng thư viện LIEF:
Nhóm đặc trưng Số chiều Nội dung chi tiết
PE Metadata 62 Thông tin tiêu đề tệp PE, linker, hệ điều hành mục tiêu
Section Metadata 255 Tên phân đoạn, kích thước, phân phối entropy của các đoạn
Import Table 1280 Danh sách và thông tin các hàm/thư viện liên kết động (DLL) nạp vào
Export Table 128 Danh sách và địa chỉ các hàm xuất
Chuỗi đọc được 104 Tần suất xuất hiện URL (https://), khóa registry (HKEY_), đường dẫn
Thông tin chung tệp 10 Trạng thái debug, chữ ký số (signature), độ dài bảng nhập/xuất
Byte Histogram 256 Bảng thống kê tần suất phân phối 256 giá trị byte
2D Byte-Entropy 256 Ma trận phân phối entropy tính theo cửa sổ trượt 1024 byte
  • Thiết lập không gian 10 hành động biến đổi nhị phân: imports_append, section_rename, section_add, section_append, create_new_entry, remove_signature, remove_debug, upx_pack/upx_unpack, break_optional_header_checksum, overlay_append.
  • Xây dựng hàm phần thưởng tuyến tính kết hợp 3 thành phần và cơ chế phạt lặp hành động: $$R = R_{det} \cdot w_{det} + R_{dis} \cdot w_{dis} + R_{func} \cdot w_{func}$$ Trong đó $R_{max} = 10$, $R_{det} \in {0, 10}$, $R_{dis} = 1 - \frac{t}{t_{max}}$, $R_{func} \in {0, 10}$ (xác thực từ máy ảo). Trọng số thiết lập đồng đều $w_{det} = w_{dis} = w_{func}$. Nếu lặp lại hành động $p$ lần, phần thưởng chịu hệ số phạt $R \times 0.8^p$.
  • Lựa chọn thuật toán tác tử: Sử dụng Distributional DQN (DiDQN) với CategoricalDQN và mạng nhiễu Noisy Nets thay vì ACER hay DDQN truyền thống.
  • Thiết lập 3 trình phát hiện mã độc mục tiêu: LightGBM (tích hợp kỹ thuật lấy mẫu GOSS và gom cụm thuộc tính EFB), MalConv (mạng tích chập xử lý byte thô kèm lớp Temporal Max-Pooling), và Random Forest (2381 trường thuộc tính).
  • Tích hợp module xác thực thực thi tự động thông qua nạp tệp vào máy ảo Windows 7.
+-------------------------------------------------------------------------+
|                      LUỒNG HOẠT ĐỘNG CỦA MÔ HÌNH                        |
|                                                                         |
|  [Mã độc gốc] ---> [Trích xuất 2351 đặc trưng (LIEF)] ---> [Vector s_t] |
|                                                                 |       |
|  +--------------------------------------------------------------+       |
|  |                                                                      |
|  v                                                                      |
| [Tác tử DiDQN] ---> Chọn hành động a_t ---> [Sửa đổi tệp PE nhị phân]   |
|                                                     |                   |
|                                                     v                   |
|                                         [Trình phát hiện tĩnh]          |
|                                         (LightGBM/MalConv/RF)           |
|                                                     |                   |
|                           +-------------------------+                   |
|                           | (Nếu phát hiện lành tính)                   |
|                           v                                             |
|               [Máy ảo Windows 7 Test]                                   |
|               - Kiểm tra khởi chạy                                      |
|               - Tính điểm R_func                                        |
|                           |                                             |
|                           v                                             |
|           [Tính toán hàm phần thưởng R] ---> [Cập nhật Q-Network]       |
+-------------------------------------------------------------------------+

CHƯƠNG 4. THÍ NGHIỆM VÀ ĐÁNH GIÁ

  • Thiết lập môi trường phần cứng và phần mềm: Hệ điều hành Ubuntu 20.04, CPU RAM 16GB, ổ cứng 100GB, môi trường lập trình Python 3.
  • Kiểm định độ chính xác ban đầu của 3 mô hình phát hiện trên tập dữ liệu kiểm thử VirusTotal: Cả 3 mô hình đều đạt tỷ lệ phát hiện mã độc chính xác trên 93.51% (trong đó LightGBM đạt hiệu năng nhận diện cao nhất).
  • Đánh giá khả năng né tránh của hệ thống tạo đột biến: Phân tích tỷ lệ vượt qua hệ thống phòng thủ trong hai trường hợp (có và không có module kiểm tra thực thi máy ảo), phân tích sự phân bổ tần suất giữa 10 hành động của tác tử và chỉ ra các nhóm hành động gây lỗi cấu trúc PE làm tệp mất khả năng khởi chạy.

CHƯƠNG 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

  • Tổng kết toàn bộ kết quả đạt được về mặt mô hình lý thuyết và hệ thống thực nghiệm.
  • Đề xuất các hướng nghiên cứu mở rộng nhằm hoàn thiện khả năng kiểm thử tính năng chuyên sâu của mã độc.

Kết quả và đóng góp

  • Kết quả thực nghiệm chính:

    • Hiệu năng của các trình phát hiện cơ sở: 3 mô hình phát hiện tĩnh (LightGBM, MalConv, Random Forest) huấn luyện trên tập EMBER đều đạt độ chính xác phát hiện ban đầu từ $93.51%$ trở lên đối với tập mẫu kiểm thử VirusTotal.
    • Tác động của cơ chế xác thực thực thi: Tác tử học tăng cường Distributional DQN kết hợp Noisy Nets và cơ chế phạt lặp hành động đã học được chính sách lựa chọn các thao tác sửa đổi nhị phân vừa tối ưu hóa khả năng đánh lừa bộ phân loại tĩnh, vừa duy trì tính toàn vẹn cấu trúc PE để tệp thực thi thành công trên máy ảo Windows 7.
    • Phân tích hành vi tác tử: Hệ thống chỉ ra việc giới hạn số bước lặp ($t_{max}$) và kiểm soát tần suất hành động giúp ngăn chặn hiện tượng làm hỏng bảng nhập (Import Table) hoặc sai lệch điểm nạp (Entry Point) của tệp thực thi.

  • So sánh với các nghiên cứu liên quan:

Tiêu chí so sánh gym-malware (Anderson, 2018) DQEAF (Fang, 2019) AIMED-RL (Labaca-Castro, 2021) Mô hình của khóa luận (2022)
Thuật toán RL ACER DDQN DiDQN DiDQN (CategoricalDQN)
Chiến lược khám phá Boltzmann $\epsilon$-greedy Noisy Nets Noisy Nets
Bộ tối ưu hóa Adam Adam Adam Adam
Không gian hành động 10 hành động 4 hành động This request was blocked by Gemini's filters. They can occasionally trigger by mistake on safe coding, security, or biology-related queries. Please try rephrasing your prompt. You can send feedback or read more about our policies here.