Chương 1: Giới thiệu tông quan về khóa luận va các nghiên cứu liên quan đến đề tài. e_ Chương 2: Trình bay cơ sở lý thuyết và kiến thức nền tảng liên quan đến dé tài. e_ Chương 3: Giới thiệu phương pháp, giải pháp đề xuất dùng dé tạo các mẫu đột biến mã độc. e Chương 4: Trình bảy môi trường thực nghiệm, tập dữ liệu, phương pháp đánh giá và kết quả thực nghiệm.
e Chương 5: Kết luận và hướng phát triển của khóa luận. 18 Chương 2: CƠ SỞ LÝ THUYÉT Tóm tắt Trong chương này, nhóm chúng tôi sẽ trình bày các kiến thức nền tảng và cơ sở lý thuyết có liên quan đến đề tài.1 Tập tin thực thi Đối với phạm vi của khóa luận này, chúng tôi chỉ tập trung vào các tệp nhị phân (Portable Executable — PE files), tuy nhiên, chúng tôi suy đoán rằng mô hình mà chúng tôi đã đề xuất có khả năng tạo ra kết quả tương tự trên các định dạng thực thi khác như ELF, MachO và các định dang Android như OAT, DEX, VDEX va ART. Do đó, việc thực hiện trên các định dạng tệp khác nhau sé là hướng phát triển tiếp theo của chúng tôi, tuy nhiên chúng tôi đặc biệt khuyến khích người đọc đọc qua cau trúc của tệp PE được thể hiện chi tiết ở Hình 1 dé hiểu rõ hơn về cách các phần khác nhau của tệp nhị phân có thé được khai thác và ở mức độ nào (7). Cũng cần lưu ý rằng trong khi có gắng sửa đổi vẫn phải giữ nguyên chức năng thực sự của phần mềm độc hại.
| DOS HEADER PE HEADER OPTIONAL HEADER CTION SAMPLE.EXE SECTIONS Hình 1: Các thành phan của tệp PE 19 Sau khi nghiên cứu về cau trúc và chức năng của các thành phần khác nhau trong tệp PE và thảo luận với nhau, chúng tôi quyết định rằng chỉ thực hiện sửa đổi đối với bảng Sections (với tiêu đề Section) và các hàm Imports có trong các ngăn của tệp nhi phân. Bảng Sections bao gồm nhiều hàng tiêu đề Sections và chứa thông tin liên quan đến các phần khác nhau có sẵn trong tệp thực thi, chăng hạn như Section Name, Virtual Size, Virtual Address, kích thước của Raw Data, con trỏ đến Raw Data và đặc điểm của những phần khác (8). Trong quá trình thử nghiệm, một tập lệnh đã được chạy để thu thập tất cả các tên Sections và các hàm Imports duy nhất xuất hiện trong tập dữ liệu lành tính và phần mềm độc hại. Quan sát thấy rằng có một số phần thường xuyên xuất hiện trong các tệp nhị phân PE như.
Một số thao tác khác như là việc đồi tên các Sections hiện có, thêm các bit ngẫu nhiên vào các phần hiện có và thêm các Sections không sử dụng trong tệp PE không chỉ làm giảm tỷ lệ dương tính thực của phần mềm độc hại mà còn giữ nguyên chức năng của nó. Những thực nghiệm này cũng đã được thực hiện bởi Anderson và cộng sự (6). Một cách tiếp cận phô biến khác được nêu bởi Anderson và cộng sự dé giảm tỉ lệ dương tính thực ( True Positive Rate - TPR) của phần mềm độc hại đã thêm các chức năng không sử dụng bang Imports trong Section. Mục đích chính của bang Imports là làm cho module đơn giản hon.
Mặc dù việc sửa đôi các bang Imports góp phan đáng ké vào việc giảm TPR, nhưng nó không làm quá tốt trong việc g1ữ nguyên chức năng của tệp độc hai. Dựa trên thử nghiệm của mình, chúng tôi đã đi đến kết luận rằng phần mềm độc hại thực hiện hành động LEA trên Bang địa chỉ nhập (IAT) không hoạt động tốt khi thêm các Imports bồ sung. Ngoài ra, có những hành động khác như thêm các byte ngẫu nhiên vào tệp nhị phân, đóng gói và giải nén tệp PE, xóa chữ ký và tải đường dẫn cấu hình có thê được thực hiện đề giảm TPR của phần mềm độc hại. Những hành động này cũng đã được nghiên cứu trong giải pháp của chúng tôi.
Trong giai đoạn thử nghiệm, khi dao tao Tac tr của RL (RL’s Agent), chúng tôi nhận ra rằng trong số tất cả các hành động, 7ác tw (Agent) sẽ chọn một trong các hành động sau đây bất kế đầu vào là gì, bao gồm thêm vào Sections, đổi tên Sections, thêm Imports và thêm byte ngẫu nhiên vào nhị phân. Do đó, chúng tôi quyết định tiếp tục đào tạo lai Tac tur chỉ với 4 thao tác này, tuy nhiên chúng tôi cũng đưa ra các trường hợp sử dụng các hành động khác ở mục 4.2 Kết quả thí nghiệm 20 2.2 Mô hình học tăng cường Hoc tăng cường (Reinforcement Learning — RL) là một nhánh của ML nơi các Tác f học cách đưa ra các hành động một cách tối ưu nhất bằng cách tích lũy tối đa hóa Phần thưởng (Reward). Quá trình này cần sự tương tác của Môi trường và Tac tw được thé hiện chỉ tiết ở Hình 2. Trong RL có rất nhiều các thuật ngữ khác nhau (như hình trên).
Sau đây chúng tôi sẽ trình bày các thuật ngữ thông dụng và ý nghĩa của từng thuật ngữ đó: 2.1 Tác tử (Agent) Trong RL có một thuật ngữ gọi là Tac tw - được định nghĩa là máy quan sát Môi trường và sinh ra Hành động tương ứng.2 Môi trường (Enviroment) Môi trường là không gian xung quanh của Tác tr, nơi ma Tác tw tôn tại va tương tác.3 Hành động (Action) Hanh động là phương thức của Tdc tu cho phép nó tương tác với Môi trường và thay d6i Môi trường. Dựa trên Trạng thái S(t) của Môi trường hiện tại mà Tác tw sẽ đưa ra Hành động a(t).4 Quan sát (Observation) Sau khi nhận được sự tương tác từ Tác tu thì Môi trường có sự chuyên đôi trạng thái đối với Tác tử.5 Trạng thai (State) Là trạng thái của Moi rường ma Tác tw nhận được hoặc có thể hiểu bằng cách khác là Trang thái sẽ mô tả tình hình hiện tại. Ví dụ cụ thé như: Đối với 21 robot dang tập di, Trang thái là vị trí của hai chân của nó. Đôi với chương trình cờ vây, Trang thái là vi trí của tat cả các quân cờ trên ban cờ.6 Phần thưởng (Reward) Ở mỗi Hành động, Môi trường gửi đến cho Tác tử một Phần thưởng xác định.
Mục tiêu của Tac ti là tối đa hóa tổng Phan thưởng ma nó nhận được trong một thời gian dài. Tín hiệu Phần thưởng (reward signal) giúp xác định đâu là sự kiện tốt và xấu đối với Tác tv, đồng thời nó cũng là cơ sở chính dé thay đồi chính sách. Nếu một hành động được lựa chọn bởi chính sách mang đến Phần thưởng thấp, thì chính sách đó có thể bị thay đôi. Tác tử sẽ lựa chọn các Hành động khác trong các tình huéng tương tự ở tương lai.
Mô hình học sâu tăng cường Mô hình học sâu tăng cường (Deep Reinforcement Learning) là sự kết hợp của học tăng cường (reinforcement learning) va học sâu (deep learning) được trình bày chỉ tiết ở Hình 3 và nó cũng là lĩnh vực học máy thịnh hành nhất tại thời điểm này bởi vì nó có thể giải quyết một loạt các nhiệm vụ ra quyết định phức tạp ma trước đây máy móc không có khả năng giải quyết các vấn đề trong thế giới thực giống như trí thông minh của con người. Hình 3: Tổng quan học sâu tăng cường 22 2.1 Deep Q-network anti-malware Engines Attacking Framework (DQEAF) Chúng tôi ứng dung mô hình DQEAF (9) vào mô hình tạo đột biến mã độc trong dé tài của mình. Công dụng của Mồi rưởng trong DQEAF là quan sát và đánh giá Phan thưởng, cụ thé Trạng thái (mô tả về giai đoạn hiện tại) và Phan thưởng (giá trị đánh giá hành động) cho Tac tir. Tác tử bao gồm các tham số và thuật toán dé xác định hành động cần thực hiện tiếp theo.
Vì vậy, đầu vào của RL là Phân thưởng và Trạng thái khi quan sát Môi trường. Đầu ra là chién lược lựa chọn hành động của Tac tw cho một SỐ trường hợp nhất định. Trong khóa luận này, chúng tôi tập trung vào sự đơn giản hóa của DQEAF, có thê phù hợp với lý thuyết phân tích đồng thời nắm bắt đầy đủ khía cạnh trên. Cụ thê, chúng tôi đơn giản hóa kỹ thuật phat lại trải nghiệm (experience replay) với giả định độc lập (independence assumption) va tập trung vào các mạng than kinh sâu (deep neural networks) với đơn vi tuyến tính (ReLU) (10) và kích thước lớn.
Với cài đặt này, mạng thần kinh DQEAF được giảm xuống và tính bằng thuật toán Q-iteration (FQI) (11) và kỹ thuật nhăm đến mạng mục tiêu Q có thé được truyền dưới dạng lặp giá trị. Quan trọng hơn, bằng cách điều chỉnh các kết quả gần đúng đối với các mạng ReLU để phân tích toán tử Bellman, chúng tôi thiết lập thuật toán và thống kê tỷ lệ hội tụ cho chuỗi chính sách lặp lại mà DQEAF thu được. Sử dụng RL để giải quyết các van dé chống AV, chúng ta cần có định nghĩa phù hợp về Môi trường, Hành động, Phan thưởng và Tác tử trong DQEAF. Chi tiết toàn bộ kiến trúc của DQEAF được thé hiện ở Hình 4 và các mục bên dưới.——— PE FEATURE EXTRACTOR MALWARE DATASET BLACK-BOX DETECTOR Hình 4: Cau trúc mô hình DOEAF 2.2 Môi trường (Enviroment) Trong DQEAF, Moi truvong được sử dụng dé quan sát biéu hiện và thành phần của các mẫu phần mềm độc hại PE.
Quan sát càng toàn diện, kết quả đào tạo càng dé dàng đạt được tỷ lệ mong đợi. Do đặc thù của RL nên không cần xử lý trước các mau (Xử lí tiền dữ liệu). Chúng tôi xác định tinh năng nhị phân thô (raw features) là Moi rường vì nó có thể đại diện cho một cái nhìn tổng thể về các mẫu phần mềm độc hại và yếu tố để có thé lựa chọn với từng Hanh động. Chúng tôi đếm biểu đồ byte (byte histogram normalized), được thực hiện băng cách đếm số lần xuất hiện của mỗi giá tri của toàn bộ tệp nhị phân.3 Không gian hành động (Action space) Sau khi Tac tw quan sát Trang thái của Môi trường, nó phải chon một hành động từ tập hợp tất cả các hành động có sẵn.
Về mặt hình thức, tập hợp tất cả các hành động có thể được định nghĩa là A = {ARBE, ARI, ARS, RS}. Do đó, tại thời điểm ¢, Tac tir chọn một hành động tai a. Tất cả các hành động chúng tôi thực hiện trên tệp PE được thể hiện trong Hình 5. Trong báo cáo này, các hành động chỉ là một số lựa chọn kha thi, van đề gặp phải khi RL với Không gian hành động cực lớn sẽ làm tăng độ khó và thời gian của việc đảo tạo mô hình.
Cần đảm 24 bảo răng việc sửa đôi tệp càng đơn giản càng tôt đê đảm bảo việc sửa đôi thành công.