Chương 1: TONG QUAN DE TAI VA TINH HÌNH NGHIÊN CỨU * Chương 2: CƠ SỞ LY THUYET * Chương 3: PHƯƠNG PHAP THUC HIỆN * Chương 4: HIỆN THUC, ĐÁNH GIÁ VÀ THẢO LUẬN * Chương 5: KET LUẬN VÀ HƯỚNG PHÁT TRIÊN CHƯƠNG 2. Hoc tăng cường 2. Tổng quan về mô hình học tăng cường Học tăng cường (RL) là một lĩnh vực quan trọng, có tiềm năng ứng dụng cao của trí tuệ nhân tạo, tập trung vào việc xây dựng và nghiên cứu các thuật toán ma một tác nhân tự động học cách ra quyết định hành động trong một môi trường dé nham tối đa hóa phần thưởng nhận được, từ đó đạt được mục tiêu huấn luyện. Trong RL, tác tử tương tác với môi trường bằng cách đưa ra quyết định hoặc thực hiện các hành động và nhận được phản hồi từ môi trường dưới dạng phần thưởng đại diện cho kết quả tử quyết định hoặc hành động mà tác tử đưa ra.
Mục tiêu của RL là tối ưu việc đưa ra các quyết định hoặc hành động mà tác nhân có thể thực hiện nhằm tối đa hóa phần thưởng mà nó thu được trong quá trình tương tác với môi trường. Các thành phần chính Action A a | a) State S Hình 2. Kiến trúc chung của học tăng cường. Các thành phần cơ bản trong RL (Hình 2.1) bao gồm: - Agent (Tác nhân): Là thực thé hoặc chương trình máy tính có khả năng thực hiện các hành động đã đề ra sẵn trong môi trường.
Nó có mục tiêu là tối đa hóa tổng phần thưởng mà nó nhận được thông qua quá trình tương tác với môi trường. - Environment (Môi trường): là hệ thống bên ngoài mà tác nhân tương tác. Nó có thé là bất kỳ hình thức nào, từ trò chơi máy tính đến robot thực tế hoặc các hệ thống tự động. - State (Trang thái): là biểu diễn của môi trường tại một thời điểm cụ thể.
Sau khi tác nhân đã thực hiện hành động cụ thể, trạng thái sẽ cung cấp thông tin về tình hình hiện tại của môi trường mà tác nhân sử dụng để ra quyết định hành động đã làm. - Action (Hành động): là các hành động mà tác nhân có thé thực hiện trong môi trường. Hành động này thường được lựa chọn từ một tập hợp các hành động có thể thực hiện tại mỗi trạng thái. - Reward (Phần thưởng): là phản hồi từ môi trường cho mỗi hành động của tác nhân và hướng dẫn tác nhân học từ kinh nghiệm.
Nếu tác nhân có những hành động đúng và hiệu quả thì sẽ được thưởng, ngược lại nếu tác nhân có những hành động xau thì sẽ bi phạt. - Policy (Chính sách): các tác nhân trong môi trường phải tuân theo chính sách là chuỗi những quy tắc được đặt ra dé chọn ra hành động phù hợp tại mỗi trạng thái. Chính sách có thé được biéu diễn dưới dang một bảng quyết định hoặc một hàm giá tri. Cac action có thé thực hiện trên file PE Trong ngữ cảnh của việc sử dung RL dé xử lý van đề tránh bi phát hiện do ảnh hưởng của các phần mềm độc hại, có một số hành động có thể thực hiện trên file PE [6] như Hình 2.
10 ARBE Code View Information COFF Symbols COFF Line Numbers reloc ARS-RELOCATION ARS-IDATA data S ections ARS-TEXT ARS 4a ARS-RESOURCE tls ARS-TLS ARS-UNKNOWN Section Table(Array of IMAGE_ Section_HEADERs) Export Table ee Import Table —— Z2 IMAGE_OPTIONAL_HEADER Resource Table IMAGE_NT_HEADERs Exception Table IMAGE_FILE_HEADER Certificate_Table “PE\O\0" PE signature Offset 0 MS-DOS Header Hình 2.Cau trúc file PE và những hành động dùng dé biến đổi nội dung cua file. - ARBE : Thêm các byte ngẫu nhiên vào cuối của tệp PE. Việc này có thé làm thay đổi kích thước của tệp một cách ngẫu nhiên mà không ảnh hưởng đến chức năng của nó.