Chương 1. TỔNG QUAN bao gồm các thuật toán đơn, các thuật toán tổng hợp đồng nhất và các thuật toán tổng hợp không đồng nhất. « Ap dụng phương thức diễn giải Kernel SHAP cho tất cả các bộ phân loại nhằm mục đích tính toán tầm quan trọng của từng đặc trưng đầu vào (được trích xuất ở trên) đối với kết quả dự đoán (lành tính hay độc hại).2 Đối tượng nghiên cứu Trong đề tài nghiên cứu này, chúng tôi có 5 đối tượng nghiên cứu chính: « Các mau phần mềm PE độc hai. « Phương pháp sinh mẫu đối kháng.
« Các mẫu phần mềm PE đối kháng. « Phuong pháp học tổng hợp. « Phương pháp diễn giải các kết quả dự đoán.3 Pham vi nghiên cứu Chúng tôi xem xét và đánh giá các mẫu mã độc đối kháng được sinh từ các tệp thực thi PE trên hệ điều hành Window 32 bit. Các thuật toán tổng hợp được sử dụng gồm 2 loại, đó là Tổng hợp đồng bộ và Tổng hợp bất đồng bộ.
Bên cạnh đó, đối với phương pháp diễn giải, chúng tôi hiện chỉ đánh giá đối với cách tiếp cận diễn giải Kernel SHAP vì tính hữu dụng và chính xác của nó.5 Câu trúc luận văn tôt nghiệp Cấu trúc luận văn tốt nghiệp của đề tài gồm 6 Chương chính: ° Chương [1| Giới thiệu tổng quan về khóa luận. ° Chương [2} Trình bày cơ sở lý thuyết và các nghiên cứu liên quan đến đề tài. ° Chương [3} Giới thiệu phương pháp luận và hệ thống đề xuất. TỔNG QUAN ° Chương |4| Mô tả các kết quả thí nghiệm và đánh giá.
° Chương [5} Kết luận và hướng phát triển của luận văn. 10 Chương 2 CƠ SỞ LÝ THUYET Tóm tắt chương Trong chương này, tác giả trình bày một số kiến thức lý thuyết và công trình nghiên cứu liên quan đên đề tài.1 Học tổng hợp Học tổng hợp (Ensemble Learning), hay còn được gọi là Hệ thống phân loại đa dang (Multiple classifier systems) hoặc Học dựa trên ủy ban (Committee-based learning), nhằm mục đích kết hợp một số mô hình cơ sở để tạo ra một mô hình dự đoán tối ưu. Ý tưởng chính của phương pháp Học tổng hợp là thu được lợi ích từ các mô hình khác nhau bằng cách học theo cách tổng hợp. Đây có thể là giải pháp cho trường hợp mô hình yêu hoặc kết quả thu được từ nhiều mô hình không nhất quán.
Do đó, việc kết hợp chúng lại với nhau theo cách phù hợp có thể mang lại hiệu suất tốt hơn đáng kể so với việc sử dụng một mô hình duy nhất. Một hình thức đơn giản của Học tổng hợp là kết hợp các kết quả với biểu quyết đa số. Có nhiều phương pháp để phân loại các phương pháp tổng hợp. Trong phạm vi của nghiên cứu này, chúng tôi đề cập đến cách phân loại như được mô tả trong Hình trong đó các phương pháp tổng hợp được phân loại dựa trên cách mà nó được kết hợp và độ phức tạp.
Điều này dẫn đến phân loại thành 2 nhóm, đó là mô hình đơn và mô hình tổng hợp. CƠ SỞ LÝ THUYET Ensemble Models if Basic Advanced Ensemble Ensemble Techniques Techniques ý Ỳ ý 1 Ỳ Í Majority Vein Averaging Weighted Ryser , Stacking. Blending l Bagging Boosting ì | Bagging < Regresion Logistic K-nearest Neighbors Decision Tree meta- Random Forest | | AdaBoost Gradient Boosting Light GBM | __ estimator _. Linear Naive Bayes Regression Hino 2.1: Sơ đồ phân chia mô hình máy hoc dựa trên cách nó kết hợp các thuật toán yếu và độ phức tạp Nhiều điểm yếu của các thuật toán học don đã thúc đẩy sự phat triển của các phương pháp tổng hợp.
Hầu hết các hệ thống Học tổng hợp đều sử dụng các mô hình học tập cùng loại, được gọi là tổng hợp đồng nhất. Mặt khác, việc sử dụng các thuật toán học khác nhau được gọi là tổng hợp không đồng nhất [I6]. Có ba lý do chính cho điều này, đó là thống kê, tính toán và đại diện 17). Các thuật toán Tổng hợp cố gắng đưa ra giả thuyết tốt nhất trong không gian.
Do sự hạn chế của bộ dữ liệu huấn luyện so với kích thước của không gian giả thuyết nên nảy sinh vấn đề thống kê. Điều này dẫn đến thuật toán học nhận được các giả thuyết khác nhau trong không gian, mang lại độ chính xác như nhau. Học tổng hợp giúp giải quyết tình huống này bằng cách tính trung bình số phiếu bầu của các bộ phân loại, sau đó giảm việc chọn bộ phân loại không chính xác và từ đó có được độ chính xác cao trên dữ liệu huấn luyện. Bên cạnh đó, đôi khi, các thuật toán học bị kẹt ở mức tối ưu cục bộ ngay cả khi chúng ta có đủ dữ liệu huấn luyện.
Sử dụng Học tổng hợp và sau đó chạy, tìm kiếm cục bộ từ nhiều điểm gốc khác nhau có thể dẫn đến sự tương đồng chính xác hơn với hàm chưa biết chính xác so với trình học cơ sở đơn lẻ. Trong các trường hợp lớn của học máy, thật khó để tìm ra hàm thực sự cho không gian giả thuyết. Bằng cách áp dụng các đại lượng khác nhau của giả thuyết có trọng số, không gian của các hàm biểu diễn có thể được mở rộng. Một lý do nữa được đề cập là các phương pháp tổng hợp cũng rất tốt khi có rất ít dữ liệu cũng như khi có quá nhiều (18).
CƠ SỞ LÝ THUYET Khi xây dựng mô hình học tổng hợp, có rất nhiều yếu tố mà chúng ta cần quan tâm và lựa chọn để tạo ra một mô hình thích hợp có hiệu suất tốt. Dựa trên điều này, có ba cách tiếp cận mà chúng ta có thể tham khảo {19}, đó là huấn luyện mô hình, kết hợp đàu ra và bộ khung.1 Huấn luyện mô hình Một mô hình tổng hợp phải xem xét hai nguyên tắc: tính đa dạng và hiệu suất dự đoán. Mặc dù tính đa dạng mong đợi các yêu tố cảm ứng tham gia phải đủ đa dạng để đạt được hiệu suất dự đoán mong muốn thông qua việc sử dụng nhiều “độ lệch quy nạp” khác nhau, nhưng hiệu suất dự đoán của mỗi yếu tố cảm ứng phải càng cao càng tốt và ít nhất phải tốt như một mô hình ngẫu nhiên. Một mô hình phải có một số sai lệch quy nạp để hữu ích hơn khi sử dụng với nhiều dt liệu hơn.
Mục đích của mô hình là phù hợp với hầu hết dữ liệu chứ không chi dữ liệu mẫu. Kết quả là, sai lệch quy nạp là rất quan trọng. Hơn nữa, các mô hình tổng hợp với nhiều yếu tố cảm ứng khác nhau có thể không phải lúc nào cũng làm tăng hiệu suất dự đoán.1 Thao tác đầu vào Trong trường hợp này, mỗi mô hình cơ sở được huấn luyện với một tập con huấn luyện riêng biệt, dan đến đầu vào khác nhau cho một số mô hình cơ sở. Nó rất hữu ích khi những thay đổi nhỏ trong tập huấn luyện dẫn đến một mô hình khác.2 Thao tác thuật toán học Theo cách tiếp cận này, việc sử dụng từng mô hình cơ sở được thay đổi.
Chúng ta có thể làm điều này bằng cách sửa đổi cách mô hình cơ sở đi qua không gian giả thuyết.3 Phan vùng Sự đa dạng có thể đạt được bằng cách chia một tập dữ liệu lớn thành các tập hợp con nhỏ hơn và sau đó sử dụng từng tập hợp con để huấn luyện các bộ cảm ứng khác nhau.4 Thao tác đầu ra Cách tiếp cận này thảo luận về các kỹ thuật kết hợp nhiều bộ phân loại nhị phân thành một bộ phân loại nhiều lớp duy nhất. Mã đầu ra sửa lỗi (ECOC) là một ví dụ thành công của cách này.5 Lai ghép nhóm Ý tưởng là kết hợp ít nhất hai chiến lược khi xây dựng quần thể. Thuật toán Random Forest có lẽ là biểu hiện nổi tiếng nhất của Lai ghép nhóm. Nó không chỉ thao tác thuật toán học bằng cách chọn ngẫu nhiên một tập hợp con các tính năng tại mỗi nút mà còn thao tác các thể hiện khi xây dựng từng cây.2 Kết hợp đầu ra Kết hợp đầu ra thảo luận về quá trình hợp nhất các đầu ra của mô hình cơ sở thành một kết quả duy nhất.
Có 2 loại chính chúng ta có thể tham khảo: phương pháp tính trọng số (Weighting method) và phương pháp siêu học (Meta-learning method).1 Phương pháp tính trọng số Chúng ta có thể kết hợp các đầu ra của mô hình cơ sở bằng cách gán trọng số cho từng mô hình cơ sở. Phương pháp tính trọng số là hợp lý nhất, ví dụ khi hiệu suất của các mô hình cơ sở có thể so sánh được. Đối với các vấn đề phân loại, biểu quyết theo đa số (Major voting) là phương pháp tính trọng số đơn giản nhất. Một chiến lược tính trọng số khác là ấn định trọng số tỷ lệ thuận với sức mạnh của tác nhân cảm ứng.2 Phương pháp siêu hoc Các mô hình siêu học khác với các mô hình máy học tiêu chuẩn ở chỗ chúng bao gồm nhiều giai đoạn học tập.
Trong mô hình siêu học, các đầu ra cảm ứng riêng lẻ được sử dụng làm đầu vào cho siêu học, tạo ra đầu ra cuối cùng. Các phương pháp siêu học hoạt động tốt trong trường hợp các mô hình co sở nhất định có hiệu suất 14 Chương 2. CƠ SỞ LÝ THUYET khác nhau trên các không gian con khác nhau. Stacking có lẽ là phương pháp siêu học phổ biến nhất.3 Bộ khung Chúng ta có thể chia nó thành hai loại chính, đó là bộ khung phụ thuộc và bộ khung độc lập.
Đối với bộ khung phụ thuộc, đầu ra của mỗi bộ cảm ứng sẽ ảnh hưởng đến việc xây dựng bộ cảm ứng tiếp theo. Trong khuôn khổ này, thông tin từ lần lặp trước sẽ hướng dẫn việc học ở lần lặp tiếp theo. Mặt khác, mỗi bộ cảm ứng trong khung độc lập được xây dựng độc lập với các bộ cảm ứng khác.1] hiển thị các loại Học tổng hợp dựa trên các cách tiếp cận trên. Tên phương thức Phương pháp kết hợp đầu ra | Sự phụ thuộc Cách huấn luyện Stacking Siêu học Độc lập Thao tác thuật toán học AdaBoost Dùng trọng số Phụ thuộc Thao tác đầu vào Gradient boosting machines Dùng trọng số Phụ thuộc Thao tác đầu ra Random Forest Dùng trọng số Độc lập Lai ghép nhóm Bagging Dùng trọng số Độc lập Thao tác đầu vào BANG 2.1: Danh mục một số phương pháp học tổng hợp 2.2 Explainable Artificial Intelligent Một trong những nhược điểm của nhiều thuật toán hoc máy là tính "hộp đen" của chúng khiến việc đưa ra những lời giải thích gặp nhiều khó khăn, thậm chí không thể hiểu hoàn toàn, ngay cả bởi các chuyên gia trong lĩnh vực.