Phát Hiện Malware Android Sử Dụng Machine Learning và Opcode

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp an toàn thông tin ứng dụng phát hiện mã độc trong các ứng dụng android dựa trên opcode, vận dụng lý thuyết vào thực tế, đề xuất giải

• Tác giả: Tran Quoc Phong
• Người hướng dẫn: TS. Le Kim Hung
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát Hiện Malware Android Bằng Machine Learning và Opcode
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. MỤC TIÊU ĐỀ TÀI
• 2. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 3. CƠ SỞ LÝ THUYẾT
• 3.1. Machine Learning
• 3.2. Các mô hình Machine Learning phổ biến
• 3.2.1. Linear Regression
• 3.2.2. Decision Trees
• 3.2.3. Random Forest
• 4. KỸ THUẬT LỰA CHỌN ĐẶC TRƯNG CHO CÁC BÀI TOÁN PHÂN LOẠI MÃ ĐỘC ANDROID
• 5. KỸ THUẬT LỰA CHỌN MÔ HÌNH MÁY HỌC PHÙ HỢP VỚI DATASET
• 6. HỆ THỐNG PHÁT HIỆN
• 6.1. Giai đoạn tiền xử lý
• 6.2. Trích xuất đặc trưng từ tệp tin APK
• 6.3. Lựa chọn đặc trưng
• 6.4. Giai đoạn chọn mô hình máy học huấn luyện và thử nghiệm
• 6.5. Xây dựng ứng dụng web
• 7. THỰC NGHIỆM MÔ HÌNH ĐỀ XUẤT
• 7.1. Các chỉ số đánh giá
• 7.2. Kết quả thực nghiệm
• 7.3. So sánh với mô hình khác sử dụng cùng Dataset
• 8. TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phát Hiện Malware Android Bằng Machine Learning

Trong bối cảnh công nghệ 4.0, việc phát hiện malware Android trở thành một thách thức lớn. Hệ điều hành Android, với sự phổ biến rộng rãi, đã trở thành mục tiêu chính cho các cuộc tấn công mạng. Việc áp dụng machine learning trong phát hiện mã độc không chỉ giúp nâng cao hiệu quả mà còn giảm thiểu rủi ro cho người dùng. Bài viết này sẽ đi sâu vào các phương pháp và công nghệ hiện đại trong việc phát hiện mã độc trên nền tảng Android.

1.1. Tình Hình Hiện Tại Về Malware Trên Android

Sự gia tăng của malware trên Android đã đạt đến mức báo động. Theo thống kê, hơn 50 triệu phần mềm độc hại đã được phát hiện, cho thấy quy mô và mức độ nghiêm trọng của vấn đề này. Các loại mã độc như trojan, spyware và backdoor đang ngày càng tinh vi hơn.

1.2. Tại Sao Machine Learning Là Giải Pháp Hiệu Quả

Sử dụng machine learning giúp phát hiện mã độc một cách nhanh chóng và chính xác hơn. Các mô hình học máy có khả năng học hỏi từ dữ liệu mới, từ đó cải thiện độ chính xác trong việc phát hiện các biến thể mã độc chưa được biết đến.

II. Thách Thức Trong Việc Phát Hiện Malware Android

Mặc dù có nhiều phương pháp phát hiện, nhưng việc phát hiện malware Android vẫn gặp nhiều thách thức. Các phương pháp truyền thống như phân tích tĩnh và động thường không đủ hiệu quả trước sự phát triển nhanh chóng của mã độc. Điều này đòi hỏi các nhà nghiên cứu phải tìm ra những giải pháp mới và hiệu quả hơn.

2.1. Hạn Chế Của Phân Tích Tĩnh

Phân tích tĩnh không thể phát hiện mã độc nếu mã đã được mã hóa hoặc xáo trộn. Điều này làm cho nhiều ứng dụng độc hại có thể lẩn tránh mà không bị phát hiện.

2.2. Khó Khăn Trong Phân Tích Động

Phân tích động yêu cầu môi trường an toàn để thực thi mã, điều này có thể gây khó khăn trong việc phát hiện các hành vi độc hại trong thời gian thực.

III. Phương Pháp Phát Hiện Malware Bằng Machine Learning

Các phương pháp phát hiện mã độc bằng machine learning đang trở thành xu hướng mới. Việc sử dụng các đặc trưng như opcode, permissions và API calls giúp xây dựng mô hình học máy hiệu quả. Các mô hình này có khả năng phân loại và phát hiện mã độc một cách chính xác.

3.1. Sử Dụng Opcode Trong Phân Tích Malware

Opcode là một trong những đặc trưng quan trọng trong việc phân tích mã độc. Việc trích xuất opcode từ các tệp tin APK giúp nhận diện các hành vi độc hại của ứng dụng.

3.2. Các Mô Hình Machine Learning Phổ Biến

Các mô hình như Decision Trees, Random Forest và Neural Networks đang được áp dụng rộng rãi trong việc phát hiện mã độc. Những mô hình này có khả năng học hỏi từ dữ liệu và cải thiện độ chính xác theo thời gian.

IV. Ứng Dụng Thực Tiễn Của Machine Learning Trong Phát Hiện Malware

Việc áp dụng machine learning trong phát hiện mã độc đã mang lại nhiều kết quả khả quan. Các nghiên cứu cho thấy rằng các mô hình học máy có thể phát hiện mã độc với độ chính xác cao hơn so với các phương pháp truyền thống. Điều này mở ra hướng đi mới cho việc bảo mật trên nền tảng Android.

4.1. Kết Quả Nghiên Cứu Về Hiệu Quả Phát Hiện

Nghiên cứu cho thấy rằng các mô hình học máy có thể phát hiện mã độc với độ chính xác lên đến 95%. Điều này chứng tỏ rằng việc áp dụng công nghệ mới là cần thiết trong việc bảo vệ người dùng.

4.2. Tương Lai Của Phát Hiện Malware Trên Android

Với sự phát triển không ngừng của công nghệ, việc phát hiện mã độc sẽ ngày càng trở nên hiệu quả hơn. Các mô hình học sâu và trí tuệ nhân tạo sẽ tiếp tục được cải thiện để đáp ứng nhu cầu bảo mật ngày càng cao.

V. Kết Luận Về Phát Hiện Malware Android Bằng Machine Learning

Việc phát hiện malware Android bằng machine learning là một giải pháp hiệu quả trong bối cảnh hiện nay. Các phương pháp mới không chỉ giúp nâng cao độ chính xác mà còn giảm thiểu rủi ro cho người dùng. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều tiến bộ trong việc bảo vệ an toàn thông tin.

5.1. Tầm Quan Trọng Của Bảo Mật Trên Android

Bảo mật trên Android là một vấn đề cấp bách. Việc phát hiện mã độc kịp thời có thể giúp bảo vệ thông tin cá nhân và tài sản của người dùng.

5.2. Hướng Đi Tương Lai Trong Nghiên Cứu

Nghiên cứu trong lĩnh vực này cần tiếp tục được đẩy mạnh. Việc phát triển các mô hình học máy mới và cải tiến các phương pháp hiện tại sẽ là chìa khóa để nâng cao hiệu quả phát hiện mã độc.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong sự phát triển của công nghệ di động, Android đã trở thành hệ điều hành phổ biến nhất thế giới kể từ khi phiên bản thương mại đầu tiên (Android 1.0) ra mắt vào tháng 9 năm 2008. Số liệu thống kê từ StatCounter giai đoạn từ tháng 5/2022 đến tháng 5/2023 chỉ ra rằng Android chiếm lĩnh 71% thị phần hệ điều hành di động toàn cầu, vượt trội so với mức 28% của iOS. Tuy nhiên, tính chất mã nguồn mở cùng độ phủ rộng lớn khiến Android trở thành mục tiêu hàng đầu của các cuộc tấn công an ninh mạng. Hơn 50 triệu phần mềm độc hại và ứng dụng có khả năng không mong muốn (PUA) đã được ghi nhận trên nền tảng này. Theo Báo cáo về mối đe dọa trên thiết bị di động năm 2021 của McAfee, số lượng ứng dụng độc hại được phát hiện đạt mức cao kỷ lục, các cuộc tấn công mã độc di động tăng 33% và các trang web lừa đảo phát tán mã độc tăng 80% so với năm trước, trong đó phần mềm quảng cáo (adware) và trojan ngân hàng (banking trojan) chiếm tỷ lệ áp đảo. Các họ mã độc phổ biến trên Android bao gồm Trojan, Backdoor, Worms, Spyware, Botnet và Riskwares.

Trước sự bùng nổ của các biến thể mã độc tinh vi, các phương pháp phát hiện truyền thống bộc lộ nhiều hạn chế:

• Phương pháp dựa trên dấu hiệu nhận dạng (signatures/fingerprints) hoàn toàn bị động trước các mối đe dọa mới chưa từng được cập nhật trong cơ sở dữ liệu.
• Phương pháp phân tích cú pháp tĩnh hoặc động truyền thống gặp trở ngại lớn khi mã nguồn bị xáo trộn (code obfuscation), mã hóa hoặc nạp mã động.

Khóa luận tốt nghiệp ngành Kỹ sư An toàn thông tin của tác giả Trần Quốc Phong (Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM, hướng dẫn bởi TS. Lê Kim Hùng, năm 2023) tập trung giải quyết bài toán phát hiện mã độc Android bằng cách kết hợp trích xuất đa đặc trưng tĩnh và áp dụng các framework học máy tự động (AutoML).

Mục tiêu nghiên cứu của đề tài:

1. Tìm hiểu về hệ điều hành Android, các thành phần kiến trúc trong Android cũng như các loại mã độc thường xuất hiện trên hệ điều hành này.
2. Tìm hiểu các kỹ thuật và công cụ được sử dụng để phân tích các mẫu phần mềm độc hại trong Android.
3. Tìm hiểu Machine Learning cùng các phương pháp học máy tự động (AutoML) để xây dựng mô hình phát hiện phần mềm độc hại.
4. Thực nghiệm và đánh giá mô hình phát hiện dựa trên những đặc trưng của một tệp tin APK như Permissions, Opcodes và API calls.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các mô hình máy học được áp dụng trong việc phát hiện phần mềm độc hại trên thiết bị Android.
• Phạm vi nghiên cứu: Nghiên cứu các thuật toán máy học, các phương pháp học máy tự động và tập đặc trưng tĩnh (Permissions, Opcodes, API calls) được trích xuất từ tệp tin APK.

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống phát hiện mã độc dựa trên nền tảng kiến trúc hệ điều hành Android, cấu trúc gói ứng dụng APK, các giải thuật học máy và kỹ thuật tối ưu hóa đặc trưng.

1. Kiến trúc hệ điều hành Android và cấu trúc gói APK

Kiến trúc Android được tổ chức thành các tầng:

• Linux Kernel: Cung cấp lớp trừu tượng phần cứng và quản lý tiến trình, bộ nhớ, mạng và trình điều khiển (drivers).
• Hardware Abstraction Layer (HAL): Giao diện chuẩn cho các nhà cung cấp phần cứng kết nối với framework.
• Native Libraries & Android Runtime (ART/Dalvik): Thư viện viết bằng C/C++ và môi trường thực thi máy ảo. ART hỗ trợ biên dịch trước thời hạn (AOT - Ahead-of-Time) và đúng lúc (JIT - Just-in-Time), tối ưu hóa thu dọn rác (GC) cho các tệp thực thi Dalvik Executable (.dex).
• Application Framework: Cung cấp các API viết bằng Java như Activity Manager, Content Providers, Notification Manager.
• System Apps: Bộ ứng dụng tích hợp sẵn của hệ thống.

Bốn thành phần cấu thành ứng dụng Android gồm: Activities (giao diện người dùng), Services (tác vụ nền), Content Providers (chia sẻ dữ liệu liên ứng dụng), và Broadcast Receivers (lắng nghe và xử lý sự kiện toàn hệ thống).

Cấu trúc một tệp tin APK bao gồm: thư mục META-INF (chứa MANIFEST.MF, CERT.SF, CERT.RSA phục vụ xác minh chữ ký số), thư mục lib (chứa thư viện native .so), thư mục res (tài nguyên XML nhị phân, hình ảnh), thư mục assets (tài nguyên không biên dịch), tệp AndroidManifest.xml (khai báo quyền và siêu dữ liệu ứng dụng), tệp classes.dex (mã bytecode thực thi), và tệp resources.arsc (tài nguyên đã biên dịch).

2. Các nhóm đặc trưng tĩnh

• Quyền truy cập (Permissions): Trích xuất từ tệp AndroidManifest.xml, bao gồm quyền hệ thống (System Permissions) để truy cập tài nguyên phần cứng như GPS, máy ảnh, SMS và quyền ứng dụng (App Permissions).
• Lời gọi hàm hệ thống (API calls): Thể hiện tương tác giữa ứng dụng và framework hệ thống thông qua cơ chế Binder. Lời gọi API được trích xuất từ các tệp mã nguồn trung gian .smali.
• Mã thao tác (Opcodes): Các chỉ thị mã máy Dalvik bytecode trong tệp classes.dex (ví dụ: chỉ thị 62 đại diện cho lệnh sget-object).

3. Phương pháp nghiên cứu và công cụ sử dụng

• Kỹ thuật lựa chọn đặc trưng: Phương pháp loại bỏ đặc trưng đệ quy (Recursive Feature Elimination - RFE) kết hợp với các mô hình Logistic Regression, Random Forest; phương pháp hồi quy Lasso (chuẩn hóa L1).
• Phương pháp học máy tự động (AutoML):
  • TPOT (Tree-based Pipeline Optimization Tool): Sử dụng lập trình di truyền (Genetic Programming) để tự động khám phá và tối ưu hóa các pipeline xử lý dữ liệu và mô hình Scikit-learn.
  • Auto-Sklearn: Tối ưu hóa dựa trên xác suất Bayesian trên không gian giả thuyết gồm 15 bộ phân loại, 14 phương pháp tiền xử lý đặc trưng, 4 phương pháp tiền xử lý dữ liệu với 110 tham số.
• Công cụ phân tích và trích xuất dữ liệu: Sử dụng Apktool để dịch ngược mã nguồn ra định dạng .smali, thư viện Androguard để trích xuất quyền và opcodes, và tinh chỉnh mã nguồn của công cụ AndroPyTool nhằm phục vụ trích xuất tĩnh có chọn lọc. Tập dữ liệu nghiên cứu ban đầu gồm 4.245 mẫu với 4.322 đặc trưng.

---

Thiết kế và triển khai

Hệ thống phát hiện mã độc Android được thiết kế theo quy trình xử lý khép kín gồm 7 bước chính:

[Tệp APK đầu vào] 
[Mã nguồn .smali & classes.dex]
[Tập dữ liệu thô: 4.245 mẫu, 4.322 đặc trưng]
[Tập đặc trưng tối ưu: 2.603 đặc trưng]
[Mô hình huấn luyện tốt nhất (.pkl)]
[Đánh giá độ chính xác, F1-Score, Confusion Matrix]
[Web Application (Flask/Python, Giao diện Upload & Phân tích)]
[Hiển thị kết quả: Thông tin tệp, Hashes, Nhãn Benign/Malware]

1. Quy trình xử lý dữ liệu và huấn luyện

• Bước 1 - Dịch ngược: Tệp APK được giải nén và dịch ngược bằng công cụ Apktool để lấy các tệp .smali và AndroidManifest.xml.
• Bước 2 - Trích xuất đặc trưng: Thư viện Androguard trích xuất danh sách Permissions và tần suất xuất hiện của các Opcodes Dalvik. Các API calls được trích xuất từ tệp .smali và được lọc đối chiếu với hai danh mục chuẩn: class_index.txt (danh sách tên lớp) và package_index.txt (danh sách tên gói) nhằm loại bỏ các API bên thứ ba không liên quan. Toàn bộ thông tin được tổng hợp thành cấu trúc JSON và vector hóa thành tệp Dataset.csv (gán nhãn 1/0 cho Permissions, ghi nhận tần suất cho Opcodes và API calls).
• Bước 3 - Lựa chọn đặc trưng: Áp dụng kỹ thuật RFE với bộ ước lượng Logistic Regression để đánh giá xếp hạng tầm quan trọng. Ngưỡng xếp hạng (rank) $\ge 0.8$ được chọn để giữ lại 2.603 đặc trưng có giá trị cao nhất từ 4.322 đặc trưng ban đầu.
• Bước 4 - Tối ưu hóa bằng AutoML: Chạy song song TPOT và Auto-Sklearn trên tập đặc trưng đã tinh lọc để tự động tìm kiếm bộ phân loại và siêu tham số tối ưu.
• Bước 5 - Đánh giá mô hình: So sánh hiệu năng giữa pipeline của TPOT và Auto-Sklearn thông qua các độ đo Accuracy, F1-Score và ma trận nhầm lẫn (Confusion Matrix).

2. Triển khai ứng dụng Web phân tích mã độc

• Kiến trúc ứng dụng: Hệ thống được xây dựng dưới dạng ứng dụng web chạy trên máy chủ nội bộ (localhost:8000).
• Quy trình hoạt động:
  1. Người dùng tải lên tệp tin APK nghi ngờ qua giao diện web.
  2. Phía server nhận tệp, kích hoạt module trích xuất tĩnh để tạo vector đặc trưng dựa trên danh mục từ điển đặc trưng (Dictionary) gồm 2.603 thuộc tính đã chọn trước.
  3. Vector dữ liệu được đưa vào mô hình máy học đã lưu trữ (Model.pkl) để suy luận phân loại.
  4. Giao diện hiển thị kết quả phân tích trong mục Uploaded, cung cấp chi tiết: Tên gói (Package Name), Kích thước tệp (File size), các giá trị băm (MD5, SHA1, SHA256) và kết quả phân loại cuối cùng (nhãn benign - lành tính hoặc malware - độc hại).

---

Nội dung chính theo từng chương

Chương 1. Giới thiệu

Chương mở đầu trình bày tính cấp thiết của đề tài xuất phát từ sự bùng nổ của thiết bị di động chạy hệ điều hành Android và nguy cơ mất an toàn thông tin do các họ mã độc ngày càng gia tăng. Tác giả tổng quan 6 nhóm mã độc phổ biến (Trojan, Backdoor, Worms, Spyware, Botnet, Riskwares) cùng hai hướng tiếp cận phân tích chính: phân tích tĩnh (Static Analysis) và phân tích động (Dynamic Analysis). Từ đó, đề tài xác định mục tiêu nghiên cứu, đối tượng nghiên cứu (các mô hình máy học phát hiện mã độc Android) và phạm vi nghiên cứu (thuật toán ML, AutoML, trích xuất đặc trưng tĩnh từ APK).

Chương 2. Cơ sở lý thuyết

Nội dung chương này hệ thống hóa toàn bộ nền tảng lý thuyết phục vụ việc xây dựng giải pháp:

• Nguyên lý hoạt động của các thuật toán học máy có giám sát: Linear Regression, Decision Trees, Random Forest, và K-Nearest Neighbors (KNN) cùng 3 hàm đo khoảng cách (Euclidean, Manhattan, Minkowski).
• Kiến trúc hệ điều hành Android từ tầng Linux Kernel đến System Apps, chu trình biên dịch mã nguồn Java thành Dalvik bytecode (.dex), và cơ chế cấp quyền trong AndroidManifest.xml.
• Cơ chế gọi API trong Android qua Binder và phân tích mã lệnh Dalvik bytecode thông qua Opcodes.
• Kỹ thuật giảm chiều dữ liệu và lựa chọn đặc trưng: RFE (Recursive Feature Elimination) và Lasso.
• Nguyên lý hoạt động của các nền tảng học máy tự động: TPOT (tối ưu hóa pipeline bằng thuật toán di truyền) và Auto-Sklearn (tối ưu hóa siêu tham số bằng suy luận xác suất Bayesian).

Chương 3. Hệ thống phát hiện

Chương 3 mô tả chi tiết phương pháp xây dựng hệ thống phát hiện mã độc qua từng giai đoạn:

• Tiền xử lý và trích xuất đặc trưng: Sửa đổi mã nguồn công cụ AndroPyTool, tích hợp Androguard và Apktool để trích xuất 3 nhóm thuộc tính (Permissions, Opcodes, API calls) dựa trên tệp kiểm chuẩn class_index.txt và package_index.txt. Xây dựng tập dữ liệu gồm 4.245 mẫu và 4.322 đặc trưng.
• Lựa chọn đặc trưng: Thử nghiệm RFE trên các bộ ước lượng khác nhau và chọn RFE kết hợp Logistic Regression với ngưỡng rank $\ge 0.8$, rút gọn tập dữ liệu còn 2.603 đặc trưng trong 1879.1 giây.
• Huấn luyện và tối ưu hóa AutoML: TPOT đề xuất pipeline tối ưu kết hợp StackingEstimator (GradientBoostingClassifier), bộ lọc VarianceThreshold(threshold=0.1) và phân loại chính bằng RandomForestClassifier. Auto-Sklearn đề xuất mô hình Gradient Boosting kết hợp bộ tiền xử lý cân bằng trọng số (balancing: weighting) và chọn lọc đặc trưng feature_type_select_percentile_classification.
• Hiện thực hóa ứng dụng Web: Thiết kế giao diện và luồng xử lý tải tệp APK, trích xuất vector đặc trưng thời gian thực, nạp mô hình Model.pkl để trả về nhãn nhận dạng cùng các mã băm toàn vẹn tệp.

Chương 4. Thực nghiệm mô hình đề xuất

Chương 4 thiết lập môi trường đánh giá mô hình:

• Trình bày hệ thống chỉ số đo lường hiệu năng: True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN), Precision (P), Recall (R), F1-Score, False Positive Rate (FPR), False Negative Rate (FNR).
• Đánh giá phân bố tần suất xuất hiện của Top 10 Permissions và Top 10 Opcodes phổ biến nhất trên tập mẫu lành tính so với tập mẫu độc hại.
• Thực nghiệm so sánh giữa mô hình tối ưu của TPOT và Auto-Sklearn trên tập kiểm thử độc lập gồm 1.000 ứng dụng, phân tích ma trận nhầm lẫn (Confusion Matrix) và đối chiếu hiệu năng với các nghiên cứu khác trên cùng bộ dữ liệu.

Chương 5. Tổng kết và hướng phát triển

Tóm tắt các kết quả đạt được của khóa luận trong việc xây dựng quy trình tự động hóa phát hiện mã độc từ tệp APK. Đồng thời, chương này chỉ ra các điểm còn tồn tại của phương pháp phân tích tĩnh và vạch ra định hướng nghiên cứu mở rộng trong tương lai.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm lựa chọn đặc trưng

Quá trình thực nghiệm lựa chọn đặc trưng với tập dữ liệu gốc (4.245 mẫu, 4.322 đặc trưng) cho thấy hiệu quả vượt trội của RFE kết hợp Logistic Regression:

Phương pháp lựa chọn đặc trưng	Số lượng đặc trưng được chọn	Thời gian thực thi (giây)
RFE - LogisticRegression	2.603	1879.1
RFE - RandomForestClassifier	2.603	Tốn nhiều thời gian hơn
RFE - RandomForestRegressor	Không khả thi	Tiêu tốn quá nhiều tài nguyên tính toán
Lasso	Số lượng quá ít	Nhanh nhưng bỏ sót nhiều đặc trưng quan trọng

2. Kết quả so sánh giữa hai nền tảng AutoML

Sau khi rút gọn còn 2.603 đặc trưng, hai framework AutoML đưa ra các mô hình có hiệu năng cao:

Phương pháp AutoML	Mô hình tối ưu được đề xuất	Độ chính xác (Accuracy)	F1-Score
TPOT	RandomForestClassifier (kèm Stacking GradientBoosting)	0.9859	0.9845
Auto-Sklearn	Gradient Boosting (kèm cân bằng trọng số)	0.9847	0.9831

Pipeline tối ưu do TPOT xuất ra có cấu trúc:

• StackingEstimator: Ước lượng phụ sử dụng GradientBoostingClassifier(learning_rate=0.5, max_depth=5, max_features=0.7, min_samples_leaf=10, min_samples_split=17, n_estimators=100, subsample=0.1).
• VarianceThreshold: Loại bỏ đặc trưng có phương sai nhỏ hơn 0.1.
• RandomForestClassifier: Bộ phân loại chính với bootstrap=False, criterion='gini', max_features=0.5, min_samples_leaf=5, min_samples_split=12, n_estimators=100.

3. Đóng góp chính của đề tài

• Đóng góp về phương pháp luận: Xây dựng thành công quy trình kết hợp 3 nhóm đặc trưng tĩnh đại diện toàn diện cho ứng dụng Android (Permissions mô tả quyền truy cập, API calls mô tả hành vi giao tiếp hệ thống, và Dalvik Opcodes mô tả cấu trúc lệnh thực thi), giúp khắc phục nhược điểm của các phương pháp chỉ sử dụng đơn lẻ một loại đặc trưng.
• Đóng góp về kỹ thuật: Ứng dụng thành công các công cụ học máy tự động (TPOT, Auto-Sklearn) để giải quyết bài toán lựa chọn mô hình và tinh chỉnh siêu tham số phức tạp, loại bỏ thao tác thử-sai thủ công và đạt độ chính xác thực nghiệm trên 98.4%.
• Đóng góp về ứng dụng thực tiễn: Hiện thực hóa mô hình lý thuyết thành một ứng dụng web hoàn chỉnh, có khả năng tiếp nhận tệp APK, tự động trích xuất vector đặc trưng và trả về kết quả phân tích trong thời gian ngắn.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

• Đề tài tập trung hoàn toàn vào kỹ thuật phân tích tĩnh (Static Analysis), do đó gặp khó khăn trong việc phát hiện các hành vi độc hại được kích hoạt trong thời gian chạy thông qua kỹ thuật nạp mã động (dynamic code loading) hoặc mã hóa payload phức tạp.
• Phương pháp lựa chọn đặc trưng bằng RFE đòi hỏi năng lực tính toán lớn và thời gian thực thi kéo dài (1879.1 giây đối với Logistic Regression).
• Danh mục API trích xuất phụ thuộc vào các tệp chỉ mục định sẵn (class_index.txt, package_index.txt), có nguy cơ bỏ sót các API mới phát sinh từ các bản cập nhật framework Android tiếp theo.

Hướng nghiên cứu tiếp

• Tích hợp thêm module phân tích động (Dynamic Analysis) hoặc phân tích lai (Hybrid Analysis) bằng cách chạy ứng dụng trong môi trường sandbox/máy ảo để theo dõi lưu lượng mạng thực tế và các cuộc gọi hệ thống thời gian thực.
• Mở rộng tập dữ liệu huấn luyện với các biến thể mã độc mới xuất hiện từ các phiên bản Android 13, 14.
• Tối ưu hóa tốc độ của module trích xuất đặc trưng trên server web để giảm độ trễ phản hồi khi tiếp nhận các tệp APK dung lượng lớn.

---

Giá trị tham khảo

• Đối tượng thụ hưởng:
  • Sinh viên chuyên ngành An toàn thông tin, Mạng máy tính và Truyền thông, Khoa học máy tính làm đồ án hoặc nghiên cứu về mã độc Android và ứng dụng Machine Learning trong an ninh mạng.
  • Các kỹ sư phân tích mã độc và phát triển hệ thống bảo mật ứng dụng di động.
• Nội dung giá trị:
  • Quy trình kỹ thuật chi tiết về việc dịch ngược APK, trích xuất và chuẩn hóa 3 nhóm đặc trưng tĩnh (Permission, Opcode, API calls) bằng Androguard, Apktool và AndroPyTool.
  • Phương pháp áp dụng và so sánh các framework AutoML (TPOT và Auto-Sklearn) trong việc tối ưu hóa pipeline học máy phân loại nhị phân.
  • Mã nguồn và kiến trúc tích hợp mô hình máy học vào ứng dụng web phục vụ phân tích tệp tin thực tế.

---

Câu hỏi thường gặp

1. Khóa luận sử dụng những nhóm đặc trưng tĩnh nào từ tệp APK để huấn luyện mô hình?

Tác giả trích xuất và kết hợp 3 nhóm đặc trưng tĩnh: danh sách quyền yêu cầu trong tệp kê khai (Permissions), tần suất xuất hiện của các lệnh bytecode Dalvik (Opcodes), và danh sách các lời gọi hàm hệ thống (API calls) được chuẩn hóa qua hai tệp class_index.txt và package_index.txt.

2. Phương pháp lựa chọn đặc trưng nào được tác giả lựa chọn và mang lại kết quả ra sao?

Tác giả chọn phương pháp RFE (Recursive Feature Elimination) kết hợp với bộ ước lượng Logistic Regression (max_iter=1000). Từ tập dữ liệu gốc gồm 4.322 đặc trưng, phương pháp này đã lọc ra 2.603 đặc trưng quan trọng có thứ hạng (rank) $\ge 0.8$ với thời gian xử lý là 1879.1 giây.

3. Hai công cụ AutoML (TPOT và Auto-Sklearn) đề xuất những mô hình nào và đạt hiệu năng ra sao?

• TPOT: Đề xuất mô hình RandomForestClassifier (kết hợp StackingEstimator với GradientBoostingClassifier và bộ lọc VarianceThreshold=0.1), đạt Accuracy 0.9859 và F1-Score 0.9845.
• Auto-Sklearn: Đề xuất mô hình Gradient Boosting (kết hợp bộ tiền xử lý cân bằng weighting và lọc đặc trưng theo phân vị), đạt Accuracy 0.9847 và F1-Score 0.9831.

4. Ứng dụng web được xây dựng trong khóa luận hoạt động như thế nào khi người dùng tải lên một tệp APK?

Khi nhận tệp APK, máy chủ (chạy tại localhost:8000) tự động decompile và trích xuất vector đặc trưng dựa trên bộ từ điển 2.603 thuộc tính đã chọn trước, sau đó nạp tệp mô hình đã huấn luyện (Model.pkl) để dự đoán. Kết quả trả về giao diện gồm Tên gói (Package Name), Dung lượng tệp (File size), các chuỗi mã băm (MD5, SHA1, SHA256) và kết luận ứng dụng là benign (lành tính) hoặc malware (độc hại).

---

Kết luận

Khóa luận của tác giả Trần Quốc Phong đã xây dựng thành công giải pháp phát hiện phần mềm độc hại trên hệ điều hành Android thông qua việc kết hợp đa đặc trưng tĩnh gồm Permissions, Opcodes và API calls. Bằng cách ứng dụng kỹ thuật lựa chọn đặc trưng RFE và các nền tảng học máy tự động TPOT, Auto-Sklearn, nghiên cứu đã tối ưu hóa được pipeline phân loại đạt độ chính xác thực nghiệm trên 98.4%. Toàn bộ giải pháp đã được hiện thực hóa thành ứng dụng web hoàn chỉnh, cung cấp công cụ trực quan hỗ trợ phân tích và cảnh báo mã độc Android một cách nhanh chóng và hiệu quả.

Trích đoạn nội dung tài liệu

Đặt vấn đề Tính đến năm 2023, đã có ít nhất 13 bản phát hành chính thức của hệ điều hành di động Android ké từ bản phiên bản thương mại đầu tiên, Android 1.0, được phát hành vào ngày 23 tháng 9 năm 2008 và ngay sau đó, smartphones chạy hệ điều hành mã nguồn mở mới có mặt ở khắp mọi nơi. Bản phát hành mới nhất tính đến thời điểm hiện tại là Android 14, tuy nhiên đây chỉ là bản phát hành beta và dự kiến sẽ có phiên bản ôn định vào cuôi năm nay. Theo những dit liệu gần đây nhất cho thay Android đang thống trị thị trường điện thoại thông minh toàn cầu với 71% thị phan, tiếp theo là iOS của Apple với 28%. Những con số này có thể thay đôi theo thời gian và sự cạnh tranh trên thị trường phát triển.

Tuy nhiên, vẫn có thé thay Android đang là hệ điều hành đang được sử dụng rộng rãi nhât trên thê giới. StatCounter Global Stats Mobile Operating System Market Share Worldwide from May 2022 - May 2023 ớ 0, ` <0>, Đ Ÿ ` & ` ‘ 8 « ` 2 < $ ộ $ Sử § v S £ ° _ = ¢ Š¢ S$ & = s = © Android iOS Samsung © Unknown © KaiOS © Windows © Nokia Unknown — Other (dotted) Hình 1: Thi phan hệ diéu hành di động trên toàn thé giới Với sự phô biến rộng rãi như vậy và bản chất mã nguồn mở của các ứng dụng Android đã khiến nó trở thành mục tiêu cho các cuộc tấn công bảo mật và đe dọa nghiêm trọng đến tình toàn vẹn của của các ứng dụng Android. Nhiều kẻ tan công đã phát trién mã độc Android ngày càng tinh vi, ngày càng có nhiều biến thể của những mã độc này xuất hiện làm cho việc kiểm soát và phòng tránh trở nên khó khăn hơn bao giờ hết. Theo thống kê, hơn 50 triệu phần mềm độc hại và ứng dụng có khả năng không mong muốn (PUA) đã được xác định cho Android, điều này làm nổi bật quy mô và mức độ nghiêm trọng của van đề.

Đánh giá Bảo mật Android 2016 của Google cũng tuyên bố rằng “PHA vẫn là mối đe dọa với người dùng Android, vì những kẻ tắn công gia tăng nỗ lực lừa người dùng cài đặt các ứng dụng có khả năng gây hại”. Báo cáo về mối đe dọa trên thiết bị di động cua McAfee năm 2021 nêu bật một số Xu hướng về mối đe đọa trên thiết bị di động. Theo báo cáo, nhiều ứng dụng độc hại đã được phát hiện vào năm 2021 hơn bat kỳ năm nào trước đó. Các cuộc tan công phan mềm độc hại trên thiết bị di động đã tăng 33% so với năm trước và cách phô biến nhất dé phát tán phần mềm độc hại trên thiết bị di động là thông qua các cuộc tan công lừa dao.

Các trang lừa đảo tăng 80% so với năm trước. Về hệ điều hành di động, Android tiếp tục là nền tảng được nhắm mục tiêu nhiều nhất cho phần mềm độc hại đi động. Ngoài ra, báo cáo cho thấy phần mềm quảng cáo di động và trojan ngân hàng đặc biệt phố biến vào năm 2021. TOTAL AMOUNT OF MALWARE AND PUA UNDER ANDROID 6,000,000 5,000,000 4,000,000 3,000,000 2,000,000 2 2009 201 2011.

2012" 2013 2014 15 2016 47 2018 2019 2020 2021 2022 2023 GBB Android Malware BE Android PUA Hình 2: Sự phát triển của Android Malware/PUA Các nhà nghiên cứu đã nghiên cứu bản chât của các ứng dụng phân mêm độc hại trong những năm qua và phân loại chúng thành các họ khác nhau như: - Trojan: chúng xuất hiện dưới dang các ứng dụng lành tình và nhằm đánh cắp thông tin của người dùng. - Backdoor: chúng khai thác các đặc quyền cấp quyên root và nhăm mục đích chiếm được quyền kiểm soát thiết bị và thực hiện bất kỳ hành động nào mong muốn. - Worms: phần mềm độc hại nay tao ra các bản sao của chính nó và lây lan trên mạng của thiết bị di động. - Spyware: những phần mềm spyware được thiết kế dé giám sát thông tin bí mật của người dùng, chang hạn như tin nhắn, danh bạ, vị trí, thông tin ngân hàng,.

dẫn đến hậu quả không mong muon. - Botnet: là một mạng gồm các thiệt bị Android bị xâm nhập do một máy chủ điều khiển từ xa. - Riskwares: là các ứng dụng hợp pháp có tiềm năng gây nguy hiểm hoặc đe dọa đến tình bảo mật của hệ thống. pe Malicious Behavior (Bot ).nnnii Remote Access Trojan )‡?: -- -- -- -- --+* ** tttttr tr tttrrr er re Scareware Stealing C om p ut i n g Ei y uri r r st n ** * * ** ** * ? *r ?* 2 2 ?? ?2t” Fs Cryptominer ---------+ Hình 3: Các loại phân mêm độc hại.

Các phương pháp tiếp cận tiêu chuân đề phát hiện phần mềm độc hại có hai loại: - Phuong pháp tĩnh: với hướng tiếp cận nay, các chức năng va tính độc hại của một ứng dụng được kiểm tra bang cách disassembling và phân tích mã nguồn của nó mà không cần thực thi ứng dụng. - Phuong pháp động: ứng dụng sẽ được phân tích và kiểm tra trong quá trình thực thi có thé giúp xác định các ứng dụng không bị phát hiện bởi phân tích tĩnh do xáo trộn mã và mã hóa phân mêm độc hại. DYNAMIC ANALYSIS Executes suspected malicious code in a safe environment HYBRID ANALYSIS STATIC ANALYSIS Examines the file for signs of malicious intent Hình 4: Các phương pháp phân tích phan mém độc hại Với sự phát triển mạnh mẽ của phần mềm độc hai bằng chứng là ngày càng có nhiều biến thé của những họ phần mềm độc hai này xuất hiện dẫn đến việc ngăn chặn va phát hiện chúng ngày càng trở nên khó khăn. Tuy nhiên, với sự phát triển của các kiến trúc học sâu và các mô hình học máy như hiện nay chúng ta có thê tích hợp các mô hình này vào việc phát hiện các phần mềm độc hại trên các thiết bị Android nhằm đạt hiệu quả tốt hơn so với các phương pháp phân tích truyền thống như phân tích tĩnh và phân tích động.

Bằng cách sử dụng các mô hình này, có thể phát triển các phương pháp phát hiện tinh vi và chính xác hon dé có thể phát hiện phần mềm độc hại ngay cả khi nó chưa được biết đến hoặc nhận dạng trước đó. Ngoài ra, các mô hình này có thể học hỏi từ các mẫu phần mềm độc hại mới, liên tục cải thiện độ chính xác của việc phát hiện và cải thiện tính bảo mật trên các thiệt bị Android. | |- ee e s ése» mans) sÌ°ẽ: Deep learning algorithms ee | | +} 1 4 a aluation |ri { evmetrics | 3 Malwares ` preprocessing >| | Intelligence (Al) Artificial | i _,Ƒ TT] | l | benign Datasets ——y classification ` Machine learning algorithms Hình 5: Áp dụng ML/DL trong việc phát hiện Android Malware 1. Mục tiêu đề tài - Tim hiểu về hệ điều hành Android, những thành phan trong Android cũng như các loại mã độc thường xuất hiện trong Android.

- Tim hiểu các kỹ thuật và công cụ được sử dụng dé phân tích các mẫu phan mềm độc hại trong Android. - Tim hiểu Machine Learning, cũng như những phương pháp học máy tự động để xây dựng một mô hình phát hiện phần mềm độc hại sử dụng Machine Learning. - Thuc nghiệm va đánh giá mô hình phát hiện dựa trên những đặc trưng của một tệp tin APK như Permissions, Opcodes, API callls. Đối tường và phạm vi nghiên cứu Đối tượng nghiên cứu: - _ Những mô hình máy học được áp dụng trong việc phát hiện phần mềm độc hại trên các thiết bị Android.

Phạm vi nghiên cứu: - Nghién cứu các thuật toán máy học, các phương pháp học máy tự động và các đặc trưng được sử dụng dé xây dựng mô hình học máy từ tệp tin APK. CƠ SỞ LÝ THUYET Trong chương này, tôi xin được trình bày một số cơ sở lý thuyết về kiến thức máy học, các thuật toán máy học, hệ điều hành Android, các đặc trưng của một tệp tin APK, kỹ thuật lựa chọn đặc trưng cho các bài toán phát hiện mã độc Android, và cuối cùng là kỹ thuật lựa chọn mô hình máy học phù hợp với tập dữ liệu. Đây là kiến thức cơ bản dé xây dựng mô hình phát hiện mã độc trên nên tảng thiết bị di động. Machine Learning Machine Learning (máy học) là 1 nhánh con của trí tuệ nhân tạo (AI) và khoa học máy tính.

Machine learning sử dụng dữ liệu, thuật toán đầu vào để tự xử lý các vấn dé và liên tục tối ưu dé tao ra những phương án xử lý mới, hiệu quả hơn; giống như cách tự học của não bộ con người. Với những lợi thế mà máy học mang lại, nó có thé được áp dung trong nhiều lĩnh vực khác nhau, bao gồm cả việc phát hiện phan mềm độc hại trên các thiết bị Android. Trong đó Machine Learning có thể học các đặc trưng của các ứng dụng Android và tạo ra một mô hình phát hiện dựa trên các đặc trưng đó. Bằng cách áp dụng Machin Learning vào trong công việc phát hiện mã độc giúp tăng độ phát hiện và giảm thiêu số lượng các ứng dụng độc hại được truyền tải và cài đặt trên các thiết bị người dùng.

Đồng thời, Machine Learning cũng có khả năng điều chỉnh và cải thiện mô hình dựa trên các dữ liệu mới, giúp nâng cao độ chính xác và khả năng phát hiện trong thời gian thực. Các mô hình Machine Learning phố biến 2. Linear Regression Linear Regression là một trong những thuật toán co bản nhất va đơn giản nhất trong Machine Learning. Day là một thuật toán học có giám sát (Supervised learning).

Linear Regression giả định rằng mối quan giữa biến đầu vào và đầu ra có thể được biểu diễn bằng một đường thắng. Mô hình Linear Regression có công thức chung y = Do + bịxi + box. +++ bạx„, trong đó y là giá trị đầu ra, x¡, xạ, ., x„ là các biến đầu vào, và bạ, b, ., Dy là các hệ số (hay trọng số) của mô hình. Mục tiêu là tìm ra các giá trị tối ưu cho các hệ số bạ, b, ., by sao cho mô hình hợp lý nhất.

Các mô hình Linear Regression thường được điều chỉnh bằng sử dụng phương pháp bình phương nhỏ nhất (Least Squares) nhưng chúng cũng có thể được điều chỉnh theo những cách khác. x Hinh 6: Vi du Linear Regression 2. Decision Trees Decision Trees (hay cây quyết định) là một những thuật toán học có giám sát trong Machine Learning. Không giống như các thuật toán học có giám sát khác, Decision Trees có thê được sử dụng dé giải quyết các bài toán hồi quy (regression) va phân loại (classification).