Nghiên Cứu Về Phát Hiện Sự Tương Đồng Trong Mã Nhị Phân Sử Dụng Mô Hình Ngôn Ngữ Và Mạng Nơ-Ron Sâu

Luận văn tốt nghiệp nghiên cứu tốt nghiệp an toàn thông tin nghiên cứu phương pháp phát hiện sự tương đồng mã nhị phân của chương, điều tra thực trạng, phân tích số liệu, đề xuất

• Tác giả: Nguyễn Phúc Hải
• Người hướng dẫn: ThS. Ngô Khánh Khoa
• Trường học: Đại học Quốc gia Hồ Chí Minh
• Chuyên ngành: Ngành An toàn thông tin
• Đề tài: Nghiên Cứu Phát Hiện Sự Tương Đồng Trong Mã Nhị Phân Sử Dụng Mô Hình Ngôn Ngữ Và Mạng Nơ-Ron Sâu
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu vấn đề
• 1.2. Các nghiên cứu liên quan
• 1.3. Tính ứng dụng
• 1.4. Những thách thức
• 1.5. Mục tiêu, đối tượng, và phạm vi nghiên cứu
• 1.5.1. Mục tiêu nghiên cứu
• 1.5.2. Đối tượng nghiên cứu
• 1.5.3. Phạm vi nghiên cứu
• 1.6. Cấu trúc của khóa luận tốt nghiệp
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ KIẾN THỨC NỀN TẢNG
• 2.1. Các thành phần liên quan đến tập tin nhị phân
• 2.2. Chức năng - Function
• 2.3. Biểu đồ luồng điều khiển - Control flow graph
• 2.4. Biểu diễn trung gian - Intermediate Representation
• 2.4.1. Vex Intermediate Representation (Vex-IR)
• 2.4.2. Đặc điểm và cấu trúc của Vex-IR
• 2.5. Một số thành phần chính của mạng nơ-ron
• 2.5.1. Một số kiến thức khác
• 2.5.2. Một số kiến trúc mạng nơ-ron phổ biến trong lĩnh vực
• 2.6. Phương pháp học trong học sâu
• 2.7. Các ứng dụng của việc sử dụng phương pháp phát hiện sự tương đồng trong mã nhị phân
• 3. CHƯƠNG 3: TỔNG QUAN VỀ BINSHOO
• 3.1. Định nghĩa vấn đề
• 3.2. Binshoo - Phương pháp phát hiện sự tương đồng trong mã nhị phân dựa trên học sâu
• 3.2.1. Trích xuất các function
• 3.2.2. Chuyển đổi các chức năng nhị phân sang vector để đưa vào mô hình học máy
• 3.2.3. Lựa chọn mô hình học máy
• 3.2.3.1. Phân loại One-to-one
• 3.2.3.2. Phân loại One-to-many
• 4. CHƯƠNG 4: THÍ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Thiết lập
• 4.1.1. Cài đặt môi trường
• 4.1.2. Các thông số của mô hình học sâu
• 4.2. Quá trình tạo tập dữ liệu huấn luyện
• 4.3. Hiệu quả của việc cải tiến phương pháp chuyển đổi vector Proc2vec+ so với nguyên mẫu Proc2vec được giới thiệu bởi Zeek
• 4.4. Tập dữ liệu đánh giá
• 4.5. So sánh độ hiệu quả giữa mô hình học máy của Binshoo với các mô hình học máy khác CNN, LSTM, CNN+LSTM, CNN+GRU
• 4.5.1. Kiến trúc của mô hình CNN
• 4.5.2. Kiến trúc của mô hình LSTM
• 4.5.3. Kiến trúc của mô hình CNN+GRU
• 4.5.4. Kiến trúc của mô hình CNN+LSTM
• 4.5.6. Kiến trúc của mô hình Zeek
• 4.5.7. Kiến trúc học máy của mô hình Binshoo
• 4.6. So sánh độ hiệu quả giữa mô hình học máy của Binshoo và mô hình học máy BERT
• 4.6.1. Tập dữ liệu đánh giá
• 4.7. So sánh độ hiệu quả giữa công cụ Binshoo và công cụ Bindeep
• 4.7.1. Tập dữ liệu đánh giá
• 5. CHƯƠNG 5: KẾT LUẬN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Phát Hiện Sự Tương Đồng Trong Mã Nhị Phân

Nghiên cứu phát hiện sự tương đồng trong mã nhị phân là một lĩnh vực quan trọng trong an ninh mạng và phân tích phần mềm. Việc phát hiện này không chỉ giúp nhận diện mã độc mà còn hỗ trợ trong việc tối ưu hóa mã nguồn. Các phương pháp truyền thống thường gặp khó khăn trong việc xử lý mã nhị phân phức tạp. Do đó, việc áp dụng các mô hình học sâu và mô hình ngôn ngữ trở thành xu hướng mới trong nghiên cứu này.

1.1. Định Nghĩa Về Phát Hiện Sự Tương Đồng Trong Mã Nhị Phân

Phát hiện sự tương đồng trong mã nhị phân là quá trình so sánh các đoạn mã nhị phân để xác định mức độ tương đồng giữa chúng. Điều này có thể áp dụng trong nhiều lĩnh vực như phát hiện mã độc và phân tích bảo mật.

1.2. Tầm Quan Trọng Của Nghiên Cứu Này

Nghiên cứu này có ý nghĩa quan trọng trong việc bảo vệ hệ thống thông tin. Nó giúp phát hiện các lỗ hổng bảo mật và tối ưu hóa mã nguồn, từ đó nâng cao hiệu quả bảo mật cho các ứng dụng.

II. Những Thách Thức Trong Phát Hiện Sự Tương Đồng Mã Nhị Phân

Việc phát hiện sự tương đồng trong mã nhị phân đối mặt với nhiều thách thức. Sự đa dạng của mã nhị phân và cấu trúc phức tạp của chúng làm cho quá trình này trở nên khó khăn. Hơn nữa, hiệu suất và tốc độ xử lý cũng là những yếu tố cần được xem xét.

2.1. Sự Đa Dạng Của Mã Nhị Phân

Mã nhị phân có thể có nhiều đặc điểm khác nhau, từ các chương trình nhỏ đến các ứng dụng phức tạp. Điều này yêu cầu khả năng xử lý linh hoạt để phát hiện sự tương đồng.

2.2. Cấu Trúc Phức Tạp Của Mã Nhị Phân

Cấu trúc của mã nhị phân thường rất phức tạp với nhiều khối mã và hàm. Việc phân tích và so sánh chúng đòi hỏi nhiều tài nguyên tính toán và bộ nhớ.

III. Phương Pháp Phát Hiện Sự Tương Đồng Trong Mã Nhị Phân

Các phương pháp hiện đại trong phát hiện sự tương đồng mã nhị phân thường dựa trên học sâu và mô hình ngôn ngữ. Những phương pháp này cho thấy hiệu quả cao hơn so với các phương pháp truyền thống, đặc biệt trong việc xử lý mã nhị phân đã được mã hóa hoặc biến đổi.

3.1. Sử Dụng Mô Hình Ngôn Ngữ Trong Phát Hiện

Mô hình ngôn ngữ giúp cải thiện khả năng phát hiện sự tương đồng bằng cách học các đặc điểm của mã nhị phân. Điều này cho phép phát hiện các tương đồng ngay cả khi mã đã được biến đổi.

3.2. Ứng Dụng Mạng Nơ Ron Sâu

Mạng nơ-ron sâu cung cấp khả năng học tập mạnh mẽ, cho phép phát hiện sự tương đồng giữa các mã nhị phân phức tạp. Các mô hình như CNN và RNN đã được áp dụng thành công trong lĩnh vực này.

IV. Ứng Dụng Thực Tiễn Của Nghiên Cứu

Nghiên cứu này có nhiều ứng dụng thực tiễn trong an ninh mạng và phân tích phần mềm. Việc phát hiện sự tương đồng trong mã nhị phân có thể giúp nhận diện mã độc và tối ưu hóa mã nguồn, từ đó nâng cao hiệu quả bảo mật.

4.1. Phát Hiện Mã Độc

Phát hiện sự tương đồng trong mã nhị phân giúp nhận diện các phần mềm độc hại đã được chỉnh sửa từ mã nguồn khác. Điều này hỗ trợ trong việc ngăn chặn các cuộc tấn công mạng.

4.2. Tối Ưu Hóa Mã Nguồn

Các nhà phát triển có thể sử dụng kỹ thuật này để tìm kiếm các đoạn mã trùng lặp, từ đó tối ưu hóa mã nguồn và giảm thiểu rủi ro bảo mật.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nghiên cứu phát hiện sự tương đồng trong mã nhị phân đang ngày càng trở nên quan trọng. Các phương pháp học sâu cho thấy hiệu quả vượt trội so với các phương pháp truyền thống. Hướng phát triển tương lai có thể tập trung vào việc cải thiện độ chính xác và tốc độ xử lý.

5.1. Cải Thiện Độ Chính Xác

Cần nghiên cứu thêm để cải thiện độ chính xác của các phương pháp phát hiện sự tương đồng, đặc biệt trong các trường hợp mã nhị phân phức tạp.

5.2. Tăng Tốc Độ Xử Lý

Tăng tốc độ xử lý là một yếu tố quan trọng để ứng dụng các phương pháp này vào thực tiễn, đặc biệt trong các hệ thống yêu cầu thời gian thực.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Phát hiện sự tương đồng trong mã nhị phân (Binary Code Similarity Detection - BCSD) là bài toán nhận đầu vào là biểu diễn nhị phân của các cặp hàm hoặc chương trình và tính toán giá trị số thể hiện mức độ tương đồng giữa chúng. Kỹ thuật này đóng vai trò thiết yếu trong nhiều lĩnh vực an toàn thông tin và kỹ thuật phần mềm thực tiễn:

• Trong an ninh mạng: Hỗ trợ phân tích mã độc và phát hiện các biến thể phần mềm độc hại được chỉnh sửa hoặc tái sử dụng từ các đoạn mã nguy hiểm đã biết trước đó.
• Trong phân tích và bảo mật phần mềm: Hỗ trợ rà soát lỗ hổng bảo mật đã biết (CVE), phân tích các bản vá lỗi (patch analysis), phát hiện hành vi sao chép trái phép hoặc đạo văn phần mềm, cũng như tối ưu hóa mã nguồn.
• Trong kỹ thuật dịch ngược: Giúp phục hồi mã nguồn và hỗ trợ quá trình kiểm thử phần mềm thông qua việc đối chiếu các hàm nghi ngờ với các mẫu đã được kiểm chứng.

Tuy nhiên, bài toán này đối mặt với nhiều thách thức lớn:

• Sự đa dạng và độ phức tạp cao của các tập tin nhị phân trên nhiều hệ điều hành (Windows, Linux) và kiến trúc phần cứng khác nhau (x86, ARM, MIPS).
• Mã nhị phân biên dịch từ cùng một mã nguồn gốc có thể biến đổi rất lớn khi sử dụng các trình biên dịch khác nhau, mức độ tối ưu hóa khác nhau (O0, O1, O2, O3, Os) hoặc các tùy chọn biên dịch khác nhau.
• Các phương pháp truyền thống chủ yếu dựa trên so sánh cú pháp và đối sánh đồ thị luồng điều khiển (Control Flow Graph - CFG) gặp phải hai hạn chế cốt lõi: tính không ổn định (CFG dễ bị xáo trộn do tối ưu hóa đường đi hoặc do công cụ decompiler trích xuất khác nhau) và chi phí tính toán cao (việc xây dựng và so sánh đồ thị tiêu tốn nhiều thời gian và bộ nhớ).

Để giải quyết các thách thức trên, khóa luận xác định các mục tiêu, đối tượng và phạm vi nghiên cứu cụ thể:

1. Mục tiêu nghiên cứu:
   • Sử dụng ứng dụng của học sâu để xây dựng và phát triển phương pháp phát hiện sự tương đồng trong mã nhị phân thông qua quá trình chuyển đổi các chức năng nhị phân thành vector.
2. Đối tượng nghiên cứu:
   • Các thành phần liên quan đến tập tin nhị phân (Function, Basic block, Control Flow Graph, Strand).
   • Biểu diễn trung gian (Intermediate Representation - VEX-IR).
   • Phương pháp chuyển đổi từ bytecode sang vector: Proc2vec và phiên bản cải tiến Proc2vec+.
   • Mô hình học sâu phát hiện sự tương đồng mã nhị phân Binshoo.
3. Phạm vi nghiên cứu:
   • Trích xuất ngữ nghĩa và thuộc tính của các chức năng nhị phân thông qua quá trình chuyển đổi các chức năng nhị phân thành vector bằng phương pháp Proc2vec cải tiến (Proc2vec+).
   • Thực hiện kết hợp và xây dựng mô hình phát hiện sự tương đồng trong mã nhị phân mới (Binshoo) dựa trên các kiến trúc học sâu đã biết.
   • Thực hiện đánh giá thực nghiệm khả năng phát hiện sự tương đồng của phương pháp trên các tập dữ liệu chuẩn.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng giải pháp dựa trên nền tảng lý thuyết phân tích chương trình nhị phân và các kiến trúc học sâu:

• Thành phần mã nhị phân:
  • Chức năng (Function): Tập hợp các câu lệnh máy được biên dịch từ hàm nguồn, có ngữ nghĩa hoàn chỉnh và gắn liền với một CFG biểu diễn luồng thực thi.
  • Khối cơ bản (Basic block): Chuỗi các lệnh máy liên tiếp có một điểm vào và một điểm ra duy nhất.
  • Phân đoạn (Strand): Tập hợp các câu lệnh có liên quan chặt chẽ về dữ liệu, tạo thành chuỗi thực hiện một nhiệm vụ tính toán cụ thể bên trong khối cơ bản. Việc phân rã khối cơ bản thành các strand giúp chia nhỏ ngữ nghĩa, giảm thiểu sự sai lệch khi tính toán giá trị băm so với việc giữ nguyên toàn bộ khối.
• Biểu diễn trung gian VEX-IR: Biểu diễn trung gian cấp thấp từ dự án Valgrind (sử dụng framework angr và thư viện pyvex). VEX-IR có tính chất độc lập kiến trúc phần cứng, chuẩn hóa các tập lệnh CPU khác nhau về một cấu trúc thống nhất là IRSB (IR Super Block), bao gồm các câu lệnh IRStmt (như WrTmp, Put Register, Store Memory, Exit) và biểu thức IRExpr (như Constant, RdTmp, Get Register, Load Memory, Operation, ITE).
• Công cụ dịch ngược: Khóa luận sử dụng IDA Pro cùng IDA Python API để tự động hóa việc mở file thực thi, định vị địa chỉ bắt đầu - kết thúc của các hàm và trích xuất bytecode.
• Lý thuyết học máy và học sâu: Áp dụng các khái niệm về mạng nơ-ron đa lớp, quá trình lan truyền thuận (forward propagation), lan truyền ngược (backpropagation), các hàm kích hoạt (ReLU, Leaky ReLU, Sigmoid, Tanh, Softmax), hàm mất mát (Cross-Entropy, Categorical Cross-Entropy), và ma trận nhầm lẫn (Confusion Matrix). Tác giả tổng hợp các kiến trúc nền tảng gồm CNN, RNN (LSTM, GRU), Siamese Neural Network, GAN và các mô hình lai kết hợp CNN với RNN/LSTM/GRU.
• Phương pháp nghiên cứu thực nghiệm: Phân tích tĩnh kết hợp tối ưu hóa mã trung gian, mã hóa đặc trưng bằng hàm băm MD5, xây dựng cặp vector huấn luyện và đánh giá trên mô hình mạng Siamese.
• Nguồn dữ liệu: Sử dụng bộ dữ liệu chuẩn BinaryCorp (gồm BinaryCorp-3M và BinaryCorp-26M) với các thông số trích xuất được tác giả thống kê như sau:

Bộ dữ liệu	Tập dữ liệu	Số lượng dự án	Số lượng tệp nhị phân	Số lượng hàm
BinaryCorp-3M	Train	1.612	8.357	3.126.367
BinaryCorp-3M	Test	354	1.908	444.574
BinaryCorp-26M	Train	7.845	38.455	21.085.338
BinaryCorp-26M	Test	1.974	9.675	4.791.673

Thiết kế và triển khai phương pháp Binshoo

Hệ thống Binshoo được thiết kế nhằm tự động hóa quy trình từ mã nhị phân thô đến kết quả đánh giá độ tương đồng, chia thành ba giai đoạn chính:

1. Trích xuất hàm và chuyển đổi trung gian

Sử dụng IDA Pro kết hợp IDA Python API để đọc tệp nhị phân mục tiêu, xác định ranh giới các hàm và trích xuất chuỗi bytecode. Chuỗi bytecode của từng hàm được chuyển đổi sang biểu diễn trung gian VEX-IR bằng thư viện pyvex nhằm loại bỏ sự phụ thuộc vào kiến trúc phần cứng gốc.

2. Phương pháp Proc2vec+ (Chuyển đổi bytecode thành vector)

Phương pháp Proc2vec+ được phát triển dựa trên nguyên mẫu Proc2vec của Zeek, bổ sung thêm các kỹ thuật tối ưu hóa mã tĩnh. Quy trình gồm các bước:

• Trích xuất Strand: Áp dụng thuật toán phân tích phụ thuộc dữ liệu định nghĩa - sử dụng (Def-Ref). Thuật toán duyệt qua danh sách các câu lệnh trong khối cơ bản, xác định các biến cần thiết (needed = Def(bb[i]) ∩ used) để gom nhóm thành các strand hoàn chỉnh.
• Tối ưu hóa mã VEX-IR:
  • Copy propagation: Loại bỏ các phép gán biến trung gian không cần thiết. Thao tác này chỉ áp dụng khi câu lệnh thỏa mãn đồng thời: độ dài dưới 10 ký tự, chứa đúng 2 biến (1 biến định nghĩa def và 1 biến tham chiếu ref).
  • Dead code elimination: Loại bỏ các câu lệnh rác không làm thay đổi ngữ nghĩa hoặc không ảnh hưởng đến trạng thái cuối cùng của hàm.
  • Normalize: Đặt lại tên các biến tạm thời do VEX-IR sinh ra (t0, t1, t2,...) theo thứ tự xuất hiện tuyến tính để chuẩn hóa cú pháp giữa các hàm tương đồng.
  • Inlining: Thay thế lời gọi hàm bằng nội dung mã thực tế của hàm con nhằm tối ưu không gian thanh ghi và ngữ cảnh thực thi.
  • Constant Folding: Tính toán trước giá trị của các phép toán trên hằng số ngay trong giai đoạn tiền xử lý thay vì chờ lúc thực thi.
• Vector hóa: Từng strand sau khi chuẩn hóa được băm bằng thuật toán MD5 để tạo ra các giá trị số nguyên. Duyệt qua danh sách số nguyên này để tăng trọng số tại vị trí chỉ số tương ứng trong vector đặc trưng của hàm.

3. Mô hình học sâu Siamese Neural Network và phương pháp đánh giá

• Tạo tập dữ liệu cặp vector:
  • Cặp tương đồng (nhãn 1): Hai vector trích xuất từ hai hàm nhị phân có cùng mã nguồn gốc nhưng biên dịch ở các cờ tối ưu hóa khác nhau.
  • Cặp không tương đồng (nhãn 0): Hai vector trích xuất từ hai hàm có mã nguồn gốc khác nhau.
• Kiến trúc mô hình: Sử dụng kiến trúc Siamese Neural Network gồm các nhánh mạng con đồng nhất tiếp nhận cặp vector đầu vào, trích xuất đặc trưng bậc cao và tính toán điểm tương đồng thông qua hàm mất mát chuyên biệt.
• Cơ chế đánh giá:
  • Bài toán One-to-one: Đánh giá khả năng phân loại nhị phân giữa hai hàm dựa trên ma trận nhầm lẫn (True Positive - TP, False Positive - FP, True Negative - TN, False Negative - FN).
  • Bài toán One-to-many: Với một hàm nguồn, mô hình xếp hạng danh sách các hàm đích trong một nhóm (pool) theo độ tương đồng giảm dần. Đánh giá chất lượng xếp hạng thông qua hai chỉ số: Mean Reciprocal Rank (MRR) và tỷ lệ xếp hạng chính xác ở vị trí đầu tiên (Recall@1).

Nội dung chính theo từng chương

Chương 1. Tổng quan

• Giới thiệu bản chất bài toán phát hiện sự tương đồng mã nhị phân và tầm quan trọng trong an ninh thông tin.
• Tổng hợp và phân tích ưu - nhược điểm của các công trình tiền nhiệm:
  • Order Matters (Zeping Yu và cộng sự): Kết hợp mô hình ngôn ngữ BERT và mạng đồ thị GNN, dùng CNN trên ma trận kề nhưng tiêu tốn tài nguyên tính toán lớn do kích thước tham số của BERT.
  • Zeek (Shalev và cộng sự): Sử dụng biểu diễn VEX-IR, phân tích luồng dữ liệu và mạng nơ-ron hai lớp, vượt trội hơn công cụ GitZ về tốc độ và hiệu quả.
  • SAFE (Luca và cộng sự): Ứng dụng kỹ thuật xử lý ngôn ngữ tự nhiên để so sánh mã nhị phân liên kiến trúc.
  • BinDeep (Donghai Tian và cộng sự, 2020): Mô hình kết hợp CNN và LSTM dưới dạng mạng Siamese, sử dụng nhúng chuỗi lệnh và phân loại hàm trước khi so sánh.
  • jTrans / kTrans (Hao Wang và cộng sự, 2022): Điều chỉnh kiến trúc Transformer để tích hợp thông tin luồng điều khiển CFG.
• Xác định mục tiêu, đối tượng, phạm vi nghiên cứu và bố cục tổng thể của khóa luận.

Chương 2. Cơ sở lý thuyết

• Phân tích chi tiết các khái niệm nền tảng trong tệp nhị phân: Function, Basic block, Control Flow Graph (CFG) và Strand.
• Trình bày vai trò và ứng dụng của công cụ dịch ngược IDA Pro cùng giao diện lập trình IDA Python API trong việc phân tích ngược và trích xuất thông tin tệp thực thi.
• Giới thiệu cấu trúc của ngôn ngữ trung gian VEX-IR: Cấu trúc khối IRSB, bảng phân loại các biểu thức IRExpr (Constant, RdTmp, Get, Load, Operation, ITE, Helper Function) và các câu lệnh IRStmt (WrTmp, Put, Store, Exit).
• Trình bày hệ thống lý thuyết học sâu: Cấu trúc các lớp mạng (Input, Hidden, Output), các hiện tượng Overfitting và Underfitting, thuật toán lan truyền thuận và lan truyền ngược, các hàm kích hoạt (Sigmoid, Tanh, ReLU, Leaky ReLU, Softmax), hàm mất mát (Cross-Entropy), các siêu tham số (Batch size, Epoch) và ma trận nhầm lẫn.
• Khảo sát các kiến trúc mạng nơ-ron: CNN, RNN, LSTM, Siamese Neural Network, GAN và mô hình lai kết hợp CNN - RNN.
• Nêu các ứng dụng thực tiễn của bài toán BCSD: Phân tích mã độc, phát hiện đạo văn phần mềm, phục hồi mã nguồn và kiểm thử bảo mật.

Chương 3. Tổng quan về Binshoo

• Định nghĩa ba dạng bài toán phát hiện tương đồng: One-to-one (so sánh từng cặp hàm), One-to-many (tìm hàm nguồn trong tập hàm đích) và Many-to-many (phân cụm nhiều hàm). Khóa luận tập trung trực tiếp vào bài toán One-to-one và One-to-many.
• Trình bày kiến trúc tổng thể của công cụ Binshoo và quy trình trích xuất hàm tự động bằng IDA Pro.
• Chi tiết hóa phương pháp trích xuất Strand dựa trên phân tích tập biến định nghĩa - sử dụng qua mã giả thuật toán.
• Thiết kế phương pháp Proc2vec+ với 5 kỹ thuật tối ưu hóa mã trung gian: Copy propagation (với điều kiện ràng buộc cụ thể), Dead code elimination, Normalize biến tạm, Inlining và Constant Folding.
• Thiết kế quy trình mã hóa strand thành vector thông qua hàm băm MD5 và xây dựng kiến trúc mạng Siamese Neural Network để tính toán điểm tương đồng.
• Trình bày công thức và phương pháp đánh giá thực nghiệm bằng Confusion Matrix (TP, FP, TN, FN), MRR và Recall@1.

Chương 4. Thí nghiệm và đánh giá

• Thiết lập môi trường thực nghiệm và định cấu hình các siêu tham số cho các mô hình học sâu.
• Trình bày quy trình chuẩn bị tập dữ liệu huấn luyện và kiểm thử từ các dự án nhị phân được biên dịch với các mức tối ưu hóa khác nhau.
• Thực hiện chuỗi thực nghiệm so sánh đa chiều:
  • Đánh giá hiệu quả cải tiến của phương pháp Proc2vec+ so với nguyên mẫu Proc2vec của Zeek.
  • So sánh độ chính xác và hiệu năng của mô hình Binshoo với các kiến trúc học sâu đơn lẻ và kết hợp: CNN, LSTM, CNN+GRU, CNN+LSTM và mô hình nguyên bản của Zeek.
  • So sánh hiệu quả giữa mô hình học sâu của Binshoo và mô hình dựa trên Transformer là BERT (đánh giá trên kịch bản One-to-many với kích thước tập đích poolsize = 10).
  • So sánh tổng thể công cụ Binshoo với công cụ học sâu BinDeep (đánh giá trên kịch bản One-to-many với kích thước tập đích poolsize = 10).
  • Phân tích chi tiết ma trận nhầm lẫn (Confusion Matrix) với 4 chỉ số TP, FP, TN, FN của mô hình Binshoo.

Chương 5. Kết luận

• Tổng kết các kết quả đạt được của khóa luận trong việc xây dựng phương pháp Proc2vec+ và công cụ Binshoo.
• Đề xuất các hướng phát triển tiếp theo của đề tài.

Kết quả và đóng góp

Khóa luận đạt được các kết quả kỹ thuật và đóng góp học thuật cụ thể:

• Đóng góp về phương pháp luận tiền xử lý: Cải tiến thành công phương pháp biểu diễn mã nhị phân Proc2vec thành Proc2vec+ thông qua việc tích hợp hai kỹ thuật tối ưu hóa mã trung gian là Inlining và Constant Folding, kết hợp chặt chẽ với Copy propagation, Dead code elimination và Normalize. Việc chuyển đổi qua VEX-IR và phân rã thành đơn vị Strand giúp hạn chế tối đa việc hiểu sai ngữ nghĩa do sự khác biệt nhỏ ở mức lệnh.
• Tự động hóa quy trình phân tích: Xây dựng quy trình tự động hoàn chỉnh từ khâu trích xuất bytecode bằng IDA Python API, xử lý trung gian VEX-IR bằng thư viện pyvex, mã hóa vector bằng hàm băm MD5 cho đến tạo cặp dữ liệu huấn luyện.
• Đóng góp về mô hình học máy: Thiết kế và huấn luyện thành công mô hình mạng học sâu Binshoo dựa trên kiến trúc mạng Siamese, cho phép tính toán độ tương đồng giữa các hàm nhị phân biên dịch từ các mức tối ưu hóa khác nhau.
• Kết quả thực nghiệm đối sánh:
  • Chứng minh sự vượt trội của phương pháp biểu diễn Proc2vec+ so với phương pháp gốc Proc2vec của Zeek.
  • So sánh thực nghiệm chi tiết giữa Binshoo với các kiến trúc CNN, LSTM, CNN+GRU, CNN+LSTM và Zeek, chứng minh tính hiệu quả của cấu trúc mạng đề xuất.
  • Đánh giá khả năng xếp hạng One-to-many (poolsize = 10) đối chiếu trực tiếp với mô hình BERT và công cụ BinDeep, xác thực khả năng ứng dụng thực tế của công cụ.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung văn bản khóa luận:

• Hạn chế:
  • Phương pháp phân tích hoàn toàn dựa trên kỹ thuật phân tích tĩnh thông qua dịch ngược sang VEX-IR, phụ thuộc vào chất lượng trích xuất ranh giới hàm của công cụ IDA Pro.
  • Mô hình học sâu chủ yếu tập trung vào phân loại nhị phân cặp hàm (One-to-one) và giải quyết bài toán One-to-many ở quy mô nhóm hàm cố định (poolsize = 10), chưa mở rộng đánh giá ở các kịch bản không gian tìm kiếm cực lớn.
  • Quá trình chuyển đổi và tối ưu hóa VEX-IR trên các tệp nhị phân có kích thước rất lớn vẫn tiêu tốn thời gian xử lý ban đầu.
• Hướng phát triển:
  • Mở rộng phạm vi đánh giá trên nhiều kiến trúc vi xử lý khác nhau (MIPS, ARM) và các trình biên dịch khác nhau ngoài các tập mẫu hiện tại.
  • Tối ưu hóa hiệu năng tính toán của thuật toán trích xuất strand và quy trình chuẩn hóa VEX-IR nhằm tăng tốc độ xử lý đối với các phần mềm quy mô lớn.
  • Nghiên cứu mở rộng khả năng giải quyết toàn diện bài toán Many-to-many trên các kho mã nhị phân lớn phục vụ phát hiện mã độc quy mô công nghiệp.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị học thuật và kỹ thuật đối với:

• Sinh viên, học viên chuyên ngành An toàn thông tin, Mạng máy tính và Kỹ thuật phần mềm: Cung cấp tài liệu thực tế về phương pháp áp dụng học sâu vào an toàn thông tin, đặc biệt là kỹ thuật trích xuất ngữ nghĩa mã máy.
• Người nghiên cứu về kỹ thuật dịch ngược (Reverse Engineering) và phân tích mã độc (Malware Analysis): Cung cấp hướng dẫn chi tiết về việc sử dụng IDA Python API để tự động hóa IDA Pro, cách thức hoạt động của biểu diễn trung gian VEX-IR và thuật toán trích xuất strand từ khối cơ bản.
• Các nhà nghiên cứu phát triển mô hình BCSD: Giá trị tham khảo nằm ở phương pháp tối ưu hóa tĩnh Proc2vec+ (Copy propagation, Dead code elimination, Normalize, Inlining, Constant folding) kết hợp hàm băm MD5 và kiến trúc mạng Siamese Neural Network trong bài toán so sánh độ tương đồng.

Câu hỏi thường gặp

1. Tại sao tác giả lại sử dụng đơn vị "Strand" thay vì giữ nguyên "Basic Block" khi trích xuất ngữ nghĩa mã nhị phân?

Tác giả đánh giá Basic Block là đơn vị chưa đủ nhỏ để phản ánh ngữ nghĩa chi tiết. Nếu sử dụng cả Basic Block, chỉ một thay đổi nhỏ của một câu lệnh bên trong (do tối ưu hóa biên dịch) cũng sẽ làm thay đổi hoàn toàn giá trị băm MD5 của toàn bộ khối, khiến mô hình hiểu sai ngữ nghĩa. Khi chia nhỏ Basic Block thành các Strand (tập hợp các câu lệnh có quan hệ phụ thuộc dữ liệu trực tiếp), ngữ nghĩa chỉ bị thay đổi cục bộ ở một strand nhỏ chứa câu lệnh đó, giúp bảo toàn tính tương đồng ngữ nghĩa của phần còn lại.

2. Kỹ thuật Proc2vec+ có điểm gì cải tiến so với phương pháp Proc2vec nguyên mẫu của Zeek?

Proc2vec+ kế thừa nền tảng của Zeek (chuyển đổi bytecode sang VEX-IR, trích xuất strand và dùng hàm băm MD5), nhưng được bổ sung thêm hai kỹ thuật tối ưu hóa mã quan trọng là Inlining (thay thế lời gọi hàm bằng nội dung hàm) và Constant Folding (tính toán trước các giá trị hằng số ngay lúc biên dịch/phân tích). Ngoài ra, quy trình còn kết hợp chặt chẽ với Copy propagation, Dead code elimination và Normalize để giảm thiểu nhiễu và làm sạch mã trung gian trước khi vector hóa.

3. Kỹ thuật Copy propagation trong giai đoạn xử lý VEX-IR đòi hỏi những điều kiện cụ thể nào để được áp dụng?

Theo quy định thuật toán trong khóa luận, một câu lệnh VEX-IR chỉ được thực hiện Copy propagation khi thỏa mãn đồng thời ba điều kiện nghiêm ngặt:

• Câu lệnh phải có độ dài nhỏ hơn 10 ký tự.
• Câu lệnh phải chứa chính xác 2 biến.
• Biến thứ nhất phải là biến được định nghĩa (def - biến được gán giá trị) và biến thứ hai phải là biến tham chiếu (ref - biến cung cấp giá trị sử dụng).

4. Khóa luận phân loại bài toán phát hiện sự tương đồng mã nhị phân thành những dạng nào và mô hình Binshoo giải quyết dạng nào?

Khóa luận chia bài toán thành ba dạng: One-to-one (tính điểm tương đồng giữa hai hàm bất kỳ), One-to-many (tìm và xếp hạng hàm tương đồng nhất từ một tập hợp hàm đích) và Many-to-many (phân cụm nhiều nhóm hàm). Mô hình Binshoo được huấn luyện chính trên bài toán One-to-one, đồng thời mở rộng để giải quyết hiệu quả bài toán One-to-many bằng cách so sánh hàm nguồn lần lượt với từng hàm trong nhóm đích rồi xếp hạng.

5. Trong chương thí nghiệm, Binshoo được đối sánh với các mô hình và công cụ cụ thể nào?

Khóa luận thực hiện đối sánh Binshoo với:

• Phương pháp trích xuất vector: So sánh Proc2vec+ với Proc2vec của Zeek.
• Các kiến trúc học sâu cơ sở: CNN, LSTM, CNN+GRU, CNN+LSTM và mô hình hai lớp nơ-ron của Zeek.
• Mô hình ngôn ngữ lớn dựa trên Transformer: So sánh với BERT (trên bài toán One-to-many với poolsize = 10).
• Công cụ học sâu chuyên dụng: So sánh với công cụ BinDeep của Donghai Tian và cộng sự (cũng trên kịch bản poolsize = 10).

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Phúc Hải đã nghiên cứu và phát triển thành công giải pháp phát hiện sự tương đồng trong mã nhị phân mang tên Binshoo, giải quyết các hạn chế về tính không ổn định và chi phí tính toán của các phương pháp CFG truyền thống. Đề tài đóng góp phương pháp biểu diễn mã trung gian cải tiến Proc2vec+, kết hợp ngôn ngữ VEX-IR, kỹ thuật phân đoạn Strand, các phép tối ưu hóa mã tĩnh và hàm băm MD5 để vector hóa ngữ nghĩa hàm nhị phân. Thông qua kiến trúc mạng Siamese Neural Network và các thực nghiệm đối sánh toàn diện với Zeek, BERT, BinDeep cùng nhiều mô hình nơ-ron khác trên bộ dữ liệu BinaryCorp, công trình đã chứng minh tính khả thi, hiệu quả kỹ thuật và giá trị ứng dụng cao trong phân tích mã độc và an toàn phần mềm.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về đề tài của khóa luận tốt nghiệp và những nghiên cứu có liên quan trước đó. e Chương 2: Trình bay cơ sở lý thuyết và những kiến thức nền tang phục vụ cho khóa luận. e Chương 3: Trình bày phương pháp phát hiên sự tương đồng trong mã nhị phân mà chúng tôi da nghiên cứu. e Chương 4: Trình bày các thí nghiệm và đánh giá.

e Chương 5: Kết luận và hướng phát triển của đề tài. CƠ SỞ LÝ THUYET Trong chương này chúng tôi sẽ trình bày các cơ sở lý thuyết liên quan của đề tài: Bao gồm các thành phần liên quan đến tập tin nhị phân, ngôn ngữ biểu điễn trung gian (Intermediate representation) và mô hình học sâu. Các thành phần liên quan đến tập tin nhị phân 2. Chức năng - Function Trong nghiên cứu này, chúng tôi đề cập đến một hàm là một danh sách các câu lệnh (Instructions) được sắp xếp trong các tập tin nhị phân, và chúng được biên dịch từ một hàm mã nguồn.

Do đó, nó có ngữ nghĩa cụ thể. Hơn nữa một chức năng có biểu đồ luồng điều khiển (Control-flow-graph) dùng để biểu thị thông tin luồng thực thi của nó (Tương tự như hình 2. La: ' Li: ¡ mov P8, [rbp] ! mov P8, [rbp] ' emp hai, rax ' cmp [rbp], rax ti; jz L3 | call exaae3te ‘Ta: L3: edd L4 h ee add rax, rdi 1 add rax, rdi ' call 0x4ee3fe eee i; L[_ imp ta jmp L5 ï jmp L5 ' tla: | add rax, 3 La:add rax, 3 ' H mov [rbp-8], rax ,' U5: t add rax, 3 1 ret ' ‘6: TLS: L6: ! sub rax, 3 h add rax, 3 sub rax, 3 ! net h ret ret ~=—~=====—==—==m—===m==-=“a Hành 2.1: Mot vi dụ uề biểu đồ luồng điều khiển của hàm nhị phân. Phần bên trái là ma tập hợp bố cục tuyến tinh uới các địa chỉ bước nhảy va phan bên phải là biểu đồ luồng điều khiển tương ứng.

L1 va LẠ là các nút bắt buộc. Basic block Basic block là một chuỗi các lệnh liên tiếp trong mã máy, có một điểm vào và một điểm ra duy nhất. Trong file nhị phân, basic block là một đoạn mã máy được tạo ra từ một số lệnh máy và thường được xem như là một đơn vị dùng trong việc phân tích mã nhị phân (Hình 2. sample2 proc near 888 cmp [esp+enabled], ø 908 jz short loc_481852 loc_ 481052: 888 or eax, OFFFFFFFFH 888 retn sample2 endp eax, eax short loc_48184D esptcounter], 1 SAN loc_48184D : 888 mov eax, [esptcounter] 888 retn Hình 2.2: Các basic block kế tiếp nhau được trích xuất khi dùng IDA 2.

Biểu dé luồng điều khiển - Control flow graph Control Flow Graph (CFG) là biểu đồ biểu diễn luồng điều khiển của chương trình máy tính hoặc chương trình nguồn dưới dạng đồ thị hướng điều khiển. Mỗi nút trong CFG đại diện cho một basic block, đại diện cho một chuỗi các lệnh liên tiếp không thể ngắt giữa các lệnh. Các cạnh trong CFG biểu thị các chuyển đổi giữa các basic block thông qua các nhánh điều kiện, nhánh vô điều 12 kiện hoặc các lệnh gọi hàm. Trong phát hiện sự tương đồng trong mã nhị phân, CFG được sử dụng để so sánh cấu trúc điều khiển của các chương trình khác nhau và xác định sự tương đồng giữa chúng.

Các phương pháp phát hiện sự tương đồng thường dựa trên việc so sánh các đặc trưng của CFG, quan hệ điều khiển và đường đi thực thi. 1 intadd(inta}{ func —- loc_40143A: 2 return a++; .text:0040143A mov dword ptr [esp+18h], 0 3 } ,text:00401442 mov eax, [ebp+argc] .text:00401445 cmp eax, [esp+18h] 4 intsublinta){ .text:00401449 jle — shortloc 40141E 5 return a--; .text:00401448 mov dword ptr [esp+1Ch], offset _sub 6 } .text:00401453 jmp short lọc 401410 7 int func(int a){ 8 int num = 0; 9 int (*cal)(int); add — lọc_401410 sub -— lọc_40141E 10 if{(a>num)( ,text:00401410 push ebp ,text:0040141E push ebp 11 cal = add; .text:00401411 mov ebp,esp .text:0040141F mov ebp, esp 12 } .text:00401413 mov eax, [ebp+arg_0]} .text:00401421 mov eax, [ebp+arg_0] 13 else{ .text:00401416 lea edx, [eax+1] .text:00401424 lea edx, [eax-1] 14 EesuÙb: .text:00401419 mov [|ebp+arg 0], edx .text:00401427 mov l|ebp+arg 0],edx NI BỌN text:0040141C pop cbp .text:0040142A pop ebp 15 } .text:0040141D retn ,text:0040142B retn 16 return cal(a); 17 } (a). Source code of the example (b). CFG of the example Hình 2.3: Ví du vé một đoạn chương trinh uới CFG tương ứng 2.

Strand Trong ngữ cảnh phát hiện tương đồng mã nhị phân, thuật ngữ "Strand" thường được sử dụng để chỉ một đoạn mã nhị phân hoặc các lệnh cụ thể trong mã nhị phân. Strand là một tập hợp các câu lệnh liên quan nhau mà khi kết hợp lại, chúng sẽ tạo thành một chuỗi hoàn chỉnh thực hiện một nhiệm vụ nào đó trong chương trình. Trong nghiên cứu này, quá trình phát hiện tương đồng mã nhị phân thường bắt đầu bằng việc chia nhỏ các mã nhị phân thành các strand. Sau đó, các thuật toán so sánh có thể được ap dụng để so sánh các strand này với nhau để xác định 13 mức độ tương đồng giữa chúng.

Các kỹ thuật như inlining, constant folding, và các phép tối ưu hóa khác có thể được áp dụng lên các strand để tăng cường hiệu quả của quá trình phân tích và so sánh mã nhị phân. Decompiler Decompiler là một công cụ hoặc chương trình máy tính dùng để chuyển đổi mã máy (machine code) hoặc mã nhị phan (binary code) trở lại thành mã nguồn gốc dưới dạng ngôn ngữ lập trình. Việc sử dụng decompiler có thể giúp phân tích và nằm bắt rõ hơn về chức năng và logic của một chương trình đã được biên dịch. Hiện nay có rất nhìu decompiler khác nhau như: IDA, Ghidra, Radare2, RetDec,.

Thông thường các decompiler có thể có các công dụng như sau: e Phân tích ngược: Giúp nhà phát triển hiểu cấu trúc và logic của một chương trình khi mã nguồn không còn hoặc không có sẵn. e Trích xuất chức năng: Decompiler cho phép chuyển đổi mã máy không cấu trúc thành dạng mã có cấu trúc ( thường là assembly), giúp dễ dàng hiểu và phân tích các chức năng trong mã nhị phân. e Phân tích bảo mật: Hỗ trợ các chuyên gia an ninh mạng phân tích mã độc, phát hiện lỗ hong bảo mật và đánh giá rủi ro từ mã nhị phan. 14 mov lea mov xor call Mov jmp Hình 2.4: Vi dụ vé một đoạn ma được chuyển đổi sang assembly bằng IDA 2.

IDA Pro Ở nghiên cứu nay, chúng tôi cần sử dung decompiler để trích xuất các dia chỉ của các chức năng trong tập tin nhị phân, từ đó trích xuất ra các bytes code của các chức năng đó. Để phục vụ cho yêu cầu này, chúng tôi quyết định chọn IDA Pro để thực hiện, ngoài là công cu decompiler quen thuộc thì IDA Pro còn có các ưu điểm: e Hỗ trợ phân tích mã nhị phân: IDA Pro cho phép người dùng phân tích các file thực thi (executable files), thư viện (libraries), hay các đoạn mã khác từ nhiều nền tảng khác nhau như Windows, Linux, macOS, và nhiều hệ điều hành nhúng. e Phân tích đồ thị luồng điều khiển: Công cụ này giúp người dùng hình dung và phân tích các nhánh thực thi của chương trình, từ đó tìm ra các kết nối logic và điểm nhập nhằng (critical point) của chương trình. e Hỗ trợ nhiều kiến trúc và định dạng file: IDA Pro hỗ trợ nhiều loại kiến trúc vi xử lý và định dang file như ELF, PE, Mach-O, và COFF, giúp người dùng phân tích các loại file khác nhau dé dàng.

IDA Python API IDA Python API là một giao diện lập trình ứng dung (API) được cung cấp bởi IDA Pro để cho phép người dùng tương tác với và điều khiển IDA Pro bằng ngôn ngữ lập trình Python. API này cho phép các nhà phân tích mã nhị phân và bảo mật sử dụng các tính năng của [DA Pro một cách tự động hóa và linh hoạt hơn thông qua việc viết các script và plugin. Một số tính năng nổi bat của IDA Python API: e Doc và phân tích mã nhị phân: API cho phép người dùng mở các file thực thi và thực hiện các thao tác như phân tích đồ thị luồng điều khiển (CFG), đọc các hàm, khối lệnh, và các cấu trúc dữ liệu khác từ chương trình. e Tự động hóa quy trình phân tích: Bằng cách sử dụng IDA Python API, chúng ta có thể viết các script để tự động hóa các quy trình phân tích, như tìm kiếm chuỗi, đặt nhãn, phát hiện các cấu trúc dit liệu và các chuỗi lỗi.

e Tích hợp với các công cụ và workflow khác: IDA Python API có thé tích hợp và tương tác với các công cụ và quy trình làm việc khác, ví dụ như phân tích tĩnh (static analysis) từ các công cụ khác, tự động hóa các bước kiểm thử (testing automation), hoặc tạo ra các báo cáo phân tích. Biểu diễn trung gian - Intermediate Representation VEX Intermediate Representation (VEX-IR) là một biểu diễn trung gian được sử dụng trong phân tích mã nhị phân. Nó được phát triển bởi dự án Valgrind và hiện tại được sử dụng rộng rãi trong nhiều công cụ phân tích mã nhị phân như Angr. VEX-TR chuyển đổi mã máy cụ thể của các kiến trúc phần cứng khác 16 nhau thành một định dạng trung gian phổ quát, giúp dễ dàng phân tích và xử lý mã nhị phân.

Vex Intermediate Representation (Vex-IR) Một trong những biểu diễn trung gian pho biến được sử dung là Vex Inter- mediate Representation (Vex-IR). Vex-IR là một ngôn ngữ trung gian dựa trên mã máy, được sử dụng để biểu diễn mã nhị phân dưới dạng các biểu thức và lệnh có cấu trúc. Hiện nay có rất nhiều ngôn ngữ biểu diễn trung gian như LLVM-IR, BIL, nhưng trong nghiên cứu này chúng tôi lựa chọn Vex-IR vì các lí do sau: e Kiến trúc trung gian: VEX-IR không phụ thuộc vào kiến trúc cụ thể, nghĩa là nó có thể biểu diễn mã từ nhiều kiến trúc CPU khác nhau (x86, ARM, MIPS, etc.) trong một định dạng nhất quán. Điều này giúp chuẩn hóa việc phân tích mã từ nhiều nguồn khác nhau.

e Ngôn ngữ trung gian cấp thấp: VEX-IR là ngôn ngữ trung gian cấp thấp, gần với mã máy nhưng van dễ hiểu hơn đối với con người. N6 cung cấp một tập hợp các lệnh cơ bản để biểu diễn các thao tác như di chuyển dữ liệu, tính toán, và các lệnh điều khiển luồng. e Hỗ trợ nhiều phép toán và kiểu dữ liệu: VEX-IR hỗ trợ các phép toán số học, logic, so sánh, và các phép toán trên bộ nhớ. Nó cũng hỗ trợ nhiều kiểu dữ liệu như số nguyên, số thực, và các kiểu dữ liệu vector.

e Ngoài ra Vex-IR còn có framework hỗ trợ rất mạnh mẽ là angr với pyvex được tích hop.