Nghiên Cứu Phương Pháp Học Sâu Để Phát Hiện Lỗ Hổng Bảo Mật Phần Mềm Trong Khóa Luận Tốt Nghiệp

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp an toàn thông tin nghiên cứu phương pháp phát hiện lỗ hổng bảo mật phần mềm bằng phương, vận dụng lý thuyết vào thực tế, đề xuất giải

• Tác giả: Chau Thuan Phat
• Người hướng dẫn: ThS. Phan The Duy
• Trường học: Đại học Công nghệ Thông tin - Đại học Quốc gia Hồ Chí Minh
• Chuyên ngành: An toàn thông tin
• Đề tài: Phương Pháp Học Sâu Phát Hiện Lỗ Hổng Bảo Mật Phần Mềm
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC CÁC BẢNG BIỂU
• MỞ ĐẦU
• 0.1. TỔNG QUAN ĐỀ TÀI
• 0.2. Giới thiệu vấn đề
• 0.3. Giới thiệu những nghiên cứu liên quan
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Giới thiệu vấn đề
• 1.2. Giới thiệu những nghiên cứu liên quan
• 1.3. Những thách thức
• 1.4. Cấu trúc khóa luận tốt nghiệp
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Lỗ hổng phần mềm
• 2.1.1. Khái niệm
• 2.1.2. Thực trạng hiện nay
• 2.1.3. Cách thức khai thác lỗ hổng
• 2.2. Cây cú pháp trừu tượng (Abstract Syntax Tree - AST)
• 2.2.1. Khai niệm
• 2.2.2. Thiết kế của AST
• 2.3. Mô hình học sâu
• 2.3.1. Mô hình RNN (Recurrent Neural Network)
• 3. CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN LỖ HỔNG BẰNG HỌC SÂU
• 3.1. Ý tưởng chính
• 3.2. Phương pháp trích xuất các SeVC (Semantics-based Vulnerability Candidate) từ mã nguồn
• 3.2.1. Các định nghĩa cơ bản
• 3.2.2. Trích xuất SyVC từ mã nguồn
• 3.2.3. Chuyển đổi SyVC thành SeVC
• 3.2.4. Gắn nhãn cho SeVC. Token hóa các SeVC và nhúng vào các vector
• 3.2.5. Huấn luyện mô hình học sâu
• 4. CHƯƠNG 4: THÍ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Thiết lập thí nghiệm
• 4.2. Bộ dữ liệu và phương pháp trích xuất
• 4.2.1. Bộ dữ liệu SySeVR
• 4.2.2. Bộ dữ liệu Vuldeepecker
• 4.2.3. Xây dựng mô hình nhúng vector
• 4.2.4. Xây dựng mô hình học sâu để phát hiện và phân loại mã nguồn chứa lỗ hổng
• 4.3. Mô hình GCN
• 4.4. Mô hình RNN, LSTM, BiLSTM, GRU, BiGRU
• 4.5. Kết quả thí nghiệm
• 4.5.1. Đánh giá kết quả trên tập dữ liệu Vuldeepecker
• 4.5.2. Đánh giá kết quả trên tập dữ liệu SySeVR
• 4.5.3. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Phương pháp học sâu

Phương pháp học sâu là một lĩnh vực con của học máy, tập trung vào việc sử dụng các mạng nơ-ron nhân tạo để giải quyết các vấn đề phức tạp. Trong khóa luận này, học sâu được áp dụng để phát hiện lỗ hổng bảo mật trong phần mềm. Các mô hình như RNN, LSTM, và Transformer được sử dụng để xử lý dữ liệu mã nguồn, giúp tăng độ chính xác trong việc phát hiện lỗi. Học sâu đặc biệt hiệu quả trong việc xử lý ngôn ngữ tự nhiên và mã nguồn, nhờ khả năng học từ dữ liệu lớn và tự động hóa quá trình phân tích.

1.1. Mô hình RNN

Mô hình RNN (Recurrent Neural Network) là một mạng nơ-ron có khả năng xử lý chuỗi dữ liệu bằng cách tạo ra các kết nối tuần hoàn giữa các nút. Điều này cho phép mô hình ghi nhớ thông tin từ các bước trước, phù hợp để phân tích mã nguồn có cấu trúc tuần tự. Tuy nhiên, RNN thường gặp vấn đề về việc mất thông tin khi chuỗi dữ liệu dài.

1.2. Mô hình LSTM

Mô hình LSTM (Long Short-Term Memory) là một cải tiến của RNN, được thiết kế để giải quyết vấn đề mất thông tin trong chuỗi dài. LSTM sử dụng các cổng điều khiển để quyết định thông tin nào cần lưu giữ hoặc loại bỏ, giúp mô hình học được các mối quan hệ phức tạp trong mã nguồn. Điều này làm cho LSTM phù hợp hơn cho việc phát hiện lỗ hổng bảo mật.

II. Phát hiện lỗ hổng bảo mật

Phát hiện lỗ hổng bảo mật là một quá trình quan trọng trong an ninh mạng, nhằm xác định các điểm yếu trong phần mềm có thể bị khai thác. Trong khóa luận này, các kỹ thuật như Program Dependence Graph (PDG) và Control Flow Graph (CFG) được sử dụng để phân tích mã nguồn. Các mô hình học sâu được huấn luyện trên các bộ dữ liệu như SySeVR và Vuldeepecker để phát hiện các lỗ hổng một cách tự động và chính xác.

2.1. Kỹ thuật Program Slicing

Kỹ thuật Program Slicing được sử dụng để trích xuất các đoạn mã liên quan đến lỗ hổng từ mã nguồn. Các slice này chứa cả thông tin cú pháp và ngữ nghĩa, giúp mô hình học sâu hiểu rõ hơn về cấu trúc của mã. Kỹ thuật này đặc biệt hữu ích khi làm việc với các ngôn ngữ lập trình phức tạp như C và C++.

2.2. Trích xuất mẫu từ mã nguồn

Việc trích xuất các mẫu từ mã nguồn là bước quan trọng để tạo dữ liệu huấn luyện cho mô hình. Các mẫu này được trích xuất từ cây cú pháp trừu tượng (AST) và các sơ đồ PDG và CFG. Các mẫu chứa lỗ hổng được gán nhãn và chuyển đổi thành vector để làm đầu vào cho mô hình học sâu.

III. Ứng dụng trong khóa luận tốt nghiệp

Khóa luận này tập trung vào việc áp dụng phương pháp học sâu để phát hiện lỗ hổng bảo mật trong phần mềm. Các mô hình như CodeBERT và GCN được sử dụng để nhúng vector và phân tích mã nguồn. Kết quả thí nghiệm cho thấy hiệu quả của các mô hình này trong việc phát hiện lỗ hổng trên các bộ dữ liệu Vuldeepecker và SySeVR. Khóa luận cũng đề xuất hướng phát triển trong tương lai, bao gồm việc mở rộng sang các ngôn ngữ lập trình khác và cải thiện độ chính xác của mô hình.

3.1. Thí nghiệm và đánh giá

Các thí nghiệm được thực hiện trên hai bộ dữ liệu chính là Vuldeepecker và SySeVR. Kết quả cho thấy các mô hình học sâu như LSTM và BiLSTM đạt hiệu suất cao trong việc phát hiện lỗ hổng. Các chỉ số đánh giá như độ chính xác, recall và F1-score được sử dụng để so sánh hiệu quả của các mô hình.

3.2. Hướng phát triển

Khóa luận đề xuất các hướng phát triển trong tương lai, bao gồm việc áp dụng học sâu cho các ngôn ngữ lập trình khác ngoài C và C++, cũng như cải thiện các kỹ thuật trích xuất mẫu để tăng độ chính xác của mô hình. Ngoài ra, việc tích hợp các mô hình tiên tiến như Transformer và GNN cũng được khuyến nghị.

Nội dung chính

Giới thiệu dự án

Trong kỷ nguyên số hóa, phần mềm đóng vai trò cốt lõi trong hạ tầng kỹ thuật số toàn cầu. Tuy nhiên, sự gia tăng phức tạp của các hệ thống phần mềm kéo theo sự bùng nổ của các lỗ hổng bảo mật nghiêm trọng. Theo số liệu thống kê từ NVD (National Vulnerability Database) và hệ thống CVE (Common Vulnerabilities and Exposures), số lượng lỗ hổng được ghi nhận đã tăng vọt từ khoảng 4.000 lỗ hổng (năm 2014) lên hơn 17.000 đến 25.000 lỗ hổng mỗi năm trong giai đoạn gần đây. Thiệt hại kinh tế trực tiếp và gián tiếp do các cuộc tấn công khai thác lỗ hổng phần mềm ước tính vượt mốc hàng chục tỷ USD trên phạm vi toàn cầu.

Vấn đề thực tiễn (Problem Statement)

Các phương pháp phân tích tĩnh truyền thống (Static Application Security Testing - SAST) dựa trên tập luật chuyên gia (Rule-based) thường bộc lộ những điểm yếu chí mạng:

1. Tỷ lệ báo động giả (False Positive Rate) và bỏ sót (False Negative Rate) cao do không nắm bắt được ngữ cảnh thực thi phức tạp.
2. Khả năng mở rộng kém, đòi hỏi chi phí chuyên gia rất lớn để định nghĩa và cập nhật thủ công các luật kiểm tra mã nguồn.
3. Mất liên kết ngữ nghĩa tầm xa (Long-term Dependencies) giữa các định danh biến, luồng dữ liệu (Data Flow) và luồng điều khiển (Control Flow) trong các hàm phức tạp.

Mục tiêu dự án

1. Nghiên cứu và phát triển quy trình trích xuất đặc trưng hai tầng: Kết hợp cú pháp (Syntax) và ngữ nghĩa (Semantics) từ mã nguồn C/C++ thông qua kỹ thuật phân tích đồ thị phụ thuộc chương trình (Program Dependence Graph - PDG) và biểu diễn luồng điều khiển (Control Flow Graph - CFG).
2. Xây dựng giải pháp biểu diễn mã nguồn tiên tiến: Ứng dụng mô hình tiền huấn luyện đa phương thức CodeBERT để chuyển đổi các đoạn mã cắt lọc ngữ nghĩa (SeVC - Semantics-based Vulnerability Candidate) thành các vector nhúng ngữ cảnh 768 chiều.
3. Thiết kế và thực nghiệm mô hình học sâu XGraphVulBERT: Triển khai mạng nơ-ron tích chập đồ thị (GCN - Graph Convolutional Network) kết hợp với các biến thể mạng nơ-ron hồi quy hai chiều (BiLSTM, BiGRU) nhằm tối ưu hóa độ chính xác phát hiện lỗ hổng.
4. Đánh giá đối chuẩn (Benchmark): Kiểm chứng hiệu năng toàn diện trên hai tập dữ liệu chuẩn hóa quốc tế là VulDeePecker và SySeVR.

Phương pháp tiếp cận và Phạm vi

Dự án đề xuất kiến trúc XGraphVulBERT giải quyết triệt để bài toán biểu diễn mã nguồn bằng cách chia nhỏ chương trình thành các vùng ứng viên chứa lỗ hổng dựa trên cú pháp (SyVC), sau đó mở rộng liên thủ tục thành các lát cắt ngữ nghĩa (SeVC).

• Phạm vi nghiên cứu: Tập trung vào mã nguồn ngôn ngữ C/C++ đối với các nhóm lỗ hổng phổ biến như Tràn bộ đệm (Buffer Overflow - CWE-119), Quản lý tài nguyên không hợp lệ (Resource Management Error - CWE-399) và các dạng lỗ hổng con trong hệ thống phân loại SARD/NVD.
• Giới hạn: Hệ thống tập trung xử lý ở mức độ lát cắt mã nguồn (Slice-level) và hàm (Function-level); chưa hỗ trợ phân tích mã nhị phân đã biên dịch (Binary code) hoặc liên kết toàn cục giữa các thư viện động bên ngoài (Dynamic Linking).

---

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Khảo sát tổng quan các nghiên cứu học sâu trong phát hiện lỗ hổng phần mềm cho thấy 4 hướng tiếp cận chính:

Hướng tiếp cận	Công trình tiêu biểu	Biểu diễn mã nguồn	Mô hình học sâu	Mức độ phát hiện	Ưu điểm	Nhược điểm
1. Biểu diễn ngữ nghĩa tự động	Wang et al. (2016)	Cây cú pháp trừu tượng (AST)	Deep Belief Network (DBN)	Mức File / Hàm	Tự động hóa trích xuất đặc trưng cấp cao	Mất thông tin luồng điều khiển và phụ thuộc dữ liệu
2. End-to-end từ mã nguồn thô	Choi et al. (2017)	Chuỗi dòng mã nguồn thô	Mạng bộ nhớ (Memory Networks)	Mức Dòng / Hàm	Không cần bộ phân tích mã phức tạp	Không phát hiện được lỗi liên hàm; nhạy cảm với cú pháp
3. Trích xuất mẫu mã (Code Pattern)	VulDeePecker (2018), SySeVR (2021)	Code Gadget / Lát cắt SeVC	BiLSTM, BiGRU, CNN	Mức Lát cắt (Slice-level)	Định vị vị trí lỗ hổng chính xác, độ nhiễu thấp	Biểu diễn từ tĩnh (Word2Vec) chưa nắm bắt đa nghĩa
4. Phân tích mã nhị phân	Liu et al. (2019)	Tập lệnh nhị phân / ACFG	Att-BiLSTM, GNN	Mức Hàm nhị phân	Phù hợp khi không có mã nguồn đóng	Độ chính xác còn hạn chế (<80%), mất thông tin biến

Yêu cầu hệ thống theo mô hình MoSCoW

• Must have: Module phân tích cú pháp tạo AST; module phân tích luồng tạo PDG/CFG; thuật toán Program Slicing (Forward/Backward); bộ chuyển đổi Token thành Vector bằng CodeBERT; mô hình phân loại nhị phân (Có lỗ hổng / An toàn).
• Should have: Hỗ trợ phân loại đa nhãn theo từng mã định danh CWE; trực quan hóa đồ thị phụ thuộc của đoạn mã.
• Could have: Giao diện API RESTful tích hợp vào CI/CD pipeline; module tối ưu hóa trọng số đồ thị GCN.
• Won't have: Phân tích tự động tạo bản vá (Automated Program Repair) và hỗ trợ mã hợp ngữ x86/ARM trong phiên bản hiện tại.

Thiết kế hệ thống

Kiến trúc giải pháp XGraphVulBERT được thiết kế module hóa gồm 4 khối chức năng chính:

Ngăn xếp công nghệ (Technology Stack)

• Ngôn ngữ phát triển: Python 3.8.10, C/C++ (LLVM Toolchain)
• Khung phân tích mã nguồn: Joern 1.1.5, Clang AST Parser (LLVM 12.0.0), Python-Tree-sitter 0.20.0
• Framework Học sâu & Đồ thị: PyTorch 1.12.1 + CUDA 11.3, Hugging Face Transformers 4.20.1, PyTorch Geometric (PyG) 2.0.4, DGL 0.9.0
• Xử lý dữ liệu & Đánh giá: Scikit-Learn 1.1.2, NetworkX 2.8.4, Gensim 4.2.0

Yêu cầu bảo mật và hiệu năng

• Bảo mật: Cơ chế cô lập quá trình parse mã nguồn trong môi trường sandbox Docker, ngăn ngừa mã độc thực thi trong quá trình trích xuất AST.
• Hiệu năng: Khả năng suy luận (Inference latency) dưới 150ms cho mỗi lát cắt mã nguồn; thông lượng xử lý đạt tối thiểu 1.000 dòng mã/giây trên phần cứng tăng tốc GPU.

Phương pháp nghiên cứu (Methodology)

Nghiên cứu được triển khai theo phương pháp thực nghiệm khoa học lặp (Iterative Experimental Methodology):

1. Thu thập và Tiền xử lý dữ liệu: Chuẩn hóa tập dữ liệu từ NVD/SARD, phân tách nhãn nhị phân.
2. Khai phá đặc trưng hình thức: Định nghĩa tập đặc trưng cú pháp $H = {h_k}$ (gồm lời gọi hàm API nguy hiểm, xử lý mảng/con trỏ, phép toán số học).
3. Mô hình hóa toán học:
   • Ánh xạ hàm $f_i$ thành đồ thị luồng điều khiển $CFG = (V, E)$ và đồ thị phụ thuộc chương trình $PDG = (V, E')$.
   • Biểu diễn lan truyền trạng thái trong mạng GCN: $$H^{(l+1)} = \sigma \left( \tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)} \right)$$
   • Trong đó $\tilde{A} = A + I_N$ là ma trận kề có thêm vòng lặp tự thân, $\tilde{D}{ii} = \sum_j \tilde{A}{ij}$, $W^{(l)}$ là ma trận trọng số có thể huấn luyện tại lớp $l$, và $\sigma(\cdot)$ là hàm kích hoạt phi tuyến (ReLU).
4. Kiểm chuẩn chất lượng: Đánh giá chéo k-fold ($k=5$) đảm bảo tính tổng quát hóa của mô hình.

---

Implementation và kết quả

Quá trình phát triển (Development Process)

Thuật toán trích xuất SyVC và Program Slicing

Quá trình phân tích cú pháp duyệt cây AST nhằm tìm kiếm các phần tử mã trùng khớp với tập định nghĩa lỗ hổng:

# Thuật toán trích xuất SyVC và tạo Program Slice từ AST & PDG
from tree_sitter import Language, Parser
import networkx as nx

def extract_syvc_and_slice(source_code_func, vulnerability_syntax_rules):
    """
    Trích xuất các điểm nghi vấn cú pháp (SyVC) và tạo Lát cắt chương trình (SeVC)
    """
    ast_tree = parser.parse(bytes(source_code_func, "utf8"))
    syvc_candidates = []
    
    # 1. Duyệt AST tìm các node khớp với tập luật cú pháp H
    cursor = ast_tree.walk()
    for node in traverse_tree(cursor):
        if node.type in vulnerability_syntax_rules["call_expressions"]:
            if is_suspicious_api(node.text):
                syvc_candidates.append(node)
                
    # 2. Xây dựng PDG và thực hiện cắt tiến/cắt lùi (Forward/Backward Slicing)
    pdg_graph = build_program_dependence_graph(source_code_func)
    sevc_list = []
    
    for syvc in syvc_candidates:
        target_stmt_id = syvc.start_point[0] # Dòng mã nguồn
        # Cắt lùi để tìm nguồn gốc luồng dữ liệu (Data Source)
        backward_nodes = nx.ancestors(pdg_graph, target_stmt_id)
        # Cắt tiến để xác định ảnh hưởng luồng điều khiển (Impacted Sinks)
        forward_nodes = nx.descendants(pdg_graph, target_stmt_id)
        
        slice_nodes = sorted(list(backward_nodes | {target_stmt_id} | forward_nodes))
        sevc_statements = [get_statement_by_id(node_id) for node_id in slice_nodes]
        sevc_list.append(sevc_statements)
        
    return sevc_list

Xây dựng mô hình nhúng và phân loại đồ thị GCN

Các token trong SeVC được đưa qua bộ tiền xử lý WordPiece của CodeBERT, sau đó chuyển thành vector đặc trưng làm đầu vào cho các lớp tích chập đồ thị:

import torch
import torch.nn as nn
from torch_geometric.nn import GCNConv, global_mean_pool
from transformers import RobertaModel, RobertaTokenizer

class XGraphVulBERT(nn.Module):
    def __init__(self, codebert_path="microsoft/codebert-base", hidden_dim=256, num_classes=2):
        super(XGraphVulBERT, self).__init__()
        self.codebert = RobertaModel.from_pretrained(codebert_path)
        self.conv1 = GCNConv(768, hidden_dim)
        self.conv2 = GCNConv(hidden_dim, hidden_dim // 2)
        self.fc = nn.Linear(hidden_dim // 2, num_classes)
        self.relu = nn.ReLU()
        self.dropout = nn.Dropout(0.3)

    def forward(self, input_ids, attention_mask, edge_index, batch):
        # 1. Trích xuất đặc trưng ngữ nghĩa theo ngữ cảnh từ CodeBERT
        bert_outputs = self.codebert(input_ids=input_ids, attention_mask=attention_mask)
        node_features = bert_outputs.last_hidden_state[:, 0, :] # Lấy biểu diễn token [CLS]
        
        # 2. Lan truyền thông tin qua cấu trúc đồ thị PDG bằng GCN
        x = self.conv1(node_features, edge_index)
        x = self.relu(x)
        x = self.dropout(x)
        x = self.conv2(x, edge_index)
        x = self.relu(x)
        
        # 3. Gom tụ đặc trưng toàn đồ thị (Global Readout) và phân loại
        graph_repr = global_mean_pool(x, batch)
        logits = self.fc(graph_repr)
        return logits

Kiểm nghiệm và Kết quả thực nghiệm

Mô hình được huấn luyện và đánh giá trên 2 tập dữ liệu benchmark:

• VulDeePecker Dataset: 37.628 code gadgets thuộc 2 loại lỗ hổng (CWE-119: Tràn bộ đệm, CWE-399: Quản lý tài nguyên).
• SySeVR Dataset: Hơn 120.000 lát cắt SeVC phủ rộng 15 nhóm CWE khác nhau.

So sánh hiệu năng các phương pháp nhúng Vector trên VulDeePecker

Phương pháp nhúng	Chiều Vector (dim)	Accuracy (%)	Precision (%)	Recall (%)	F1-Score (%)	FPR (%)
Word2Vec (Skip-Gram)	200	88.42	82.10	85.30	83.67	4.82
GloVe	200	87.90	80.55	84.12	82.30	5.21
FastText	300	89.15	83.40	86.80	85.07	4.30
CodeBERT (Đề xuất)	768	94.86	92.35	94.10	93.22	1.85

So sánh hiệu năng các kiến trúc mô hình học sâu trên tập SySeVR

Kiến trúc phân loại	Vector Embedding	Accuracy (%)	Precision (%)	Recall (%)	F1-Score (%)
Vanilla RNN	CodeBERT	86.20	81.40	79.80	80.59
LSTM	CodeBERT	90.15	87.30	86.90	87.10
GRU	CodeBERT	90.60	88.10	87.45	87.77
BiLSTM	CodeBERT	93.45	91.20	92.80	91.99
BiGRU	CodeBERT	93.10	90.85	92.15	91.49
GCN (XGraphVulBERT)	CodeBERT	96.12	94.70	95.80	95.25

So sánh F1-Score (%) giữa các mô hình phân loại trên tập SySeVR:
RNN        [████████████████░░░░] 80.59%
LSTM       [█████████████████░░░] 87.10%
GRU        [█████████████████░░░] 87.77%
BiGRU      [██████████████████░░] 91.49%
BiLSTM     [██████████████████░░] 91.99%
GCN (Ours) [███████████████████░] 95.25%

Đánh giá kết quả

1. Khả năng biểu diễn vượt trội của CodeBERT: Việc áp dụng mô hình ngôn ngữ được tiền huấn luyện trên hàng triệu dòng mã giúp F1-Score tăng +9.55% so với Word2Vec truyền thống, đồng thời giảm tỷ lệ báo động giả (FPR) từ 4.82% xuống còn 1.85%.
2. Ưu thế của mô hình đồ thị GCN: Mạng tích chập đồ thị mô hình hóa trực tiếp cấu trúc không gian của đồ thị phụ thuộc dữ liệu và điều khiển (PDG/CFG), đạt F1-Score ấn tượng 95.25%, vượt trội hơn mạng tuần tự BiLSTM (+3.26%) nhờ không bị suy giảm thông tin ngữ cảnh khi chuỗi câu lệnh quá dài.

---

Đổi mới và đóng góp

Các cải tiến kỹ thuật cốt lõi

1. Kiến trúc dung hợp Ngữ nghĩa - Đồ thị (Hybrid Semantic-Graph Representation): Khắc phục điểm yếu mất thông tin liên kết của các mô hình tuần tự thuần túy (NLP-only) và việc thiếu hiểu biết ngữ nghĩa từ vựng chuyên sâu của các mô hình đồ thị thuần túy (Graph-only).
2. Kỹ thuật Lát cắt liên thủ tục tối ưu hóa: Cải tiến giải thuật cắt chương trình để theo vết luồng tham số qua nhiều cấp độ hàm gọi lồng nhau (Inter-procedural call depth $k \ge 3$), giảm 40% số dòng mã nhiễu so với phương pháp trích xuất mức hàm nguyên vẹn.
3. Quy trình gắn nhãn tự động và cân bằng dữ liệu: Xây dựng pipeline tự động ánh xạ các định danh CVE/CWE về từng điểm cắt SeVC cụ thể, giải quyết bài toán mất cân bằng mẫu (Data Imbalance) bằng kỹ thuật tinh chỉnh hàm mất mát Focal Loss.

Đóng góp cho ngành An toàn Thông tin

• Cung cấp một phương pháp luận chuẩn xác cho các hệ thống kiểm thử bảo mật tự động thế hệ mới, thay thế các luật Regex cứng nhắc bằng mô hình máy học có khả năng tự thích ứng.
• Cung cấp bộ benchmark chi tiết và quy trình trích xuất mã nguồn mở giúp cộng đồng nghiên cứu dễ dàng tái lập kết quả và phát triển các mô hình mở rộng.

---

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong thực tế (Real-world Use Cases)

1. Tích hợp cổng kiểm tra mã nguồn (DevSecOps Code Gate): Tự động phân tích các bản commit / Pull Request trên GitLab/GitHub, ngăn chặn việc merge các đoạn mã có nguy cơ tràn bộ đệm hoặc rò rỉ bộ nhớ vào nhánh chính.
2. Đánh giá kiểm thử bảo mật độc lập (Third-party Auditing): Hỗ trợ các chuyên gia Pentest và Security Auditor quét nhanh hàng triệu dòng mã nguồn của các dự án phần mềm kế thừa (Legacy Systems) để phát hiện lỗ hổng ẩn sâu.

Chiến lược triển khai và Yêu cầu hạ tầng

Yêu cầu cấu hình phần cứng (System Requirements)

• Môi trường Server Inference:
  • CPU: 8 Cores (Intel Xeon / AMD EPYC)
  • RAM: 32 GB DDR4
  • GPU: 1x NVIDIA RTX 3090 (24GB VRAM) hoặc NVIDIA T4 / A10
  • Dung lượng lưu trữ: 100 GB NVMe SSD
• Môi trường Client / Developer Machine:
  • CLI tool tích hợp qua Docker container nhẹ (<500MB runtime).

Phân tích chi phí - Lợi ích (Cost-Benefit Analysis)

• Chi phí triển khai: Đầu tư hạ tầng GPU Cloud ước tính khoảng $150 - $300/tháng cho quy mô doanh nghiệp phát triển phần mềm vừa (30-50 lập trình viên).
• Hiệu quả kinh tế (ROI): Giảm thiểu 65% thời gian rà soát mã nguồn thủ công của kỹ sư bảo mật; ngăn chặn nguy cơ bị phạt vi phạm dữ liệu và chi phí phát hành bản vá khẩn cấp (ước tính tiết kiệm hàng trăm nghìn USD mỗi sự cố an ninh). Thời gian hoàn vốn dự kiến đạt dưới 6 tháng.

---

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

1. Phụ thuộc vào trình biên dịch (Compiler Frontend Dependency): Kỹ thuật xây dựng AST và PDG phụ thuộc vào tính hoàn chỉnh của bộ phân tích Clang/Joern; khó xử lý đối với mã nguồn chứa macro phức tạp hoặc không biên dịch được hoàn chỉnh (Uncompilable incomplete code).
2. Giới hạn loại ngôn ngữ: Hiện tại pipeline tập trung tối ưu cho ngôn ngữ C/C++; các ngôn ngữ lập trình động (như Python, JavaScript) có luồng điều khiển phụ thuộc thời gian chạy đòi hỏi cơ chế phân tích luồng khác biệt.
3. Độ phức tạp tính toán của đồ thị lớn: Các hàm có số lượng nút đồ thị PDG vượt quá 5.000 nút tiêu tốn nhiều bộ nhớ VRAM trong quá trình tính toán lan truyền GCN.

Hướng phát triển trong tương lai

• Mở rộng đa ngôn ngữ: Tích hợp các bộ phân tích cú pháp Tree-sitter phổ quát để hỗ trợ trực tiếp Java, Go, Rust và Smart Contract (Solidity).
• Nâng cấp kiến trúc mạng đồ thị: Ứng dụng mạng chú ý đồ thị (GAT - Graph Attention Network) và Graph Transformer nhằm đánh trọng số động cho các cạnh phụ thuộc dữ liệu quan trọng.
• Tích hợp mô hình ngôn ngữ lớn (LLM-assisted Patch Generation): Kết hợp XGraphVulBERT với các mô hình chuyên biệt như CodeLlama, StarCoder để không chỉ phát hiện lỗ hổng mà còn tự động sinh mã sửa lỗi (Auto-patching).

---

Đối tượng hưởng lợi

   [Sinh viên &      [Lập trình viên       [Doanh nghiệp &     [Nhà nghiên cứu
     Học viên]         & DevSecOps]         Tổ chức CNTT]        Bảo mật AI]
   • Học liệu mẫu    • Tự động hóa CI/CD   • Giảm rủi ro rò rỉ • Nền tảng mở rộng
   • Nắm vững AST/   • Bắt lỗi sớm tại      thông tin           thực nghiệm GNN
     PDG/CodeBERT      mức Pull Request    • Tối ưu chi phí    • Tái lập Benchmark

• Sinh viên và Người tự học An toàn Thông tin: Cung cấp tài liệu tham khảo hoàn chỉnh, chuẩn mực về cách kết hợp lý thuyết Khoa học máy tính (Trình biên dịch, Cây cú pháp AST, Đồ thị luồng) với Trí tuệ nhân tạo hiện đại.
• Lập trình viên và Kỹ sư DevSecOps: Sở hữu giải pháp hỗ trợ phát hiện lỗi lập trình logic ngay trong quá trình viết mã, nâng cao nhận thức về an toàn mã nguồn.
• Doanh nghiệp phát triển phần mềm: Tối ưu hóa quy trình kiểm thử tự động, giảm thiểu tối đa chi phí khắc phục lỗ hổng ở giai đoạn vận hành (Production).
• Cộng đồng Nghiên cứu AI for Code / AI for Security: Cung cấp nguồn cứ liệu thực nghiệm vững chắc về hiệu quả của mô hình ngôn ngữ tiền huấn luyện kết hợp cấu trúc đồ thị.

---

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật tối thiểu để triển khai mô hình XGraphVulBERT trong thực tế là gì?

Để triển khai hệ thống phục vụ suy luận (Inference), môi trường cần trang bị tối thiểu CPU 4 Cores, 16GB RAM và một card đồ họa NVIDIA có dung lượng VRAM tối thiểu 8GB (hỗ trợ CUDA 11.x trở lên). Về môi trường phần mềm, hệ thống yêu cầu hệ điều hành Linux (Ubuntu 20.04/22.04 LTS), cài đặt sẵn Docker, Python 3.8+, PyTorch 1.12+ và công cụ phân tích mã nguồn Joern/Clang.

2. Giới hạn về khả năng mở rộng (Scalability) của mô hình và cách giải quyết?

Khi xử lý các dự án phần mềm có quy mô hàng triệu dòng mã, chi phí sinh đồ thị PDG/CFG và bộ nhớ biểu diễn đồ thị có thể tăng theo cấp số mũ. Giải pháp khắc phục bao gồm: (1) Áp dụng cơ chế lọc sơ bộ (Pre-filtering) bằng các đặc trưng cú pháp SyVC để chỉ trích xuất đồ thị cho các đoạn mã nghi vấn; (2) Sử dụng kỹ thuật gom cụm đồ thị nhỏ (Mini-batch graph sampling) với PyTorch Geometric để tối ưu hóa bộ nhớ GPU.

3. Làm thế nào để tích hợp hệ thống vào quy trình CI/CD hiện có?

XGraphVulBERT có thể được đóng gói dưới dạng Docker Action trong GitHub Actions hoặc GitLab CI Runner. Khi có sự kiện git push hoặc pull_request, runner sẽ kích hoạt script trích xuất các tập tin bị thay đổi (Git Diff), chạy pipeline phân tích SeVC và trả về kết quả quét bảo mật trực tiếp trong giao diện bình luận của Pull Request.

4. Tần suất bảo trì và cập nhật mô hình như thế nào?

Mô hình nên được tái huấn luyện (Retraining/Fine-tuning) định kỳ 3-6 tháng một lần hoặc khi có các đợt công bố CVE quy mô lớn từ cơ sở dữ liệu NVD. Quá trình fine-tuning chỉ cần cập nhật các lớp GCN và lớp phân loại fully-connected trên tập dữ liệu lỗ hổng mới, trong khi giữ nguyên các trọng số nền tảng của CodeBERT để tiết kiệm tài nguyên.

5. Dự toán chi phí và thời gian hoàn vốn (ROI) khi ứng dụng giải pháp?

Chi phí ban đầu chủ yếu tập trung vào việc thiết lập máy chủ tính toán GPU (khoảng $2.000 - $3.000 chi phí cố định hoặc $200/tháng trên nền tảng đám mây). So với chi phí thuê chuyên gia đánh giá mã nguồn bảo mật (trung bình $30 - $60/giờ), việc tự động hóa 80% khối lượng rà soát giúp các doanh nghiệp phần mềm hoàn vốn đầu tư trong vòng 3 đến 6 tháng hoạt động.

---

Kết luận

Đồ án tốt nghiệp "A Study on Deep Learning Approach for Software Vulnerability Detection" của nhóm tác giả Châu Thuận Phát và Vũ Lê Anh Quân đã nghiên cứu và ứng dụng thành công kỹ thuật học sâu tiên tiến vào bài toán tự động phát hiện lỗ hổng phần mềm. Bằng việc xây dựng kiến trúc XGraphVulBERT dung hợp giữa kỹ thuật cắt chương trình ngữ nghĩa (SeVC) trên nền tảng đồ thị PDG/CFG, vector nhúng ngữ cảnh CodeBERT, và mạng nơ-ron tích chập đồ thị GCN, nghiên cứu đã đạt được độ chính xác phát hiện vượt trội (F1-Score 95.25%, độ chính xác 96.12%), giảm thiểu đáng kể tỷ lệ báo động giả so với các phương pháp truyền thống.

Kết quả của đề tài không chỉ đóng góp giá trị học thuật quan trọng trong lĩnh vực ứng dụng Trí tuệ nhân tạo cho An toàn thông tin (AI for Cybersecurity), mà còn mở ra tiềm năng ứng dụng thực tiễn to lớn trong việc nâng cao độ tin cậy và an ninh cho các hệ thống phần mềm trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1: TONG QUAN DE TÀI Giới thiệu tổng quan về đề tài của Khóa luận và những nghiên cứu liên quan. e Chương 2: CƠ SỞ LY THUYET Trình bày cơ sở lý thuyết và kiến thức nền tảng liên quan đến đề tài. e Chương 3: PHƯƠNG PHÁP PHÁT HIEN LO HỒNG BẢO MAT PHAN MEM BẰNG HỌC SÂU Trình bày phương pháp phát hiện lỗ hồng bằng học sâu. e Chương 4: THÍ NGHIỆM VÀ ĐÁNH GIÁ Trình bày thực nghiệm và đánh giá.

e Chương 5: KET LUẬN Kết luận và hướng phát triển của đề tài. CƠ SỞ LÝ THUYET Chương này trình bày cơ sở lý thuyết của nghiên cứu: Bao gồm lỗ hổng phần mềm, cây cú pháp trừu tượng (AST), kỹ thuật chuyển đổi từ đoạn mã sang vector và mô hình học sâu. Lỗ hồng phần mềm 2. Khái niệm Lỗ hồng phần mềm là một lỗi, một điểm yếu hoặc một khuyết điểm trong phần mềm hoặc hệ điều hành và có thể bị ảnh hưởng bởi các tấn công hoặc các hành động gây hại cho hệ thống hoặc thông tin mà phần mềm đó đang xử lý.

Các lỗ hổng phần mềm có thể bị khai thác bởi các kẻ tấn công để thực hiện các hành vi như truy cập trái phép hệ thống, đánh cắp các thông tin nhạy cẩm, can trở hoạt động bình thường của hệ thống hay tạo điều kiện để thực hiện các tấn công khác. Với tốc độ phát triển của các kỹ thuật tấn công mới, mức độ nghiêm trọng của lỗ hong phần mềm ngày càng gia tăng. Tất cả các hệ thống đều tiềm an chứa các lỗ hổng, tuy nhiên, câu hỏi đặt ra là liệu những lỗ hồng này có bị khai thác và gây ra thiệt hại hay không. Thực trạng hién nay Ngày càng có nhiều cuộc tấn công mạng bắt nguồn từ lỗ hong phần mềm, dẫn đến rò ri dữ liệu người dùng và ton hại danh tiếng của công ty [17].

Mặc dù nhiều nghiên cứu đã được đề xuất để hỗ trợ phát hiện lỗ hổng, lỗ hong vẫn là mối đe dọa đối với hoạt động an toàn của cơ sở hạ tầng CNTT [29]. Số 16 hồng 10 được tiết lộ trong Common Vulnerabilities and Exposures (CVE) va National Vulnerability Database (NVD) dai diện cho các kho lưu trữ dữ liệu lỗ hong đã tăng từ khoảng 4.000 vào năm 2014 trước khi tăng vọt lên hơn 17. Những lỗ hổng này có thể đã gây ra các mối đe dọa tiềm an đối với việc sử dụng an toàn các sản phẩm và thiết bị kỹ thuật số trên toàn thé giới [5]. Cách thức khai thác lỗ hổng Khi một lỗ hồng bảo mật được phát hiện, kẻ tấn công có thể tận dụng nó bằng cách viết các chương trình để xâm nhập và kiểm soát thiết bị đó.

Khi thành công trong việc truy cập vào mục tiêu, những kẻ tấn công có thể tiến hành nghiên cứu hệ thống để tìm hiểu về nó. Từ đó, chúng có thể thực hiện nhiều hành vi khác nhau như truy cập vào các tệp tin quan trọng hoặc thực thi các chương trình độc hại. Nhờ vào quyền kiểm soát đó, kẻ tấn công có thể kiểm soát máy tính và lấy cắp dit liệu từ thiết bị của nạn nhân. Các lỗ hồng đôi khi được phát hiện chính bởi các nhà phát triển phần mềm hoặc nhờ cảnh báo từ người dùng và nhà nghiên cứu.

Tuy nhiên, trong một số trường hợp, tin tặc hoặc các tổ chức gián điệp có thể khám phá cách thức xâm nhập vào hệ thống nhưng không thông báo cho nhà phát triển. Những lỗ hổng như thế được gọi là "zero day", bởi vì nhà phát triển chưa có cơ hội để vá chúng. Kết quả là, phần mềm hoặc phần cứng tiếp tục bị đe dọa cho đến khi có bản vá hoặc sửa lỗi được phân phối cho người dùng. Lỗ hổng phần mềm có thể dẫn đến hậu quả nghiêm trọng, như cho phép tin tặc tiếp cận và chiếm quyền kiểm soát thiết bị.

Để ngăn chặn điều này, việc phát hiện và vá lỗ hong là cực kỳ quan trọng. Tuy nhiên, đôi khi 16 hong chi được phát hiện sau khi bị khai thác, gây thiệt hại lớn cho người dùng. Để giảm thiểu rủi ro, việc cập nhật phần mềm và phần cứng thường xuyên để áp dụng các bản vá và bản sửa lỗi là cần thiết. Cây cú pháp trừu tượng (Abstract Syntax Tree - AST) 2.

Khai niém Trong lĩnh vực khoa học máy tinh, cây cú pháp trừu tượng (Abstract Syntax Tree) là một biểu diễn cây của cấu trúc cú pháp trừu tượng của một đoạn văn bản (thường là mã nguồn) được viết bằng ngôn ngữ chính thức. Mỗi nút trong cây đại diện cho một cấu trúc xuất hiện trong văn bản. Sự trừu tượng trong cây cú pháp được thể hiện bởi việc nó không biểu diễn mọi chỉ tiết xuất hiện trong cú pháp thực, mà chỉ tập trung vào các chỉ tiết liên quan đến cấu trúc và nội dung. Ví dụ, các dấu ngoặc đơn không cần thiết trong cấu trúc cây không được biểu điễn dưới dạng các nút riêng biệt.

Tương tự, một cấu trúc cú pháp như câu lệnh điều kiện "if" eó thể được biểu diễn bằng một nút đơn có ba nhánh. Cây cú pháp trừu tượng là một công cụ quan trọng trong phân tích cú phấp của ngôn ngữ lập trình. Ñó cung cấp một biểu diễn cấu trúc trừu tượng của mã nguồn, giúp các chương trình phân tích và biên dịch hiểu và xử lý mã nguồn một cách dễ dàng. Sự trừu tượng trong cây cú pháp cho phép chúng ta tập trung vào các thành phần cú pháp quan trọng và bỏ qua các chỉ tiết không cần thiết.

Điều này giúp quá trình phân tích và xử lý ngôn ngữ đơn giản hơn, đồng thời cung cấp một cấu trúc dễ dàng để làm việc và tương tác với mã nguồn. condition assign while b # 0: af a6. a:=a-b else: b:=b<a return a Hinh 2.1: Cay cấu trúc trừu tượng dua trên thuật toán Euclid 2. Thiết kế của AST Thiết kế của AST thường được liên kết chặt chẽ với thiết kế của trình biên dịch.

Yêu cầu cốt lõi của thiết kế bao gồm những điều sau đây: e Các biến phải được giữ nguyên, cũng như vị trí khai báo của chúng trong mã nguồn. e Thứ tự của các câu lệnh thực thi phải được biểu diễn và xác định rõ ràng. e Các thành phần bên trái và bên phải của toán tử nhị phân phải được lưu trữ và xác định chính xác. e Các định danh và giá trị được gán của chúng phải được lưu trữ trong các 13 câu lệnh gan.

Mô hình học sâu 2. Mô hành RNN (Recurrent Neural Network) 2. Cau tric RNN là một lớp mang nơ-ron trong đó các kết nối giữa các nút có thể tao ra một chu kỳ, cho phép đầu ra từ một số nút ảnh hưởng đến đầu vào tiếp theo đến cùng một nút. RNN được thiết kế đặc biệt để đáp ứng yêu cầu biểu diễn ngôn ngữ bằng cách kết nối các từ trong quá khứ với các từ hiện tại, từ đó tạo ra một mối liên hệ chuỗi.

Nếu chúng ta xem xét mỗi từ một cách độc lập, chúng ta sẽ không thể hiểu được ý nghĩa của câu nói. Tuy nhiên, thông qua việc sử dụng các từ xung quanh, chúng ta có thể hiểu rõ trọn vẹn một câu hoàn chỉnh.2: Cấu trúc trải phẳng của mạng no-ron truy hồi Trong cấu trúc mô tả ở Hình 2.2, mạng nơ-ron sử dụng đầu vào là một vector +; và tao ra một đầu ra là một giá trị ẩn hy. Đầu vào x; được truyền vào một mạng no-ron A có tính chất truy hồi. Sau đó, kết quả của mạng nơ-ron này được chuyển tiếp đến đầu ra hy.

Công thức cho trạng thái hiện tại của ñh¿ là: 14 he = ƒ(h TL, ị 24) (2.1) Ap dung thém ham Activation tanh: hy = tanh(Wrphs-1 + Went) (2.2) Trong đó, W là trong số của mô hình, b là vector an đơn lẻ, Why, là trọng số của trạng thái an trước đó, W/„„ là trọng số của trạng thái đầu vào hiện tai, tanh là ham Activation. Kết quả dau ra: Trong đó, là trang thái đầu ra, Wp, là trọng số tại trạng thái dau ra. Trong mạng nơ-ron truy hồi, vòng lặp A đóng vai trò không thể thiếu va là một phan quan trọng trong cách mạng nơ-ron hoạt động. N6 tao ra một chuỗi lặp lại của cùng một cấu trúc, cho phép các thành phần kết nối với nhau một cách liền mạch theo mô hình chuỗi.

Mỗi vòng lặp nhận đầu ra từ vòng lặp trước làm đầu vào và tiếp tục quá trình này. Kiến trúc RNN được ứng dụng vào nhiều công việc như: Nhận diện giọng nói, các tác vụ ngôn ngữ, chú thích hình ảnh,. Hạn chế Hạn chế lớn nhất của RNN là không thể giải quyết được những phụ thuộc dai hạn (long-term dependecies), Ví dụ: "Trời hôm nay rất nắng. Tôi đang di đến trường.

Toi đang rất néng". Để điền được từ móng, chúng ta cần phải xét ngữ cảnh dài hơn so với một câu, tức là phải biết được ngữ cảnh "trời rất nắng" 15 thì ta mới điền được. Thực nghiệm cho thấy, RNN giải quyết các liên kết ngữ nghĩa dài hạn này rất kém. Mô hành LSTM (Long short-term memory) 2.

Tong quan vé LSTM LSTM là một phiên bản sửa đổi của RNN, được sinh ra dé giúp ghi nhớ dit liệu quá khứ trong bộ nhớ dễ dang hơn. LSTM được công bố bởi Hochreiter và Schmidhuber [10] và sau đó được cải tiến và pho biến nhờ sự đóng góp của nhiều nhà nghiên cứu khác. LSTM hiện nay là một trong những mô hình học sâu phổ biến nhất do hiệu quả cao của nó với nhiều bài toán khác nhau. Cấu trúc của LSTM giống như RNN, là một mạng hồi quy gồm một chuỗi các module lặp lại của mạng nơ-ron.

Tuy nhiên, module trong LSTM có cấu trúc khác biệt so với RNN, với ba cổng (gate) bao gồm: Input Gate Output Gate Hình 2.3: Cấu trúc của mô hình LSTM 16 2. Cấu trúc của mô hành LSTM Ý tưởng cốt lõi của LSTM là sử dụng trạng thái tế bào (cell state), biểu diễn bởi một đường ngang chạy qua phía trên của module trong Hình 2. LSTM có khả năng loại bỏ hoặc bổ sung thông tin vào trạng thái tế bào một cách linh hoạt, và điều này được thực hiện thông qua các cổng (gate) được điều chỉnh một cách can thận. Các cổng hoạt động như bộ lọc thông tin, và chúng được thực hiện bằng cách kết hợp một lớp mang sigmoid và một phép nhân.

Input Gate là cổng đầu tiên trong LSTM, có chức năng xác định giá trị nào từ dữ liệu đầu vào sẽ được sử dụng để điều chỉnh bộ nhớ.