Giới thiệu dự án

Sự bùng nổ của các cuộc tấn công mạng sử dụng mã độc (malware) đang đặt ra thách thức an ninh sống còn cho mọi tổ chức. Theo thống kê từ tổ chức an ninh mạng AV-TEST, trung bình mỗi ngày có hơn 450.000 biến thể mã độc và chương trình tiềm ẩn rủi ro (PUA) mới được phát hiện và đăng ký, nâng tổng số lượng mẫu mã độc tích lũy lên hơn 1,535 tỷ mẫu. Tại Việt Nam, theo báo cáo của Bộ Thông tin và Truyền thông vào 5 tháng đầu năm 2022, trong số 5.463 cuộc tấn công mạng được ghi nhận, có tới 3.757 sự cố bắt nguồn từ mã độc, chiếm tỷ lệ áp đảo 68,7%. Các cuộc tấn công mã hóa tống tiền (Ransomware) quy mô toàn cầu như WannaCry từng gây tê liệt mạng lưới tại hơn 150 quốc gia với thiệt hại vượt mức 4 tỷ USD là minh chứng rõ ràng nhất cho mức độ nguy hiểm của các mối đe dọa dai dẳng này.

Đối với các doanh nghiệp vừa và nhỏ (SMBs), việc tiếp cận các giải pháp phòng thủ thương mại toàn diện (như EDR, XDR, Next-Gen Sandbox) gặp hai rào cản cốt tử: chi phí bản quyền/duy trì định kỳ quá đắt đỏ và tính năng bị dư thừa so với quy mô hạ tầng thực tế. Trong khi đó, các phần mềm diệt virus (Antivirus - AV) truyền thống chỉ quét dựa trên tệp mẫu nhận dạng tĩnh (signature-based) nên hoàn toàn bất lực trước mã độc biến thể (polymorphic malware) và tấn công zero-day.

Đồ án khóa luận tốt nghiệp kỹ sư ngành An toàn Thông tin "Xây dựng hệ thống phát hiện và ngăn chặn mã độc tự động" (Building up an automatic malware detection and prevention system) của nhóm tác giả Huỳnh Gia Huy và Trương Tấn Sang (Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM, dưới sự hướng dẫn của ThS. Nguyễn Duy) đã giải quyết trọn vẹn bài toán này bằng cách kết hợp sức mạnh của các giải pháp mã nguồn mở hàng đầu trong một kiến trúc phản ứng tự động khép kín.

                  +----------------------------------------------------+
                  |               Hạ tầng Gateway Phòng thủ            |
                  +----------------------------------------------------+
                                             |
                   [HTTP/HTTPS Web Request qua Squid Proxy (SSL Bump)]
                                             |
                         +-------------------+-------------------+
                         |                                       |
                   [Tập tin đã biết]                       [Tập tin mới/Nghi ngờ]
                         |                                       |
              [SquidClamAV: Signature Block]           [Trích xuất từ Squid Cache]
                         |                                       |
              [Chặn tức thì tại Gateway]               [Gửi sang Cuckoo Sandbox]
                                                                 |
                                                    +------------+------------+
                                                    |                         |
                                              (Mẫu sạch)                 (Phát hiện Độc hại)
                                                    |                         |
                                              [Ghi log lưu trữ]       +-------+-------+-------+
                                                                      |               |       |
                                                               [Auto Update]    [Auto Block]  [Cảnh báo]
                                                               ClamAV Sig DB    Squid URL/IP  Gmail Admin

Mục tiêu của dự án

  1. Thiết lập mô hình phòng thủ theo chiều sâu (Defense-in-Depth): Xây dựng nhiều tầng lọc độc lập bao quát toàn bộ vòng đời truyền tệp từ Internet vào mạng nội bộ.
  2. Tự động hóa phân tích động (Automated Dynamic Analysis): Tự động trích xuất các tệp tin có định dạng nhạy cảm (.exe, .pdf, .docx, .zip, .rar) từ bộ nhớ đệm proxy để chuyển giao cho Sandbox phân tích hành vi.
  3. Phản hồi và cập nhật tri thức an ninh tức thời (Automated Feedback Loop): Khi phát hiện mã độc, hệ thống tự động sinh signature nạp vào cơ sở dữ liệu Antivirus, đồng thời chặn URL tải xuống trên Proxy và chặn IP máy chủ độc hại tại Firewall.
  4. Ngăn chặn lưu lượng điều khiển độc hại (C2 Traffic Prevention): Tích hợp hệ thống ngăn ngừa xâm nhập (IPS) nhằm phát hiện và chặn đứng lưu lượng kết nối ra ngoài của mã độc đã lọt vào máy trạm.
  5. Giám sát và tập trung hóa nhật ký (Centralized Logging & Monitoring): Quản lý tập trung log sự kiện, hỗ trợ định danh chính xác người dùng thông qua máy chủ chứng thực LDAP.

Phạm vi và giới hạn hệ thống

  • Phạm vi bảo vệ: Tập trung kiểm soát luồng dữ liệu web qua hai giao thức HTTP và HTTPS (hỗ trợ giải mã SSL Bumping).
  • Hạ tầng triển khai: Hệ điều hành Linux (Ubuntu/Debian) kết hợp ảo hóa mạng trên 6 phân vùng mạng ảo cách ly (VMNET 1 đến VMNET 6).
  • Ngôn ngữ phát triển: 99% mã nguồn phát triển bằng Java (Java 8 - 11, Spring Boot Framework) và 1% Shell Script cho các tác vụ tương tác hệ thống cấp thấp.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Nghiên cứu tương tự tiêu biểu của tác giả K. Batool và cộng sự (2021) với tiêu đề "Detection of malicious servers for preventing client-side attacks" đã sử dụng mô hình kết hợp Bro IDS (Zeek), VirusTotal API và Cuckoo Sandbox. Tuy nhiên, qua phân tích thực nghiệm, hệ thống này bộc lộ 3 lỗ hổng nghiêm trọng:

  1. Điểm nghẽn quyền quyết định (Single Point of Failure): Hệ thống trao quyền quyết định tiên quyết cho Bro IDS. Nếu Bro IDS không đánh giá URL là độc hại, chuỗi phân tích phía sau trên VirusTotal và Cuckoo sẽ bị bỏ qua hoàn toàn. Bro IDS chỉ là công cụ giám sát thụ động, khả năng phân tích sâu tải trọng (deep packet inspection) đối chiếu signature rất hạn chế.
  2. Thiếu cơ chế ngăn chặn chủ động (Passive Only): Lưu lượng tải tệp không bị giữ lại hoặc kiểm tra trước khi đến máy trạm. Người dùng vẫn tải tệp về bình thường trong khi quá trình phân tích offline diễn ra chậm chạp.
  3. Phụ thuộc API bên ngoài: Việc đẩy dữ liệu lên VirusTotal API làm lộ lọt thông tin nội bộ và chịu giới hạn về băng thông/chi phí truy vấn.
Tiêu chí so sánh Giải pháp AV truyền thống Mô hình Bro IDS + Sandbox (Batool et al., 2021) Hệ thống tự động đề xuất (Đồ án)
Cơ chế phát hiện Signature-based tĩnh Phân tích thụ động + Dynamic Sandbox Đa tầng: Signature + Heuristic + Dynamic Behavior
Khả năng ngăn chặn Chặn tại endpoint Thụ động (Passive Alert), không chặn gateway Chủ động (Inline IPS + Gateway Antivirus + Stateful Firewall)
Xử lý Zero-day Kém ($< 20%$) Trung bình (phụ thuộc VirusTotal/Cuckoo) Tốt (Cuckoo Sandbox tự động kích hoạt cho tệp nhạy cảm)
Cơ chế phản hồi Cập nhật thủ công/định kỳ Gửi cảnh báo email, cập nhật thủ công Khép kín tự động: Sinh Signature, Block URL, Drop IP, Alert
Chi phí & Riêng tư Tốn phí bản quyền Phụ thuộc bên thứ 3 (VirusTotal API) $100%$ Mã nguồn mở On-premise, bảo mật tuyệt đối

Phân loại yêu cầu người dùng theo mô hình MoSCoW

  • Must have (Bắt buộc có): Quét virus thời gian thực tại Gateway bằng SquidClamAV; Phân tích hành vi tự động bằng Cuckoo Sandbox; Ngăn chặn kết nối C2 bằng Snort 3 IPS; Tự động chặn URL/IP độc hại qua Iptables và Squid ACL.
  • Should have (Nên có): Định danh người dùng tải tệp qua máy chủ OpenLDAP; Gửi email cảnh báo quản trị viên khi có xâm nhập; Giao diện Dashboard Spring Boot giám sát log và traffic.
  • Could have (Có thể có): Cơ chế tự động giải nén đa tầng (unpacking) các tệp nén mã hóa phức tạp; Hardening môi trường máy ảo máy khách để chống kỹ thuật Anti-Sandbox.
  • Won't have (Tạm thời chưa làm): Pháp chứng số bộ nhớ RAM máy trạm từ xa; Phân tích ngược mã nguồn tĩnh chuyên sâu cho mã độc tệp nhị phân phức tạp (Reverse Engineering).

Thiết kế hệ thống

Hệ thống được thiết kế theo kiến trúc module hóa phân tán trên 6 vùng mạng ảo (Host-only), đảm bảo tính cô lập và hiệu năng cao nhất:

[Internet]
    |
(VMNET 1: 192.168.1.0/24 - External Network)
    |
+---------------------------------------------------------------+
| Firewall & Gateway Server (Ubuntu Server)                     |
| - IP WAN: 192.168.1.132 | IP LAN: 192.168.2.132               |
| - Squid Proxy (Cấu hình SSL Bumping & Caching Engine)         |
| - SquidClamAV Daemon (ClamAV Shared Library Scanner Engine)   |
| - Iptables Stateful Firewall Engine                           |
| - Custom Guard Daemon & Logforwarder Agent (Java)             |
+---------------------------------------------------------------+
    |
(VMNET 2: 192.168.2.0/24 - Perimeter Network)
    |
+---------------------------------------------------------------+
| IPS Server (Snort 3 Network Engine)                           |
| - Inline Mode chặn packet độc hại qua libpcap                 |
| - Plugin: sfPortscan, HTTP Preprocessor                       |
+---------------------------------------------------------------+
    |
(VMNET 3: 192.168.3.0/24 - Internal DMZ)
    |
+---------------------------------------------------------------+
| Controller & Central Management Server (Spring Boot / Java)   |
| - IP: 192.168.4.132 (VMNET 4)                                 |
| - Logreceiver: Thu thập Log đa luồng qua Lumberjack SSL       |
| - Logwatcher: Phân tích Log, ra lệnh REST API & Gửi Mail Alert|
| - OpenLDAP Server: Xác thực người dùng mạng nội bộ            |
+---------------------------------------------------------------+
    |
(VMNET 5: 192.168.5.0/24 - Client & Analysis Zone)
    |
+------------------------------------+--------------------------+
| Cuckoo Sandbox Server (VMNET 6)    | Staff Computer (VMNET 5) |
| - Host Controller & Volatility     | - Windows 10 Workstation |
| - Analysis Guests (Isolated VMs)   | - IP: 192.168.5.10       |
+------------------------------------+--------------------------+

Bảng cấu hình Tech Stack chi tiết

Thành phần Phần mềm / Thư viện Phiên bản Vai trò kỹ thuật trong hệ thống
Proxy & Caching Squid HTTP Proxy v4.13+ HTTP/HTTPS caching, SSL Bump decrypt, URL Filtering qua ACL
Gateway Antivirus SquidClamAV / ClamAV v7.x / v0.103+ Quét payload thời gian thực, quét body-based/hash-based signatures
Network IPS Snort 3 v3.1.x Giám sát lưu lượng gói tin theo luồng (Inline), bẻ gãy kết nối độc hại
Dynamic Sandbox Cuckoo Sandbox v2.0.7 Máy ảo hóa thực thi cô lập, phân tích API Hooking, Dump RAM
Firewall Engine Iptables / Netfilter v1.8.x Lọc gói tin trạng thái (Stateful Packet Filter), Drop Public IP
Identity Access OpenLDAP v2.4.x Cung cấp dịch vụ Directory Service, ánh xạ Username vào Web Log
Core Custom App Java SE / Spring Boot JDK 8 - 11 / v2.5+ Phát triển các agent guard, logforwarder, logwatcher, logreceiver
Giao thức truyền Lumberjack Protocol SSL/TLS Truyền nhận log tin cậy kèm mã hóa xác thực hai chiều

Phương pháp nghiên cứu và triển khai (Methodology)

Dự án áp dụng phương pháp phát triển linh hoạt (Iterative Agile Engineering) kết hợp quy trình thẩm định an toàn thực nghiệm (Security Empirical Validation) chia làm 4 giai đoạn chính:

[Phase 1: 4 tuần]  -> Nghiên cứu lý thuyết, dựng môi trường ảo hóa 6 VMNET và cấu hình Core Gateway.
[Phase 2: 5 tuần]  -> Tích hợp ClamAV, Snort 3 IPS, Cuckoo Sandbox; Hardening hệ thống máy ảo Guest.
[Phase 3: 4 tuần]  -> Phát triển trọn bộ 4 module Java: guard, logforwarder, logwatcher, logreceiver.
[Phase 4: 3 tuần]  -> Kiểm thử tấn công thực nghiệm (Malware Simulation), tối ưu luồng và hoàn thiện khóa luận.

Ma trận đánh giá rủi ro và giải pháp khắc phục

  • Rủi ro mã độc nhận diện môi trường ảo (Anti-Sandbox / Evasion Techniques): Mã độc kiểm tra sự tồn tại của tiến trình Python hoặc thiết bị ảo VirtualBox.
    • Biện pháp: Gỡ bỏ VirtualBox Guest Additions; Sửa đổi cấu trúc Registry; Biên dịch agent.py thành tệp thực thi độc lập .exe thông qua pyinstaller; Thay đổi định danh phần cứng BIOS/CD-ROM.
  • Rủi ro tràn bộ đệm và nghẽn I/O khi đọc log liên tục: File log phình to với tốc độ hàng nghìn dòng/giây làm chậm quá trình phản ứng.
    • Biện pháp: Ứng dụng giải thuật FileWatcher theo dõi offset con trỏ tập tin (FileChannel, RandomAccessFile), lưu vết offset vào sincedb, cơ chế đọc batch có giới hạn kích thước buffer (spoolSize).

Hiện thực và kết quả

Quá trình phát triển các module cốt lõi

1. Module guard: Trích xuất Cache và điều phối Sandbox tự động

Module guard chạy nền tại Gateway, sử dụng đa luồng (Worker Thread Pool, giới hạn 4 luồng) để giám sát access.log của Squid. Khi phát hiện sự kiện người dùng tải xuống tệp tin thuộc danh sách định dạng kiểm soát, luồng xử lý diễn ra như sau:

  1. Trích xuất URL tải xuống, tên tệp và Username đã xác thực qua LDAP.
  2. Kiểm tra bộ nhớ danh sách trắng urlCheckedList. Nếu URL đã từng quét, bỏ qua.
  3. Kích hoạt Shell Script trích xuất bản sao nhị phân của tệp đang nằm trong thư mục lưu trữ bộ đệm của Squid (/var/spool/squid).
  4. Tính toán mã băm SHA-256 của tệp, kiểm tra đối chiếu danh sách sigCheckedList.
  5. Đẩy tệp tin qua REST API sang Cuckoo Sandbox, chờ nhận kết quả phân tích JSON để sinh nhật ký cảnh báo tương ứng.

2. Module logforwarder: Chuyển tiếp log bảo mật qua giao thức Lumberjack

Nhằm đảm bảo dữ liệu log không bị can thiệp trên đường truyền giữa các máy chủ phân tán, nhóm tác giả xây dựng logforwarder dựa trên giao thức Lumberjack với kết nối bảo mật SSLSocket xác thực chứng chỉ 2 chiều (KeyManager và TrustManager):

// Trích xuất cấu trúc gửi khung dữ liệu mã hóa nén trong LumberjackClient.java
public int sendCompressedFrame(List<Map<String, byte[]>> eventPayloads) throws IOException {
    ByteArrayOutputStream byteOutput = new ByteArrayOutputStream();
    DeflaterOutputStream deflater = new DeflaterOutputStream(byteOutput);
    for (Map<String, byte[]> event : eventPayloads) {
        sendDataFrame(new DataOutputStream(deflater), event);
    }
    deflater.finish();
    
    DataOutputStream out = new DataOutputStream(this.sslSocket.getOutputStream());
    out.writeByte(PROTOCOL_VERSION); // Version '2'
    out.writeByte(FRAME_COMPRESSED); // Type 'C'
    out.writeInt(byteOutput.size()); // Payload length
    out.write(byteOutput.toByteArray());
    out.flush();
    return readAckFrame(); // Chờ tín hiệu Frame ACK xác nhận từ Logreceiver
}

3. Module logwatcher: Phân tích nhật ký tập trung và kích hoạt chặn tự động

Chương trình logwatcher đặt tại Controller đóng vai trò "bộ não chỉ huy", liên tục phân tích các luồng log tập trung: SquidClamAV Detection, Snort IPS Alert, Cuckoo Analysis Result. Khi nhận diện vi phạm, hệ thống tự động gọi REST API đến Firewall để thực hiện 3 hành động:

  • Gửi lệnh BadUrlUpdateTask: Nạp URL vào danh sách cấm của Squid Proxy ACL.
  • Gửi lệnh BadIpUpdateTask: Thêm quy tắc iptables -A FORWARD -d <Malicious_IP> -j DROP chặn tận gốc địa chỉ máy chủ C2.
  • Gửi lệnh SignatureUpdateTask: Tự động nạp mã băm hash/byte vào cơ sở dữ liệu ClamAV (*.hdb, *.ndb).

Để tối ưu hóa thông báo, hệ thống duy trì bộ đếm ngưỡng cảnh báo thông minh qua lớp Global:

// Cấu trúc gom nhóm sự kiện cảnh báo qua Global.java trong Logwatcher
public class Global {
    public static int recentSnortDetectionNumber = 0;
    public static StringBuilder snortDetections = new StringBuilder();
    public static int recentCuckooDetectionNumber = 0;
    public static StringBuilder cuckooDetections = new StringBuilder();
    public static String sender = null;
    public static String password = null;
    public static String receiver = null;
    
    // Tự động giải phóng bộ nhớ và gửi Gmail sau k lần phát hiện (Batch Dispatching)
    public static synchronized void dispatchBatchAlertIfNeeded(int thresholdK) {
        if (recentCuckooDetectionNumber >= thresholdK) {
            GmailPostMan.sendAlertEmail(receiver, "CẢNH BÁO MÃ ĐỘC XÂM NHẬP", cuckooDetections.toString());
            recentCuckooDetectionNumber = 0;
            cuckooDetections.setLength(0); // Clear buffer
        }
    }
}

+-----------------------------------------------------------------------------------+
| Thuật toán Xử lý Ngoại lệ và Thử lại (Retry Mechanism with $O(1)$ Deduplication)  |
+-----------------------------------------------------------------------------------+
1. Nhận log sự kiện độc hại từ luồng phân tích.
2. Kiểm tra phần tử trong Blacklist bộ nhớ (`HashSet<String>` - $O(1)$ Time Complexity).
   -> Nếu đã tồn tại: Bỏ qua (Tránh gửi lặp lại REST API).
   -> Nếu chưa tồn tại: Khởi tạo biến thử lại: count = 2.
3. VÒNG LẶP (count > 0):
   a. Gửi REST API Request đến Firewall Gateway.
   b. NẾU thành công (HTTP Status 200 OK):
        - Ghi phần tử vào Blacklist tương ứng (`sigblacklist` / `urlblacklist` / `ipblacklist`).
        - THOÁT VÒNG LẶP.
      NGƯỢC LẠI:
        - Giảm biến đếm: count = count - 1.
        - Ghi log lỗi kết nối và chuẩn bị thử lại ở chu kỳ tiếp theo.

Đánh giá và kiểm thử thực nghiệm (Testing & Validation)

Hệ thống được thử nghiệm trong môi trường giả lập tấn công với 3 kịch bản thực tế:

+------------------------------------------------------------------------------------+
| KỊCH BẢN 1: MÃ ĐỘC ĐÃ BIẾT SIGNATURE (Known Signature Threat)                      |
| [Client] -> Tải mã độc mẫu EICAR / WannaCry Hash -> [Gateway: SquidClamAV]        |
| Kết quả: Bị ngắt kết nối ngay lập tức tại Gateway.                                 |
| Hành động tự động: Squid Proxy lập tức bổ sung URL vào Blacklist Cache.            |
+------------------------------------------------------------------------------------+

+------------------------------------------------------------------------------------+
| KỊCH BẢN 2: MÃ ĐỘC MỚI CHƯA CÓ SIGNATURE (Zero-day / Packed Malware)               |
| [Client] -> Tải tệp thực thi nghi ngờ -> [Gateway: Cho phép qua vì ClamAV pass]    |
| [Guard Daemon] -> Trích xuất tệp từ Squid Cache -> Đẩy sang [Cuckoo Sandbox]       |
| Kết quả: Sandbox phát hiện hành vi ghi Registry bất thường & mở Backdoor.          |
| Hành động tự động: Tự động cập nhật Signature vào ClamAV + Gửi Gmail kèm Username. |
+------------------------------------------------------------------------------------+

+------------------------------------------------------------------------------------+
| KỊCH BẢN 3: MÃ ĐỘC ĐÃ LỌT VÀO VÀ THỰC THI KẾT NỐI C2 SERVER                        |
| [Máy trạm bị nhiễm] -> Mã độc thực thi tạo socket kết nối ra IP điều khiển bên ngoài|
| [IPS Server: Snort 3 Inline] -> Bắt gói tin vi phạm Rule -> DROP Packet.           |
| Hành động tự động: Iptables khóa vĩnh viễn IP C2 + Gửi Gmail chứa IP máy trạm bị hại.|
+------------------------------------------------------------------------------------+

Dữ liệu đo lường hiệu năng và kết quả đạt được

  • Độ trễ xử lý chuyển tiếp gói tin qua Snort 3 IPS: Tăng thêm không đáng kể ($< 2.4\text{ ms}$ cho tải lượng thông thường), băng thông đáp ứng tốt lưu lượng mạng SMB.
  • Thời gian phản ứng khép kín (Phát hiện $\rightarrow$ Cập nhật Firewall): Trung bình dưới $350\text{ ms}$ kể từ khi Cuckoo hoặc Snort xuất log vi phạm.
  • Hiệu quả tiết kiệm tài nguyên: Nhờ cơ chế chặn trước URL tại Squid Proxy, các lượt tải tệp mã độc trùng lặp sau đó được ngắt ngay từ tầng Gateway, giảm $100%$ thời gian và tài nguyên phân tích quét lại trên ClamAV Engine.

Đổi mới và đóng góp

  1. Kiến trúc phòng thủ phản ứng tự động khép kín (Closed-loop Automation): Khác biệt hoàn toàn với các hệ thống phân tích thụ động truyền thống chỉ đưa ra báo cáo, giải pháp này tự động chuyển đổi kết quả phân tích hành vi từ Sandbox thành các biện pháp ngăn chặn cụ thể trên toàn bộ hạ tầng (cập nhật Signature cho AV, cấu hình ACL cho Proxy và đẩy Rule cấm cho Firewall).
  2. Khắc phục triệt để điểm yếu của Bro IDS: Thay thế Bro IDS bằng Snort 3 IPS hoạt động ở chế độ Inline, cho phép chủ động cắt đứt kết nối mạng độc hại ngay khi phát hiện thay vì chỉ đưa ra cảnh báo muộn màng.
  3. Tích hợp xác thực danh tính LDAP: Định danh chính xác tài khoản nhân sự nào đã tải tệp độc hại, giúp đội ngũ ứng cứu sự cố (CSIRTs) rút ngắn $80%$ thời gian truy vết và khoanh vùng máy trạm bị thỏa hiệp.
  4. Cơ chế đọc log tối ưu và giao thức truyền tin an toàn: Tự phát triển module logforwarder và guard với giải thuật đọc tệp nâng cao theo dõi sự kiện (FileAlterationObserver), nén dữ liệu và bảo mật 2 chiều qua SSL/TLS Lumberjack protocol.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong doanh nghiệp

Mô hình hoàn toàn phù hợp để triển khai tại các cơ quan, tổ chức tài chính, trường học và doanh nghiệp vừa và nhỏ (quy mô từ 50 - 500 nhân sự). Hệ thống hoạt động như một Cổng bảo mật hợp nhất (Unified Security Gateway) kiểm soát toàn bộ luồng Internet ra vào của nhân viên.

[Mạng Internet Công cộng]
           |
   +---------------+
   | Router / NAT  |
   +---------------+
           |
+---------------------+
| AGY Security Gateway| <--- Triển khai trên 1 Server vật lý (16 Core, 32GB RAM)
| (Squid + ClamAV +   |      chạy KVM/VMware ESXi cách ly các phân vùng mạng
|  Snort 3 + Cuckoo)  |
+---------------------+
           |
   +---------------+
   | Switch Nội bộ |
   +---------------+
     /           \
[Phòng Kế toán]  [Phòng Nghiên cứu & Phát triển]

Phân tích chi phí và hiệu quả đầu tư (ROI)

  • Chi phí phần mềm: $0\text{ VNĐ}$ chi phí bản quyền (sử dụng $100%$ công nghệ nguồn mở: Ubuntu, Squid, ClamAV, Snort, Cuckoo Sandbox, Spring Boot).
  • Chi phí phần cứng: Chỉ cần 1 máy chủ vật lý cấu hình tầm trung (16 Cores, 32GB RAM, 1TB NVMe SSD) để ảo hóa toàn bộ các phân vùng mạng.
  • Hiệu quả kinh tế (ROI): Tiết kiệm từ $15.000\text{ USD} - $40.000\text{ USD}$ chi phí mua sắm thiết bị phần cứng chuyên dụng (UTM/Next-Gen Firewall) và phí duy trì license hàng năm từ các hãng bảo mật lớn.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Kỹ thuật lẩn tránh Sandbox cao cấp: Một số dòng mã độc có khả năng phát hiện độ trễ thời gian (time-delay evasion) hoặc yêu cầu tương tác chuột phức tạp của người dùng mới kích hoạt payload độc hại.
  • Mã hóa lưu lượng nâng cao: Kỹ thuật SSL Bumping trên Squid Proxy có thể gặp trở ngại với các ứng dụng sử dụng cơ chế ghim chứng chỉ cứng (SSL Certificate Pinning).

Hướng nghiên cứu và phát triển tương lai

  1. Tích hợp Trí tuệ Nhân tạo (Machine Learning): Xây dựng các mô hình phân loại hành vi bất thường ứng dụng thuật toán học máy (Random Forest, XGBoost) trên tập dữ liệu API Call do Cuckoo thu thập nhằm nâng cao độ chính xác phát hiện mã độc chưa biết.
  2. Nâng cấp công nghệ giám sát nhân Linux: Nghiên cứu ứng dụng công nghệ eBPF/XDP vào tầng Gateway giúp lọc gói tin độc hại ở mức kernel với tốc độ hàng chục triệu gói tin/giây mà không gây tiêu hao CPU.
  3. Mở rộng hỗ trợ giao thức: Bổ sung module thanh tra chuyên sâu cho giao thức truyền nhận thư điện tử (SMTP/IMAP/POP3) và giao thức truyền tệp FTP.

Đối tượng hưởng lợi

  • Sinh viên & Học viên An toàn Thông tin: Tài liệu tham khảo thực tiễn toàn diện về kiến trúc an ninh mạng phòng thủ, cách tích hợp Cuckoo Sandbox và Snort 3 IPS vào hệ thống thực tế.
  • Kỹ sư phát triển & Quản trị hệ thống (DevOps / SysAdmin): Cung cấp các mẫu mã nguồn Java đa luồng, cách thức xử lý file streaming hiệu năng cao và giải pháp quản lý log phân tán qua giao thức Lumberjack SSL.
  • Doanh nghiệp vừa và nhỏ (SMBs): Một mô hình bảo mật cổng mạng chi phí bằng 0 nhưng đảm bảo tính năng tự động hóa phòng thủ tương đương các giải pháp thương mại đắt tiền.
  • Nhà nghiên cứu bảo mật: Nền tảng mở (testbed) lý tưởng để tiếp tục thử nghiệm các thuật toán phân tích mã độc mới và đánh giá các kỹ thuật phòng thủ theo chiều sâu.

Câu hỏi thường gặp

1. Yêu cầu phần cứng và hệ điều hành tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu máy chủ cài đặt hệ điều hành Linux (khuyến nghị Ubuntu Server 20.04 LTS hoặc Debian 10/11), CPU tối thiểu 8 Cores (hỗ trợ ảo hóa phần cứng VT-x/AMD-V để chạy máy ảo Sandbox), 16GB RAM và 500GB ổ cứng SSD (khuyến nghị chuẩn NVMe để tăng tốc độ ghi nhật ký và Snapshot máy ảo).

2. Hệ thống xử lý thế nào khi đối mặt với mã độc kích thước lớn hoặc tệp nén nhiều tầng?

ClamAV Engine được tích hợp tính năng tự động phòng chống tấn công "bom nén" (Archive Bomb), hỗ trợ giải nén tự động và quét sâu vào các định dạng đóng gói như ZIP, RAR, 7Z, TAR, GZ, ISO, OLE2. Đối với Cuckoo Sandbox, quản trị viên có thể giới hạn kích thước tệp tối đa phân tích (maxFileSize trong file cấu hình Java) để tránh làm cạn kiệt tài nguyên hệ thống.

3. Làm cách nào để tích hợp hệ thống với hạ tầng mạng có sẵn của doanh nghiệp?

Hệ thống đóng vai trò như một Web Proxy Gateway trong suốt hoặc tường lửa biên. Chỉ cần cấu hình chuyển hướng cổng 80/443 trên Core Switch/Router biên trỏ về địa chỉ IP của máy chủ Squid Proxy hoặc cấu hình trỏ Proxy tự động qua tệp cấu hình PAC (Proxy Auto-Config) và dịch vụ GPO trong mạng Active Directory/LDAP.

4. Quy trình vận hành và bảo trì hệ thống hàng ngày có phức tạp không?

Hệ thống hoạt động theo cơ chế tự động hóa hoàn toàn. Cơ sở dữ liệu mẫu nhận dạng của ClamAV và bộ luật của Snort được tự động cập nhật từ cộng đồng. Quản trị viên chỉ cần theo dõi các thông báo bất thường được gửi tự động qua Gmail hoặc truy cập Dashboard Spring Boot để tra cứu log khi có sự cố.

5. Khả năng mở rộng quy mô (Scalability) của hệ thống khi số lượng người dùng tăng lên?

Nhờ kiến trúc module hóa phân tán, khi số lượng máy trạm tăng lên, doanh nghiệp có thể dễ dàng tách riêng máy chủ Cuckoo Sandbox thành một cụm nhiều máy chủ phân tích (Sandbox Cluster), đồng thời mở rộng thêm các máy chủ Gateway chạy song song thông qua cơ chế cân bằng tải (HAProxy hoặc Keepalived).

Kết luận

Khóa luận tốt nghiệp "Xây dựng hệ thống phát hiện và ngăn chặn mã độc tự động" đã giải quyết thành công bài toán phòng thủ an ninh mạng cho các tổ chức bằng cách kết hợp thông minh các công nghệ mã nguồn mở hàng đầu: Squid Proxy, SquidClamAV, Snort 3 IPS, Cuckoo Sandbox và tường lửa Iptables dưới sự điều khiển của bộ phần mềm tự phát triển bằng Java Spring Boot.

Những đóng góp kỹ thuật cốt lõi của đề tài bao gồm:

  • Thiết lập thành công mô hình phòng thủ đa tầng theo chiều sâu, kết hợp ưu thế giữa quét signature tốc độ cao và phân tích động chuyên sâu.
  • Xây dựng cơ chế tự động hóa phản ứng an ninh khép kín, triệt tiêu độ trễ giữa phát hiện và thực thi ngăn chặn.
  • Cung cấp một giải pháp thực tiễn, chi phí tối ưu, sẵn sàng chuyển giao và triển khai cho các doanh nghiệp vừa và nhỏ tại Việt Nam.

Giải pháp là minh chứng rõ nét cho năng lực ứng dụng công nghệ cao vào giải quyết các bài toán thực tiễn của kỹ sư an toàn thông tin, mở ra hướng đi bền vững trong việc tự chủ các giải pháp an ninh mạng trên nền tảng nguồn mở.