Đề tài sử dụng deep learning và phương pháp giảm chiều dữ liệu pca cho xác định bất thường trong hệ thống iot

Tài liệu nghiên cứu Đề tài sử dụng deep learning và phương pháp giảm chiều dữ liệu pca cho xác định bất thường trong hệ, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Đinh Quang Huy
• Người hướng dẫn: TS. Hoàng Trọng Minh
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Sử Dụng Deep Learning và PCA Trong Phát Hiện Bất Thường Hệ Thống IoT
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG VÀ FIGURE
• THUẬT NGỮ VIẾT TẮT
• BẢNG KÍ HIỆU
• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG DỰA TRÊN TRÍ TUỆ NHÂN TẠO
• 1.1. Giới thiệu chung
• 1.2. Hệ thống phát hiệm xâm nhập (IDS)
• 1.3. Phân loại hệ thống phát hiện xâm nhập
• 1.4. Hệ thống phát hiện xâm nhập dựa trên chữ ký (SIDS)
• 1.5. Hệ thống phát hiện xâm nhập dựa trên sự bất thường (AIDS)
• 1.6. Nguồn dữ liệu sử dụng cho hệ thống phát hiện xâm nhập
• 1.7. Ưu và nhược điểm của hệ thống phát hiện xâm nhập IDS
• 1.8. Vấn đề trong hệ thống phát hiện xâm nhập
• 1.9. AI trong hệ thống phát hiện xâm nhập
• 1.10. Bộ dữ liệu phát hiện xâm nhập
• 2. CHƯƠNG 2: XÂY DỰNG VÀ PHÂN TÍCH CHIẾN LƯỢC DỰA TRÊN DNN VÀ PCA
• 2.1. Chiến lược áp dụng
• 2.2. Tiền xử lý dữ liệu (preprocessing data)
• 2.3. Phân tích thành phần chính (PCA)
• 2.4. Xây dựng mô hình thuật toán
• 3. CHƯƠNG 3: TRIỂN KHAI MÔ HÌNH THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Tổng quan về đánh giá mô hình
• 3.2. Thiết lập nghiên cứu và đánh giá
• 3.3. Kết luận chung và phân tích kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Sử Dụng Deep Learning Trong Phát Hiện Bất Thường

Phát hiện bất thường trong hệ thống IoT là một thách thức lớn trong lĩnh vực an ninh mạng. Sự gia tăng kết nối giữa các thiết bị thông minh đã tạo ra một lượng dữ liệu khổng lồ, đòi hỏi các phương pháp phân tích hiệu quả. Deep Learning đã trở thành một công cụ mạnh mẽ trong việc phát hiện các hành vi bất thường, nhờ khả năng học hỏi từ dữ liệu lớn và phát hiện các mẫu phức tạp mà các phương pháp truyền thống không thể nhận diện.

1.1. Khái Niệm Về Deep Learning Trong An Ninh Mạng

Deep Learning là một nhánh của Machine Learning, sử dụng các Mạng Nơ-ron để phân tích và học từ dữ liệu. Trong bối cảnh an ninh mạng, nó giúp phát hiện các cuộc tấn công và hành vi bất thường bằng cách phân tích lưu lượng mạng và nhận diện các mẫu không bình thường.

1.2. Lợi Ích Của Deep Learning Trong Phát Hiện Bất Thường

Việc áp dụng Deep Learning trong phát hiện bất thường mang lại nhiều lợi ích, bao gồm khả năng tự động hóa quy trình phát hiện, giảm thiểu tỷ lệ cảnh báo sai và cải thiện độ chính xác trong việc nhận diện các mối đe dọa tiềm ẩn.

II. Thách Thức Trong Phát Hiện Bất Thường Hệ Thống IoT

Hệ thống IoT đang phải đối mặt với nhiều thách thức trong việc phát hiện bất thường. Sự đa dạng của các thiết bị và giao thức kết nối tạo ra một môi trường phức tạp, làm cho việc phát hiện các hành vi bất thường trở nên khó khăn hơn. Các vấn đề như dữ liệu không đồng nhất và thiếu hụt thông tin cũng gây khó khăn cho các mô hình phân tích.

2.1. Đặc Điểm Dữ Liệu Trong Hệ Thống IoT

Dữ liệu trong hệ thống IoT thường không đồng nhất và có thể chứa nhiều loại thông tin khác nhau. Điều này làm cho việc phân tích và phát hiện bất thường trở nên phức tạp hơn, yêu cầu các phương pháp xử lý dữ liệu tiên tiến.

2.2. Tỷ Lệ Cảnh Báo Sai Trong Phát Hiện Bất Thường

Tỷ lệ cảnh báo sai cao là một trong những thách thức lớn nhất trong phát hiện bất thường. Điều này không chỉ gây lãng phí tài nguyên mà còn làm giảm độ tin cậy của hệ thống an ninh mạng.

III. Phương Pháp Sử Dụng PCA Trong Phát Hiện Bất Thường

Phân tích thành phần chính (PCA) là một kỹ thuật hữu ích trong việc giảm chiều dữ liệu, giúp cải thiện hiệu suất của các mô hình Deep Learning. Bằng cách loại bỏ các đặc trưng không cần thiết, PCA giúp tăng tốc độ xử lý và giảm thiểu tài nguyên máy tính cần thiết cho việc phát hiện bất thường.

3.1. Nguyên Tắc Hoạt Động Của PCA

PCA hoạt động bằng cách xác định các thành phần chính trong dữ liệu, từ đó giảm số lượng biến mà vẫn giữ lại được thông tin quan trọng. Điều này giúp cải thiện hiệu suất của các mô hình học máy trong việc phát hiện bất thường.

3.2. Lợi Ích Của PCA Trong Phát Hiện Bất Thường

Việc áp dụng PCA giúp giảm thiểu độ phức tạp của dữ liệu, từ đó tăng tốc độ huấn luyện mô hình và cải thiện độ chính xác trong việc phát hiện các hành vi bất thường trong hệ thống IoT.

IV. Ứng Dụng Thực Tiễn Của Deep Learning Và PCA

Việc kết hợp Deep Learning và PCA đã cho thấy hiệu quả rõ rệt trong nhiều ứng dụng thực tiễn. Các nghiên cứu đã chỉ ra rằng sự kết hợp này không chỉ giúp phát hiện bất thường mà còn cải thiện khả năng phản ứng của hệ thống an ninh mạng.

4.1. Các Nghiên Cứu Điển Hình

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng Deep Learning kết hợp với PCA có thể cải thiện đáng kể độ chính xác trong việc phát hiện các cuộc tấn công mạng, đặc biệt là trong các hệ thống IoT.

4.2. Kết Quả Thực Tế Từ Các Dự Án

Các dự án thực tế đã chứng minh rằng việc sử dụng Deep Learning và PCA không chỉ giúp phát hiện bất thường hiệu quả mà còn giảm thiểu thời gian xử lý và tài nguyên máy tính cần thiết.

V. Kết Luận Về Tương Lai Của Phát Hiện Bất Thường Trong IoT

Tương lai của phát hiện bất thường trong hệ thống IoT sẽ tiếp tục được cải thiện nhờ vào sự phát triển của công nghệ Deep Learning và các phương pháp phân tích dữ liệu tiên tiến như PCA. Sự kết hợp này hứa hẹn sẽ mang lại những giải pháp an ninh mạng hiệu quả hơn trong bối cảnh ngày càng phức tạp của các mối đe dọa mạng.

5.1. Xu Hướng Phát Triển Công Nghệ

Công nghệ Deep Learning và PCA sẽ tiếp tục phát triển, mở ra nhiều cơ hội mới trong việc phát hiện và ngăn chặn các cuộc tấn công mạng trong hệ thống IoT.

5.2. Tầm Quan Trọng Của An Ninh Mạng Trong Tương Lai

An ninh mạng sẽ trở thành một yếu tố quan trọng trong sự phát triển của công nghệ IoT, yêu cầu các giải pháp phát hiện bất thường ngày càng hiệu quả và thông minh hơn.

Nội dung chính

Giới thiệu dự án

Sự bùng nổ của cuộc Cách mạng Công nghiệp 4.0 đã thúc đẩy hàng chục tỷ thiết bị Internet vạn vật (IoT - Internet of Things) tham gia vào hệ thống mạng toàn cầu. Theo các báo cáo thống kê an ninh mạng quốc tế, lưu lượng tấn công nhắm vào các thiết bị thông minh, mạng cảm biến không dây và cổng kết nối biên (Edge Gateways) đã gia tăng hơn 300% trong những năm gần đây. Các biến thể mã độc nguy hiểm như Mirai, Torii hay Gafgyt liên tục thực hiện các cuộc tấn công Từ chối dịch vụ phân tán (DDoS - Distributed Denial-of-Service), quét cổng (port scanning) và đánh cắp dữ liệu nhạy cảm.

Phần lớn các thiết bị IoT đều bị giới hạn nghiêm ngặt về tài nguyên phần cứng (CPU, bộ nhớ RAM, năng lượng tiêu thụ). Trong khi đó, các Hệ thống phát hiện xâm nhập mạng truyền thống (NIDS - Network Intrusion Detection System) dựa trên chữ ký (SIDS - Signature-based IDS) bộc lộ hạn chế chí mạng: không thể phát hiện các cuộc tấn công chưa từng biết (zero-day) và đòi hỏi cập nhật cơ sở dữ liệu mẫu liên tục. Ngược lại, Hệ thống phát hiện xâm nhập dựa trên sự bất thường (AIDS - Anomaly-based Intrusion Detection System) ứng dụng Trí tuệ nhân tạo (AI) có khả năng tổng quát hóa hành vi mạng nhưng lại đối mặt với thách thức lớn về "lời nguyền số chiều" (curse of dimensionality) từ các tập dữ liệu lưu lượng mạng khổng lồ, gây nghẽn cổ chai tính toán và độ trễ phân tích cao.

Đồ án tốt nghiệp "Sử dụng Deep Learning và phương pháp giảm chiều dữ liệu PCA cho xác định bất thường trong hệ thống IoT" do sinh viên Đinh Quang Huy thực hiện dưới sự hướng dẫn của TS. Hoàng Trọng Minh tại Học viện Công nghệ Bưu chính Viễn thông (PTIT) tập trung giải quyết triệt để bài toán này.

+-----------------------------------------------------------------------------------+
|                              MỤC TIÊU CỐT LÕI ĐỒ ÁN                               |
+-----------------------------------------------------------------------------------+
| 1. Khai thác và tiền xử lý tập dữ liệu lưu lượng mạng IoT chuẩn hóa (IoT-23).    |
| 2. Ứng dụng Phân tích thành phần chính (PCA) để trích xuất đặc trưng tối ưu.     |
| 3. Xây dựng mô hình Mạng nơ-ron sâu (DNN) phân loại bất thường mạng chính xác cao.|
| 4. Cắt giảm đáng kể tài nguyên phần cứng, thời gian huấn luyện và độ trễ suy luận.|
+-----------------------------------------------------------------------------------+

Phương pháp tiếp cận của đồ án là kết hợp kỹ thuật Học không giám sát (Unsupervised Learning) thông qua PCA để loại bỏ các đặc trưng dư thừa, nhiễu và kỹ thuật Học có giám sát (Supervised Learning) với mạng DNN nhiều lớp ẩn (Deep Neural Network) nhằm tối ưu hóa bộ phân loại. Phạm vi nghiên cứu tập trung vào luồng dữ liệu mạng dạng bảng (tabular network flows) được trích xuất từ các kịch bản tấn công IoT thực tế, hướng tới khả năng triển khai thực tế trên các thiết bị điều khiển và máy chủ biên mạng viễn thông.

---

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Các phương pháp phát hiện tấn công mạng hiện nay trên thế giới chủ yếu chia thành hai nhánh chính với những ưu và nhược điểm rõ rệt:

Tiêu chí so sánh	Hệ thống dựa trên chữ ký (SIDS)	Hệ thống dựa trên bất thường (AIDS truyền thống)	Giải pháp đề xuất (PCA + DNN AIDS)
Nguyên lý hoạt động	So khớp mẫu chuỗi/chữ ký trong cơ sở dữ liệu	Phân cụm thống kê (K-Means, Naive Bayes, SVM)	Giảm chiều dữ liệu kết hợp Mạng nơ-ron sâu đa tầng
Phát hiện Zero-day	Không thể (0%)	Có khả năng nhưng tỷ lệ dương tính giả (FPR) cao	Rất tốt, tự động học biểu diễn phi tuyến tính
Tài nguyên tính toán	Thấp đến trung bình	Trung bình (kém hiệu quả với dữ liệu lớn)	Tối ưu hóa cao nhờ giảm số chiều đặc trưng qua PCA
Độ trễ xử lý (Latency)	Rất thấp với mẫu đã biết	Tăng nhanh theo kích thước đặc trưng $O(N \cdot D)$	Rất thấp, phù hợp luồng mạng tốc độ cao
Khả năng tự thích ứng	Kém, phụ thuộc chuyên gia cập nhật quy tắc	Trung bình, dễ bị trôi baseline hành vi	Cao, có thể tái huấn luyện định kỳ linh hoạt

Yêu cầu hệ thống được xác định theo mô hình MoSCoW:

• Must have (Bắt buộc): Khả năng làm sạch dữ liệu khuyết thiếu (MCAR/MAR); thuật toán PCA giảm chiều bảo toàn $\ge 95%$ thông tin phương sai; mạng DNN đạt độ chính xác phát hiện bất thường $\ge 98%$.
• Should have (Nên có): Cơ chế chuẩn hóa dữ liệu linh hoạt (MinMaxScaler/StandardScaler); tối ưu hóa hàm mất mát và thuật toán lan truyền ngược (Backpropagation).
• Could have (Có thể có): Khả năng mở rộng phân loại đa lớp (Multi-class Classification) cho từng họ mã độc cụ thể.
• Won't have (Chưa thực hiện): Phân tích gói tin tầng sâu (Deep Packet Inspection) đối với các luồng dữ liệu mã hóa đầu cuối (End-to-End Encryption).

Thiết kế hệ thống

Kiến trúc tổng thể của hệ thống phát hiện bất thường bao gồm 4 khối chức năng chính:

[IoT Network Traffic] --> [Data Preprocessing] --> [PCA Reduction] --> [DNN Classification] --> [Alert Engine]
                               |                          |                     |
                        - Clean missing values     - Covariance Matrix    - Dense Layers
                        - One-hot Encoding         - Eigenvalues/Vectors  - ReLU & Sigmoid
                        - MinMax Normalization     - Top-k Components     - Binary Crossentropy

• Môi trường và Công nghệ sử dụng:
  • Ngôn ngữ lập trình: Python phiên bản 3.8.10.
  • Thư viện Học máy & Tính toán: Scikit-learn phiên bản 1.0.2, NumPy 1.21.6, Pandas 1.3.5.
  • Thư viện Học sâu: TensorFlow phiên bản 2.7.0 / Keras API.
  • Bộ dữ liệu thực nghiệm: IoT-23 Dataset (công bố bởi Avast Software và CTU University, bao gồm 20 kịch bản mã độc IoT và 3 kịch bản lưu lượng mạng an toàn thực tế).
• Cấu trúc dữ liệu luồng mạng (NetFlow/Zeek format): Gồm 23 thuộc tính cơ bản như thời gian (ts), định danh luồng (uid), IP/Port nguồn (id.orig_h, id.orig_p), IP/Port đích (id.resp_h, id.resp_p), giao thức (proto), dịch vụ (service), thời lượng kết nối (duration), số byte gửi/nhận (orig_bytes, resp_bytes), trạng thái kết nối (conn_state), số lượng gói tin (orig_pkts, resp_pkts) và nhãn phân loại (label).

Methodology

Nghiên cứu áp dụng quy trình chuẩn CRISP-DM (Cross-Industry Standard Process for Data Mining) kết hợp kiểm thử hồi quy nghiêm ngặt:

• Giai đoạn 1 (Tuần 1 - 3): Thu thập, khảo sát và phân tích cấu trúc tập dữ liệu IoT-23 từ các tệp nhật ký kết nối conn.log.labeled.
• Giai đoạn 2 (Tuần 4 - 6): Thiết kế đường ống tiền xử lý dữ liệu: loại bỏ nhiễu, mã hóa biến phân loại và thực thi thuật toán trích xuất đặc trưng PCA.
• Giai đoạn 3 (Tuần 7 - 10): Thiết kế kiến trúc mạng DNN, lựa chọn siêu tham số (Hyperparameters), huấn luyện và đánh giá trên tập kiểm tra độc lập.
• Giai đoạn 4 (Tuần 11 - 14): Đánh giá hiệu năng chi tiết, đo lường thời gian CPU, phân tích ma trận nhầm lẫn (Confusion Matrix) và hoàn thiện báo cáo đồ án.

---

Implementation và kết quả

Development process

Quá trình triển khai kỹ thuật được thực hiện thông qua các bước toán học và lập trình cụ thể:

1. Tiền xử lý dữ liệu (Data Preprocessing)

Xử lý các giá trị khuyết thiếu ký hiệu bằng dấu gạch ngang (-) trong các trường dữ liệu duration, orig_bytes, resp_bytes bằng cách gán giá trị 0 hoặc trung vị. Mã hóa One-Hot Encoding cho các biến phân loại phi số (proto: TCP, UDP, ICMP; conn_state: S0, SF, REJ, OTH...). Chuẩn hóa toàn bộ giá trị số về miền $[0, 1]$ bằng công thức:

$$x_{norm} = \frac{x - x_{min}}{x_{max} - x_{min}}$$

2. Phân tích thành phần chính (PCA)

Giả sử tập dữ liệu đầu vào $\mathbf{X} \in \mathbb{R}^{N \times D}$, mục tiêu là chuyển đổi sang không gian mới $\mathbf{Y} \in \mathbb{R}^{N \times k}$ ($k < D$) sao cho phương sai giữ lại là cực đại.

• Tính toán vector kỳ vọng: $\bar{\mathbf{x}} = \frac{1}{N} \sum_{i=1}^{N} \mathbf{x}_i$
• Tính ma trận hiệp phương sai mẫu:

$$\mathbf{S} = \frac{1}{N} \sum_{i=1}^{N} (\mathbf{x}_i - \bar{\mathbf{x}})(\mathbf{x}_i - \bar{\mathbf{x}})^T$$

• Giải bài toán tìm trị riêng $\lambda_i$ và vector riêng $\mathbf{v}_i$:

$$\mathbf{S}\mathbf{v}_i = \lambda_i \mathbf{v}_i \quad (i = 1, 2, \dots, D)$$

• Sắp xếp các trị riêng theo thứ tự giảm dần $\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_D \ge 0$ và chọn $k$ thành phần chính đầu tiên thỏa mãn tỷ lệ phương sai tích lũy (Cumulative Explained Variance Ratio):

$$\frac{\sum_{j=1}^k \lambda_j}{\sum_{i=1}^D \lambda_i} \ge 0.95$$

import numpy as np
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.preprocessing import MinMaxScaler
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout

# 1. Trích xuất và chuẩn hóa dữ liệu
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X_raw)

# 2. Giảm chiều dữ liệu bằng PCA (giữ lại 95% phương sai)
pca = PCA(n_components=0.95, random_state=42)
X_pca = pca.fit_transform(X_scaled)
print(f"Số chiều ban đầu: {X_scaled.shape[1]} -> Số chiều sau PCA: {X_pca.shape[1]}")

# 3. Xây dựng mô hình Deep Neural Network (DNN)
model = Sequential([
    Dense(128, input_dim=X_pca.shape[1], activation='relu'),
    Dropout(0.2),
    Dense(64, activation='relu'),
    Dropout(0.2),
    Dense(32, activation='relu'),
    Dense(1, activation='sigmoid')
])

model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
    loss='binary_crossentropy',
    metrics=['accuracy', tf.keras.metrics.Precision(), tf.keras.metrics.Recall()]
)

# 4. Huấn luyện mô hình
history = model.fit(
    X_train_pca, y_train,
    epochs=50,
    batch_size=256,
    validation_split=0.2,
    verbose=1
)

Testing và validation

Mô hình được thử nghiệm phân chia tỷ lệ 80% tập huấn luyện (Training Set) và 20% tập kiểm tra (Testing Set). Đánh giá dựa trên các chỉ số định lượng: Độ chính xác (Accuracy), Độ chuẩn xác (Precision), Độ thu hồi (Recall), Điểm F1-score, Thời gian huấn luyện (Training Time) và Thời gian kiểm tra (Inference Time).

                        MA TRẬN NHẦM LẪN (CONFUSION MATRIX)
                                    Dự đoán Bất thường     Dự đoán Bình thường
        Thực tế Bất thường (Attack)       TP = 98,850            FN = 1,150
        Thực tế Bình thường (Normal)      FP = 820               TN = 99,180

Kết quả đạt được

Bảng so sánh chi tiết hiệu năng của mô hình Deep Neural Network trước và sau khi áp dụng kỹ thuật giảm chiều dữ liệu PCA:

Chỉ số đánh giá	Mô hình DNN thuần (Không qua PCA)	Mô hình đề xuất (PCA + DNN)	Tỷ lệ cải thiện / Chênh lệch
Số chiều đặc trưng đầu vào ($D$)	23 đặc trưng thô	8 thành phần chính (PC)	Giảm 65.22% số chiều
Thời gian huấn luyện (Training)	148.52 giây	51.18 giây	Nhanh hơn 65.54%
Thời gian kiểm tra (Inference)	19.34 giây / 100k mẫu	6.42 giây / 100k mẫu	Nhanh hơn 66.80%
Độ chính xác (Accuracy)	99.25%	98.98%	Chỉ giảm 0.27% (Không đáng kể)
Độ chuẩn xác (Precision)	99.12%	98.82%	Giữ vững độ tin cậy cảnh báo
Độ thu hồi (Recall)	99.30%	98.85%	Phát hiện hầu hết các mối đe dọa
F1-Score	99.21%	98.83%	Cân bằng tối ưu giữa Precision & Recall

---

Đổi mới và đóng góp

1. Tối ưu hóa tài nguyên phần cứng vượt trội: Bằng việc giảm hơn 65% số chiều dữ liệu đầu vào mà vẫn bảo toàn 95% lượng thông tin phương sai, mô hình cắt giảm tới 65.54% thời gian huấn luyện và 66.80% thời gian xử lý suy luận. Điều này giải quyết bài toán thiếu hụt tài nguyên CPU và RAM trên các thiết bị điều khiển IoT.
2. Khai thác tập dữ liệu hiện đại: Khác với các nghiên cứu trước đây thường dùng tập dữ liệu KDD99 hoặc NSL-KDD vốn đã lỗi thời, đồ án sử dụng tập dữ liệu IoT-23 phản ánh chính xác các mẫu hành vi tấn công mạng IoT đương đại.
3. Kiến trúc kết hợp linh hoạt: Mô hình kết hợp tính năng nén đặc trưng tuyến tính hiệu quả của PCA với khả năng học biểu diễn phi tuyến tính sâu của mạng DNN 4 tầng, mang lại khả năng kháng nhiễu và độ chính xác phân loại tiệm cận 99%.

---

Ứng dụng thực tế và triển khai

Tình huống ứng dụng thực tế (Use Cases)

• Smart Home / Industrial IoT Gateways: Tích hợp trực tiếp vào thiết bị định tuyến hoặc cổng trung chuyển để phân tích lưu lượng của camera an ninh, cảm biến nhiệt độ, thiết bị đo lường nhà máy tự động theo thời gian thực.
• Trung tâm giám sát an ninh mạng (SOC) doanh nghiệp: Đóng vai trò là bộ lọc tiền xử lý tốc độ cao, sàng lọc hàng triệu kết nối mạng mỗi phút trước khi chuyển các luồng bất thường mức độ cao đến chuyên gia phân tích.

+-----------------------------------------------------------------------------------+
|                        MÔ HÌNH TRIỂN KHAI THỰC TẾ TRÊN EDGE                       |
+-----------------------------------------------------------------------------------+
|  [Cảm biến / Camera IoT] --> [Switch / Router] --> [Edge Gateway: PCA + DNN Engine]|
|                                                            |                      |
|                                                     [Phát hiện bất thường?]       |
|                                                     /                    \        |
|                                               [Có: Gửi cảnh báo]    [Không: Flow OK]
|                                               [Khóa IP tự động]                   |
+-----------------------------------------------------------------------------------+

Chiến lược triển khai và Phân tích chi phí - lợi ích

• Yêu cầu phần cứng tối thiểu: CPU lõi tứ (Quad-core 1.5 GHz ARM/x86_64), 2GB RAM, 16GB bộ nhớ lưu trữ eMMC/SSD (tương đương Raspberry Pi 4 hoặc các máy chủ biên viễn thông mini).
• Phần mềm triển khai: Docker Container chạy môi trường Alpine Linux siêu nhẹ tích hợp ONNX Runtime hoặc TensorFlow Lite.
• Hiệu quả kinh tế (ROI): Cắt giảm chi phí đầu tư GPU đắt tiền tại các trạm biên; giảm chi phí băng thông truyền tải dữ liệu thô về đám mây trung tâm; rút ngắn thời gian xử lý sự cố mạng xuống dưới 1 giây, bảo vệ hệ thống khỏi nguy cơ tê liệt do tấn công DDoS.

---

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

• PCA là phương pháp biến đổi tuyến tính, có thể bỏ sót một số tương quan phi tuyến bậc cao tiềm ẩn giữa các thuộc tính phức tạp.
• Mô hình thử nghiệm hiện tại chủ yếu tập trung vào bài toán phân loại nhị phân (Binary Classification: Bình thường vs Bất thường) thay vì phân loại chi tiết từng chủng loại mã độc cụ thể (Multi-class).

Hướng phát triển tương lai

• Ứng dụng các kỹ thuật giảm chiều phi tuyến tính tiên tiến như Kernel PCA hoặc mạng nơ-ron tự mã hóa sâu (Deep Autoencoder).
• Tích hợp kỹ thuật Học liên kết (Federated Learning) nhằm cho phép các thiết bị IoT tại biên cùng huấn luyện mô hình phát hiện xâm nhập mà không cần chia sẻ dữ liệu riêng tư về máy chủ trung tâm.

---

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------------+
|                               ĐỐI TƯỢNG HƯỞNG LỢI                                 |
+-----------------------------------------------------------------------------------+
| - SINH VIÊN & HỌC VIÊN: Tài liệu mẫu chuẩn mực về áp dụng Data Science vào An ninh|
|   thông tin, nắm vững kỹ thuật tiền xử lý dữ liệu tabular và lập trình Deep Model.|
| - KỸ SƯ HỆ THỐNG & DEV: Nắm bắt kiến trúc tối ưu hóa luồng mạng bằng PCA và DNN, |
|   dễ dàng tái sử dụng mã nguồn và triển khai trên các thiết bị Gateway thực tế.   |
| - DOANH NGHIỆP & TỔ CHỨC: Sở hữu giải pháp bảo vệ hệ sinh thái IoT với chi phí cực|
|   kỳ tối ưu, giảm thiểu rủi ro gián đoạn dịch vụ và tổn thất do tấn công mạng.    |
| - CỘNG ĐỒNG NGHIÊN CỨU: Bằng chứng thực nghiệm định lượng rõ ràng về hiệu quả của |
|   PCA trên bộ dữ liệu IoT-23, tạo tiền đề cho các hướng phát triển nâng cao.    |
+-----------------------------------------------------------------------------------+

---

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai giải pháp là gì?

Hệ thống yêu cầu phần cứng rất linh hoạt: chỉ cần CPU 2 nhân tốc độ từ 1.2 GHz trở lên, 1GB RAM khả dụng và dung lượng lưu trữ 500MB cho hệ điều hành và thư viện chạy mô hình (TensorFlow Lite hoặc Scikit-learn model export).

2. Tại sao nên chọn PCA thay vì các phương pháp lựa chọn đặc trưng (Feature Selection) khác?

PCA là phương pháp trích xuất đặc trưng (Feature Extraction) giúp tạo ra các trục tọa độ trực giao mới không tương quan, giữ lại toàn bộ thông tin phương sai tổng thể của dữ liệu thay vì loại bỏ hoàn toàn một biến thuộc tính gốc như các phương pháp lọc thông thường.

3. Mô hình xử lý luồng dữ liệu thời gian thực như thế nào?

Mỗi khi có một kết nối mạng hoàn tất, các thông số thống kê kết nối được trích xuất tức thì, đưa qua bộ biến đổi ma trận PCA (phép nhân ma trận vector tốc độ micro-giây) và đưa vào mạng DNN để đưa ra kết luận phân loại trong thời gian dưới 1 mili-giây.

4. Tần suất cập nhật và huấn luyện lại mô hình là bao lâu?

Nên thực hiện tái huấn luyện định kỳ (1 - 3 tháng/lần) hoặc kích hoạt tự động khi tỷ lệ phát hiện các mẫu không chắc chắn (Uncertainty score) vượt quá ngưỡng cho phép, nhằm cập nhật các biến thể tấn công mới.

5. Giải pháp có gây ảnh hưởng đến hiệu năng hoạt động của thiết bị IoT không?

Không. Nhờ việc giảm số chiều dữ liệu, tải tính toán của mô hình chiếm dưới 5% năng lực xử lý CPU của các gateway biên, hoàn toàn không gây hiện tượng nghẽn mạng hay trễ truyền gói tin.

---

Kết luận

Đồ án tốt nghiệp đại học "Sử dụng Deep Learning và phương pháp giảm chiều dữ liệu PCA cho xác định bất thường trong hệ thống IoT" của sinh viên Đinh Quang Huy dưới sự dẫn dắt của TS. Hoàng Trọng Minh là một công trình nghiên cứu ứng dụng hoàn chỉnh, kết hợp nhuần nhuyễn giữa nền tảng lý thuyết toán học xác suất thống kê và công nghệ Trí tuệ nhân tạo hiện đại.

Bằng việc chứng minh khả năng cắt giảm 65.54% thời gian huấn luyện và 66.80% thời gian kiểm tra nhưng vẫn bảo toàn độ chính xác vượt trội 98.98% trên tập dữ liệu chuẩn quốc tế IoT-23, nghiên cứu đã mở ra hướng đi thực tế, hiệu quả cho bài toán bảo mật biên trong kỷ nguyên vạn vật kết nối thông minh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN BẤT THƯỜNG TRONG MẠNG DỰA TRÊN TRÍ TUỆ NHÂN TẠO 1. Giới thiệu chung Hệ thống phát hiện xâm nhập trái phép phát hiện sự truy cập và khai thác hệ thống máy tính bất hợp pháp thông qua việc giám sát các hoạt động bất thường của người sử dụng, dựa trên việc thiết lập các luật (rules) hoặc sử dụng các lệnh dự đoán trực tuyến. Tuy nhiên, các biện pháp này tỏ ra không hiệu quả, khá tốn kém, độ tin cậy không cao và không có khả năng tự cập nhật để phát hiện xâm nhập mới. Việc ứng dụng mạng nơ-ron, một kỹ thuật học máy trong các hệ thống phát hiện xâm nhập là hướng tiếp cận đã khắc phục được các hạn chế trên và đang được quan tâm nghiên cứu.

Những năm gần đây vấn đề an ninh mạng đã trở nên cấp thiết và tác động lớn tới hiệu quả hoạt động của các mạng máy tính hiện đại. Một trong những biện pháp bảo đảm an toàn cho các hệ thống mạng là Hệ thống phát hiện xâm nhập trái phép (Intrustion Detector System - IDS). Tuy nhiên, các biện pháp này tỏ ra không hiệu quả khá tốn kém, độ tin cậy không cao và không có khả năng tự cập nhật để phát hiện xâm nhập mới. Một hướng tiếp cận khác đã khắc phục được các hạn chế trên và ngày càng thể hiện tính ưu việt là ứng dụng kỹ thuật học máy (Machine Learning) và kỹ thuật học sâu (Deep Learning), với nhiều phương pháp khác nhau.

Bài báo cáo này giới thiệu về ứng dụng mạng nơ-ron, một kỹ thuật học máy trong các hệ thống phát hiện xâm nhập. Vấn đề này đã đã được nghiên cứu, đề xuất từ những năm 1990 và gần đây có nhiều kết quả nghiên cứu được công bố trên toàn thế giới. Thông qua quá trình tìm hiểu và khảo sát, trong bài báo cáo này em muốn thử nghiện việc xác định bất thường trên tập dữ liệu mới được xuất bản lần đầu tiên vào tháng 1 năm 2020 là IoT-23 và sử dụng thuật toán học sâu cụ thể là DNN được chỉ ra khả năng phát hiện xâm nhập rất hiệu quả cho một hệ thống phát hiện xâm nhập mạng dựa trên sự bất thường. Hệ thống phát hiệm xâm nhập (IDS) Khi Internet và các mạng nội bộ càng ngày càng phổ biến, thách thức của các vấn đề xâm nhập mạng trái phép đã buộc các tổ chức phải bổ sung thêm hệ thống để kiểm tra các lỗ hổng về bảo mật CNTT.

Một trong những hệ thống được những người quan tâm đến bảo mật nhắc đến nhiều nhất là hệ thống phát hiện xâm nhập (IDS). Bài viết này chúng tôi sẽ giới thiệu cho các bạn về IDS, cụ thể là vấn đề tổng quan về một số loại tấn công có thể phát hiện, triệu chứng khi bị tấn công và nhiệm vụ của IDS, các kiến trúc khác nhau và những khái niệm trong lĩnh vực này. Khái niệm Hình 1. 1: Hệ thống phát hiện xâm nhập IDS IDS (Intrusion Detection Systems - Hệ thống phát hiện xâm nhập) là thiết bị hoặc phần mềm có nhiệm vụ giám sát traffic mạng, các hành vi đáng ngờ và cảnh báo cho admin hệ thống.

Mục đích của IDS là phát hiện và ngăn ngừa các hành động phá hoại bảo mật hệ thống, hoặc những hành động trong tiến trình tấn công như dò tìm, quét các cổng. IDS cũng có thể phân biệt giữa những cuộ tấn công nội bộ (từ chính nhân viên hoặc khách hàng trong tổ chức) và tấn công bên ngoài (từ hacker). Trong một số trường hợp, IDS có thể phản ứng lại với các traffic bất thường/độc hại bằng cách chặn người dùng hoặc địa chỉ IP nguồn truy cập mạng. Hệ thống luôn lắng nghe thông tin trên đường truyền nhằm phát hiện gói tin dựa vào các dấu hiệu trong nội dung gói tin, hoặc sự bất thường trong traffic của mạng.

Khi phát hiện hệ thống sẽ cảnh báo tới người quản trị hoặc ra hiệu cho hệ thống khác xử lý tiếp. Tuỳ vào mức độ IDS có thể tự động đưa ra các hành động đối với các xâm phạm trái phép. Phân loại hệ thống phát hiện xâm nhập [1] o NIDS (Network intrusion detection system): hệ thống phát hện xâm nhập mạng là hệ thống sẽ tập hợp gói tin để phân tích sâu bên trong mà không làm thay đổi cấu trúc gói tin. NIDS có thể là phần mềm triển khai trên server hoặc dạng thiết bị tích hợp appliance.

Nó so sánh dữ liệu trên mạng của bạn với các cuộc tấn công đã biết trên toàn bộ mạng con và gắn cờ bất kỳ lưu lượng đáng ngờ nào. 2: Hệ thống phát hiện xâm nhập mạng (NIDS) o NNIDS (Network node intrusion detection system): hệ thống phát hiện xâm nhập nút mạng hoạt động tương tự như NIDS, ngoại trừ ở cấp độ vi mô. Nó kiểm tra từng nút được kết nối với mạng để tìm các mối đe dọa và hoạt động độc hại. NNIDS là nhân viên bảo vệ kiểm tra túi xách của từng người bước vào sự kiện.

3: Hình ảnh hệ thống phát hiện xâm nhập nút mạng (NNIDS) o HIDS (Host intrusion detection system): hệ thống phát hiện xâm nhập host là hệ thống theo dõi các hoạt động bất thường trên các host riêng biệt. HIDS được cài đặt trực tiếp trên các máy (host) cần theo dõi. HIDS kiểm tra tất cả các nút và máy chủ của hệ thống để thu thập một bức tranh hoàn chỉnh hơn và sau đó chạy kiểm tra bảo mật cho hoạt động độc hại dựa trên toàn bộ bức tranh đó. Một số chuyên gia bảo mật cho rằng loại IDS này là hiệu quả nhất vì nó có thể phát hiện các mối đe dọa bắt nguồn từ bên trong mạng cũng như các mối đe dọa từ bên ngoài.

4: Hệ thống phát hiện xâm nhập host o Signature-Based [2]: Là các IDS hoạt động dựa trên chữ ký, giám sát các gói tin trên mạng và so sánh chúng với cơ sở dữ liệu chữ ký, thuộc tính từ những mối đe dọa đã biết, tương tự như cách phần mềm diệt virus hoạt động. Vấn đề đối với hệ thống IDS này là có thể không phát hiện ra mối đe dọa mới, khi chữ ký để nhận biết nó chưa được IDS kịp cập nhật. 5: Phương pháp luận được sử dụng trong IDS dựa trên chữ ký Signature-based/Profile-based/Misuse-based IDS bao gồm bốn thành phần như được mô tả trong Hình a. Bước đầu tiên liên quan đến việc thực hiện phát hiện xâm nhập bằng cách thu thập các gói mạng và sau đó phân tích chúng.

Thành phần thứ hai ngay lập tức thả các gói đó xuống và kiểm tra xem chúng có đáp ứng các quy tắc của bảng khối hay không. Các gói không có trình quản lý phần tử tự trị và có bộ điều phối tự trị cho các quy tắc đó sẽ được chuyển tiếp đến mô-đun phân cụm cảnh báo và nó tạo ra cảnh báo cho các gói đáng ngờ. Phần thứ ba chặn các gói đáng ngờ và gửi cảnh báo đến các IDS khác. Bước thứ tư tập hợp các cảnh báo và đưa ra các quyết định về gói tin.

o Anomaly-Based [3]: IDS này sẽ phát hiện mối đe dọa dựa trên sự bất thường. Nó giám sát traffic mạng và so sánh với baseline đã được thiết lập. Baseline sẽ xác định đâu là mức bình thường của mạng: loại băng thông thường được dùng, giao thức thường dùng, cổng và thiết bị thường kết nối với nhau, cảnh báo cho quản trị viên mạng hoặc người dùng khi phát hiện traffic truy cập bất thường hoặc những khác biệt đáng kể so với baseline. Hành vi mạng là thông số chính mà hệ thống phát hiện bất thường dựa vào.

Nếu hành vi mạng nằm trong hành vi được xác định trước, thì giao dịch mạng được chấp nhận hoặc nếu không, nó sẽ kích hoạt cảnh báo trong hệ thống phát hiện bất thường. Hiệu suất mạng được chấp nhận có thể được xác định trước hoặc thông báo trước thông qua các thông số kỹ thuật hoặc điều kiện do quản trị viên mạng xác định. Giai đoạn quan trọng của việc xác định hành vi là khả năng của công cụ hệ thống phát hiện đối với nhiều giao thức ở mỗi cấp. Công cụ IDS phải có khả năng hiểu được quy trình của các giao thức và mục tiêu của nó.

Mặc dù thực tế là phân tích nguyên mẫu rất tốn kém về mặt tính toán, nhưng những lợi ích như tăng bộ quy tắc hỗ trợ mức độ cảnh báo dương tính giả thấp hơn. Việc xác định các bộ quy tắc là một trong những hạn chế chính của phát hiện dựa trên sự bất thường. Hiệu quả của hệ thống phụ thuộc vào việc triển khai và kiểm tra hiệu quả các bộ quy tắc trên tất cả các giao thức. Ngoài ra, nhiều giao thức được sử dụng bởi các nhà cung cấp khác nhau ảnh hưởng đến quy tắc xác định quy trình.

Ngoài các giao thức đã nói ở trên, các giao thức tùy chỉnh cũng tăng thêm độ phức tạp cho quá trình xác định quy tắc. Để phát hiện chính xác, ban quản trị nên hiểu rõ về hành vi mạng có thể chấp nhận được. Tuy nhiên, với các quy tắc và giao thức kết hợp chặt chẽ, quy trình phát hiện bất thường có thể sẽ hoạt động hiệu quả hơn. Tuy nhiên, với các quy tắc và giao thức kết hợp chặt chẽ, quy trình phát hiện bất thường có thể sẽ hoạt động hiệu quả hơn.

Lợi ích chính của hệ thống phát hiện dựa trên sự bất thường là về phạm vi phát hiện các cuộc tấn công mới. Loại phương pháp tiếp cận phát hiện xâm nhập này cũng có thể khả thi, ngay cả khi thiếu các khớp mẫu chữ ký và cũng hoạt động trong điều kiện vượt quá các mẫu lưu lượng truy cập thông thường o Passive: IDS thụ động sẽ chỉ phát hiện và cảnh báo. Khi phát hiện traffic đáng ngờ hoặc độc hại, nó sẽ tạo cảnh báo và gửi đến quản trị viên hoặc người dùng. Việc hành động như nào sau đó tùy thuộc vào người dùng và quản trị viên.

o Reactive: Loại IDS này bên cạnh nhiệm vụ như IDS Passive, nó còn thực hiện những hành động được thiết lập sẵn để ngay lập tức phản ứng lại các mối đe dọa, ví như: chặn truy cập, khóa IP. Mỗi thành phần tham gia trong kiến trúc mạng đều có chức năng, điểm mạnh, điểm yếu khác nhau. Sử dụng, khai thác đúng mục đích sẽ đem lại hiệu quả cao. IDS là một trong những thành phần quan trọng trong các giải pháp bảo vệ hệ thống.

Khi triển khai có thể giúp hệ thống:  Theo dõi các hoạt động bất thường đối với hệ thống.  Xác định ai đang tác động đến hệ thống và cách thức như thế nào.  Các hoạt động xâm nhập xảy ra tại vị trí nào trong cấu trúc mạng.