Tổng quan luận án
Luận án tiến sĩ kỹ thuật với đề tài "Nghiên cứu đề xuất phương pháp phân tích và phát hiện lưu lượng bất thường trên mạng Internet", chuyên ngành Kỹ thuật viễn thông (Mã số: 62.08), được nghiên cứu sinh Nguyễn Hà Dương thực hiện tại Học viện Công nghệ Bưu chính Viễn thông dưới sự hướng dẫn khoa học của PGS. Hoàng Đăng Hải, bảo vệ năm 2017.
Tính cấp thiết và khoảng trống nghiên cứu
Mạng Internet phát triển dựa trên nền tảng chuyển mạch gói với giao thức IP xuyên suốt, kết nối nhiều loại hạ tầng (Ethernet, WLAN, 3G/4G, cáp quang) và phục vụ đa dạng dịch vụ, ứng dụng. Tính mở và quy mô phức tạp này gây khó khăn lớn cho công tác kiểm soát lưu lượng ra vào mạng. Các sự cố hạ tầng, lỗi cấu hình thiết bị, hiện tượng quá tải đường truyền, sự thay đổi hành vi truy cập của người dùng cũng như các hoạt động thăm dò, quét cổng và tấn công mạng (như tấn công từ chối dịch vụ DoS/DDoS, phát tán mã độc) liên tục tạo ra các biến động bất thường trong lưu lượng.
Việc phát hiện nhanh lưu lượng bất thường có ý nghĩa quyết định đối với công tác quản trị mạng, giúp phát hiện sớm sự cố ngay từ giai đoạn đầu để kịp thời cô lập nguồn gây hại và cân bằng tải. Tuy nhiên, phần lớn các phương pháp phân tích đa biến hiện hành, đặc biệt là các giải pháp dựa trên thuật toán phân tích thành phần chính (PCA), vẫn tồn tại khoảng trống lớn: độ phức tạp tính toán còn cao ($O(kn^2)$), chưa có công thức khoảng cách thống kê khái quát linh hoạt để tối ưu hóa thời gian xử lý cho các đường truyền tốc độ cao, và chưa giải quyết triệt để vấn đề loại bỏ các giá trị ngoại lai (outliers) lẫn trong tập dữ liệu mẫu dùng để thiết lập hồ sơ hành vi bình thường.
Mục tiêu nghiên cứu
Luận án xác định các mục tiêu cụ thể:
- Hệ thống hóa cơ sở lý thuyết về lưu lượng mạng, phân loại các phương pháp phát hiện bất thường và phân tích các hạn chế của kỹ thuật dựa trên PCA.
- Xây dựng công thức tính khoảng cách thống kê khái quát và đề xuất phương pháp phát hiện lưu lượng bất thường mới mang tên dPCA với cơ chế phân cấp ngưỡng (dPCA1T và dPCA2T), giảm độ phức tạp tính toán xuống mức $O(kn)$.
- Nghiên cứu giải pháp và đề xuất hai phương pháp phát hiện, khử ngoại lai trong tập dữ liệu mẫu (udPCA và K-means kết hợp dPCA) nhằm cải thiện độ chính xác phát hiện.
- Thiết kế kiến trúc hệ thống giám sát lưu lượng và đề xuất mô hình kết hợp phương pháp dPCA với phát hiện xâm nhập dựa trên mẫu dấu hiệu ứng dụng cho phân đoạn mạng thực tế.
Câu hỏi và giả thuyết nghiên cứu
- Làm thế nào để xây dựng một công thức tính khoảng cách thống kê khái quát trong không gian con PCA nhằm bao hàm các công thức khoảng cách truyền thống và cho phép tùy chọn tham số để giảm thiểu độ phức tạp tính toán?
- Việc sử dụng cơ chế phân cấp một mức ngưỡng (dPCA1T) và hai mức ngưỡng (dPCA2T) có thể cân bằng giữa tỷ lệ phát hiện đúng (TPR) và tỷ lệ cảnh báo sai (FPR) hay không?
- Sự hiện diện của dữ liệu ngoại lai trong tập dữ liệu huấn luyện mẫu ảnh hưởng ra sao đến việc xác lập đường cơ sở (baseline), và các giải pháp lọc sạch tập mẫu (udPCA, K-means) có nâng cao độ chính xác của dPCA hay không?
- Khả năng tích hợp mô hình phát hiện bất thường theo hành vi với hệ thống phát hiện xâm nhập dựa trên dấu hiệu trong một hệ thống giám sát mạng phân tán đạt hiệu quả như thế nào?
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Lưu lượng mạng Internet, các luồng tin IP (IP flow), các thuộc tính thống kê kết nối đa biến, thuật toán phân tích thành phần chính (PCA), khoảng cách thống kê trong không gian con và các kỹ thuật phát hiện ngoại lai.
- Phạm vi không gian: Tập trung vào lưu lượng tại thiết bị định tuyến/chuyển mạch ở biên mạng nội bộ doanh nghiệp có kết nối Internet; phân tích dữ liệu ở lớp mạng IP.
- Phạm vi nội dung: Trọng tâm đặt vào giai đoạn 1 của quy trình giám sát (thu thập, tiền xử lý, phân tích và phát hiện nhanh bất thường); không đi sâu vào phân tích nguồn gốc sâu xa của mã độc hay các thuật toán ngăn chặn chi tiết ở tầng ứng dụng.
- Phạm vi dữ liệu: Sử dụng các tập dữ liệu lưu lượng chuẩn gồm Kyoto 2006+ (Kyoto Honeypot) và NSL-KDD để phục vụ huấn luyện, kiểm thử và đối sánh thực nghiệm.
Tổng quan tài liệu và vị trí của luận án
Luận án đã tổng quan và phân loại các công trình nghiên cứu về phát hiện lưu lượng mạng bất thường thành ba nhóm phương pháp chính:
| Nhóm phương pháp |
Kỹ thuật điển hình và tác giả / công trình tiêu biểu |
Đặc điểm chính và hạn chế |
| Dựa vào thống kê |
- Chuỗi Markov, Mạng Bayesian
- Phân tích thành phần chính PCA (Pearson 1901; Hotelling 1933; Lakhina et al. 2004, 2005; Jackson 1991; Ringberg et al. 2007; Brauckhoff et al. 2009; Paschalidis & Smaragdakis 2009; Callegari et al. 2008; Kind et al. 2009)
- Phân loại thành phần chính PCC (Shyu et al. 2003, 2005)
- Hệ thống Juniper NetReflex IP |
Ưu điểm: Phân tích tương quan đa biến, giảm chiều dữ liệu tốt.
Hạn chế: Tính toán phức tạp ($O(kn^2)$), khó thiết lập mức ngưỡng tối ưu, dễ bị ảnh hưởng bởi ngoại lai trong tập mẫu. |
| Dựa vào khai phá dữ liệu & học máy |
- Phân cụm: K-Means (MacQueen 1967; Ertoz et al. 2003), thuật toán LOF (Breunig et al. 2000) trong hệ thống MINDS (Minnesota)
- Máy vector hỗ trợ: One-class SVM, Multi-class SVM
- Cây quyết định (ID3, C4.5, Random Forest), luật kết hợp, logic mờ |
Ưu điểm: Khả năng tự học và thích nghi với các mẫu dữ liệu mới.
Hạn chế: Cần tập dữ liệu đánh nhãn lớn, tiêu tốn nhiều tài nguyên xử lý và bộ nhớ. |
| Dựa vào tri thức |
- Hệ chuyên gia
- Mạng nơ-ron nhân tạo (Artificial Neural Networks) |
Ưu điểm: Phát hiện chính xác các hành vi đã được định nghĩa theo luật.
Hạn chế: Cần liên tục cập nhật tập tri thức thủ công, khó phát hiện các dạng bất thường mới. |
Vị trí và khoảng trống nghiên cứu luận án giải quyết
Trong các kỹ thuật thống kê đa biến, PCA là công cụ hiệu quả giúp chuyển đổi các thuộc tính ban đầu có tương quan thành tập các thành phần chính (PC) trực giao không tương quan, sắp xếp theo thứ tự giảm dần của phương sai. Tuy nhiên, các công trình của Lakhina et al. (2004, 2005) sử dụng phương pháp phân tích phần dư dựa trên thống kê Q (Jackson 1991) hay phương pháp kiểm soát quá trình đa biến của Shyu et al. (2003) sử dụng khoảng cách Mahalanobis đều có chi phí tính toán lớn. Bên cạnh đó, việc áp dụng PCA trên chuỗi thời gian yêu cầu các thuật toán bổ trợ (như voting hay trích xuất thuộc tính phụ) để xác định luồng tin gây lỗi, làm tăng độ trễ xử lý.
Luận án định vị trọng tâm vào việc khắc phục các hạn chế này bằng cách:
- Xây dựng công thức tính khoảng cách Minkowski có trọng số trong không gian con PCA, quy các công thức tính khoảng cách riêng lẻ trước đây về các trường hợp đặc biệt của một công thức tổng quát.
- Xây dựng phương pháp dPCA tối ưu hóa số phép tính, đạt độ phức tạp $O(kn)$ để phục vụ phát hiện nhanh theo từng luồng tin IP.
- Giải quyết vấn đề làm sạch tập dữ liệu mẫu huấn luyện bằng hai kỹ thuật udPCA và K-means, ngăn chặn hiện tượng sai lệch đường cơ sở do ngoại lai gây ra.
Cơ sở lý thuyết và phương pháp nghiên cứu
Cơ sở lý thuyết và khung phân tích
- Thuật toán PCA và không gian con: Cho ma trận dữ liệu $X$ gồm $n$ quan sát và $p$ thuộc tính ($n \times p$). Sau khi chuẩn hóa theo giá trị trung bình $\mu_s$ hoặc chuẩn hóa $z$-score ($z_s = (x_s - \mu_s)/\sigma_s$) để thu được ma trận $Z$, PCA thực hiện biến đổi trực giao sang không gian con thông qua ma trận vector riêng $E$:
$$Y = Z E$$
Trong đó, các cặp vector riêng $e_i$ và trị riêng $\lambda_i$ được xác định từ phương trình $E^{-1}CE = D$ với ma trận hiệp phương sai/tương quan $C$. Các trị riêng sắp xếp theo thứ tự giảm dần $\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_p \ge 0$.
- Giảm chiều dữ liệu: Số lượng thành phần chính $m$ ($m < p$) được giữ lại dựa trên tỷ lệ biến thiên tích lũy $\beta = \frac{\sum_{i=1}^m \lambda_i}{\sum_{i=1}^p \lambda_i} \ge 90%$ hoặc quan sát điểm gãy trên đồ thị Scree.
- Công thức khoảng cách Minkowski bổ sung trọng số đề xuất: Luận án thiết lập công thức tính khoảng cách thống kê khái quát cho quan sát trong không gian con PCA:
$$d = \left( \sum_{i=1}^k w_i |y_i|^c \right)^{1/c}$$
Trong đó $y_i$ là giá trị của thành phần chính thứ $i$, $k$ là số PC được lựa chọn ($k \le p$), $w_i$ là trọng số gán cho PC thứ $i$, và $c$ là số mũ.
+-----------------------------------------------------------------------------+
| CÁC TRƯỜNG HỢP RIÊNG CỦA CÔNG THỨC KHOẢNG CÁCH dPCA |
+--------------------------+-----------------------+--------------------------+
| Tham số lựa chọn | Khoảng cách thu được | Phương pháp tương đương |
+--------------------------+-----------------------+--------------------------+
| c = 2, w_i = 1 | Bình phương Euclidean | Phân tích phần dư |
| c = 2, w_i = 1 / λ_i | Mahalanobis | Thống kê T^2 (Hotelling) |
| c = 1, w_i = 1 | Manhattan | Khoảng cách L1 chuẩn hóa |
| c = 1, w_i = 1 / λ_i | Manhattan có trọng số | dPCA trọng số nghịch đảo |
+--------------------------+-----------------------+--------------------------+
- Xác lập ngưỡng phát hiện bằng hàm phân bố tích lũy thực nghiệm (ECDF): Với sai số ước lượng $\alpha$, ngưỡng khoảng cách $d_N$ được thiết lập từ tập dữ liệu mẫu huấn luyện sao cho $P(d \le d_N) = 1 - \alpha$.
Phương pháp nghiên cứu thực tế
- Tiếp cận: Nghiên cứu định lượng, kết hợp giữa mô hình hóa toán học thống kê và kiểm thử thực nghiệm trên các bộ dữ liệu lưu lượng mạng mô phỏng và thực tế.
- Thu thập và trích chọn thuộc tính: Lựa chọn phương pháp thu thập mức luồng tin IP (IP flow) thay vì toàn bộ gói tin, giúp giảm tải tài nguyên lưu trữ và xác định trực tiếp các thực thể (địa chỉ IP nguồn/đích, cổng nguồn/đích, giao thức, số gói tin, số byte, thời gian kết nối) liên quan đến bất thường.
- Đánh giá hiệu năng: Sử dụng ma trận nhầm lẫn để tính toán Tỷ lệ phát hiện đúng (TPR - True Positive Rate), Tỷ lệ cảnh báo sai (FPR - False Positive Rate) và phân tích đường cong ROC (Receiver Operating Characteristic) khi thay đổi các bộ tham số $(k, c, w_i)$ và mức ngưỡng $\alpha$.
Nguồn tư liệu và dữ liệu thực nghiệm
- Tập dữ liệu Kyoto 2006+ (Kyoto Honeypot): Gồm các bản ghi lưu lượng thu thập từ hệ thống honeypot tại Đại học Kyoto, chứa 14 thuộc tính quy ước (3 thuộc tính cơ bản gồm thời gian, dịch vụ, cờ trạng thái; 11 thuộc tính thống kê mạng) và nhãn xác thực (bình thường, tấn công đã biết, tấn công chưa biết). Luận án trích xuất 5 tập dữ liệu con với các tỷ lệ mẫu bình thường và bất thường khác nhau để kiểm thử dPCA, udPCA và K-means.
- Tập dữ liệu NSL-KDD: Bản dữ liệu chuẩn hóa giải quyết các vấn đề trùng lặp của KDD Cup 99, gồm 41 thuộc tính chia thành 4 nhóm (thuộc tính cơ bản của gói tin, thuộc tính nội dung, thuộc tính lưu lượng theo thời gian và thuộc tính lưu lượng theo máy chủ), dùng để kiểm nghiệm khả năng phân loại các dạng tấn công DoS, Probe, R2L, U2R trong Chương 4.
Nội dung chính theo từng chương
CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
Chương 1 hệ thống hóa toàn diện cơ sở lý thuyết về lưu lượng mạng Internet, các đặc tính luồng tin IP và các kỹ thuật thu thập lưu lượng (mức gói tin qua libpcap/winpcap và mức luồng qua NetFlow/IPFIX/SNMP). Tác giả phân tích cấu trúc 14 thuộc tính mạng trong hệ thống MINDS và chỉ rõ ưu nhược điểm của dữ liệu chuỗi thời gian so với dữ liệu thống kê tổng hợp theo luồng tin.
Chương này trình bày chi tiết toán học của PCA (chuẩn hóa dữ liệu, tính ma trận hiệp phương sai, tìm trị riêng/vector riêng, giảm chiều dữ liệu). Điểm nhấn của chương là phần phân tích chuyên sâu các công trình nghiên cứu sử dụng PCA điển hình:
- Phân tích theo từng PC riêng lẻ trên mạng diện rộng (Lakhina et al. 2004, Juniper NetReflex IP).
- Phân tích theo nhóm PC chủ yếu (Major PC) và PC thứ yếu (Minor PC) trong phương pháp PCC của Shyu et al. (2003, 2005).
- Phương pháp phân tích phần dư dựa trên thống kê Q (Jackson 1991).
Chương 1 kết luận rằng các phương pháp hiện tại gặp phải ba vấn đề lớn: công thức khoảng cách chưa khái quát, độ phức tạp tính toán cao $O(kn^2)$ do phụ thuộc ma trận hiệp phương sai mẫu, và việc thiếu cơ chế làm sạch ngoại lai trong tập mẫu huấn luyện.
CHƯƠNG 2: PHƯƠNG PHÁP PHÂN TÍCH VÀ PHÁT HIỆN LƯU LƯỢNG BẤT THƯỜNG dPCA
Chương 2 trình bày đóng góp trọng tâm của luận án: xây dựng mô hình hệ thống và thuật toán dPCA (Distance-based anomaly detection method in PCA subspace). Tác giả phân tích 6 dạng công thức khoảng cách (Euclidean, Euclidean có trọng số, Mahalanobis, Manhattan, Minkowski, Minkowski có trọng số) và chứng minh các phương pháp trước đây đều là trường hợp riêng của công thức đề xuất.
Luận án thiết kế cơ chế phân cấp dPCA thành hai chế độ vận hành:
- dPCA1T (dPCA dùng 1 mức ngưỡng): So sánh khoảng cách $d$ của luồng tin với ngưỡng $d_N$. Nếu $d > d_N$, luồng tin bị coi là bất thường.
- dPCA2T (dPCA dùng 2 mức ngưỡng): Thiết lập hai ngưỡng $d_{N1}$ và $d_{N2}$ ($d_{N1} < d_{N2}$ tương ứng với các mức sai số $\alpha_1 > \alpha_2$). Dữ liệu được phân vào 3 vùng: Bình thường ($d \le d_{N1}$), Nghi ngờ/Cảnh báo ($d_{N1} < d \le d_{N2}$) và Bất thường ($d > d_{N2}$).
+-----------------------------------------------------------------------------+
| KẾT QUẢ THỰC NGHIỆM ĐIỂN HÌNH CỦA dPCA1T TRÊN TẬP DỮ LIỆU 1 |
+-------------------+--------+----------+-----------+------------+------------+
| Nhóm tham số | Số PC | Tham số | Trọng số | Tỷ lệ phát | Tỷ lệ cảnh |
| kiểm thử | (k) | số mũ (c)| (w_i) | hiện (TPR) | báo sai |
+-------------------+--------+----------+-----------+------------+------------+
| Nhóm 1 (Euclid) | 14 | c = 2 | w_i = 1 | 88.42% | 1.85% |
| Nhóm 2 (Mahalan.) | 14 | c = 2 | w_i = 1/λi| 92.15% | 2.10% |
| Nhóm 3 (dPCA đề | 4 | c = 1 | w_i = 1/λi| 91.80% | 1.92% |
| xuất tối ưu) | | | | | |
+-------------------+--------+----------+-----------+------------+------------+
Kết quả thực nghiệm trên 5 tập dữ liệu Kyoto Honeypot chứng minh rằng khi chọn nhóm PC chủ yếu ($k=4$, giải thích trên 90% biến thiên) kết hợp số mũ $c=1$ và trọng số $w_i = 1/\lambda_i$, phương pháp đạt hiệu năng phát hiện tương đương với việc dùng toàn bộ 14 PC của phương pháp Mahalanobis truyền thống, nhưng giảm độ phức tạp tính toán từ $O(kn^2)$ xuống $O(kn)$. Chế độ dPCA2T giúp giảm thiểu đáng kể các cảnh báo sai đối với các luồng tin nằm trong vùng nghi ngờ.
CHƯƠNG 3: PHƯƠNG PHÁP KHỬ NGOẠI LAI TRONG TẬP DỮ LIỆU MẪU
Chương 3 giải quyết bài toán suy giảm độ chính xác khi tập dữ liệu mẫu ban đầu bị nhiễm ngoại lai (nhiễu/tấn công chưa được gắn nhãn). Tác giả đề xuất hai giải pháp khử ngoại lai:
- Phương pháp udPCA (Uncleaned dPCA): Sử dụng chính thuật toán dPCA áp dụng trên tập mẫu thô để tính khoảng cách của từng phần tử mẫu đến tâm dữ liệu. Các phần tử có khoảng cách vượt ngưỡng ngoại lai $d_{outlier}$ sẽ bị loại bỏ trước khi tính toán lại ma trận hiệp phương sai và vector riêng chuẩn.
- Phương pháp kết hợp K-Means: Áp dụng thuật toán phân cụm K-means ($K=2$) trên tập dữ liệu mẫu. Cụm có số lượng phần tử chiếm đa số được coi là cụm bình thường; các phần tử thuộc cụm nhỏ hoặc có khoảng cách vượt quá bán kính cụm tối đa ($R_{max}$) bị loại bỏ.
+-----------------------------------------------------------------------------+
| HIỆU QUẢ CẢI THIỆN TPR CỦA dPCA1T TRƯỚC VÀ SAU KHI KHỬ NGOẠI LAI |
+--------------------+------------------------+-------------------------------+
| Tập dữ liệu thử | TPR trước khi làm sạch | TPR sau khi khử ngoại lai |
| nghiệm (Kyoto) | (Tập mẫu thô) | (Bằng udPCA hoặc K-Means) |
+--------------------+------------------------+-------------------------------+
| Tập dữ liệu 1 | 82.35% | 93.68% (Tăng ~11.33%) |
| Tập dữ liệu 2 | 80.12% | 91.45% (Tăng ~11.33%) |
| Tập dữ liệu 3 | 79.50% | 90.80% (Tăng ~11.30%) |
| Tập dữ liệu 4 | 81.20% | 92.10% (Tăng ~10.90%) |
| Tập dữ liệu 5 | 91.80% (Mẫu sạch sẵn) | 92.05% (Ổn định) |
+--------------------+------------------------+-------------------------------+
Thực nghiệm khẳng định việc khử ngoại lai giúp xác lập đường cơ sở chính xác, nâng cao tỷ lệ TPR trung bình thêm hơn 11% trên các tập dữ liệu mẫu bị nhiễm bẩn, đồng thời giữ mức FPR dưới ngưỡng 2.5%.
CHƯƠNG 4: HỆ THỐNG GIÁM SÁT VỚI PHƯƠNG PHÁP PHÁT HIỆN LƯU LƯỢNG BẤT THƯỜNG
Chương 4 hiện thực hóa các kết quả nghiên cứu lý thuyết vào một mô hình kiến trúc hệ thống giám sát an ninh mạng phân tán cho doanh nghiệp:
- Kiến trúc phần cứng và phân vùng giám sát: Đặt các thiết bị trinh sát (sensor/probe) tại các liên kết trọng yếu giữa mạng LAN và cổng ra Internet (WAN/Gateway).
- Cấu trúc phần mềm trinh sát: Tích hợp mô-đun bắt gói tin (pcap), mô-đun tổng hợp luồng và trích chọn đặc trưng, mô-đun phát hiện nhanh dPCA, và mô-đun phân loại dấu hiệu.
- Mô hình kết hợp hai giai đoạn: Giai đoạn 1 sử dụng dPCA để phát hiện nhanh các biến động bất thường của luồng tin với độ phức tạp thấp. Giai đoạn 2 chuyển các luồng tin bị cảnh báo sang hệ thống phát hiện xâm nhập dựa trên mẫu dấu hiệu (Signature-based IDS như Snort) để định danh chính xác loại tấn công.
+-----------------------------------------------------------------------------+
| KẾT QUẢ THỬ NGHIỆM PHÁT HIỆN CÁC LOẠI TẤN CÔNG TRÊN NSL-KDD |
+-----------------------+-----------------------+-----------------------------+
| Lớp tấn công | Tỷ lệ phát hiện (TPR) | Nhận xét đặc trưng |
+-----------------------+-----------------------+-----------------------------+
| Tấn công DoS | 96.85% | Gây đột biến khối lượng lớn |
| Tấn công Probe | 94.20% | Đột biến số kết nối/cổng |
| Tấn công R2L | 78.40% | Biến động cục bộ ở tải tin |
| Tấn công U2R | 65.50% | Hành vi can thiệp đặc quyền |
+-----------------------+-----------------------+-----------------------------+
Mô hình kết hợp giúp tối ưu hóa hiệu năng toàn hệ thống: dPCA đóng vai trò bộ lọc sơ cấp tốc độ cao, giảm tải khối lượng xử lý đối khớp mẫu dấu hiệu phức tạp cho IDS ở phía sau.
Kết quả và những đóng góp mới
Đóng góp về mặt lý luận khoa học
- Khái quát hóa công thức khoảng cách thống kê: Thiết lập công thức khoảng cách Minkowski có trọng số trong không gian con PCA, chứng minh được các công thức tính khoảng cách riêng lẻ trong các công bố quốc tế trước đây (khoảng cách Euclidean, Mahalanobis, phần dư Jackson Q, thống kê Hotelling $T^2$) đều là các trường hợp cụ thể của công thức này.
- Đề xuất phương pháp dPCA với cơ chế phân cấp: Phát triển thuật toán dPCA cho phép tùy biến linh hoạt các tham số ($k, c, w_i$), giảm độ phức tạp tính toán từ $O(kn^2)$ xuống $O(kn)$, đáp ứng yêu cầu phát hiện nhanh trên luồng dữ liệu lớn mà vẫn duy trì độ chính xác cao.
- Đề xuất giải pháp khử ngoại lai trong tập dữ liệu mẫu: Xây dựng hai kỹ thuật udPCA và K-means ứng dụng trong không gian con PCA để làm sạch tập dữ liệu baseline, giải quyết hiện tượng lệch mô hình chuẩn khi huấn luyện với dữ liệu thô.
Đóng góp về mặt thực tiễn và giải pháp kỹ thuật
- Kiến trúc hệ thống giám sát tích hợp: Đề xuất mô hình hệ thống giám sát phân tán kết hợp giữa phát hiện bất thường dựa trên hành vi (dPCA) và phát hiện xâm nhập theo mẫu dấu hiệu, giúp phát hiện sớm các cuộc tấn công mới và tối ưu hóa năng lực xử lý của trung tâm giám sát an ninh mạng.
- Bộ tham số tối ưu hóa cho quản trị mạng: Cung cấp cấu hình tham số thực nghiệm ($k=4$ thành phần chính chủ yếu, $c=1$, $w_i = 1/\lambda_i$, ngưỡng ECDF với $\alpha = 0.01 - 0.05$) có thể áp dụng trực tiếp vào các thiết bị giám sát luồng tin IP (NetFlow/IPFIX) trên mạng doanh nghiệp.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế của luận án
- Luận án tập trung chủ yếu vào việc phát hiện nhanh sự hiện diện của bất thường ở mức luồng tin IP tại lớp mạng; chưa đi sâu phân loại chi tiết các biến thể mã độc tinh vi chỉ làm biến đổi phần dữ liệu tải (payload) ở lớp ứng dụng mà không gây đột biến lưu lượng.
- Các thử nghiệm được tiến hành trên các tập dữ liệu mẫu chuẩn (Kyoto Honeypot, NSL-KDD); chưa được đo kiểm trực tiếp trên các tuyến đường trục ISP có lưu lượng đạt tốc độ hàng trăm Gbps trong môi trường thực tế.
Hướng nghiên cứu tiếp
- Nghiên cứu cơ chế tự động cập nhật động (online adaptive updating) cho ma trận hiệp phương sai và ngưỡng phát hiện của dPCA theo thời gian thực khi lưu lượng mạng thay đổi theo chu kỳ ngày/đêm hoặc mùa vụ.
- Hiện thực hóa thuật toán dPCA và udPCA trên các nền tảng phần cứng chuyên dụng tốc độ cao (như FPGA hoặc chip mạng lập trình được SmartNIC) để tăng cường tốc độ xử lý gói tin.
- Mở rộng phân tích kết hợp giữa thông tin tiêu đề luồng IP với phân tích một phần tải tin (payload inspection) ở lớp ứng dụng nhằm nâng cao độ chính xác phát hiện đối với các cuộc tấn công R2L và U2R.
Giá trị tham khảo
Luận án mang lại giá trị tham khảo học thuật và ứng dụng thực tiễn cho nhiều nhóm đối tượng:
- Nghiên cứu sinh, học viên cao học ngành Kỹ thuật Viễn thông, Công nghệ Thông tin và An toàn Thông tin: Cung cấp cơ sở lý thuyết toàn diện về xử lý dữ liệu đa biến, ứng dụng toán học thống kê (PCA, phân cụm) trong bài toán an ninh mạng; đặc biệt là kỹ thuật trích xuất thuộc tính luồng tin và mô hình toán học của không gian con PCA (Chương 1 và Chương 2).
- Kỹ sư vận hành, quản trị mạng tại các cơ quan, doanh nghiệp: Có thể tham khảo kiến trúc triển khai thiết bị trinh sát và phương pháp kết hợp dPCA với các hệ thống IDS mã nguồn mở (như Snort, Suricata) tại Chương 4 để xây dựng giải pháp giám sát an ninh nội bộ với chi phí tối ưu.
- Các nhà phát triển hệ thống giám sát an toàn thông tin (SOC/SIEM): Có thể ứng dụng công thức khoảng cách dPCA và thuật toán làm sạch dữ liệu udPCA/K-means (Chương 3) vào các mô-đun tiền xử lý và cảnh báo sớm trong các sản phẩm thương mại.
Câu hỏi thường gặp
1. Phương pháp dPCA giải quyết bài toán giảm độ phức tạp tính toán như thế nào so với các phương pháp PCA truyền thống?
Các phương pháp PCA truyền thống (như phân tích phần dư dựa trên thống kê Q hay thống kê $T^2$ của Hotelling) tính toán khoảng cách phụ thuộc vào toàn bộ ma trận nghịch đảo hiệp phương sai và kiểm tra qua từng bước lặp đa biến, dẫn đến độ phức tạp tính toán ở mức $O(kn^2)$. Phương pháp dPCA sử dụng công thức Minkowski có trọng số đề xuất, chỉ lựa chọn $k$ thành phần chính chủ yếu ($k \ll p$, với $k=4$ trên 14 thuộc tính đã bao hàm trên 90% biến thiên) và tính toán khoảng cách trực tiếp từ các trị riêng $\lambda_i$, đưa độ phức tạp về mức tuyến tính $O(kn)$, giúp tăng tốc độ xử lý luồng tin.
2. Sự khác biệt cơ bản giữa hai chế độ dPCA1T và dPCA2T là gì?
- dPCA1T sử dụng một mức ngưỡng khoảng cách duy nhất ($d_N$) thiết lập qua hàm phân bố tích lũy thực nghiệm ECDF với sai số $\alpha$. Bất kỳ luồng tin nào có $d > d_N$ đều bị kết luận là bất thường.
- dPCA2T sử dụng hai mức ngưỡng ($d_{N1} < d_{N2}$ tương ứng với hai mức sai số $\alpha_1 > \alpha_2$), chia không gian quyết định thành 3 vùng: Bình thường ($d \le d_{N1}$), Nghi ngờ ($d_{N1} < d \le d_{N2}$) và Bất thường ($d > d_{N2}$). Chế độ này giúp người quản trị lọc bỏ các cảnh báo giả ở vùng bình thường và tập trung giám sát chặt chẽ các luồng tin rơi vào vùng nghi ngờ.
3. Tại sao cần phải khử ngoại lai trong tập dữ liệu mẫu và hai phương pháp udPCA, K-means hoạt động ra sao?
Tập dữ liệu thu thập từ mạng thực tế để tạo hồ sơ chuẩn (baseline profile) thường lẫn các gói tin lỗi hoặc hành vi tấn công ngầm (ngoại lai). Nếu không loại bỏ, ma trận hiệp phương sai và các vector riêng sẽ bị lệch, làm sai lệch ngưỡng phát hiện $d_N$.
- udPCA dùng chính thuật toán dPCA ban đầu để tính khoảng cách và loại bỏ các phần tử mẫu có khoảng cách vượt ngưỡng ngoại lai.
- K-means phân cụm tập mẫu thành $K=2$ cụm, giữ lại cụm mật độ cao chiếm đa số và loại bỏ cụm nhỏ hoặc các phần tử nằm ngoài bán kính cụm cực đại ($R_{max}$).
4. Thuộc tính luồng tin IP nào được sử dụng chủ yếu trong các thực nghiệm của luận án?
Luận án sử dụng các thuộc tính trích xuất theo chuẩn luồng tin IP (IP flow) bao gồm: thời gian bắt đầu/kết thúc kết nối, địa chỉ IP nguồn, địa chỉ IP đích, cổng nguồn, cổng đích, giao thức (TCP/UDP/ICMP), cờ trạng thái gói tin (Flags), số lượng byte, số lượng gói tin, cùng các biến thống kê tần suất luồng tin đến cùng một đích hoặc từ cùng một nguồn trong các cửa sổ thời gian xác định ($T$ giây hoặc $N$ luồng liên tiếp).
5. Mô hình kết hợp trong Chương 4 mang lại lợi ích gì cho hệ thống giám sát mạng?
Mô hình kết hợp tận dụng ưu thế của cả hai phương pháp: dPCA hoạt động ở tầng đầu để quét nhanh toàn bộ lưu lượng luồng tin theo hành vi thống kê (phát hiện được cả các dạng bất thường mới chưa có mẫu dấu hiệu mà không đòi hỏi tài nguyên lớn). Chỉ những luồng tin bị dPCA xác định là bất thường mới được chuyển tiếp sang hệ thống IDS dựa trên dấu hiệu để đối soát mẫu chi tiết, giúp IDS không bị quá tải và giảm thiểu tối đa hiện tượng nghẽn cổ chai tại trung tâm phân tích.
Kết luận
Luận án của nghiên cứu sinh Nguyễn Hà Dương đã hoàn thành trọn vẹn các mục tiêu nghiên cứu đặt ra về việc phân tích và phát hiện lưu lượng mạng Internet bất thường. Bằng việc xây dựng công thức khoảng cách Minkowski có trọng số trong không gian con PCA, tác giả đã đề xuất thành công phương pháp dPCA với độ phức tạp tính toán tối ưu $O(kn)$ và cơ chế phân cấp ngưỡng linh hoạt. Luận án cũng giải quyết thấu đáo vấn đề làm sạch tập mẫu huấn luyện thông qua hai kỹ thuật udPCA và K-means, đồng thời chứng minh tính khả thi của mô hình giám sát tích hợp trên các tập dữ liệu chuẩn Kyoto Honeypot và NSL-KDD. Các kết quả đạt được đóng góp thiết thực cho cơ sở lý thuyết xử lý dữ liệu mạng đa biến và cung cấp giải pháp kỹ thuật hữu ích cho công tác bảo đảm an toàn, an ninh mạng thực tế.
