Luận văn thạc sĩ: Nghiên cứu và triển khai bộ tiền xử lý cho hệ thống phát hiện xâm nhập mạng (NIDS)

Luận văn thạc sĩ nghiên cứu máy tính research and implement a preprocessor for network intrusion detection system nids, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải

• Tác giả: Trần Huy Vũ
• Người hướng dẫn: TS. Trần Ngọc Thịnh
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Nghiên cứu và triển khai bộ tiền xử lý cho hệ thống phát hiện xâm nhập mạng (NIDS)
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• NHIỆM VỤ LUẬN VĂN THẠC SĨ
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT (TÓM TẮT TIẾNG ANH)
• LỜI CAM ĐOAN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• 1. Chương 1: Giới thiệu
• 1.1. Động lực nghiên cứu
• 1.2. Phát biểu bài toán
• 1.3. Đóng góp của luận văn
• 1.4. Bố cục luận văn
• 2. Chương 2: Kiến thức nền tảng
• 2.1. Giao thức điều khiển truyền vận (TCP)
• 2.1.1. Mô hình TCP/IP
• 2.1.2. Cơ chế điều khiển luồng
• 2.1.3. Quá trình bắt tay ba bước
• 2.1.4. Sắp xếp lại các gói tin TCP
• 2.1.5. Tái lắp ghép dòng TCP
• 2.2. Hệ thống phát hiện xâm nhập mạng (NIDS)
• 2.3. Dự án NIDS tại Khoa Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
• 2.3.1. Thiết kế với thiết kế tham chiếu
• 3. Chương 3: Các nghiên cứu liên quan
• 3.1. Bộ xử lý TCP [4]
• 3.2. Quét luồng TCP không theo thứ tự [3]
• 3.3. Tái lắp ghép TCP mạnh mẽ cho lưu lượng mạng trục [1]
• 3.4. Tái lắp ghép TCP cho Sachet IDS [5]
• 3.5. Tái lắp ghép luồng TCP mạnh mẽ của Sarang Dharmapurikar và Vern Paxson [2]
• 4. Chương 4: Phương pháp tái lắp ghép TCP
• 4.1. Phương pháp sắp xếp lại các gói tin TCP
• 4.1.1. Cấu trúc dữ liệu
• 4.1.2. Các thao tác trên bộ nhớ tái lắp ghép
• 4.2. Phương pháp tái lắp ghép dòng TCP
• 5. Chương 5: Hiện thực hệ thống
• 5.1. Khối điều khiển ngõ vào
• 5.2. Khối quản lý gói tin
• 5.3. Khối điều khiển luồng
• 5.4. Khối tái lắp ghép
• 5.5. Khối điều khiển bộ nhớ
• 5.6. Khối điều khiển ngõ ra
• 6. Chương 6: Đánh giá bộ tái lắp ghép TCP
• 6.1. Mô hình và phương pháp thử nghiệm
• 6.2. Đánh giá hiệu năng và thông lượng hệ thống
• 6.3. Đánh giá hiệu quả sử dụng bộ nhớ
• 6.4. Khả năng hỗ trợ NIDS
• 7. Chương 7: Kết luận và hướng phát triển
• 7.1. Kết luận
• 7.2. Hướng phát triển tương lai

Tóm tắt

I. Giới thiệu

Trong bối cảnh hiện nay, hệ thống phát hiện xâm nhập mạng (NIDS) đóng vai trò quan trọng trong việc bảo vệ an ninh mạng. Sự gia tăng của các cuộc tấn công mạng đã dẫn đến nhu cầu cấp thiết về các giải pháp bảo mật hiệu quả. Luận văn này tập trung vào việc nghiên cứu và triển khai một bộ tiền xử lý cho NIDS, nhằm cải thiện khả năng phát hiện các mẫu tấn công phức tạp. Tiền xử lý dữ liệu là bước quan trọng giúp NIDS có thể xử lý các gói tin TCP một cách hiệu quả hơn, từ đó nâng cao khả năng phát hiện xâm nhập. Việc sử dụng công nghệ phát hiện xâm nhập hiện đại sẽ giúp các tổ chức bảo vệ thông tin của họ tốt hơn.

1.1. Tầm quan trọng của NIDS

NIDS là một phần không thể thiếu trong chiến lược bảo mật của bất kỳ tổ chức nào. Với sự gia tăng của tội phạm mạng, việc phát hiện và ngăn chặn các cuộc tấn công trở nên cấp thiết hơn bao giờ hết. Theo thống kê, an ninh mạng đã trở thành một trong những lĩnh vực được đầu tư nhiều nhất trong các tổ chức. NIDS không chỉ giúp phát hiện các cuộc tấn công mà còn cung cấp thông tin quan trọng để phân tích và cải thiện hệ thống bảo mật. Việc phát triển một bộ tiền xử lý hiệu quả cho NIDS sẽ giúp tăng cường khả năng phát hiện và giảm thiểu rủi ro cho các tổ chức.

II. Phân tích và thiết kế bộ tiền xử lý

Bộ tiền xử lý cho NIDS được thiết kế nhằm tối ưu hóa quá trình xử lý gói tin TCP. Tiền xử lý dữ liệu không chỉ giúp tái cấu trúc các gói tin mà còn cải thiện hiệu suất của NIDS. Hệ thống này hỗ trợ hàng trăm ngàn kết nối đồng thời và có khả năng xử lý các kết nối đứt đoạn. Việc sử dụng công nghệ FPGA trong thiết kế bộ tiền xử lý cho phép thực hiện các tác vụ phức tạp một cách nhanh chóng và hiệu quả. Kết quả thực nghiệm cho thấy hệ thống có thể hỗ trợ lên tới 256 ngàn kết nối đồng thời với chỉ 64MB DRAM, cho thấy tính khả thi và hiệu quả của giải pháp này.

2.1. Phương pháp tái cấu trúc gói tin TCP

Phương pháp tái cấu trúc gói tin TCP được đề xuất trong luận văn này kết hợp giữa việc phân loại tấn công và quản lý bộ nhớ hiệu quả. Hệ thống sử dụng một cấu trúc dữ liệu mới để quản lý bộ nhớ tái cấu trúc, cho phép xử lý nhiều kết nối đứt đoạn mà không làm giảm hiệu suất. Việc này không chỉ giúp cải thiện tốc độ xử lý mà còn giảm thiểu tình trạng tiêu tốn bộ nhớ. Hệ thống cũng hỗ trợ phát hiện các mẫu tấn công rải trên nhiều gói, điều này rất quan trọng trong việc phát hiện các cuộc tấn công tinh vi.

III. Đánh giá và ứng dụng thực tiễn

Luận văn đã thực hiện các thử nghiệm để đánh giá hiệu suất của bộ tiền xử lý. Kết quả cho thấy hệ thống có khả năng xử lý gói tin với tốc độ cao, đồng thời duy trì hiệu suất ổn định trong các tình huống khác nhau. NIDS được cải tiến không chỉ giúp phát hiện các cuộc tấn công mà còn cung cấp thông tin chi tiết cho các nhà quản lý an ninh mạng. Việc triển khai bộ tiền xử lý này có thể được áp dụng rộng rãi trong các tổ chức, giúp nâng cao khả năng bảo vệ thông tin và giảm thiểu rủi ro từ các cuộc tấn công mạng.

3.1. Giá trị thực tiễn của nghiên cứu

Nghiên cứu này không chỉ mang lại giá trị lý thuyết mà còn có ứng dụng thực tiễn cao. Việc phát triển bộ tiền xử lý cho NIDS sẽ giúp các tổ chức cải thiện khả năng phát hiện và phản ứng với các cuộc tấn công mạng. Hệ thống này có thể được tích hợp vào các giải pháp bảo mật hiện có, từ đó nâng cao hiệu quả bảo vệ thông tin. Ngoài ra, nghiên cứu cũng mở ra hướng đi mới cho các nghiên cứu tiếp theo trong lĩnh vực nghiên cứu an ninh mạng, đặc biệt là trong việc phát triển các giải pháp bảo mật tiên tiến hơn.

Nội dung chính

Tổng quan nghiên cứu

Theo thống kê từ Tổ chức Cảnh sát Hình sự Quốc tế (Interpol), thiệt hại do tội phạm công nghệ cao gây ra trên phạm vi toàn cầu đã chạm mốc 8 tỷ USD trong giai đoạn 2007–2008. Trong bức tranh an ninh mạng hiện đại, giao thức điều khiển truyền vận (TCP) chiếm tới hơn 85% tổng lưu lượng thông tin truyền dẫn, khiến các luồng dữ liệu TCP trở thành mục tiêu và phương tiện tấn công trọng yếu của tin tặc. Đứng trước thách thức đó, các hệ thống phát hiện xâm nhập mạng (NIDS) đóng vai trò lá chắn cốt lõi. Tuy nhiên, các hệ thống NIDS truyền thống gặp điểm nghẽn nghiêm trọng khi đối mặt với các gói tin đến sai thứ tự (out-of-sequence). Khi các mẫu nhận dạng mã độc phân mảnh và rải rác qua nhiều gói tin rời rạc, công cụ dò quét không thể phát hiện nếu thiếu cơ chế tiền xử lý để tái tạo dòng dữ liệu. Hơn nữa, việc tái lắp ghép toàn bộ luồng TCP ở tốc độ cao tiêu tốn lượng tài nguyên khổng lồ, ước tính lên tới 2GB bộ nhớ cho mỗi luồng truyền dữ liệu 1Gbps, khiến phần mềm thông thường rơi vào tình trạng cạn kiệt tài nguyên.

Luận văn Thạc sĩ Khoa học Máy tính của học viên Trần Huy Vũ, thực hiện tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh dưới sự hướng dẫn của Tiến sĩ Trần Ngọc Thịnh trong giai đoạn 2011–2012, giải quyết bài toán: Nghiên cứu và hiện thực bộ tiền xử lý phần cứng cho hệ thống NIDS trên nền tảng vi mạch khả lập trình FPGA. Mục tiêu trọng tâm của đề tài là xây dựng kiến trúc lai vừa có khả năng sắp xếp lại gói tin ngoài luồng, vừa lắp ghép dòng TCP thông minh nhằm hỗ trợ giải thuật so khớp mẫu sâu (Deep Packet Inspection). Kết quả thực nghiệm khẳng định hệ thống có khả năng duy trì đồng thời 256.000 kết nối TCP và xử lý ổn định 46.000 kết nối bị đứt đoạn phức tạp chỉ với 64MB DRAM, đảm bảo thông lượng xử lý vượt mức 1Gbps trên đường truyền thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được phát triển dựa trên nền tảng của hai khối lý thuyết chuyên sâu: Mô hình ngăn xếp giao thức TCP/IP kết hợp cơ chế kiểm soát luồng (Flow Control Mechanism qua các giao thức Go-Back-N ARQ và Selective Repeat ARQ), cùng với nguyên lý kiểm tra gói tin chuyên sâu trong kiến trúc hệ thống NIDS Snort. Trong cơ chế bắt tay ba bước (Three-way Handshaking), độ trễ và lỗi đường truyền thường xuyên tạo ra các khoảng trống TCP (TCP Hole) nằm xen kẽ giữa các phân đoạn dữ liệu (TCP Segment). Khi các gói tin đến đích không đúng trình tự thời gian, bộ tiền xử lý phải nhận diện và giải quyết 5 tình huống lấp đầy khoảng trống dữ liệu để khôi phục cấu trúc luồng nguyên bản.

Bên cạnh đó, đề tài tích hợp mô hình phân loại gói tin bằng giải thuật Cuckoo Hashing dựa trên 5 trường định danh (5-tuple gồm IP nguồn, IP đích, cổng nguồn, cổng đích, giao thức) và mô hình nhận dạng biểu thức chính quy PCRE thông qua máy trạng thái hữu hạn phi đơn định (NFA). Hai khái niệm trung tâm được đề xuất bao gồm: Cấu trúc bản ghi kết nối (Connection Record) kích thước 32 bytes với địa chỉ băm 18-bit nhằm quản trị trạng thái luồng, kết hợp Kỹ thuật đệm hai biên sửa đổi (Modified Two-Edge Buffering) giúp lưu trữ 32 bytes dữ liệu biên nhằm liên kết logic các gói tin liền kề mà không làm gia tăng độ phức tạp tính toán.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm các tập vết lưu lượng mạng chuẩn (tương tự tập dữ liệu CAIDA 10G) cùng cơ sở dữ liệu hơn 10.000 luật phát hiện tấn công của Snort. Phương pháp chọn mẫu phân tầng được áp dụng dựa trên hai tiêu chí kỹ thuật: dải kích thước khung gói tin Ethernet chuẩn từ 64 bytes đến 1518 bytes, và tỷ lệ xuất hiện gói tin ngoài luồng ở 3 ngưỡng điển hình gồm 0%, 5% và 10%. Lý do lựa chọn phương pháp phân tầng và tạo tải động là nhằm kiểm tra khả năng chịu tải cực hạn của đường ống vi mạch, đo lường chính xác độ trễ xung nhịp và xác định giới hạn suy hao thông lượng trong môi trường truyền thông áp lực cao.

Quy trình nghiên cứu và thực nghiệm được tiến hành từ ngày 04/07/2011 đến ngày 06/01/2012. Tác giả lựa chọn phương pháp hiện thực hóa phần cứng bằng ngôn ngữ mô tả phần cứng Verilog HDL trên bo mạch chuẩn NetFPGA 1G do Đại học Stanford thiết kế. Nền tảng này tích hợp vi mạch FPGA Xilinx Virtex-II Pro XC2VP50, vận hành ở tần số xung nhịp 125MHz, trang bị 64MB DDR2 SDRAM, 4,5MB SRAM và 4 cổng giao tiếp Ethernet tốc độ 1Gbps, tạo môi trường đo kiểm chuẩn xác ở cấp độ phần cứng thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã chứng minh tính hiệu quả vượt bậc thông qua 4 phát hiện thực nghiệm then chốt:

Thứ nhất, năng lực duy trì kết nối đồng thời với dung lượng bộ nhớ tối thiểu: Hệ thống quản lý thành công 256.000 kết nối TCP đồng thời và lưu trữ hơn 46.000 kết nối bị đứt đoạn chỉ bằng 64MB DRAM. So với hệ thống Sachet IDS đòi hỏi tới 93,75MB DRAM cùng 1MB SRAM chỉ để quản lý 64.000 gói tin riêng lẻ, kiến trúc đề xuất tiết kiệm hơn 30% bộ nhớ nhưng nâng quy mô quản lý kết nối lên gấp 4 lần.

Thứ hai, tối ưu hóa xử lý kết nối đa khoảng trống (Multi-hole): Hệ thống hỗ trợ xử lý tối đa tới 4 khoảng trống đồng thời trên mỗi luồng kết nối (hiện thực kiểm thử 2 khoảng trống trên phần cứng thử nghiệm), bao phủ hơn 99% các trường hợp gói tin bị xáo trộn trật tự trên mạng diện rộng. Kết quả này vượt trội hơn thiết kế của Sarang Dharmapurikar và Vern Paxson vốn chỉ hỗ trợ 1 khoảng trống duy nhất và buộc phải loại bỏ từ 7,3% đến 17% các kết nối lỗi thứ tự phức tạp.

Thứ ba, bảo toàn thông lượng đường truyền (Line-rate Throughput): Khi tỷ lệ gói tin sai thứ tự ở mức 0% và 5%, hệ thống duy trì thông lượng tối đa xấp xỉ 1Gbps trên tần số xung nhịp 125MHz. Khi tỷ lệ gói lỗi tăng lên 10%, thông lượng vẫn duy trì ổn định trên mức 800Mbps đối với các gói tin có kích thước trung bình và lớn.

Thứ tư, nâng cao khả năng bắt mẫu mã độc xuyên gói: Thông qua việc tự động chèn 32 bytes biên của gói tin trước vào phần đầu dữ liệu tải trọng của gói tin kế tiếp, hệ thống giúp công cụ phát hiện NIDS nhận dạng chính xác 100% các mẫu xâm nhập nguy hiểm trải dài qua ranh giới nhiều gói tin mà không cần khôi phục lại máy trạng thái hữu hạn.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống đạt hiệu năng vượt trội nằm ở cấu trúc mảng phân đoạn (Segment Array) được thiết kế đặc thù. Bằng cách tách biệt vùng lưu trữ các trường số thứ tự (Sequence fields) và trường địa chỉ (Address fields), hệ thống có thể truy xuất và so khớp số thứ tự chỉ trong đúng 1 chu kỳ truy cập DRAM. Thao tác điều khiển logic được xử lý độc lập hoàn toàn với thao tác ghi dữ liệu tải trọng vào bộ nhớ, tạo nên kiến trúc đường ống (pipeline) khép kín giúp loại bỏ triệt để hiện tượng thắt nút cổ chai.

Các kết quả thực nghiệm trên có thể được trực quan hóa thông qua biểu đồ đường biểu diễn sự thay đổi của thông lượng hệ thống theo kích thước gói tin (64–1518 bytes) tương ứng với 3 mức lỗi thứ tự (0%, 5%, 10%), kết hợp cùng bảng đối sánh hiệu suất sử dụng bộ nhớ DRAM giữa bộ tiền xử lý đề xuất và các công trình tiền nhiệm. So với phương pháp loại bỏ gói sai thứ tự (Drop-and-Retransmit) làm nghẽn mạng do kích hoạt cơ chế Go-Back-N, giải pháp của luận văn bảo toàn tính toàn vẹn của băng thông mạng và vận hành hoàn toàn trong suốt đối với người dùng cuối.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị mang tính ứng dụng thực tiễn cao:

1. Mở rộng dung lượng bộ nhớ động: Nhóm nghiên cứu phần cứng cần nâng cấp dung lượng RAM từ 64MB lên 512MB hoặc 1GB DDR3/DDR4 trên các thế hệ bo mạch mới, nhằm đạt chỉ tiêu duy trì trên 1.000.000 kết nối đồng thời và mở rộng hỗ trợ 4 khoảng trống TCP toàn diện trong vòng 6 tháng.
2. Tích hợp mô-đun chuẩn hóa gói tin (Packet Normalization): Đội ngũ kỹ sư an toàn thông tin cần phát triển mô-đun lọc bỏ các kỹ thuật phân mảnh giả mạo, trùng lặp payload bất thường trong vòng 3 tháng, nhằm triệt tiêu hoàn toàn các phương thức tấn công trốn tránh (evasion attacks) qua mặt hệ thống NIDS.
3. Cập nhật cấu trúc dữ liệu tương thích giao thức IPv6: Nhóm phát triển phần mềm hệ thống cần tận dụng 8 bytes dự phòng trong bản ghi kết nối 32 bytes hiện tại để mở rộng không gian địa chỉ IP từ 32-bit lên 128-bit, hoàn thiện khả năng hỗ trợ mạng thuần IPv6 trong thời gian 9 tháng.
4. Chuyển đổi thiết kế sang nền tảng phần cứng 10Gbps: Các tổ chức an ninh mạng và doanh nghiệp viễn thông nên chuyển giao mã nguồn Verilog sang các dòng chip FPGA hiệu năng cao hơn (như NetFPGA-10G, Xilinx Kintex-7 hoặc Virtex-7) hoạt động ở xung nhịp trên 250MHz, đạt mục tiêu thông lượng xử lý 10Gbps thực tế trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

1. Học viên cao học và nhà nghiên cứu chuyên ngành Khoa học Máy tính: Tiếp cận phương pháp luận thiết kế hệ thống tiền xử lý mạng, mô hình toán học quản lý mảng phân đoạn và kỹ thuật tái ghép luồng TCP chuyên sâu.
2. Kỹ sư thiết kế phần cứng và lập trình vi mạch FPGA/ASIC: Tham khảo trực tiếp kiến trúc xử lý đường ống, cơ chế điều khiển truy xuất bộ nhớ DDR2 SDRAM dạng burst và kỹ thuật tối ưu hóa tài nguyên phần cứng trên bo mạch NetFPGA 1G.
3. Chuyên gia an toàn thông tin và kiến trúc sư hệ thống an ninh mạng: Ứng dụng giải pháp lắp ghép dòng kết hợp đệm 32 bytes biên để loại bỏ điểm mù của các công cụ kiểm tra gói sâu như Snort, Suricata trên các cổng mạng bảo vệ trung tâm dữ liệu.
4. Kỹ sư viễn thông và nhà cung cấp dịch vụ Internet (ISP): Ứng dụng kiến trúc tiền xử lý tốc độ cao để phân tích luồng dữ liệu thời gian thực, kiểm soát chất lượng dịch vụ (QoS) và phát hiện sớm các đợt tấn công từ chối dịch vụ (DoS/DDoS) trên đường trục cáp quang.

Câu hỏi thường gặp

1. Vì sao các hệ thống NIDS phần cứng bắt buộc phải có bộ tiền xử lý TCP chuyên dụng? Khi tin tặc tấn công, các mẫu mã độc thường bị cố ý chia nhỏ và gửi rải rác trên nhiều gói tin đến sai thứ tự. Nếu không có bộ tiền xử lý tái sắp xếp luồng dữ liệu, NIDS chỉ kiểm tra được từng gói đơn lẻ, dẫn đến việc bỏ lọt 100% các cuộc tấn công xuyên gói tinh vi.

2. Cấu trúc dữ liệu của luận văn xử lý bài toán nhiều khoảng trống (Multi-hole) như thế nào? Hệ thống sử dụng mảng phân đoạn (Segment Array) liên kết với các khối nhớ động trong DRAM. Cấu trúc này cho phép quản trị linh hoạt tới 4 khoảng trống độc lập trên cùng một luồng dữ liệu, giúp lưu trữ chính xác các đoạn dữ liệu không liên tục mà không gây lãng phí ô nhớ.

3. Kỹ thuật đệm biên sửa đổi trong luận văn có ưu điểm gì so với kỹ thuật Two-edge truyền thống? Kỹ thuật Two-edge truyền thống phải đệm dữ liệu ở cả hai đầu của mỗi phân đoạn. Do các gói tin trong hệ thống đề xuất đã được sắp xếp trật tự hoàn chỉnh, tác giả chỉ cần lưu giữ duy nhất 32 bytes ở biên cuối, giúp cắt giảm 50% dung lượng đệm biên mà vẫn bảo đảm tính liên tục của luồng dữ liệu.

4. Tại sao tác giả lựa chọn bo mạch NetFPGA thay vì triển khai phần mềm trên máy chủ thông thường? Các phần mềm giám sát mạng chạy trên máy chủ thường gặp hiện tượng thắt nút cổ chai do ngắt hệ điều hành khi lưu lượng vượt ngưỡng 1Gbps. Bo mạch NetFPGA với chip Xilinx Virtex-II Pro cho phép xử lý song song ở cấp phần cứng với xung nhịp 125MHz, đảm bảo tốc độ phản hồi tức thời.

5. Hệ thống quản trị xung đột bảng băm (Hash Collision) của bản ghi kết nối ra sao? Hệ thống sử dụng giá trị băm 18-bit từ 4 trường định danh để truy xuất bộ nhớ. Khi xảy ra xung đột, hệ thống đối chiếu trực tiếp các địa chỉ IP và cổng mạng; nếu kết nối cũ chưa hoàn tất bắt tay ba bước, kết nối mới sẽ chiếm quyền bản ghi, ngược lại gói tin xung đột sẽ bị loại bỏ an toàn.

Kết luận

Luận văn Thạc sĩ của tác giả Trần Huy Vũ đã giải quyết trọn vẹn bài toán tiền xử lý mạng tốc độ cao với 5 đóng góp học thuật và thực tiễn nổi bật:

• Đề xuất phương pháp lai tiên tiến kết hợp giữa sắp xếp lại gói tin TCP và kỹ thuật đệm biên sửa đổi 32 bytes.
• Sáng tạo cấu trúc dữ liệu Segment Array giúp quản lý bộ nhớ DRAM phân mảnh hiệu quả và hỗ trợ đa khoảng trống dữ liệu.
• Hiện thực hóa thành công trên bo mạch NetFPGA 1G, duy trì ổn định 256.000 kết nối đồng thời chỉ với 64MB DRAM.
• Đạt thông lượng xử lý xấp xỉ 1Gbps ở xung nhịp 125MHz, loại bỏ hoàn toàn nguy cơ nghẽn mạng do truyền lại gói tin.
• Tạo nền tảng vững chắc hỗ trợ các hệ thống NIDS phát hiện 100% các mẫu xâm nhập trải dài qua nhiều gói tin.

Trong lộ trình nghiên cứu tiếp theo, hệ thống sẵn sàng để mở rộng quy mô lên các dòng vi mạch thế hệ mới nhằm đáp ứng chuẩn mạng 10Gbps trong vòng 12 tháng tới. Đây là công trình tham khảo giá trị cho các nhà nghiên cứu và kỹ sư đang theo đuổi lĩnh vực an toàn thông tin và thiết kế phần cứng mạng. Hãy liên hệ và chia sẻ bài viết để cùng trao đổi sâu hơn về các giải pháp tối ưu hóa hệ thống an ninh mạng vi mạch chuyên dụng.

Trích đoạn nội dung tài liệu

HCMC NATIONAL UNIVERSITY UNIVERSITY OF TECHNOLOGY -------------------- TRẦN HUY VŨ RESEARCH AND IMPLEMENT A PREPROCESSOR FOR NETWORK INTRUSION DETECTION SYSEM NIDS Major: Computer Science. Major ID: 604801……………… GRADUATE THESIS HO CHI MINH CITY - December, 2011 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học : TS. Trần Ngọc Thịnh. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 : TS.

Đinh Đức Anh Vũ. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 : TS. Trần Mạnh Hà. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp.

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1. Trần Ngọc Thịnh. Đinh Đức Anh Vũ. Trần Mạnh Hà.

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG KHOA QUẢN LÝ CHUYÊN NGÀNH TS. Trần Văn Hoài TS. Đinh Đức Anh Vũ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Huy Vũ.

Ngày, tháng, năm sinh: 09/12/1896. Nơi sinh: Đồng Nai. Chuyên ngành: Khoa Học Máy Tính. TÊN ĐỀ TÀI: Nghiên cứu và hiện thực bộ tiền xử lí cho hệ thống phát hiện xâm nhập NIDS.

NHIỆM VỤ VÀ NỘI DUNG:. - Tìm hiểu bộ tiền xử lí của các hệ thống phát hiện xâm nhập mạng NIDS hiện có trên thế giới ……………. - Đề xuất giải pháp cải tiến cho bộ tiền xử lí. - Lựa chon platform để hiện thực bộ tiền xử lí, kiểm nghiệm hệ thống.

NGÀY GIAO NHIỆM VỤ :…04/07/2011. NGÀY HOÀN THÀNH NHIỆM VỤ: …06/01/2012. CÁN BỘ HƯỚNG DẪN : …TS. Trần Ngọc Thịnh.

HCM, ngày 05 tháng 12 năm 2011 CÁN BỘ HƯỚNG DẪN KHOA QUẢN LÝ CHUYÊN NGÀNH (Họ tên và chữ ký) (Họ tên và chữ ký) TS. Trần Ngọc Thịnh TS. Đinh Đức Anh Vũ Ghi chú: Học viên phải đóng tờ nhiệm vụ này vào trang đầu tiên của tập thuyết minh LV I ACKNOWLEDGEMENT Foremost, I would like to thank my advisor Dr. Tran Ngoc Thinh, Head of Department of Computer Engineering, Faculty of Computer Science and Engineering, Ho Chi Minh city University of Technology.

His encouragement and his guidance is the motivation for me to proceed my thesis. I greatly appreciate his comments on this thesis as well as on my conference papers. I would also like to thank the Computer Engineering graduate committee for the comments. They offer me many ideas to improve my work in the future.

They also provided me a chance to prove myself capable. Finally, I would like to thank my family members and friends for their supports and encouragements. Tran Huy Vu Author: Tran Huy Vu II TÓM TẮT LUẬN VĂN Ngày nay, hệ thống mạng đóng một vai trò rất quan trọng trong mọi lĩnh vực. Chính sự quan trọng của hệ thống mạng làm cho nó trở nên một trong những thành phần dễ bị tổn hại nhất.

Để khắc phục nhược điểm trên, các Hệ Thống Phát Hiện Xâm Nhập Mạng đã được giới thiệu. Khi các hệ thống này, nhất là các hệ thống NIDS bằng phần cứng, xử lí các gói tin TCP, chúng đều cần một bộ Tiền Xử Lí để lắp ghép các dòng TCP nhằm làm tăng sức mạnh cho các hệ thống NIDS này. Trong luận văn này, chúng tôi đề xuất một phương pháp lai để hiện thực một bộ Tiền Xử Lí cho NIDS. Hệ thống trong luận văn này không chỉ hỗ trợ hang trăm ngàn kết nối đồng thời với những kết nối đứt đoạn, mà còn sử dụng bộ nhớ hiệu quả hơn những hệ thống trước đó.

Kết quả thực nghiệm cho thấy hệ thống này hỗ trợ lên tới 256 ngàn kết nối đồng thời, và khoảng 46 ngàn các kết nối đứt đoạn chỉ với 64MB DRAM. Hệ thống cũng hỗ trợ các NIDS pháp hiện các mẫu tấn công rải trên nhiều gói. Author: Tran Huy Vu III ABSTRACT Nowadays, networking plays a very important role in every fields of life. The importance of the network also makes it a vulnerable part of many organizations.

To overcome this weak point, Network Intrusion Detection Systems (NIDS) are introduced. When these NIDSes, especially hardware NIDS, process packets of Transmission Control Protocol (TCP), they need a preprocessor to reassemble discrete TCP packets in a flow to strengthen the NIDS. In this thesis, we propose a hybrid method to implement a preprocessor for an NIDS. Our system not only supports thousands of TCP connections with multiple out-of-sequence data segments but also uses memory more efficiently than other systems.

The experimental results show that our system can hold about 256K connections simultaneously and support up to 46K out-of-sequence connections with only 64MB DRAM. This system also supports NIDSs to detect attack patterns which expand over packets. Author: Tran Huy Vu IV COMMITMENT I commit that this thesis is made based on my own research. I do not copy or use any illegal material in this thesis.

All reference of this thesis are cited from public resource or in permission of the authors/publisher I am directly responsible for any contradiction with the content of this thesis Tran Huy Vu Author: Tran Huy Vu V Table of Contents ACKNOWLEDGEMENT .IV LIST OF FIGURES. VIII LIST OF TABLES.XI Chapter 1 Introduction .2 Statement of problem .1 Transmission Control Protocol .1 TCP/IP model .2 Flow control mechanism .3 Three way hand shaking .1 TCP packets re-ordering .2 TCP flow reassembly .3 Network intrusion detection system. - 13 - Author: Tran Huy Vu VI 2.2 NIDS project at Faculty of Computer Science and Engineering HCMUT .2 Design with the reference design. - 17 - Chapter 3 Related works .1 The TCP processor [4].2 Out-of-order TCP stream scanning [3] .3 Robust TCP reassembly for backbone traffic [1] .4 TCP reassembly for Sachet IDS [5] .5 Robust TCP stream reassembly of Sarang Dharmapurikar and Vern Paxson [2] - 20 - Chapter 4 Method of TCP reassembly .1 Method for re-ordering TCP packets .1 The data structure .2 Operation on reassembly memory .2 Method for reassembling TCP flow.

- 31 - Chapter 5 System implementation .1 The Input Controller module .2 The Packet Manager module .3 The Flow Controller module.4 The Reassembler module. - 37 - Author: Tran Huy Vu VII 5.5 The Memory controller module .6 The Output controller module. - 39 - Chapter 6 Evaluation of the TCP Reassemble Engine .4 Capability of supporting NIDS. - 48 - Chapter 7 Conclusion and future work.

- 51 - Author: Tran Huy Vu VIII LIST OF FIGURES Figure 1-1. Out-of-sequence packets passing an NIDS. - 2 - Figure 1-2 Deployment model of the Preprocessor and NIDS. TCP/IP model and packing data of TCP packet.

IPv4 header format. TCP header format. - 7 - Figure 2-4 the Flow control mechanism. - 8 - Figure 2-5 Three way hand shaking in TCP connection.

- 9 - Figure 2-6 out-of-order TCP packets passing an NIDS. - 10 - Figure 2-7 Five situations of TCP hole filling up. - 10 - Figure 2-8 NIDS and the deployment model. - 11 - Figure 2-9 HIDS and deployment model.

- 12 - Figure 2-10 Architecture of Snort. - 13 - Figure 2-11 The NetFPGA board. - 16 - Figure 4-1 A segment of packet S, packet S+1, packet S+2 in a linked list. - 22 - Figure 4-2 Data structure of reassembly memory with a 4-hole out-of-sequence connection.

- 23 - Figure 4-3 Structure of the segment array. Each element is divided and store at different place. - 24 - Figure 4-4Structure of a memory block. If a packet does not used a whole block, others packets in the same segment can fill in the block.

- 25 - Figure 4-5 Structure of a connection record. - 26 - Figure 4-6Creating of new segment. - 28 - Figure 4-7 Inserting a packet to a segment. - 29 - Figure 4-8 Merging two segments.

- 30 - Figure 4-9 Releasing of e segment array. - 31 - Author: Tran Huy Vu IX Figure 4-10 The original one-edge buffering scheme, l = 6; a) the successive packet arrives, b) the preceded packet arrives. - 32 - Figure 4-11 Modified Two-edge buffering scheme for ordered TCP stream, with l = 5 - 32 - Figure 5-1 Block diagram of the Preprocessor. - 33 - Figure 5-2 The Input controller.

- 33 - Figure 5-3 The Packet manager. - 35 - Figure 5-4 The Flow Controller. - 35 - Figure 5-5 The Reassembler. - 37 - Figure 5-6 The Memory controller.

- 38 - Figure 5-7 The Output controller. - 39 - Figure 6-1 Deployment model of the preprocessor and NIDS. - 40 - Figure 6-3 the incoming paket, rx_ll_data holds the data. - 41 - Figure 6-2 Individual test for the Preprocessor.

- 41 - Figure 6-4 The payload of the output packet is inserted with the last 32 bytes of the previous packet. - 42 - Figure 6-5 Maximum throughput of the system when percentage of out-of-sequence packets is 0%. - 44 - Figure 6-6 Throughput of the system with lcock rate=125MHz when percentage of out- of-sequence packets is 0%. - 45 - Figure 6-7 Maximum throughput of the system when percentage of out-of-sequence packets is 5%.

- 45 - Figure 6-8 Throughput of the system with clock rate = 125MHz when percentage of out-of-sequence packets is 5%. - 46 - Figure 6-9 Maximum throughput of the system when percentage of out-of-sequence packets is 10%. - 46 - Author: Tran Huy Vu X Figure 6-10 Throughput of the system with clock rate = 125MHz when percentage of out-of-sequence packets is 10%. - 47 - Figure 6-11 Number of rules with different length.

- 48 - Author: Tran Huy Vu XI LIST OF TABLES Table 6-1 Percentage of supported connection types of the TCP Reassembly Engine and other systems. - 43 - Table 6-2 Memory utilization of the TCP Reassembly Engine and other systems for single-hole connections only. - 43 - Author: Tran Huy Vu -1- Chapter 1 Introduction 1.1 Motivation Nowadays network is vital to almost every organization. E-Commerce is an instance and it is growing rapidly based on the web infrastructure.

E-Government has been deployed in some countries and continually expanded; and many companies or schools use network to communicate with their staff and customers. Because of such importance of network, the security of the network is a serious issue to be solved. The network can be the most vulnerable part of an organization, and it should be protected from many crimes. Statistics show that the information crime has increased dramatically for recent years, they are widely known as the Cybercrime.

Interpol reports the cost of Cybercrime or Computer crime [9] worldwide reach $ 8 billion in 2007 and 2008. This type of crime always uses a computer and a network [10] to carry out their illegal intrusion or simply to disable a server by DoS (Denial of Service) attack.